【Sê-ri OCR học sâu ·7】Kỹ thuật đào tạo và chức năng mất CTC

## Giới thiệu Phân loại thời gian kết nối (CTC) là một bước đột phá quan trọng trong mô hình trình tự học sâu, đặc biệt là trong lĩnh vực OCR. CTC giải quyết vấn đề cơ bản về sự không phù hợp giữa độ dài của trình tự đầu vào và trình tự đầu ra, cho phép học trình tự từ đầu đến cuối. Bài viết này sẽ đi sâu vào các nguyên tắc toán học, triển khai thuật toán và kỹ thuật tối ưu hóa đào tạo của CTC. ## Khái niệm cơ bản của CTC ### Vấn đề căn chỉnh trình tự Trong các nhiệm vụ OCR, chúng tôi phải đối mặt với những thách thức sau: **Độ dài không khớp**: Độ dài của chuỗi tính năng hình ảnh đầu vào khác với độ dài chuỗi văn bản đầu ra. Ví dụ: một từ chứa 3 ký tự có thể tương ứng với một chuỗi tính năng gồm 100 bước thời gian. **Vị trí không chắc chắn**: Vị trí chính xác của từng ký tự trong ảnh là không rõ. Các phương pháp truyền thống yêu cầu phân đoạn ký tự chính xác, điều này khó khăn trong các ứng dụng thực tế. **Khó phân đoạn ký tự**: Văn bản viết liên tục, văn bản viết tay hoặc phông chữ nghệ thuật gặp khó khăn trong việc phân chia chính xác thành các ký tự riêng lẻ. ### Giải pháp của CTC CTC giải quyết các vấn đề căn chỉnh trình tự theo những cách sáng tạo sau: Giới thiệu điểm đánh dấu trống: Sử dụng điểm đánh dấu trống đặc biệt để xử lý căn chỉnh. Thẻ trống không tương ứng với bất kỳ ký tự đầu ra nào và được sử dụng để tách các ký tự trùng lặp khỏi chuỗi điền. Xác suất đường dẫn: Tính xác suất của tất cả các đường dẫn căn chỉnh có thể có. Mỗi đường dẫn đại diện cho một tương ứng bước ký tự với thời gian có thể có. **Lập kế hoạch động**: Tính toán hiệu quả xác suất đường dẫn bằng cách sử dụng các thuật toán tiến-lùi, tránh liệt kê tất cả các đường dẫn có thể. ## Nguyên tắc toán học CTC ### Định nghĩa cơ bản Cho dãy đầu vào X = (x₁, x₂, ..., xt) và dãy mục tiêu Y = (y₁, y₂, ..., yu), trong đó T ≥ U. Bộ thẻ: L = {1, 2, ..., K}, chứa K danh mục ký tự. **Bộ sưu tập thẻ mở rộng**: L_ext = L ∪ {trống}, chứa thẻ trống. **Đường căn chỉnh**: Một dãy có độ dài T π = (π₁, π₂, ..., πt), trong đó πt ∈ L_ext. ### Ánh xạ đường dẫn đến thẻ CTC xác định hàm ánh xạ B chuyển đổi đường dẫn căn chỉnh thành chuỗi nhãn đầu ra: 1. Xóa tất cả các điểm đánh dấu trống 2. Hợp nhất các ký tự trùng lặp liên tiếp **Ví dụ lập bản đồ**: - π = (a, a, trống, b, trống, b, b) → B (π) = (a, b, b) - π = (trống, c, c, a, trống, t) → B (π) = (c, a, t) ### Chức năng mất CTC Hàm tổn thất CTC được định nghĩa là logarit âm của tổng của tất cả các xác suất đường dẫn được ánh xạ đến dãy mục tiêu Y: L_CTC = -log P (Y | X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) trong đó B⁻¹(Y) là tập hợp tất cả các đường dẫn được ánh xạ đến Y. Xác suất đường dẫn: Giả sử rằng các dự đoán của mỗi bước thời gian là độc lập, xác suất đường dẫn là: P (π | X) = ∏t yt^{πt} trong đó yt^{πt} là xác suất của bước thời gian t dự đoán nhãn πt. ## Thuật toán tiến-lùi ### Thuật toán chuyển tiếp Thuật toán chuyển tiếp tính toán xác suất đường đi từ khi bắt đầu chuỗi đến vị trí hiện tại. **Dãy nhãn mở rộng**: Để thuận tiện cho việc tính toán, hãy mở rộng dãy mục tiêu Y thành Y_ext, chèn các thẻ trống trước và sau mỗi ký tự. **Khởi tạo**: - α₁(1) = y₁^{trống} (vị trí đầu tiên trống) - α₁(2) = y₁^{y₁} (vị trí đầu tiên là ký tự đầu tiên) - α₁ = 0 cho các vị trí khác **Công thức đệ quy**: Đối với t > 1 và vị trí s: - Nếu Y_ext[s] trống hoặc giống với ký tự trước đó: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - Nếu không: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Thuật toán ngược Thuật toán ngược tính xác suất đường đi từ vị trí hiện tại đến cuối dãy. **Khởi tạo**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (nếu thẻ cuối cùng không trống) - β_T = 0 cho các vị trí khác **Công thức đệ quy**: Đối với t < T và các vị trí: - Nếu Y_ext [s+1] trống hoặc giống với ký tự hiện tại: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - Nếu không: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Tính toán gradient Tổng xác suất: P (Y | X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Gradient của xác suất nhãn**: ∂(-ln P(Y| X))/∂y_k^t = -1/P(Y| X) × σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## Chiến lược giải mã CTC ### Giải mã tham lam Greedy giải mã nhãn với xác suất cao nhất ở mỗi bước thời gian: π_t = argmax_k y_t^k Sau đó áp dụng ánh xạ B để có được trình tự cuối cùng. **Ưu điểm**: Tính toán dễ dàng và tốc độ nhanh **Nhược điểm**: Có thể không đạt được giải pháp tối ưu toàn cầu ### Giải mã tìm kiếm gói Tìm kiếm chùm tia duy trì nhiều đường dẫn ứng viên, mở rộng các đường dẫn hứa hẹn nhất ở mỗi bước thời gian. **Các bước thuật toán**: 1. Khởi tạo: Bộ sưu tập ứng viên chứa các đường dẫn trống 2. Đối với từng bước thời gian: - Mở rộng tất cả các lộ trình ứng viên - Giữ K-path với xác suất cao nhất 3. Trả về đường dẫn hoàn chỉnh với xác suất cao nhất **Điều chỉnh thông số**: - Chiều rộng chùm tia K: Cân bằng độ phức tạp tính toán với chất lượng giải mã - Hình phạt độ dài: Tránh ưu tiên các chuỗi ngắn ### Tìm kiếm gói tiền tố Tìm kiếm gói tiền tố xem xét xác suất tiền tố của một đường dẫn để tránh đếm hai đường dẫn có cùng tiền tố. **Ý tưởng cốt lõi**: Hợp nhất các đường dẫn có cùng tiền tố và chỉ giữ lại phương thức mở rộng có khả năng xảy ra nhất. ## Kỹ thuật đào tạo và tối ưu hóa ### Tiền xử lý dữ liệu **Xử lý độ dài trình tự**: - Dynamic batching: Nhóm các chuỗi có độ dài tương tự - Chiến lược điền: Điền vào các chuỗi ngắn bằng các điểm đánh dấu đặc biệt - Chiến lược cắt bớt: Cắt bớt hợp lý các chuỗi quá dài **Tiền xử lý nhãn**: - Tiêu chuẩn hóa bộ ký tự: Mã hóa ký tự và viết hoa thống nhất - Xử lý ký tự đặc biệt: Xử lý dấu câu và khoảng trắng - Xây dựng từ vựng: Xây dựng bảng thuật ngữ hoàn chỉnh về các ký tự ### Chiến lược đào tạo **Học khóa học**: Bắt đầu đào tạo với các mẫu đơn giản và tăng dần độ khó: - Trình tự ngắn đến dài - Hình ảnh rõ ràng đến mờ hình ảnh - Phông chữ thông thường đến phông chữ viết tay **Nâng cao dữ liệu**: - Biến đổi hình học: xoay, chia tỷ lệ, cắt - Thêm tiếng ồn: Tiếng ồn Gaussian, tiếng ồn muối và hạt tiêu - Thay đổi ánh sáng: điều chỉnh độ sáng, độ tương phản **Kỹ thuật chính quy hóa**: - Bỏ học: Ngăn chặn quá khớp - Suy giảm trọng lượng: Chính quy hóa L2 - Làm mịn nhãn: Giảm sự tự tin thái quá ### Điều chỉnh siêu tham số **Lập lịch trình tốc độ học tập**: - Chiến lược khởi động: Một vài kỷ nguyên đầu tiên sử dụng tốc độ học tập nhỏ - Ủ cosin: Tốc độ học phân rã theo hàm cosin - Điều chỉnh thích ứng: Điều chỉnh dựa trên hiệu suất của bộ xác thực ** Lựa chọn kích thước lô **: - Giới hạn bộ nhớ: Xem xét dung lượng bộ nhớ GPU - Độ ổn định gradient: Cung cấp độ dốc ổn định hơn cho các lô lớn hơn - Tốc độ hội tụ: Cân bằng tốc độ tập luyện và độ ổn định ## Cân nhắc ứng dụng thực tế ### Tối ưu hóa tính toán **Tối ưu hóa bộ nhớ**: - Điểm kiểm tra gradient: Giảm dấu chân bộ nhớ của quá trình lan truyền chuyển tiếp - Đào tạo độ chính xác hỗn hợp: Giảm yêu cầu bộ nhớ với FP16 - Tối ưu hóa biểu đồ động: Tối ưu hóa phân bổ bộ nhớ cho các biểu đồ được tính toán **Tối ưu hóa tốc độ**: - Điện toán song song: Sử dụng khả năng xử lý song song GPU - Tối ưu hóa thuật toán: Được thực hiện bằng cách sử dụng các thuật toán tiến lùi hiệu quả - Tối ưu hóa hàng loạt: Đặt kích thước lô phù hợp ### Ổn định số **Tính xác suất**: - Tính toán không gian nhật ký: Tránh tràn giá trị do phép nhân xác suất - Cắt số: Giới hạn phạm vi giá trị xác suất - Kỹ thuật chuẩn hóa: Đảm bảo tính hợp lệ của phân phối xác suất ** Độ ổn định gradient **: - Gradient Cropping: Ngăn chặn các vụ nổ gradient - Khởi tạo trọng lượng: Sử dụng chiến lược khởi tạo phù hợp - Chuẩn hóa hàng loạt: ổn định quá trình đào tạo ## Đánh giá hiệu suất ### Đánh giá số liệu **Độ chính xác cấp độ nhân vật**: Accuracy_char = Số ký tự được nhận dạng chính xác / Tổng số ký tự **Độ chính xác của mức nối tiếp**: Accuracy_seq = Số dãy chính xác / Tổng số dãy **Khoảng cách chỉnh sửa**: Đo lường sự khác biệt giữa trình tự dự đoán và trình tự thực, bao gồm số lần chèn, xóa và thay thế tối thiểu. ### Phân tích lỗi **Các loại lỗi thường gặp**: - Nhầm lẫn nhân vật: Xác định sai các ký tự tương tự - Lỗi trùng lặp: CTC có xu hướng tạo ra các ký tự trùng lặp - Lỗi độ dài: Dự đoán độ dài trình tự không chính xác **Chiến lược cải tiến**: - Khai thác mẫu khó: Tập trung đào tạo mẫu có tỷ lệ lỗi cao - Tối ưu hóa hậu kỳ: Sửa lỗi bằng cách sử dụng các mô hình ngôn ngữ - Phương pháp tiếp cận tích hợp: Kết hợp các dự đoán từ nhiều mô hình ## Tổng kết Chức năng mất CTC cung cấp một công cụ mạnh mẽ để mô hình hóa trình tự, đặc biệt là khi xử lý các vấn đề liên kết. Bằng cách giới thiệu các thuật toán ghi nhãn trống và lập trình động, CTC thực hiện học trình tự từ đầu đến cuối và tránh các bước tiền xử lý phức tạp. **Bài học chính**: - CTC giải quyết vấn đề độ dài trình tự đầu vào và đầu ra không khớp - Thuật toán tiến-lùi cung cấp tính toán xác suất hiệu quả - Một chiến lược giải mã phù hợp là rất quan trọng cho hiệu suất cuối cùng - Kỹ thuật đào tạo và chiến lược tối ưu hóa ảnh hưởng đáng kể đến hiệu suất của mô hình **Gợi ý ứng dụng**: - Chọn chiến lược giải mã phù hợp cho nhiệm vụ cụ thể - Nhấn mạnh vào các kỹ thuật tiền xử lý và nâng cao dữ liệu - Tập trung vào độ ổn định số và hiệu quả tính toán - Tối ưu hóa xử lý hậu kỳ dựa trên kiến thức miền Việc ứng dụng thành công CTC đã đặt nền móng quan trọng cho sự phát triển của deep learning trong lĩnh vực mô hình hóa trình tự, đồng thời cung cấp hỗ trợ quan trọng cho sự tiến bộ của công nghệ OCR.