【Deep Learning OCR Series·6】Phân tích chuyên sâu về kiến trúc CRNN

## Giới thiệu CRNN (Convolutional Recurrent Neural Network) là một trong những kiến trúc quan trọng nhất trong lĩnh vực học sâu OCR, được đề xuất bởi Bai Xiang và cộng sự vào năm 2015. CRNN kết hợp khéo léo khả năng trích xuất tính năng của mạng nơ-ron tích chập (CNN) với khả năng mô hình hóa trình tự của mạng nơ-ron tuần hoàn (RNN) để đạt được nhận dạng văn bản từ đầu đến cuối. Bài viết này sẽ cung cấp phân tích chuyên sâu về thiết kế kiến trúc, nguyên lý làm việc, phương pháp đào tạo và các ứng dụng cụ thể trong OCR của CRNN, cung cấp cho người đọc sự hiểu biết kỹ thuật toàn diện. ## Tổng quan về kiến trúc CRNN ### Động lực thiết kế Trước CRNN, các hệ thống OCR thường áp dụng cách tiếp cận từng bước: phát hiện và phân đoạn ký tự được thực hiện trước, sau đó mỗi ký tự được nhận dạng. Cách tiếp cận này có các vấn đề sau: **Hạn chế của các phương pháp truyền thống**: - Lan truyền lỗi: Lỗi trong phân đoạn ký tự có thể ảnh hưởng trực tiếp đến kết quả nhận dạng - Độ phức tạp: Yêu cầu thiết kế các thuật toán phân đoạn ký tự phức tạp - Độ bền kém: Nhạy cảm với khoảng cách ký tự và thay đổi phông chữ - Không có khả năng xử lý các nét liên tục: Hiện tượng nét liên tục trong văn bản viết tay rất khó tách rời **Ý tưởng sáng tạo của CRNN**: - Học tập từ đầu đến cuối: Ánh xạ trực tiếp từ hình ảnh sang chuỗi văn bản - Không phân đoạn: Tránh sự phức tạp của phân đoạn nhân vật - Mô hình hóa trình tự: Sử dụng RNN để mô hình hóa sự phụ thuộc giữa các ký tự - Căn chỉnh CTC: Giải quyết sự không khớp giữa độ dài trình tự đầu vào-đầu ra ### Kiến trúc tổng thể Kiến trúc CRNN bao gồm ba thành phần chính: **1. Lớp tích chập **: - Chức năng: Trích xuất chuỗi tính năng từ hình ảnh đầu vào - Input: Hình ảnh dòng văn bản (chiều cao cố định, chiều rộng thay đổi) - Đầu ra: Trình tự bản đồ tính năng **2. Các lớp lặp lại **: - Function: Mô hình hóa các phần phụ thuộc theo ngữ cảnh trong chuỗi tính năng - Input: Trình tự tính năng được trích xuất bởi CNN - Đầu ra: Một chuỗi tính năng với thông tin theo ngữ cảnh **3. Lớp phiên âm**: - Chức năng: Chuyển đổi chuỗi tính năng thành chuỗi văn bản - Phương pháp: Sử dụng CTC (Phân loại thời gian kết nối) - Output: Kết quả nhận dạng văn bản cuối cùng ## Giải thích chi tiết về các lớp tích chập ### Chiến lược trích xuất tính năng Lớp tích chập của CRNN được thiết kế đặc biệt để nhận dạng văn bản: **Tính năng cấu trúc mạng**: - Độ sâu nông: 7 lớp lớp tích chập thường được sử dụng - Hạt nhân tích chập nhỏ: 3×3 hạt nhân tích chập được sử dụng chủ yếu - Chiến lược gộp: Sử dụng gộp một cách tiết kiệm theo chiều rộng **Cấu hình mạng cụ thể**: Đầu vào: 32×W×1 (Chiều cao 32, Chiều rộng W, Kênh đơn) Conv1: 64 3×3 hạt nhân tích chập, bước 1, điền 1 MaxPool1: 2×2 hồ bơi, chiều dài bậc 2 Conv2: 128 hạt nhân tích chập 3×3, bước 1, điền 1 MaxPool2: 2×2 gộp, kích thước bước 2 Conv3: 256 3×3 hạt nhân tích chập, bước 1, điền 1 Conv4: 256 lõi tích chập 3×3, bước 1, điền 1 MaxPool3: 2×1 gộp, kích thước bước (2,1) Conv5: 512 lõi tích chập 3×3, bước 1, điền 1 Định mức hàng loạt + ReLU Conv6: 512 hạt nhân tích chập 3×3, bước 1, điền 1 Định mức hàng loạt + ReLU MaxPool4: 2×1 gộp, kích thước bước (2,1) Conv7: 512 2×2 hạt nhân tích chập, bước 1, điền 0 Đầu ra: 512×1×W / 4 ### Cân nhắc thiết kế chính **Chiến lược nén cao**: - Mục tiêu: Nén hình ảnh lên cao 1 pixel - Phương pháp: Nén dần chiều cao bằng cách sử dụng nhiều lớp gộp - Lý do: Chiều cao của dòng văn bản tương đối không quan trọng **Chiến lược nắm giữ chiều rộng**: - Mục tiêu: Duy trì thông tin chiều rộng của hình ảnh càng nhiều càng tốt - Phương pháp: Giảm các hoạt động gộp theo hướng chiều rộng - Lý do: Thông tin trình tự của văn bản chủ yếu được phản ánh theo hướng chiều rộng **Chuyển đổi bản đồ tính năng**: Đầu ra của lớp tích chập cần được chuyển đổi sang định dạng đầu vào của RNN: - Đầu ra thô: C×H×W (Chiều cao × kênh× Chiều rộng) - Chuyển đổi: W×C (Độ dài trình tự× Kích thước tính năng) - Phương pháp: Lấy vectơ tính năng cho mỗi vị trí chiều rộng làm bước thời gian ## Giải thích chi tiết về lớp tròn ### Lựa chọn RNN CRNN thường sử dụng LSTM hai chiều làm lớp vòng lặp: **Ưu điểm của LSTM hai chiều**: - Thông tin theo ngữ cảnh: Sử dụng cả ngữ cảnh tiến và lùi - Phụ thuộc đường dài: LSTM có khả năng xử lý các phụ thuộc đường dài - Ổn định gradient: Tránh vấn đề biến mất gradient **Cấu hình mạng**: Đầu vào: W×512 (chiều dài trình tự × kích thước tính năng) BiLSTM1: 256 ô ẩn (128 tiến + 128 lùi) BiLSTM2: 256 ô ẩn (128 tiến + 128 lùi) Đầu ra: W×256 (chiều dài trình tự× kích thước ẩn) ### Cơ chế mô hình hóa trình tự **Mô hình phụ thuộc thời gian**: Lớp RNN nắm bắt các phụ thuộc thời gian giữa các ký tự: - Thông tin của nhân vật trước đó giúp nhận dạng nhân vật hiện tại - Thông tin cho các ký tự tiếp theo cũng có thể cung cấp ngữ cảnh hữu ích - Thông tin của toàn bộ từ hoặc cụm từ giúp phân biệt **Cải tiến tính năng**: Các tính năng được xử lý bởi RNN có các đặc điểm sau: - Nhạy cảm với ngữ cảnh: Các tính năng của mỗi vị trí chứa thông tin theo ngữ cảnh - Tính nhất quán về thời gian: Các đối tượng địa lý ở các vị trí liền kề có tính liên tục nhất định - Phong phú ngữ nghĩa: Kết hợp các tính năng hình ảnh và trình tự ## Giải thích chi tiết về lớp phiên âm ### Cơ chế CTC CTC (Phân loại thời gian kết nối) là một thành phần quan trọng của CRNN: **Vai trò của CTC**: - Giải quyết các vấn đề căn chỉnh: Độ dài trình tự đầu vào không khớp với độ dài trình tự đầu ra - Đào tạo từ đầu đến cuối: Không cần chú thích căn chỉnh cấp ký tự - Xử lý trùng lặp: Xử lý các trường hợp ký tự trùng lặp một cách chính xác **Cách thức hoạt động của CTC**: 1. Mở rộng bộ nhãn: Thêm nhãn trống lên trên bộ ký tự gốc 2. Liệt kê đường dẫn: Liệt kê tất cả các đường dẫn căn chỉnh có thể có 3. Xác suất đường dẫn: Tính xác suất của từng đường dẫn 4. Bên lề: tính tổng xác suất của tất cả các đường dẫn để có được xác suất trình tự ### Chức năng mất CTC **Biểu diễn toán học**: Với trình tự đầu vào X và dãy mục tiêu Y, tổn thất CTC được định nghĩa là: L_CTC = -log P (Y | X) trong đó P(Y| X) thu được bằng cách tổng xác suất của tất cả các đường thẳng có thể có: P (Y | X) = Σ_π∈B^(-1)(Y) P(π| X) Ở đây B^(-1)(Y) đại diện cho tất cả các tập hợp đường dẫn có thể được ánh xạ đến dãy mục tiêu Y. **Thuật toán tiến-lùi**: Để tính toán tổn thất CTC một cách hiệu quả, thuật toán tiến-lùi để lập trình động được sử dụng: - Thuật toán chuyển tiếp: Tính toán xác suất đạt đến từng trạng thái - Thuật toán ngược: Tính xác suất từ mỗi trạng thái đến cuối - Tính toán gradient: Tính toán gradient kết hợp với xác suất tiến-lùi ## Chiến lược đào tạo CRNN ### Tiền xử lý dữ liệu **Tiền xử lý hình ảnh**: - Chuẩn hóa kích thước: Thống nhất chiều cao hình ảnh thành 32 pixel - Bảo trì tỷ lệ khung hình: Duy trì tỷ lệ khung hình của hình ảnh gốc - Chuyển đổi thang độ xám: Chuyển đổi sang hình ảnh thang độ xám một kênh - Chuẩn hóa số: các giá trị pixel được chuẩn hóa thành [0,1] hoặc [-1,1] **Nâng cao dữ liệu**: - Biến đổi hình học: xoay, nghiêng, chuyển đổi phối cảnh - Thay đổi ánh sáng: điều chỉnh độ sáng, độ tương phản - Thêm tiếng ồn: Tiếng ồn Gaussian, tiếng ồn muối và hạt tiêu - Làm mờ: Làm mờ chuyển động, làm mờ Gaussian ### Kỹ thuật đào tạo **Lập lịch trình tốc độ học tập**: - Tốc độ học ban đầu: Thường được đặt thành 0,001 - Chiến lược phân rã: Phân rã theo cấp số nhân hoặc phân rã bước - Chiến lược khởi động: Một vài kỷ nguyên đầu tiên sử dụng tốc độ học tập nhỏ **Kỹ thuật chính quy hóa**: - Dropout: Thêm dropout sau layer RNN - Suy giảm trọng lượng: Chính quy hóa L2 ngăn chặn quá khớp - Chuẩn hóa hàng loạt: Sử dụng chuẩn hóa hàng loạt trong lớp CNN **Lựa chọn trình tối ưu hóa**: - Adam: Tốc độ học thích ứng, hội tụ nhanh - RMSprop: Thích hợp cho đào tạo RNN - SGD+Momentum: Tùy chọn truyền thống nhưng ổn định ## Tối ưu hóa và cải tiến CRNN ### Tối ưu hóa kiến trúc **Cải tiến một phần của CNN**: - Kết nối ResNet: Đã thêm các kết nối còn lại để cải thiện độ ổn định của quá trình luyện tập - DenseNet Fabric: Kết nối dày đặc cải thiện tính năng ghép kênh - Cơ chế chú ý: Giới thiệu sự chú ý không gian trong CNN **Cải tiến một phần RNN**: - Thay thế GRU: Sử dụng GRU để giảm số lượng thông số - Transformer: Thay thế RNN bằng cơ chế tự chú ý - Tính năng đa quy mô: Kết hợp các tính năng từ các quy mô khác nhau ### Tối ưu hóa hiệu suất **Tăng tốc suy luận**: - Lượng tử hóa mô hình: Lượng tử hóa INT8 làm giảm nỗ lực tính toán - Cắt tỉa mô hình: Loại bỏ các kết nối không quan trọng - Chắt lọc kiến thức: Tìm hiểu kiến thức về mô hình lớn với mô hình nhỏ **Tối ưu hóa bộ nhớ**: - Điểm kiểm tra độ dốc: Giảm dấu chân bộ nhớ trong quá trình đào tạo - Độ chính xác hỗn hợp: Đào tạo với FP16 - Tối ưu hóa biểu đồ động: Tối ưu hóa cấu trúc của đồ thị được tính toán ## Các trường hợp ứng dụng trong thế giới thực ### Nhận dạng văn bản viết tay **Kịch bản ứng dụng**: - Số hóa ghi chú viết tay - Tự động điền biểu mẫu - Nhận dạng tài liệu lịch sử ** Tính năng kỹ thuật **: - Biến thể ký tự lớn: Yêu cầu khả năng trích xuất tính năng mạnh mẽ - Xử lý đột quỵ liên tục: Ưu điểm của cơ chế CTC là rõ ràng - Vấn đề ngữ cảnh: Khả năng mô hình hóa trình tự của RNN là rất quan trọng ### Nhận dạng văn bản in **Kịch bản ứng dụng**: - Số hóa tài liệu - Nhận dạng vé - Nhận dạng biển báo ** Tính năng kỹ thuật **: - Tính đều đặn của phông chữ: Trích xuất tính năng CNN tương đối đơn giản - Quy tắc kiểu chữ: Thông tin bố cục có thể được sử dụng - Yêu cầu độ chính xác cao: Yêu cầu tinh chỉnh mô hình ### Nhận dạng văn bản cảnh **Kịch bản ứng dụng**: - Nhận dạng văn bản Chế độ xem phố - Nhận dạng nhãn sản phẩm - Nhận dạng biển báo giao thông ** Tính năng kỹ thuật **: - Nền phức tạp: Yêu cầu trích xuất tính năng mạnh mẽ - Biến dạng nghiêm trọng: Cần thiết kế kiến trúc mạnh mẽ - Yêu cầu thời gian thực: Yêu cầu suy luận hiệu quả ## Tổng kết Là một kiến trúc cổ điển của deep learning OCR, CRNN giải quyết thành công nhiều vấn đề của phương pháp OCR truyền thống. Phương pháp đào tạo từ đầu đến cuối, khái niệm thiết kế không phân đoạn ký tự và sự ra đời của cơ chế CTC đều cung cấp nguồn cảm hứng quan trọng cho sự phát triển tiếp theo của công nghệ OCR. **Đóng góp chính**: - End-to-End Learning: Đơn giản hóa việc thiết kế hệ thống OCR - Mô hình hóa trình tự: Sử dụng hiệu quả các thuộc tính trình tự của văn bản - Căn chỉnh CTC: Giải quyết độ dài trình tự không khớp - Kiến trúc đơn giản: Dễ hiểu và dễ triển khai **Hướng phát triển**: - Cơ chế chú ý: Giới thiệu sự chú ý để cải thiện hiệu suất - Transformer: Thay thế RNN bằng self-attention - Hợp nhất đa phương thức: Kết hợp các thông tin khác như mô hình ngôn ngữ - Thiết kế nhẹ: nén mô hình cho thiết bị di động Thành công của CRNN là minh chứng cho tiềm năng to lớn của deep learning trong lĩnh vực OCR và cung cấp kinh nghiệm quý báu để hiểu cách thiết kế hệ thống học tập end-to-end hiệu quả. Trong bài viết tiếp theo, chúng ta sẽ đi sâu vào toán học và chi tiết triển khai của hàm tổn thất CTC.