【Sê-ri OCR học sâu·4】Mạng nơ-ron tuần hoàn và mô hình trình tự

## Giới thiệu Mạng nơ-ron tuần hoàn (RNN) là một kiến trúc mạng nơ-ron trong học sâu chuyên xử lý dữ liệu trình tự. Trong các tác vụ OCR, nhận dạng văn bản về cơ bản là một vấn đề chuyển đổi từ trình tự sang trình tự: chuyển đổi một chuỗi các tính năng hình ảnh thành một chuỗi ký tự văn bản. Bài viết này sẽ đi sâu vào cách hoạt động của RNN, các biến thể chính của nó và các ứng dụng cụ thể của nó trong OCR, cung cấp cho độc giả nền tảng lý thuyết toàn diện và hướng dẫn thực tế. ## Nguyên tắc cơ bản của RNN ### Hạn chế của mạng nơ-ron truyền thống Mạng nơ-ron chuyển tiếp truyền thống có những hạn chế cơ bản trong việc xử lý dữ liệu trình tự. Các mạng này giả định rằng dữ liệu đầu vào là độc lập và phân phối đồng nhất, và không thể nắm bắt sự phụ thuộc thời gian giữa các phần tử trong chuỗi. **Sự cố mạng Feedforward**: - Độ dài đầu vào và đầu ra cố định: Không thể xử lý chuỗi độ dài thay đổi - Thiếu khả năng ghi nhớ: Không có khả năng sử dụng thông tin lịch sử - Khó khăn trong việc chia sẻ tham số: Cùng một mẫu cần được học lặp đi lặp lại ở các vị trí khác nhau - Độ nhạy vị trí: Thay đổi thứ tự đầu vào có thể dẫn đến đầu ra hoàn toàn khác nhau Những hạn chế này đặc biệt đáng chú ý trong các tác vụ OCR. Các chuỗi văn bản phụ thuộc nhiều vào ngữ cảnh và kết quả nhận dạng của ký tự trước đó thường giúp xác định khả năng của các ký tự tiếp theo. Ví dụ: khi xác định từ tiếng Anh "the", nếu "th" đã được nhận dạng, thì ký tự tiếp theo có thể là "e". ### Ý tưởng cốt lõi của RNN RNN giải quyết vấn đề mô hình hóa trình tự bằng cách giới thiệu các mối nối vòng lặp. Ý tưởng cốt lõi là thêm một cơ chế "bộ nhớ" vào mạng, để mạng có thể lưu trữ và sử dụng thông tin từ những khoảnh khắc trước đó. **Biểu diễn toán học của RNN**: Tại thời điểm t, trạng thái ẩn của RNN h_t xác định bởi x_t đầu vào hiện tại và trạng thái ẩn của thời điểm trước đó h_{t-1}: h_t = f(W_hh * h_{t-1} + W_xh * x_t + b_h) Trong số đó: - W_hh là ma trận trọng số từ trạng thái ẩn sang trạng thái ẩn - W_xh là ma trận trọng lượng được nhập vào trạng thái ẩn - b_h là một vectơ thiên vị - f là hàm kích hoạt (thường là tanh hoặc ReLU) y_t đầu ra được tính từ trạng thái ẩn hiện tại: y_t = W_hy * h_t + b_y **Ưu điểm của RNN**: - Chia sẻ thông số: Các trọng số giống nhau được chia sẻ trên tất cả các bước thời gian - Xử lý trình tự độ dài thay đổi: Có thể xử lý các chuỗi đầu vào có độ dài tùy ý - Khả năng ghi nhớ: Các trạng thái ẩn hoạt động như "ký ức" của mạng - Đầu vào và đầu ra linh hoạt: Hỗ trợ các chế độ một-một, một-nhiều, nhiều-một, nhiều-nhiều và hơn thế nữa ### Chế độ xem mở rộng về RNN Để hiểu rõ hơn về cách hoạt động của RNN, chúng ta có thể mở rộng chúng trong chiều thời gian. RNN mở rộng trông giống như một mạng feedforward sâu, nhưng tất cả các bước thời gian đều chia sẻ cùng một tham số. ** Ý nghĩa của thời gian mở ra **: - Luồng thông tin dễ hiểu: Có thể thấy rõ cách thông tin được truyền giữa các bước thời gian - Tính toán gradient: Gradient được tính toán thông qua thuật toán Time Backpropagation (BPTT) - Cân nhắc song song: Mặc dù RNN vốn dĩ tuần tự, nhưng một số hoạt động nhất định có thể được song song hóa **Mô tả toán học về quá trình mở ra **: Đối với các dãy có độ dài T, RNN mở rộng như sau: h_1 = f(W_xh * x_1 + b_h) h_2 = f(W_hh * h_1 + W_xh * x_2 + b_h) h_3 = f(W_hh * h_2 + W_xh * x_3 + b_h) ... h_T = f(W_hh * h_{T-1} + W_xh * x_T + b_h) Biểu mẫu mở ra này cho thấy rõ ràng cách thông tin được truyền giữa các bước thời gian và cách các tham số được chia sẻ trên tất cả các bước thời gian. ## Sự cố biến mất và nổ gradient ### Gốc rễ của vấn đề Khi đào tạo RNN, chúng tôi sử dụng thuật toán Backpropagation Through Time (BPTT). Thuật toán cần tính toán độ dốc của hàm mất cho từng tham số bước thời gian. ** Định luật chuỗi để tính toán gradient **: Khi trình tự dài, gradient cần được lan truyền ngược qua nhiều bước thời gian. Theo quy tắc chuỗi, một gradient sẽ chứa nhiều phép nhân của ma trận trọng số: ∂L / ∂W = Σ_t (∂L / ∂y_t) * (∂y_t / ∂h_t) * (∂h_t / ∂W) trong đó ∂h_t/∂W liên quan đến tích của tất cả các trạng thái trung gian từ thời điểm t đến thời điểm 1. **Phân tích toán học về sự biến mất của gradient**: Xem xét sự lan truyền của gradient giữa các bước thời gian: ∂h_t/∂h_{t-1} = diag(f_prime(W_hh * h_{t-1} + W_xh * x_t + b_h)) * W_hh Khi độ dài trình tự là T, gradient chứa T-1 số hạng tích như vậy. Nếu giá trị riêng lớn nhất của W_hh nhỏ hơn 1, phép nhân ma trận liên tục sẽ gây ra phân rã theo cấp số nhân. **Phân tích toán học về các vụ nổ gradient**: Ngược lại, khi giá trị riêng lớn nhất của W_hh lớn hơn 1, gradient tăng theo cấp số nhân: || ∂h_t/∂h_1|| ≈ || W_hh|| ^{t-1} Điều này dẫn đến việc đào tạo không ổn định và cập nhật thông số quá mức. ### Giải thích chi tiết về giải pháp Cắt gradient: Cắt gradient là cách trực tiếp nhất để giải quyết các vụ nổ gradient. Khi định mức gradient vượt quá ngưỡng đã đặt, gradient sẽ được chia tỷ lệ theo kích thước ngưỡng. Phương pháp này đơn giản và hiệu quả, nhưng đòi hỏi phải lựa chọn cẩn thận các ngưỡng. Ngưỡng quá nhỏ sẽ hạn chế khả năng học tập và ngưỡng quá lớn sẽ không ngăn chặn hiệu quả sự bùng nổ gradient. **Chiến lược khởi tạo trọng lượng**: Khởi tạo trọng lượng thích hợp có thể làm giảm các vấn đề về gradient: - Khởi tạo Xavier: Phương sai trọng số là 1/n, trong đó n là thứ nguyên đầu vào - Khởi tạo He: Phương sai trọng số là 2/n, phù hợp với các chức năng kích hoạt ReLU - Khởi tạo trực giao: Khởi tạo ma trận trọng số dưới dạng ma trận trực giao **Lựa chọn chức năng kích hoạt**: Các chức năng kích hoạt khác nhau có tác dụng khác nhau đối với sự lan truyền gradient: - Thanh: Phạm vi đầu ra [-1,1], giá trị tối đa của gradient là 1 - ReLU: có thể làm giảm sự biến mất gradient nhưng có thể gây chết tế bào thần kinh - Leaky ReLU: Giải quyết vấn đề chết tế bào thần kinh của ReLU **Cải tiến kiến trúc**: Giải pháp cơ bản nhất là cải thiện kiến trúc RNN, dẫn đến sự xuất hiện của LSTM và GRU. Các kiến trúc này giải quyết các gradient thông qua các cơ chế cổng và thiết kế luồng thông tin chuyên biệt. ## LSTM: Mạng bộ nhớ ngắn hạn dài hạn ### Động lực thiết kế cho LSTM LSTM (Long Short-Term Memory) là một biến thể RNN được đề xuất bởi Hochreiter và Schmidhuber vào năm 1997, được thiết kế đặc biệt để giải quyết vấn đề biến mất gradient và khó khăn học tập phụ thuộc từ xa. ** Những đổi mới cốt lõi của LSTM **: - Cell State: Đóng vai trò như một "đường cao tốc" cho thông tin, cho phép thông tin lưu trực tiếp giữa các bước thời gian - Cơ chế cổng: Kiểm soát chính xác luồng thông tin vào, lưu giữ và xuất ra - Cơ chế trí nhớ phân ly: phân biệt giữa trí nhớ ngắn hạn (trạng thái ẩn) và trí nhớ dài hạn (trạng thái tế bào) **Cách LSTM giải quyết các vấn đề về gradient **: LSTM cập nhật trạng thái ô thông qua các phép tính cộng thay vì phép nhân, cho phép gradient chảy dễ dàng hơn đến các bước thời gian trước đó. Công thức cập nhật cho trạng thái ô: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Phép cộng cấp phần tử được sử dụng ở đây, tránh phép nhân ma trận liên tục trong RNN truyền thống. ### Giải thích chi tiết về kiến trúc LSTM LSTM chứa ba đơn vị cổng và một trạng thái ô: **1. Quên cổng**: Cổng lãng quên quyết định thông tin nào sẽ loại bỏ khỏi trạng thái ô: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) Đầu ra của cổng lãng quên là một giá trị từ 0 đến 1, với 0 là "hoàn toàn bị lãng quên" và 1 là "hoàn toàn được giữ lại". Cổng này cho phép LSTM quên đi thông tin lịch sử không quan trọng một cách có chọn lọc. **2. Cổng đầu vào **: Cổng đầu vào xác định thông tin mới nào được lưu trữ trong trạng thái ô: i_t = σ(W_i · [h_{t-1}, x_t] + b_i) C_tilde_t = tanh(W_C · [h_{t-1}, x_t] + b_C) Cổng đầu vào bao gồm hai phần: lớp sigmoid xác định giá trị nào cần cập nhật và lớp tanh tạo ra các vectơ giá trị ứng cử viên. **3. Cập nhật trạng thái tế bào**: Kết hợp đầu ra của cổng quên và cổng đầu vào để cập nhật trạng thái ô: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Công thức này là trọng tâm của LSTM: lưu giữ có chọn lọc và cập nhật thông tin thông qua các phép tính nhân và cộng ở cấp độ phần tử. **4. Cổng đầu ra **: Cổng đầu ra xác định phần nào của ô được xuất ra: o_t = σ(W_o · [h_{t-1}, x_t] + b_o) h_t = o_t ⊙ thang(C_t) Cổng đầu ra kiểm soát phần nào của trạng thái ô ảnh hưởng đến đầu ra hiện tại. ### Biến thể LSTM ** Lỗ nhìn trộm LSTM **: Được xây dựng dựa trên LSTM tiêu chuẩn, Peephole LSTM cho phép thiết bị cổng view trạng thái ô: f_t = σ(W_f · [C_{t-1}, h_{t-1}, x_t] + b_f) i_t = σ(W_i · [C_{t-1}, h_{t-1}, x_t] + b_i) o_t = σ(W_o · [C_t, h_{t-1}, x_t] + b_o) ** LSTM ghép nối **: Kết hợp cổng quên với cổng nhập để đảm bảo rằng lượng thông tin bị quên bằng với lượng thông tin đã nhập: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) i_t = 1 - f_t Thiết kế này làm giảm số lượng thông số trong khi vẫn duy trì chức năng cốt lõi của LSTM. ## GRU: Đơn vị vòng lặp có cổng ### Thiết kế đơn giản của GRU GRU (Gated Recurrent Unit) là một phiên bản đơn giản hóa của LSTM do Cho và cộng sự đề xuất vào năm 2014. GRU đơn giản hóa ba cổng của LSTM thành hai cổng và hợp nhất trạng thái di động và trạng thái ẩn. **Triết lý thiết kế của GRU**: - Cấu trúc đơn giản: Giảm số lượng cửa và giảm độ phức tạp của các phép tính - Duy trì hiệu suất: Đơn giản hóa trong khi vẫn duy trì hiệu suất tương đương với LSTM - Dễ thực hiện: Xây dựng đơn giản hơn cho phép dễ dàng thực hiện và vận hành ### Cơ chế cổng của GRU **1. Đặt lại cổng **: r_t = σ(W_r · [h_{t-1}, x_t] + b_r) Cổng đặt lại xác định cách kết hợp đầu vào mới với bộ nhớ trước đó. Khi cổng đặt lại gần về 0, mô hình sẽ bỏ qua trạng thái ẩn trước đó. **2. Cổng cập nhật**: z_t = σ(W_z · [h_{t-1}, x_t] + b_z) Cổng cập nhật xác định lượng thông tin trong quá khứ cần lưu giữ và bao nhiêu thông tin mới cần thêm vào. Nó kiểm soát cả quên và nhập, tương tự như sự kết hợp của cổng quên và cổng đầu vào trong LSTM. **3. Trạng thái ẩn của ứng cử viên**: h_tilde_t = tanh(W_h · [r_t ⊙ h_{t-1}, x_t] + b_h) Các trạng thái ẩn ứng cử viên sử dụng cổng đặt lại để kiểm soát ảnh hưởng của trạng thái ẩn trước đó. **4. Trạng thái ẩn cuối cùng**: h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h_tilde_t Trạng thái ẩn cuối cùng là trung bình gia quyền của trạng thái ẩn trước đó và trạng thái ẩn của ứng cử viên. ### So sánh chuyên sâu GRU và LSTM **So sánh số lượng thông số**: - LSTM: 4 ma trận trọng lượng (quên cổng, cổng đầu vào, giá trị ứng cử viên, cổng đầu ra) - GRU: 3 ma trận trọng số (reset gate, update gate, candidate value) - Số lượng thông số của GRU xấp xỉ 75% LSTM **So sánh độ phức tạp tính toán**: - LSTM: Yêu cầu tính toán 4 đầu ra cổng và cập nhật trạng thái ô - GRU: Đơn giản tính toán đầu ra của 2 cổng và cập nhật trạng thái ẩn - GRU thường nhanh hơn 20-30% so với LSTM **So sánh hiệu suất**: - Trên hầu hết các tác vụ, GRU và LSTM hoạt động tương đương - LSTM có thể tốt hơn một chút so với GRU trên một số tác vụ trình tự dài - GRU là lựa chọn tốt hơn trong trường hợp tài nguyên máy tính bị hạn chế ## RNN hai chiều ### Sự cần thiết của xử lý hai chiều Trong nhiều nhiệm vụ mô hình hóa trình tự, đầu ra của thời điểm hiện tại không chỉ dựa vào quá khứ mà còn dựa vào thông tin trong tương lai. Điều này đặc biệt quan trọng trong các tác vụ OCR, nơi nhận dạng ký tự thường yêu cầu xem xét ngữ cảnh của toàn bộ từ hoặc câu. **Hạn chế của RNN một chiều**: - Chỉ có thể sử dụng thông tin lịch sử, không thể thu được bối cảnh trong tương lai - Hiệu suất hạn chế trong một số nhiệm vụ nhất định, đặc biệt là những nhiệm vụ yêu cầu thông tin toàn cầu - Hạn chế nhận dạng các ký tự mơ hồ **Ưu điểm của xử lý hai chiều**: - Hoàn thành thông tin ngữ cảnh: Tận dụng cả thông tin trong quá khứ và tương lai - Định hướng tốt hơn: Định hướng bằng thông tin ngữ cảnh - Cải thiện độ chính xác nhận dạng: Thực hiện tốt hơn trên hầu hết các tác vụ chú thích trình tự ### Kiến trúc LSTM hai chiều LSTM hai chiều bao gồm hai lớp LSTM: - Forward LSTM: Xử lý trình tự từ trái sang phải - LSTM ngược: Xử lý trình tự từ phải sang trái **Biểu diễn toán học**: h_forward_t = LSTM_forward(x_t, h_forward_{t-1}) h_backward_t = LSTM_backward(x_t, h_backward_{t+1}) h_t = [h_forward_t; h_backward_t] # Khâu các trạng thái ẩn tiến và lùi **Quy trình đào tạo**: 1. Chuyển tiếp LSTM xử lý trình tự theo thứ tự bình thường 2. LSTM ngược xử lý các trình tự theo thứ tự ngược lại 3. Ở mỗi bước thời gian, kết nối các trạng thái ẩn theo cả hai hướng 4. Sử dụng trạng thái nối để dự đoán **Ưu điểm và nhược điểm**: Những lợi ích: - Thông tin ngữ cảnh đầy đủ - Hiệu suất tốt hơn - Xử lý đối xứng Nhược điểm: - Tăng gấp đôi độ phức tạp của các phép tính - Không thể xử lý trong thời gian thực (yêu cầu trình tự đầy đủ) - Tăng yêu cầu bộ nhớ ## Ứng dụng mô hình hóa trình tự trong OCR ### Giải thích chi tiết về nhận dạng dòng văn bản Trong các hệ thống OCR, nhận dạng dòng văn bản là một ứng dụng điển hình của mô hình hóa trình tự. Quá trình này liên quan đến việc chuyển đổi một chuỗi các tính năng hình ảnh thành một chuỗi ký tự. **Mô hình hóa vấn đề**: - Đầu vào: Chuỗi tính năng hình ảnh X = {x_1, x_2, ..., x_T} - Đầu ra: Dãy ký tự Y = {y_1, y_2, ..., y_S} - Thách thức: Chiều dài trình tự đầu vào T và chiều dài trình tự đầu ra S thường không bằng nhau **Ứng dụng kiến trúc CRNN trong nhận dạng dòng văn bản**: CRNN (Convolutional Recurrent Neural Network) là một trong những kiến trúc thành công nhất trong OCR: 1. **Lớp trích xuất tính năng CNN**: - Trích xuất các tính năng hình ảnh bằng cách sử dụng mạng nơ-ron tích chập - Chuyển đổi các tính năng hình ảnh 2D thành chuỗi tính năng 1D - Duy trì tính liên tục của thông tin thời gian 2. **Lớp mô hình hóa trình tự RNN**: - Mô hình chuỗi tính năng sử dụng LSTM hai chiều - Nắm bắt sự phụ thuộc theo ngữ cảnh giữa các ký tự - Phân phối xác suất ký tự đầu ra cho mỗi bước thời gian 3. **Lớp căn chỉnh CTC**: - Giải quyết độ dài trình tự đầu vào / đầu ra không khớp - Không yêu cầu kích thước căn chỉnh cấp ký tự - Đào tạo từ đầu đến cuối **Chuyển đổi trích xuất tính năng thành trình tự**: Bản đồ tính năng do CNN trích xuất cần được chuyển đổi thành dạng trình tự mà RNN có thể xử lý: - Phân đoạn bản đồ đối tượng địa lý thành các cột, với mỗi cột là một bước thời gian - Duy trì trình tự thời gian của thông tin không gian - Đảm bảo rằng độ dài của chuỗi đối tượng địa lý tỷ lệ thuận với chiều rộng của hình ảnh ### Ứng dụng cơ chế chú ý trong OCR RNN truyền thống vẫn có nút thắt thông tin khi xử lý các chuỗi dài. Sự ra đời của các cơ chế chú ý nâng cao hơn nữa khả năng của mô hình hóa trình tự. **Nguyên tắc của cơ chế chú ý**: Cơ chế chú ý cho phép mô hình tập trung vào các phần khác nhau của chuỗi đầu vào khi tạo ra từng đầu ra: - Giải quyết tắc nghẽn thông tin của các vectơ được mã hóa có độ dài cố định - Cung cấp khả năng giải thích các quyết định mô hình - Cải thiện xử lý các chuỗi dài **Các ứng dụng cụ thể trong OCR**: 1. **Chú ý ở cấp độ nhân vật**: - Tập trung vào các khu vực hình ảnh có liên quan khi xác định từng ký tự - Điều chỉnh trọng số chú ý một cách nhanh chóng - Cải thiện độ bền cho các nền phức tạp 2. **Chú ý ở cấp độ từ**: - Xem xét thông tin ngữ cảnh ở cấp độ từ vựng - Tận dụng kiến thức mô hình ngôn ngữ - Cải thiện độ chính xác của nhận dạng toàn bộ từ 3. **Chú ý đa thang đo**: - Áp dụng các cơ chế chú ý ở các độ phân giải khác nhau - Xử lý văn bản có kích thước khác nhau - Cải thiện khả năng thích ứng với các thay đổi quy mô **Biểu diễn toán học của cơ chế chú ý**: Đối với trình tự đầu ra của bộ mã hóa H = {h_1, h_2, ..., h_T} và trạng thái bộ giải mã s_t: e_{t,i} = a(s_t, h_i) # Điểm chú ý α_{t,i} = softmax(e_{t,i}) # Trọng lượng chú ý c_t = Σ_i α_{t,i} * h_i # vectơ ngữ cảnh ## Chiến lược đào tạo và tối ưu hóa ### Chiến lược đào tạo theo trình tự **Cưỡng bức giáo viên**: Trong giai đoạn đào tạo, hãy sử dụng chuỗi mục tiêu thực làm đầu vào của bộ giải mã: - Ưu điểm: tốc độ tập luyện nhanh, hội tụ ổn định - Nhược điểm: Các giai đoạn đào tạo và suy luận không nhất quán, dẫn đến tích lũy lỗi **Lấy mẫu theo lịch trình**: Chuyển dần từ ép giáo viên sang sử dụng dự đoán của chính mô hình trong quá trình đào tạo: - Sử dụng nhãn thực trong giai đoạn đầu và mô hình dự đoán trong giai đoạn sau - Giảm sự khác biệt trong đào tạo và lý luận - Cải thiện độ bền của mô hình ** Chương trình học **: Bắt đầu với các mẫu đơn giản và tăng dần độ phức tạp của các mẫu: - Trình tự ngắn đến dài: Đào tạo các văn bản ngắn trước, sau đó là các văn bản dài - Hình ảnh rõ ràng đến mờ: Tăng dần độ phức tạp của hình ảnh - Phông chữ đơn giản đến phức tạp: Từ in đến viết tay ### Kỹ thuật chính quy hóa **Ứng dụng bỏ học trong RNN**: Áp dụng bỏ học trong RNN cần đặc biệt chú ý: - Không áp dụng bỏ kết nối vòng lặp - Dropout có thể được áp dụng ở các lớp đầu vào và đầu ra - Bỏ học biến thể: Sử dụng cùng một mặt nạ bỏ học ở mọi thời điểm **Phân rã trọng lượng**: Chính quy hóa L2 ngăn chặn quá khớp: Mất = CrossEntropy + λ * || W|| ² trong đó λ là hệ số chính quy hóa, cần được tối ưu hóa bởi tập hợp xác thực. **Cắt xén gradient**: Một cách hiệu quả để ngăn chặn các vụ nổ gradient. Khi định mức gradient vượt quá ngưỡng, hãy chia tỷ lệ gradient theo tỷ lệ để giữ cho hướng gradient không thay đổi. **Dừng sớm**: Theo dõi hiệu suất của bộ xác thực và dừng đào tạo khi hiệu suất không còn được cải thiện: - Ngăn chặn quá khớp - Tiết kiệm tài nguyên máy tính - Chọn mô hình tối ưu ### Điều chỉnh siêu tham số **Lập lịch trình tốc độ học tập**: - Tỷ lệ học ban đầu: Thường được đặt ở mức 0,001-0,01 - Giảm tốc độ học tập: phân rã theo cấp số nhân hoặc phân rã bậc thang - Tốc độ học tập thích ứng: Sử dụng các trình tối ưu hóa như Adam, RMSprop, v.v. ** Lựa chọn kích thước lô **: - Hàng loạt nhỏ: Hiệu suất tổng quát hóa tốt hơn nhưng thời gian đào tạo lâu hơn - Khối lượng lớn: Đào tạo nhanh nhưng có thể ảnh hưởng đến khái quát hóa - Kích thước lô từ 16-128 thường được chọn **Xử lý độ dài trình tự**: - Chiều dài cố định: Cắt bớt hoặc điền các trình tự đến độ dài cố định - Độ dài động: Sử dụng khoảng đệm và mặt nạ để xử lý các chuỗi độ dài thay đổi - Chiến lược đóng bao: Nhóm các chuỗi có độ dài tương tự ## Đánh giá và phân tích hiệu suất ### Đánh giá số liệu **Độ chính xác cấp độ nhân vật**: Accuracy_char = (Số ký tự được nhận dạng chính xác) / (Tổng số ký tự) Đây là chỉ số đánh giá cơ bản nhất và phản ánh trực tiếp khả năng nhận dạng ký tự của mô hình. **Độ chính xác của mức nối tiếp**: Accuracy_seq = (Số lượng trình tự được nhận dạng chính xác) / (Tổng số dãy) Chỉ báo này nghiêm ngặt hơn và chỉ một trình tự hoàn toàn chính xác mới được coi là đúng. **Khoảng cách chỉnh sửa (khoảng cách Levenshtein)**: Đo lường sự khác biệt giữa chuỗi dự đoán và đúng: - Số lượng hoạt động chèn, tháo và thay thế tối thiểu - Khoảng cách chỉnh sửa được chuẩn hóa: khoảng cách chỉnh sửa / độ dài trình tự - Điểm BLEU: Thường được sử dụng trong dịch máy và cũng có thể được sử dụng để đánh giá OCR ### Phân tích lỗi **Các loại lỗi thường gặp**: 1. **Nhầm lẫn nhân vật**: Xác định sai các ký tự tương tự - Số 0 và chữ O - Số 1 và chữ l - Chữ M và N 2. **Lỗi trình tự**: Lỗi theo thứ tự ký tự - Vị trí nhân vật bị đảo ngược - Trùng lặp hoặc bỏ qua các ký tự 3. **Lỗi độ dài**: Lỗi dự đoán độ dài trình tự - Quá dài: Chèn các ký tự không tồn tại - Quá ngắn: Các ký tự có mặt bị thiếu **Phương pháp phân tích**: 1. **Ma trận nhầm lẫn**: Phân tích các mẫu lỗi cấp ký tự 2. **Trực quan hóa chú ý**: Hiểu mối quan tâm của mô hình 3. **Phân tích gradient**: Kiểm tra dòng gradient 4. **Phân tích kích hoạt**: Quan sát các mẫu kích hoạt trên các lớp của mạng ### Chẩn đoán mô hình **Phát hiện quá khớp**: - Tổn thất đào tạo tiếp tục giảm, tổn thất xác thực tăng - Độ chính xác đào tạo cao hơn nhiều so với độ chính xác xác nhận - Giải pháp: Tăng độ đều đặn và giảm độ phức tạp của mô hình **Phát hiện thiếu vừa vặn**: - Cả tổn thất đào tạo và xác thực đều cao - Mô hình hoạt động không tốt trên bộ tập luyện - Giải pháp: Tăng độ phức tạp của mô hình và điều chỉnh tốc độ học ** Chẩn đoán vấn đề gradient **: - Gradient Loss: Giá trị gradient quá nhỏ, học chậm - Bùng nổ gradient: Giá trị gradient quá mức dẫn đến quá trình đào tạo không ổn định - Giải pháp: Sử dụng LSTM / GRU, Gradient Cropping ## Các trường hợp ứng dụng trong thế giới thực ### Hệ thống nhận dạng ký tự viết tay **Kịch bản ứng dụng**: - Số hóa ghi chú viết tay: Chuyển đổi ghi chú giấy thành tài liệu điện tử - Tự động điền biểu mẫu: Tự động nhận dạng nội dung biểu mẫu viết tay - Nhận dạng tài liệu lịch sử: Số hóa sách cổ, tài liệu lịch sử ** Tính năng kỹ thuật **: - Các biến thể ký tự lớn: Văn bản viết tay có mức độ cá nhân hóa cao - Xử lý bút liên tục: Các kết nối giữa các ký tự cần được xử lý - Ngữ cảnh-Quan trọng: Sử dụng các mô hình ngôn ngữ để cải thiện khả năng nhận dạng **Kiến trúc hệ thống**: 1. **Mô-đun tiền xử lý**: - Khử nhiễu và nâng cao hình ảnh - Hiệu chỉnh độ nghiêng - Tách dòng văn bản 2. **Mô-đun trích xuất tính năng**: - CNN trích xuất các tính năng trực quan - Kết hợp tính năng đa quy mô - Tuần tự hóa tính năng 3. **Mô-đun mô hình hóa trình tự**: - Mô hình LSTM hai chiều - Cơ chế chú ý - Mã hóa theo ngữ cảnh 4. **Mô-đun giải mã **: - Giải mã CTC hoặc giải mã chú ý - Xử lý hậu kỳ mô hình ngôn ngữ - Đánh giá độ tin cậy ### Hệ thống nhận dạng tài liệu in **Kịch bản ứng dụng**: - Số hóa tài liệu: Chuyển đổi tài liệu giấy sang định dạng có thể chỉnh sửa - Nhận dạng hóa đơn: Tự động xử lý hóa đơn, biên lai và các hóa đơn khác - Nhận dạng biển báo: Xác định biển báo đường bộ, biển báo cửa hàng, v.v. ** Tính năng kỹ thuật **: - Phông chữ thông thường: Thường xuyên hơn văn bản viết tay - Quy tắc kiểu chữ: Thông tin bố cục có thể được sử dụng - Yêu cầu độ chính xác cao: Các ứng dụng thương mại có yêu cầu nghiêm ngặt về độ chính xác **Chiến lược tối ưu hóa**: 1. **Đào tạo đa phông chữ **: Sử dụng dữ liệu đào tạo từ nhiều phông chữ 2. **Tăng cường dữ liệu**: Xoay, chia tỷ lệ, bổ sung tiếng ồn 3. **Tối ưu hóa xử lý hậu kỳ**: kiểm tra chính tả, sửa ngữ pháp 4. **Đánh giá độ tin cậy**: Cung cấp điểm tin cậy cho kết quả công nhận ### Hệ thống nhận dạng văn bản cảnh **Kịch bản ứng dụng**: - Nhận dạng văn bản Chế độ xem phố: Nhận dạng văn bản trong Chế độ xem phố của Google - Nhận dạng nhãn sản phẩm: Tự động nhận dạng sản phẩm siêu thị - Nhận dạng biển báo giao thông: Ứng dụng của hệ thống giao thông thông minh **Thách thức kỹ thuật**: - Hình nền phức tạp: Văn bản được nhúng trong các cảnh thiên nhiên phức tạp - Biến dạng nghiêm trọng: Biến dạng phối cảnh, biến dạng uốn cong - Yêu cầu thời gian thực: Ứng dụng dành cho thiết bị di động cần đáp ứng **Giải pháp**: 1. **Trích xuất tính năng mạnh mẽ**: Sử dụng mạng CNN sâu hơn 2. **Xử lý đa quy mô**: Xử lý văn bản có kích thước khác nhau 3. **Hiệu chỉnh hình học**: Tự động sửa các biến dạng hình học 4. **Nén mô hình**: Tối ưu hóa mô hình cho thiết bị di động ## Tổng kết Mạng nơ-ron tuần hoàn cung cấp một công cụ mạnh mẽ để mô hình hóa trình tự trong OCR. Từ RNN cơ bản đến LSTM và GRU cải tiến đến cơ chế xử lý và chú ý hai chiều, sự phát triển của các công nghệ này đã cải thiện đáng kể hiệu suất của hệ thống OCR. **Bài học chính**: - RNN thực hiện mô hình hóa trình tự thông qua các nối vòng lặp, nhưng có vấn đề biến mất gradient - LSTM và GRU giải quyết vấn đề học tập phụ thuộc từ xa thông qua cơ chế kiểm soát - RNN hai chiều có thể tận dụng đầy đủ thông tin ngữ cảnh - Cơ chế chú ý nâng cao hơn nữa khả năng mô hình hóa trình tự - Các chiến lược đào tạo phù hợp và kỹ thuật chính quy hóa là rất quan trọng đối với hiệu suất của mô hình **Hướng phát triển trong tương lai**: - Tích hợp với kiến trúc Transformer - Cách tiếp cận hiệu quả hơn để mô hình hóa trình tự - Học đa phương thức từ đầu đến cuối - Cân bằng giữa thời gian thực và độ chính xác Khi công nghệ tiếp tục phát triển, các kỹ thuật mô hình hóa trình tự vẫn đang phát triển. Kinh nghiệm và công nghệ tích lũy được bởi RNN và các biến thể của chúng trong lĩnh vực OCR đã đặt nền tảng vững chắc cho việc hiểu và thiết kế các phương pháp mô hình hóa trình tự tiên tiến hơn.