【Siri OCR Pembelajaran Mendalam·4】Rangkaian Neural Berulang dan Pemodelan Jujukan

## Pengenalan Rangkaian Neural Berulang (RNN) ialah seni bina rangkaian saraf dalam pembelajaran mendalam yang pakar dalam memproses data jujukan. Dalam tugasan OCR, pengecaman teks pada asasnya ialah masalah penukaran jujukan kepada jujukan: menukar jujukan ciri imej kepada jujukan aksara teks. Artikel ini akan menyelidiki cara RNN berfungsi, varian utamanya dan aplikasi khususnya dalam OCR, memberikan pembaca asas teori yang komprehensif dan panduan praktikal. ## Asas RNN ### Batasan Rangkaian Neural Tradisional Rangkaian saraf salapan ke hadapan tradisional mempunyai had asas dalam memproses data jujukan. Rangkaian ini menganggap bahawa data input adalah bebas dan diagihkan secara homo, dan tidak boleh menangkap kebergantungan temporal antara unsur-unsur dalam jujukan. **Masalah Rangkaian Feedforward**: - Panjang input dan output tetap: Urutan panjang berubah-ubah tidak boleh dikendalikan - Kekurangan keupayaan ingatan: Ketidakupayaan untuk menggunakan maklumat sejarah - Kesukaran dalam Perkongsian Parameter: Corak yang sama perlu dipelajari berulang kali di lokasi yang berbeza - Kepekaan kedudukan: Menukar susunan input boleh membawa kepada output yang sama sekali berbeza Had ini amat ketara dalam tugas OCR. Urutan teks sangat bergantung kepada konteks, dan hasil pengecaman aksara sebelumnya sering membantu menentukan kemungkinan aksara berikutnya. Sebagai contoh, apabila mengenal pasti perkataan Inggeris "the", jika "th" sudah dikenali, maka aksara seterusnya berkemungkinan besar "e". ### Idea teras RNN RNN menyelesaikan masalah pemodelan jujukan dengan memperkenalkan cantuman gelung. Idea terasnya ialah menambah mekanisme "memori" pada rangkaian, supaya rangkaian boleh menyimpan dan menggunakan maklumat dari detik-detik sebelumnya. **Perwakilan Matematik RNN**: Pada saat t, keadaan tersembunyi RNN h_t ditentukan oleh x_t input semasa dan keadaan tersembunyi momen sebelumnya h_{t-1}: h_t = f(W_hh * h_{t-1} + W_xh * x_t + b_h) Antaranya: - W_hh ialah matriks berat dari keadaan tersembunyi ke keadaan tersembunyi - W_xh ialah matriks berat dimasukkan ke dalam keadaan tersembunyi - b_h ialah vektor berat sebelah - f ialah fungsi pengaktifan (biasanya tanh atau ReLU) y_t output dikira daripada keadaan tersembunyi semasa: y_t = W_hy * h_t + b_y **Kelebihan RNN**: - Perkongsian parameter: Pemberat yang sama dikongsi merentas semua langkah masa - Pemprosesan Jujukan Panjang Berubah-ubah: Boleh mengendalikan jujukan input dengan panjang sewenang-wenangnya - Keupayaan ingatan: Keadaan tersembunyi bertindak sebagai "kenangan" rangkaian - Input dan Output Fleksibel: Menyokong mod satu-ke-satu, satu-ke-banyak, banyak-ke-satu, banyak-ke-banyak dan banyak lagi ### Pandangan RNN yang diperluaskan Untuk lebih memahami cara RNN berfungsi, kita boleh mengembangkannya dalam dimensi temporal. RNN yang diperluaskan kelihatan seperti rangkaian suapan maju yang mendalam, tetapi semua langkah masa berkongsi parameter yang sama. **Kepentingan Masa Terungkap**: - Aliran maklumat yang mudah difahami: Adalah mungkin untuk melihat dengan jelas bagaimana maklumat disampaikan antara langkah masa - Pengiraan Kecerunan: Kecerunan dikira melalui algoritma Time Backpropagation (BPTT) - Pertimbangan Selari: Walaupun RNN sememangnya berjujukan, operasi tertentu boleh diselaraskan **Penerangan Matematik tentang Proses Terungkap**: Untuk jujukan panjang T, RNN mengembang seperti berikut: h_1 = f(W_xh * x_1 + b_h) h_2 = f(W_hh * h_1 + W_xh * x_2 + b_h) h_3 = f(W_hh * h_2 + W_xh * x_3 + b_h) ... h_T = f(W_hh * h_{T-1} + W_xh * x_T + b_h) Borang yang dibentangkan ini jelas menunjukkan cara maklumat dihantar antara langkah masa dan cara parameter dikongsi merentas semua langkah masa. ## Kehilangan kecerunan dan masalah letupan ### Akar masalah Apabila melatih RNN, kami menggunakan algoritma Backpropagation Through Time (BPTT). Algoritma perlu mengira kecerunan fungsi kehilangan untuk setiap parameter langkah masa. **Undang-undang Rantaian untuk Pengiraan kecerunan**: Apabila jujukan panjang, kecerunan perlu disebarkan semula melalui berbilang langkah masa. Mengikut peraturan rantaian, kecerunan akan mengandungi pelbagai pendaraban matriks berat: ∂L/∂W = Σ_t (∂L/∂y_t) * (∂y_t/∂h_t) * (∂h_t/∂W) di mana ∂h_t/∂W melibatkan hasil darab semua keadaan perantaraan dari saat t hingga saat 1. **Analisis Matematik Kehilangan Kecerunan**: Pertimbangkan perambatan kecerunan antara langkah masa: ∂h_t/∂h_{t-1} = diag(f_prime(W_hh * h_{t-1} + W_xh * x_t + b_h)) * W_hh Apabila panjang jujukan ialah T, kecerunan mengandungi T-1 istilah produk sedemikian. Jika nilai eigen maksimum W_hh kurang daripada 1, pendaraban matriks berterusan akan menyebabkan pereputan eksponen kecerunan. **Analisis Matematik Letupan Kecerunan**: Sebaliknya, apabila nilai eigen maksimum W_hh lebih besar daripada 1, kecerunan meningkat secara eksponen: || ∂h_t/∂h_1|| ≈ || W_hh|| ^{t-1} Ini membawa kepada latihan yang tidak stabil dan kemas kini parameter yang berlebihan. ### Penjelasan terperinci mengenai penyelesaian Keratan kecerunan: Keratan kecerunan ialah cara paling langsung untuk menyelesaikan letupan kecerunan. Apabila norma kecerunan melebihi ambang yang ditetapkan, kecerunan diskalakan kepada saiz ambang. Kaedah ini mudah dan berkesan, tetapi memerlukan pemilihan ambang yang teliti. Ambang yang terlalu kecil akan mengehadkan keupayaan pembelajaran, dan ambang yang terlalu besar tidak akan menghalang letupan kecerunan dengan berkesan. **Strategi Permulaan Berat**: Permulaan berat yang betul boleh mengurangkan isu kecerunan: - Permulaan Xavier: Varians berat ialah 1/n, di mana n ialah dimensi input - Permulaan: Varians berat ialah 2/n, yang sesuai untuk fungsi pengaktifan ReLU - Permulaan Ortogonal: Memulakan matriks berat sebagai matriks ortogonal **Pemilihan Fungsi Pengaktifan**: Fungsi pengaktifan yang berbeza mempunyai kesan yang berbeza pada perambatan kecerunan: - Tanh: julat keluaran [-1,1], nilai maksimum kecerunan 1 - ReLU: boleh mengurangkan kehilangan kecerunan tetapi boleh menyebabkan kematian neuron - Leaky ReLU: Menyelesaikan masalah kematian neuron ReLU **Penambahbaikan Senibina**: Penyelesaian yang paling asas ialah menambah baik seni bina RNN, yang membawa kepada kemunculan LSTM dan GRU. Seni bina ini menangani kecerunan melalui mekanisme pintu pagar dan reka bentuk aliran maklumat khusus. ## LSTM: Rangkaian Memori Jangka Pendek Panjang ### Motivasi Reka Bentuk untuk LSTM LSTM (Memori Jangka Pendek Panjang) ialah varian RNN yang dicadangkan oleh Hochreiter dan Schmidhuber pada tahun 1997, direka khusus untuk menyelesaikan masalah lenyap kecerunan dan kesukaran pembelajaran yang bergantung kepada jarak jauh. **Inovasi Teras LSTM**: - Keadaan Sel: Berfungsi sebagai "lebuh raya" untuk maklumat, membolehkan maklumat mengalir terus antara langkah masa - Mekanisme Pagar: Kawalan tepat ke atas aliran masuk, pengekalan dan output maklumat - Mekanisme ingatan terputus-putus: membezakan antara ingatan jangka pendek (keadaan tersembunyi) dan ingatan jangka panjang (keadaan selular) **Bagaimana LSTM Menyelesaikan Masalah Kecerunan**: LSTM mengemas kini keadaan sel melalui operasi aditif dan bukannya pendaraban, yang membolehkan kecerunan mengalir dengan lebih mudah kepada langkah masa yang lebih awal. Formula yang dikemas kini untuk keadaan sel: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Penambahan peringkat unsur digunakan di sini, mengelakkan pendaraban matriks berterusan dalam RNN tradisional. ### Penjelasan terperinci tentang seni bina LSTM LSTM mengandungi tiga unit pintu pagar dan keadaan sel: **1. Lupakan Gerbang**: Pintu kelalaian memutuskan maklumat yang hendak dibuang daripada keadaan sel: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) Output pintu kelalaian ialah nilai antara 0 dan 1, dengan 0 "dilupakan sepenuhnya" dan 1 "dikekalkan sepenuhnya". Pintu ini membolehkan LSTM melupakan maklumat sejarah yang tidak penting secara selektif. **2. Gerbang Input**: Gerbang input menentukan maklumat baharu yang disimpan dalam keadaan sel: i_t = σ(W_i · [h_{t-1}, x_t] + b_i) C_tilde_t = tanh(W_C · [h_{t-1}, x_t] + b_C) Pintu input terdiri daripada dua bahagian: lapisan sigmoid menentukan nilai yang hendak dikemas kini, dan lapisan tanh mencipta vektor nilai calon. **3. Kemas Kini Status Sel**: Gabungkan output pintu lupa dan pintu input untuk mengemas kini keadaan sel: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Formula ini adalah teras LSTM: pengekalan terpilih dan pengemaskinian maklumat melalui operasi pendaraban dan penambahan peringkat elemen. **4. Gerbang Keluaran**: Pintu keluaran menentukan bahagian sel mana yang dikeluarkan: o_t = σ(W_o · [h_{t-1}, x_t] + b_o) h_t = o_t ⊙ tanh(C_t) Pintu keluaran mengawal bahagian keadaan sel yang mempengaruhi output semasa. ### Varian LSTM **Peephole LSTM**: Membina LSTM standard, Peephole LSTM membolehkan unit pagar melihat keadaan sel: f_t = σ(W_f · [C_{t-1}, h_{t-1}, x_t] + b_f) i_t = σ(W_i · [C_{t-1}, h_{t-1}, x_t] + b_i) o_t = σ(W_o · [C_t, h_{t-1}, x_t] + b_o) **LSTM Diganding**: Pasangkan pintu lupa dengan pintu input untuk memastikan jumlah maklumat yang dilupakan adalah sama dengan jumlah maklumat yang dimasukkan: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) i_t = 1 - f_t Reka bentuk ini mengurangkan bilangan parameter sambil mengekalkan fungsi teras LSTM. ## GRU: Unit Gelung Berpagar ### Reka Bentuk GRU yang Dipermudahkan GRU (Gated Recurrent Unit) ialah versi ringkas LSTM yang dicadangkan oleh Cho et al. pada 2014. GRU memudahkan tiga pintu LSTM kepada dua pintu dan menggabungkan keadaan selular dan keadaan tersembunyi. **Falsafah Reka Bentuk GRU**: - Struktur Ringkas: Mengurangkan bilangan pintu dan mengurangkan kerumitan pengiraan - Kekalkan Prestasi: Permudahkan sambil mengekalkan prestasi setanding LSTM - Mudah dilaksanakan: Pembinaan yang lebih mudah membolehkan pelaksanaan dan pentauliahan yang mudah ### Mekanisme pintu GRU **1. Tetapkan semula Gate**: r_t = σ(W_r · [h_{t-1}, x_t] + b_r) Pintu tetapan semula menentukan cara menggabungkan input baharu dengan memori sebelumnya. Apabila pintu tetapan semula menghampiri 0, model mengabaikan keadaan tersembunyi sebelumnya. **2. Kemas kini Gerbang**: z_t = σ(W_z · [h_{t-1}, x_t] + b_z) Gerbang kemas kini menentukan jumlah maklumat lepas yang perlu disimpan dan jumlah maklumat baharu yang perlu ditambah. Ia mengawal kedua-dua lupa dan input, sama seperti gabungan pintu lupa dan input dalam LSTM. **3. Status Tersembunyi Calon**: h_tilde_t = tanh(W_h · [r_t ⊙ h_{t-1}, x_t] + b_h) Keadaan tersembunyi calon menggunakan pintu tetapan semula untuk mengawal kesan keadaan tersembunyi sebelumnya. **4. Keadaan Tersembunyi Akhir**: h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h_tilde_t Keadaan tersembunyi terakhir ialah purata wajaran bagi keadaan tersembunyi sebelumnya dan negeri tersembunyi calon. ### Perbandingan Mendalam GRU vs LSTM **Perbandingan bilangan parameter**: - LSTM: 4 matriks berat (melupakan gerbang, pintu input, nilai calon, pintu output) - GRU: 3 matriks berat (pintu tetapkan semula, pintu kemas kini, nilai calon) - Bilangan parameter GRU adalah kira-kira 75% daripada LSTM **Perbandingan Kerumitan Pengiraan**: - LSTM: Memerlukan pengiraan 4 output pintu dan kemas kini keadaan sel - GRU: Hanya kira output 2 pintu dan kemas kini status tersembunyi - GRU biasanya 20-30% lebih pantas daripada LSTM **Perbandingan Prestasi**: - Pada kebanyakan tugas, GRU dan LSTM berfungsi dengan setanding - LSTM mungkin lebih baik sedikit daripada GRU pada beberapa tugasan jujukan panjang - GRU ialah pilihan yang lebih baik dalam kes di mana sumber pengkomputeran terhad ## RNN dua arah ### Keperluan pemprosesan dua hala Dalam banyak tugas pemodelan jujukan, output masa kini bergantung bukan sahaja pada masa lalu tetapi juga pada maklumat masa depan. Ini amat penting dalam tugas OCR, di mana pengecaman aksara selalunya memerlukan pertimbangan konteks keseluruhan perkataan atau ayat. **Had RNN Sehala**: - Hanya maklumat sejarah boleh digunakan, tiada konteks masa depan boleh diperolehi - Prestasi terhad dalam tugas-tugas tertentu, terutamanya yang memerlukan maklumat global - Pengiktirafan terhad watak samar-samar **Kelebihan Pemprosesan Dua Arah**: - Maklumat kontekstual lengkap: Manfaatkan maklumat masa lalu dan masa depan - Nyahkekaburan yang lebih baik: Nyahkekaburan dengan maklumat kontekstual - Ketepatan pengecaman yang dipertingkatkan: Prestasi yang lebih baik pada kebanyakan tugas anotasi jujukan ### Seni bina LSTM dua arah LSTM dua arah terdiri daripada dua lapisan LSTM: - LSTM ke hadapan: Proses urutan dari kiri ke kanan - LSTM ke belakang: Proses urutan dari kanan ke kiri **Perwakilan Matematik**: h_forward_t = LSTM_forward(x_t, h_forward_{t-1}) h_backward_t = LSTM_backward(x_t, h_backward_{t+1}) h_t = [h_forward_t; h_backward_t] # Jahitan keadaan tersembunyi ke hadapan dan ke belakang **Proses Latihan**: 1. Majukan LSTM memproses jujukan dalam susunan biasa 2. LSTM ke belakang memproses jujukan dalam susunan terbalik 3. Pada setiap langkah masa, sambungkan keadaan tersembunyi dalam kedua-dua arah 4. Gunakan keadaan bersambung untuk ramalan **Kebaikan dan Kekurangan**: Faedah: - Maklumat kontekstual penuh - Prestasi yang lebih baik - Rawatan simetri Kelemahan: - Menggandakan kerumitan pengiraan - Tidak boleh diproses dalam masa nyata (memerlukan urutan penuh) - Peningkatan keperluan ingatan ## Aplikasi Pemodelan Jujukan dalam OCR ### Penjelasan terperinci tentang pengecaman baris teks Dalam sistem OCR, pengecaman baris teks ialah aplikasi biasa pemodelan jujukan. Proses ini melibatkan penukaran jujukan ciri imej kepada jujukan aksara. **Pemodelan Masalah**: - Input: Jujukan ciri imej X = {x_1, x_2, ..., x_T} - Output: Urutan aksara Y = {y_1, y_2, ..., y_S} - Cabaran: Panjang jujukan input T dan panjang jujukan output S selalunya tidak sama **Aplikasi seni bina CRNN dalam pengecaman baris teks**: CRNN (Rangkaian Saraf Berulang Konvolusi) ialah salah satu seni bina yang paling berjaya dalam OCR: 1. **Lapisan Pengekstrakan Ciri CNN**: - Ekstrak ciri imej menggunakan rangkaian saraf konvolusi - Tukar ciri imej 2D kepada jujukan ciri 1D - Mengekalkan kesinambungan maklumat masa 2. **Lapisan Pemodelan Jujukan RNN**: - Model jujukan ciri menggunakan LSTM dua arah - Tangkap kebergantungan kontekstual antara watak - Taburan kebarangkalian aksara keluaran untuk setiap langkah masa 3. **Lapisan Penjajaran CTC**: - Menangani ketidakpadanan panjang jujukan input/output - Tiada dimensi penjajaran peringkat watak diperlukan - Latihan hujung ke hujung **Penukaran pengekstrakan ciri kepada jujukan**: Peta ciri yang diekstrak oleh CNN perlu ditukar kepada bentuk jujukan yang boleh diproses oleh RNN: - Bahagikan peta ciri kepada lajur, dengan setiap lajur sebagai langkah masa - Mengekalkan kronologi maklumat spatial - Pastikan panjang jujukan ciri adalah berkadar dengan lebar imej ### Penggunaan mekanisme perhatian dalam OCR RNN tradisional masih mempunyai kesesakan maklumat apabila berurusan dengan jujukan yang panjang. Pengenalan mekanisme perhatian meningkatkan lagi keupayaan pemodelan jujukan. **Prinsip Mekanisme Perhatian**: Mekanisme perhatian membolehkan model memberi tumpuan kepada bahagian yang berlainan dalam jujukan input apabila menjana setiap output: - Menyelesaikan kesesakan maklumat vektor yang dikodkan panjang tetap - Menyediakan penjelasan keputusan model - Pemprosesan jujukan panjang yang dipertingkatkan **Aplikasi Khusus dalam OCR**: 1. **Perhatian Peringkat Watak**: - Fokus pada kawasan imej yang berkaitan apabila mengenal pasti setiap watak - Laraskan berat perhatian dengan cepat - Meningkatkan keteguhan kepada latar belakang yang kompleks 2. **Perhatian Peringkat Perkataan**: - Pertimbangkan maklumat kontekstual pada peringkat perbendaharaan kata - Manfaatkan pengetahuan model bahasa - Meningkatkan ketepatan pengecaman keseluruhan perkataan 3. **Perhatian Berbilang Skala**: - Menggunakan mekanisme perhatian pada resolusi yang berbeza - Mengendalikan teks dengan saiz yang berbeza - Meningkatkan kebolehsuaian kepada perubahan skala **Perwakilan Matematik Mekanisme Perhatian**: Untuk jujukan keluaran pengekod H = {h_1, h_2, ..., h_T} dan keadaan penyahkod s_t: e_{t,i} = a(s_t, h_i) # Skor perhatian α_{t,i} = softmax(e_{t,i}) # Berat perhatian c_t = Σ_i α_{t,i} * h_i # vektor konteks ## Strategi dan Pengoptimuman Latihan ### Strategi latihan jujukan ke urutan **Paksaan Guru**: Semasa fasa latihan, gunakan jujukan sasaran sebenar sebagai input penyahkod: - Kelebihan: kelajuan latihan pantas, penumpuan yang stabil - Keburukan: Fasa latihan dan inferens yang tidak konsisten, yang membawa kepada pengumpulan ralat **Persampelan Berjadual**: Peralihan secara beransur-ansur daripada pemaksaan guru kepada menggunakan ramalan model sendiri semasa latihan: - Gunakan label sebenar pada peringkat awal dan modelkan ramalan pada peringkat kemudian - Mengurangkan perbezaan dalam latihan dan penaakulan - Meningkatkan keteguhan model **Pembelajaran Kurikulum**: Mulakan dengan sampel mudah dan secara beransur-ansur meningkatkan kerumitan sampel: - Urutan Pendek hingga Panjang: Latih teks pendek terlebih dahulu, kemudian teks panjang - Imej Jelas kepada Kabur: Secara beransur-ansur meningkatkan kerumitan imej - Fon Mudah hingga Kompleks: Daripada bercetak kepada tulisan tangan ### Teknik Regularisasi **Permohonan Keciciran dalam RNN**: Memohon keciciran dalam RNN memerlukan perhatian khusus: - Jangan gunakan keciciran pada sambungan gelung - Keciciran boleh digunakan pada lapisan input dan output - Keciciran variasi: Gunakan topeng keciciran yang sama pada setiap langkah masa **Pereputan Berat**: Penyelarasan L2 menghalang pemasangan berlebihan: Kerugian = CrossEntropy + λ * || W|| ² di mana λ ialah pekali penyelarasan, yang perlu dioptimumkan oleh set pengesahan. **Pemangkasan kecerunan**: Cara yang berkesan untuk mengelakkan letupan kecerunan. Apabila norma kecerunan melebihi ambang, skalakan kecerunan secara berkadar untuk memastikan arah kecerunan tidak berubah. **Berhenti Awal**: Pantau prestasi set pengesahan dan hentikan latihan apabila prestasi tidak lagi bertambah baik: - Elakkan pemasangan berlebihan - Jimat sumber pengkomputeran - Pilih model optimum ### Penalaan hiperparameter **Penjadualan Kadar Pembelajaran**: - Kadar Pembelajaran Permulaan: Biasanya ditetapkan pada 0.001-0.01 - Pereputan kadar pembelajaran: pereputan eksponen atau pereputan tangga - Kadar Pembelajaran Adaptif: Gunakan pengoptimum seperti Adam, RMSprop, dsb **Pemilihan Saiz Batch**: - Kumpulan kecil: Prestasi generalisasi yang lebih baik tetapi masa latihan yang lebih lama - Volum Tinggi: Latihan pantas tetapi boleh menjejaskan generalisasi - Saiz kumpulan antara 16-128 biasanya dipilih **Pemprosesan Panjang Jujukan**: - Panjang Tetap: Potong atau isi jujukan kepada panjang tetap - Panjang dinamik: Gunakan pelapik dan penyamaran untuk mengendalikan jujukan panjang berubah-ubah - Strategi Bagging: Urutan kumpulan dengan panjang yang sama ## Penilaian dan analisis prestasi ### Menilai metrik **Ketepatan Tahap Watak**: Accuracy_char = (Bilangan aksara yang diiktiraf dengan betul) / (Jumlah aksara) Ini ialah penunjuk penilaian paling asas dan secara langsung mencerminkan keupayaan pengecaman watak model. **Ketepatan Tahap Bersiri**: Accuracy_seq = (Bilangan jujukan yang diiktiraf dengan betul) / (Jumlah bilangan jujukan) Penunjuk ini lebih ketat, dan hanya urutan yang betul sepenuhnya dianggap betul. **Jarak penyuntingan (Jarak Levenshtein)**: Ukur perbezaan antara siri yang diramalkan dan benar: - Bilangan minimum operasi penyisipan, alih keluar dan penggantian - Jarak penyuntingan piawai: jarak penyuntingan / panjang jujukan - Skor BLEU: Biasa digunakan dalam terjemahan mesin dan juga boleh digunakan untuk penilaian OCR ### Analisis Ralat **Jenis Ralat Biasa**: 1. **Kekeliruan Watak**: Salah mengenal pasti watak serupa - Nombor 0 dan huruf O - Nombor 1 dan huruf l - Huruf M dan N 2. **Ralat Jujukan**: Ralat dalam susunan aksara - Kedudukan watak diterbalikkan - Pertindihan atau peninggalan aksara 3. **Ralat Panjang**: Ralat dalam meramalkan panjang jujukan - Terlalu panjang: Memasukkan aksara yang tidak wujud - Terlalu pendek: Watak yang hadir hilang **Kaedah Analisis**: 1. **Matriks Kekeliruan**: Menganalisis corak ralat peringkat watak 2. **Visualisasi Perhatian**: Fahami kebimbangan model 3. **Analisis Kecerunan**: Semak aliran kecerunan 4. **Analisis Pengaktifan**: Perhatikan corak pengaktifan merentas lapisan rangkaian ### Diagnostik Model **Pengesanan Overfit**: - Kerugian latihan terus menurun, kerugian pengesahan meningkat - Ketepatan latihan jauh lebih tinggi daripada ketepatan pengesahan - Penyelesaian: Tingkatkan keteraturan dan kurangkan kerumitan model **Pengesanan Kurang Sesuai**: - Kedua-dua kerugian latihan dan pengesahan adalah tinggi - Model tidak berfungsi dengan baik pada set latihan - Penyelesaian: Tingkatkan kerumitan model dan laraskan kadar pembelajaran **Diagnosis Masalah Kecerunan**: - Kehilangan Kecerunan: Nilai kecerunan terlalu kecil, pembelajaran perlahan - Letupan kecerunan: Nilai kecerunan yang berlebihan membawa kepada latihan yang tidak stabil - penyelesaian: Menggunakan LSTM/GRU, Pemangkasan Kecerunan ## Kes Aplikasi Dunia Sebenar ### Sistem Pengecaman Aksara Tulisan Tangan **Senario Permohonan**: - Digitalkan Nota Tulisan Tangan: Tukar nota kertas kepada dokumen elektronik - Isi Auto Borang: Mengenali kandungan borang tulisan tangan secara automatik - Pengenalpastian Dokumen Sejarah: Digitalkan buku purba dan dokumen sejarah **Ciri-ciri Teknikal**: - Variasi aksara yang besar: Teks tulisan tangan mempunyai tahap pemperibadian yang tinggi - Pemprosesan pen berterusan: Sambungan antara watak perlu dikendalikan - Konteks-Penting: Gunakan model bahasa untuk meningkatkan pengiktirafan **Senibina Sistem**: 1. **Modul Prarawatan**: - Penyahbunyian dan peningkatan imej - Pembetulan kecondongan - Pemisahan baris teks 2. **Modul Pengekstrakan Ciri**: - CNN mengekstrak ciri visual - Gabungan ciri berbilang skala - Siri ciri 3. **Modul Pemodelan Jujukan**: - Pemodelan LSTM dua arah - Mekanisme perhatian - Pengekodan kontekstual 4. **Modul Penyahkodan**: - Penyahkodan CTC atau penyahkodan perhatian - Pasca pemprosesan model bahasa - Penilaian keyakinan ### Sistem Pengecaman Dokumen Bercetak **Senario Permohonan**: - Pendigitalan Dokumen: Menukar dokumen kertas kepada format yang boleh diedit - Pengiktirafan Bil: Memproses invois, resit dan bil lain secara automatik - Pengiktirafan Papan Tanda: Kenal pasti papan tanda jalan, papan tanda kedai dan banyak lagi **Ciri-ciri Teknikal**: - Fon biasa: Lebih biasa daripada teks tulisan tangan - Peraturan tipografi: Maklumat susun atur boleh digunakan - Keperluan Ketepatan Tinggi: Aplikasi komersial mempunyai keperluan ketepatan yang ketat **Strategi Pengoptimuman**: 1. **Latihan Berbilang Fon**: Menggunakan data latihan daripada berbilang fon 2. **Peningkatan Data**: Putar, skala, penambahan bunyi 3. **Pengoptimuman selepas pemprosesan**: semakan ejaan, pembetulan tatabahasa 4. **Penilaian Keyakinan**: Memberikan skor kebolehpercayaan untuk hasil pengiktirafan ### Sistem pengecaman teks adegan **Senario Permohonan**: - Pengecaman Teks Street View: Pengecaman teks dalam Google Street View - Pengiktirafan Label Produk: Pengenalpastian automatik produk pasar raya - Pengecaman Tanda Lalu Lintas: Aplikasi sistem pengangkutan pintar **Cabaran Teknikal**: - Latar Belakang Kompleks: Teks dibenamkan dalam adegan semula jadi yang kompleks - Ubah bentuk yang teruk: Ubah bentuk perspektif, ubah bentuk lentur - Keperluan Masa Nyata: Apl mudah alih perlu responsif **penyelesaian**: 1. **Pengekstrakan Ciri Teguh**: Menggunakan rangkaian CNN yang lebih mendalam 2. **Pemprosesan Berbilang Skala**: Mengendalikan teks dengan saiz yang berbeza 3. **Pembetulan Geometri**: Secara automatik membetulkan ubah bentuk geometri 4. **Mampatan Model**: Optimumkan model untuk mudah alih ## Ringkasan Rangkaian saraf berulang menyediakan alat yang berkuasa untuk pemodelan jujukan dalam OCR. Daripada RNN asas kepada LSTM dan GRU yang dipertingkatkan kepada pemprosesan dua arah dan mekanisme perhatian, pembangunan teknologi ini telah meningkatkan prestasi sistem OCR. **Pengambilan Utama**: - RNN melaksanakan pemodelan jujukan melalui cantuman gelung, tetapi terdapat masalah kehilangan kecerunan - LSTM dan GRU menyelesaikan masalah pembelajaran bergantung jarak jauh melalui mekanisme pagar - RNN dua arah dapat memanfaatkan maklumat kontekstual penuh - Mekanisme perhatian meningkatkan lagi keupayaan pemodelan jujukan - Strategi latihan dan teknik penyelarasan yang sesuai adalah penting untuk prestasi model **Hala Tuju Pembangunan Masa Depan**: - Penyepaduan dengan seni bina Transformer - Pendekatan yang lebih cekap untuk pemodelan jujukan - Pembelajaran multimodal hujung ke hujung - Keseimbangan masa nyata dan ketepatan Memandangkan teknologi terus berkembang, teknik pemodelan jujukan masih berkembang. Pengalaman dan teknologi yang terkumpul oleh RNN dan variannya dalam bidang OCR telah meletakkan asas yang kukuh untuk memahami dan mereka bentuk kaedah pemodelan jujukan yang lebih maju.