【Siri OCR Pembelajaran Mendalam·6】Analisis mendalam seni bina CRNN

## Pengenalan CRNN (Rangkaian Neural Berulang Konvolusi) ialah salah satu seni bina terpenting dalam bidang OCR pembelajaran mendalam, yang dicadangkan oleh Bai Xiang et al. pada 2015. CRNN dengan bijak menggabungkan keupayaan pengekstrakan ciri rangkaian saraf konvolusi (CNN) dengan keupayaan pemodelan jujukan rangkaian saraf berulang (RNN) untuk mencapai pengecaman teks hujung ke hujung. Artikel ini akan memberikan analisis mendalam tentang reka bentuk seni bina CRNN, prinsip kerja, kaedah latihan dan aplikasi khusus dalam OCR, memberikan pembaca pemahaman teknikal yang komprehensif. ## Gambaran Keseluruhan Seni Bina CRNN ### Motivasi Reka Bentuk Sebelum CRNN, sistem OCR biasanya menggunakan pendekatan langkah demi langkah: pengesanan dan pembahagian aksara dilakukan terlebih dahulu, dan kemudian setiap aksara diiktiraf. Pendekatan ini mempunyai masalah berikut: **Batasan Kaedah Tradisional**: - Perambatan ralat: Ralat dalam pembahagian aksara boleh menjejaskan hasil pengecaman secara langsung - Kerumitan: Memerlukan mereka bentuk algoritma pembahagian watak yang kompleks - Keteguhan yang lemah: Sensitif terhadap jarak aksara dan perubahan fon - Ketidakupayaan untuk mengendalikan strok berterusan: Fenomena strok berterusan dalam teks tulisan tangan sukar dipisahkan **Idea Inovatif CRNN**: - Pembelajaran hujung ke hujung: Pemetaan terus daripada imej kepada urutan teks - Tiada Segmentasi: Mengelakkan kerumitan pembahagian watak - Pemodelan Jujukan: Gunakan RNN untuk memodelkan kebergantungan antara aksara - Penjajaran CTC: Menangani ketidakpadanan panjang jujukan input-output ### Seni bina keseluruhan Seni bina CRNN terdiri daripada tiga komponen utama: **1. Lapisan Konvolusi**: - Fungsi: Ekstrak jujukan ciri daripada imej input - Input: Imej baris teks (ketinggian tetap, lebar berubah-ubah) - Output: Urutan peta ciri **2. Lapisan Berulang**: - Fungsi: Model kebergantungan kontekstual dalam jujukan ciri - Input: Urutan ciri yang diekstrak oleh CNN - Output: Urutan ciri dengan maklumat kontekstual **3. Lapisan Transkripsi**: - Fungsi: Tukar jujukan ciri kepada jujukan teks - Kaedah: Menggunakan CTC (Klasifikasi Temporal Connectionist) - Output: Hasil pengecaman teks akhir ## Penjelasan terperinci tentang lapisan konvolusi ### Strategi Pengekstrakan Ciri Lapisan konvolusi CRNN direka khusus untuk pengecaman teks: **Ciri-ciri Struktur Rangkaian**: - Kedalaman Cetek: 7 lapisan lapisan konvolusi biasanya digunakan - Kernel konvolusi kecil: 3×3 kernel konvolusi digunakan terutamanya - Strategi Pengumpulan: Gunakan pengumpulan dengan berhati-hati ke arah lebar **Konfigurasi Rangkaian Khusus**: Input: 32×W×1 (Tinggi 32, Lebar W, Saluran Tunggal) Conv1: 64 3×3 nukleus konvolusi, langkah 1, isi 1 MaxPool1: 2×2 kolam, panjang langkah 2 Conv2: 128 3×3 kernel konvolusi, langkah 1, isi 1 MaxPool2: 2×2 terkumpul, saiz langkah 2 Conv3: 256 3×3 nukleus konvolusi, langkah 1, isi 1 Conv4: 256 3×3 teras konvolusi, langkah 1, isi 1 MaxPool3: 2×1 dikumpulkan, saiz langkah (2,1) Conv5: 512 3×3 teras konvolusi, langkah 1, isi 1 BatchNorm + ReLU Conv6: 512 3×3 kernel konvolusi, langkah 1, isi 1 BatchNorm + ReLU MaxPool4: 2×1 dikumpulkan, saiz langkah (2,1) Conv7: 512 2×2 nukleus konvolusi, langkah 1, isi 0 Output: 512×1×W / 4 ### Pertimbangan Reka Bentuk Utama **Strategi Mampatan Tinggi**: - Matlamat: Mampatkan imej kepada 1 piksel tinggi - Kaedah: Mampatkan ketinggian secara beransur-ansur menggunakan berbilang lapisan pengumpulan - Sebab: Ketinggian baris teks agak tidak penting **Strategi Pegangan Lebar**: - Matlamat: Kekalkan maklumat lebar imej sebanyak mungkin - Kaedah: Kurangkan operasi pengumpulan ke arah lebar - Sebab: Maklumat jujukan teks terutamanya dicerminkan dalam arah lebar **Penukaran Peta Ciri**: Output lapisan konvolusi perlu ditukar kepada format input RNN: - Output mentah: C×H×W (Saluran × Tinggi× Lebar) - Ditukar: W×C (Panjang Jujukan× Dimensi Ciri) - Kaedah: Ambil vektor ciri untuk setiap kedudukan lebar sebagai langkah masa ## Penjelasan terperinci mengenai lapisan bulat ### Pemilihan RNN CRNN biasanya menggunakan LSTM dua arah sebagai lapisan gelung: **Kelebihan LSTM Dua Arah**: - Maklumat Kontekstual: Gunakan kedua-dua konteks ke hadapan dan ke belakang - Kebergantungan Jarak Jauh: LSTM mampu mengendalikan kebergantungan jarak jauh - Penstabilan kecerunan: Mengelakkan masalah kehilangan kecerunan **Konfigurasi Rangkaian**: Input: W×512 (panjang jujukan × dimensi ciri) BiLSTM1: 256 sel tersembunyi (128 ke hadapan + 128 ke belakang) BiLSTM2: 256 sel tersembunyi (128 ke hadapan + 128 ke belakang) Output: W×256 (panjang jujukan× dimensi tersembunyi) ### Mekanisme Pemodelan Jujukan **Pemodelan Kebergantungan Masa**: Lapisan RNN menangkap kebergantungan masa antara aksara: - Maklumat watak terdahulu membantu dalam pengiktirafan watak semasa - Maklumat untuk watak berikutnya juga boleh memberikan konteks yang berguna - Maklumat keseluruhan perkataan atau frasa membantu menyahkekaburan **Penambahbaikan Ciri**: Ciri-ciri yang diproses oleh RNN mempunyai ciri-ciri berikut: - Sensitif konteks: Setiap ciri lokasi mengandungi maklumat kontekstual - Konsistensi masa: Ciri di lokasi bersebelahan mempunyai kesinambungan tertentu - Kekayaan semantik: Menggabungkan ciri visual dan jujukan ## Penjelasan terperinci tentang lapisan transkripsi ### Mekanisme CTC CTC (Klasifikasi Temporal Connectionist) ialah komponen utama CRNN: **Peranan CTC**: - Menangani Isu Penjajaran: Panjang jujukan input tidak sepadan dengan panjang jujukan output - Latihan hujung ke hujung: Tidak memerlukan anotasi penjajaran peringkat watak - Kendalikan pendua: Kendalikan kes aksara pendua dengan betul **Bagaimana CTC Berfungsi**: 1. Kembangkan set label: Tambah label kosong di atas set aksara asal 2. Penghitungan Laluan: Menghitung semua laluan penjajaran yang mungkin 3. Kebarangkalian Laluan: Kira kebarangkalian setiap laluan 4. Peminggiran: jumlahkan kebarangkalian semua laluan untuk mendapatkan kebarangkalian jujukan ### Fungsi kehilangan CTC **Perwakilan Matematik**: Memandangkan jujukan input X dan jujukan sasaran Y, kehilangan CTC ditakrifkan sebagai: L_CTC = -log P(Y| X) di mana P(Y| X) diperoleh dengan menjumlahkan kebarangkalian semua laluan sejajar yang mungkin: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Di sini B^(-1)(Y) mewakili semua set laluan yang boleh dipetakan ke jujukan sasaran Y. **Algoritma Hadapan-Belakang**: Untuk mengira kehilangan CTC dengan cekap, algoritma ke hadapan-belakang untuk pengaturcaraan dinamik digunakan: - Algoritma Hadapan: Mengira kebarangkalian mencapai setiap keadaan - Algoritma Ke Belakang: Mengira kebarangkalian dari setiap keadaan hingga akhir - Pengiraan kecerunan: Kira kecerunan bersempena dengan kebarangkalian ke hadapan-belakang ## Strategi Latihan CRNN ### Prapemprosesan data **Prapemprosesan Imej**: - Normalisasi saiz: Satukan ketinggian imej kepada 32 piksel - Penyelenggaraan Nisbah Aspek: Mengekalkan nisbah aspek imej asal - Penukaran Skala Kelabu: Tukar kepada imej skala kelabu saluran tunggal - Normalisasi berangka: nilai piksel dinormalisasi kepada [0,1] atau [-1,1] **Peningkatan Data**: - Transformasi geometri: putaran, kecondongan, transformasi perspektif - Perubahan pencahayaan: kecerahan, pelarasan kontras - Penambahan bunyi: Bunyi Gaussian, bunyi garam dan lada - Kabur: Kabur gerakan, kabur Gaussian ### Teknik Latihan **Penjadualan Kadar Pembelajaran**: - Kadar Pembelajaran Awal: Biasanya ditetapkan kepada 0.001 - Strategi Pereputan: Pereputan eksponen atau pereputan langkah - Strategi pemanasan:Beberapa zaman pertama menggunakan kadar pembelajaran yang kecil **Teknik Regularisasi**: - Keciciran: Tambah keciciran selepas lapisan RNN - Kemerosotan berat badan: Penyelarasan L2 menghalang pemasangan berlebihan - Normalisasi kelompok: Gunakan normalisasi kumpulan dalam lapisan CNN **Pemilihan Pengoptimum**: - Adam: Kadar pembelajaran adaptif, penumpuan pantas - RMSprop: Sesuai untuk latihan RNN - SGD+Momentum: Pilihan tradisional tetapi stabil ## Pengoptimuman dan penambahbaikan CRNN ### Pengoptimuman seni bina **Penambahbaikan Separa CNN**: - Sambungan ResNet: Menambah sambungan baki untuk meningkatkan kestabilan latihan - Fabrik DenseNet: Sambungan padat meningkatkan pemultipleksan ciri - Mekanisme Perhatian: Memperkenalkan perhatian spatial dalam CNN **Penambahbaikan Separa RNN**: - Penggantian GRU: Gunakan GRU untuk mengurangkan jumlah parameter - Transformer: Menggantikan RNN menggunakan mekanisme perhatian diri - Ciri Berbilang Skala: Menggabungkan ciri daripada skala yang berbeza ### Pengoptimuman Prestasi **Pecutan Inferens**: - Kuantisasi Model: Kuantisasi INT8 mengurangkan usaha pengiraan - Pemangkasan model: Alih keluar sambungan yang tidak penting - Penyulingan Pengetahuan: Pelajari pengetahuan model besar dengan model kecil **Pengoptimuman Memori**: - Pusat pemeriksaan kecerunan: Kurangkan jejak ingatan semasa latihan - Ketepatan Campuran: Berlatih dengan FP16 - Pengoptimuman graf dinamik: Optimumkan struktur graf yang dikira ## Kes Aplikasi Dunia Sebenar ### Pengecaman teks tulisan tangan **Senario Permohonan**: - Digitalkan nota tulisan tangan - Isi automatik borang - Pengiktirafan dokumen sejarah **Ciri-ciri Teknikal**: - Variasi aksara yang besar: Memerlukan keupayaan pengekstrakan ciri yang kuat - Pemprosesan Strok Berterusan: Kelebihan mekanisme CTC adalah jelas - Perkara Konteks: Keupayaan pemodelan jujukan RNN adalah kritikal ### Pengecaman teks bercetak **Senario Permohonan**: - Mendigitalkan dokumen - Pengenalan tiket - Pengiktirafan papan tanda **Ciri-ciri Teknikal**: - Keteraturan Fon: Pengekstrakan ciri CNN agak mudah - Peraturan tipografi: Maklumat susun atur boleh digunakan - Keperluan Ketepatan Tinggi: Memerlukan penalaan model halus ### Pengecaman teks adegan **Senario Permohonan**: - Pengecaman Teks Street View - Pengenalpastian label produk - Pengecaman papan tanda lalu lintas **Ciri-ciri Teknikal**: - Latar Belakang Kompleks: Memerlukan pengekstrakan ciri yang teguh - Ubah bentuk yang teruk: Reka bentuk seni bina yang teguh diperlukan - Keperluan Masa Nyata: Memerlukan penaakulan yang cekap ## Ringkasan Sebagai seni bina klasik OCR pembelajaran mendalam, CRNN berjaya menyelesaikan banyak masalah kaedah OCR tradisional. Kaedah latihan hujung ke hujungnya, konsep reka bentuk tanpa pembahagian watak, dan pengenalan mekanisme CTC semuanya memberikan inspirasi penting untuk pembangunan teknologi OCR seterusnya. **Sumbangan Utama**: - Pembelajaran Hujung ke Hujung: Memudahkan reka bentuk sistem OCR - Pemodelan Jujukan: Menggunakan sifat jujukan teks dengan berkesan - Penjajaran CTC: Ketidakpadanan panjang jujukan yang ditangani - Senibina Mudah: Mudah difahami dan dilaksanakan **Hala tuju pembangunan**: - Mekanisme Perhatian: Memperkenalkan perhatian untuk meningkatkan prestasi - Transformer: Menggantikan RNN dengan perhatian diri - Gabungan multimodal: Gabungkan maklumat lain seperti model bahasa - Reka bentuk ringan: pemampatan model untuk peranti mudah alih Kejayaan CRNN adalah bukti potensi besar pembelajaran mendalam dalam bidang OCR dan memberikan pengalaman berharga untuk memahami cara mereka bentuk sistem pembelajaran hujung ke hujung yang berkesan. Dalam artikel seterusnya, kita akan menyelidiki butiran matematik dan pelaksanaan fungsi kehilangan CTC.