【Siri OCR Pembelajaran Mendalam·7】Fungsi Kehilangan CTC dan Teknik Latihan

## Pengenalan Klasifikasi Temporal Connectionist (CTC) ialah kejayaan penting dalam pemodelan jujukan pembelajaran mendalam, terutamanya dalam bidang OCR. CTC menyelesaikan masalah asas ketidakpadanan antara panjang jujukan input dan jujukan output, membolehkan pembelajaran jujukan hujung ke hujung. Artikel ini akan menyelidiki prinsip matematik, pelaksanaan algoritma dan teknik pengoptimuman latihan CTC. ## Konsep Asas CTC ### Isu penjajaran jujukan Dalam tugasan OCR, kami menghadapi cabaran berikut: **Tidak padanan panjang**: Panjang jujukan ciri imej input adalah berbeza daripada panjang jujukan teks output. Sebagai contoh, perkataan yang mengandungi 3 aksara mungkin sepadan dengan urutan ciri 100 langkah masa. **Kedudukan Tidak Pasti**: Kedudukan sebenar setiap watak dalam imej tidak diketahui. Kaedah tradisional memerlukan pembahagian aksara yang tepat, yang sukar dalam aplikasi praktikal. **Kesukaran dalam Pembahagian Watak**: Teks bertulis berterusan, teks tulisan tangan atau fon artistik bergelut untuk dibahagikan dengan tepat kepada aksara individu. ### Penyelesaian CTC CTC menyelesaikan masalah penjajaran jujukan dengan cara inovatif berikut: Memperkenalkan Penanda Kosong: Gunakan penanda kosong khas untuk mengendalikan penjajaran. Tag kosong tidak sepadan dengan mana-mana aksara output dan digunakan untuk memisahkan aksara pendua daripada jujukan isian. Kebarangkalian Laluan: Mengira kebarangkalian semua laluan penjajaran yang mungkin. Setiap laluan mewakili kemungkinan surat-menyurat langkah watak-ke-masa. **Perancangan Dinamik**: Kira kebarangkalian laluan dengan cekap menggunakan algoritma ke hadapan-belakang, mengelakkan menghitung semua laluan yang mungkin. ## Prinsip Matematik CTC ### Definisi Asas Memandangkan jujukan input X = (x₁, x₂, ..., xt) dan jujukan sasaran Y = (y₁, y₂, ..., yu), di mana T ≥ U. Set tag: L = {1, 2, ..., K}, mengandungi kategori aksara K. **Pengumpulan Tag Lanjutan**: L_ext = L ∪ {kosong}, mengandungi tag kosong. **Laluan penjajaran**: Urutan panjang T π = (π₁, π₂, ..., πt), di mana πt ∈ L_ext. ### Pemetaan laluan kepada tag CTC mentakrifkan fungsi pemetaan B yang menukar laluan penjajaran kepada jujukan label output: 1. Keluarkan semua penanda kosong 2. Gabungkan aksara pendua berturut-turut **Contoh pemetaan**: - π = (a, a, kosong, b, kosong, b, b) → B(π) = (a, b, b) - π = (kosong, c, c, a, kosong, t) → B(π) = (c, a, t) ### Fungsi kehilangan CTC Fungsi kehilangan CTC ditakrifkan sebagai logaritma negatif bagi jumlah semua kebarangkalian laluan yang dipetakan kepada jujukan sasaran Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) di mana B⁻¹(Y) ialah set semua laluan yang dipetakan kepada Y. Kebarangkalian Laluan: Dengan mengandaikan bahawa ramalan setiap langkah masa adalah bebas, kebarangkalian laluan ialah: P(π| X) = ∏t yt^{πt} di mana yt^{πt} ialah kebarangkalian langkah masa t meramalkan label πt. ## Algoritma Hadapan-Belakang ### Algoritma Hadapan Algoritma hadapan mengira kebarangkalian laluan dari permulaan jujukan ke kedudukan semasa. **Jujukan Label Lanjutan**: Untuk memudahkan pengiraan, kembangkan jujukan sasaran Y kepada Y_ext, masukkan tag kosong sebelum dan selepas setiap aksara. **Permulaan**: - α₁(1) = y₁^{kosong} (kedudukan pertama kosong) - α₁(2) = y₁^{y₁} (kedudukan pertama ialah aksara pertama) - α₁(s) = 0 untuk lokasi lain **Formula Rekursif**: Untuk t > 1 dan kedudukan s: - Jika Y_ext kosong atau sama dengan aksara sebelumnya: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - Jika tidak: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Algoritma Mundur Algoritma ke belakang mengira kebarangkalian laluan dari kedudukan semasa hingga akhir jujukan. **Permulaan**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (jika tag terakhir tidak kosong) - β_T(s) = 0 untuk lokasi lain **Formula Rekursif**: Untuk t < T dan kedudukan s: - Jika Y_ext [s+1] kosong atau sama dengan aksara semasa: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - Jika tidak: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Pengiraan kecerunan Jumlah Kebarangkalian:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Kecerunan Kebarangkalian Label**: ∂(-ln P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## Strategi penyahkodan CTC ### Penyahkodan tamak Greedy menyahkod label dengan kebarangkalian tertinggi pada setiap langkah masa: π_t = argmax_k y_t^k Kemudian gunakan pemetaan B untuk mendapatkan jujukan akhir. **Kelebihan**: Pengiraan mudah dan kelajuan pantas **Kelemahan**: Penyelesaian optimum global mungkin tidak diperolehi ### Penyahkodan carian bundle Carian rasuk mengekalkan berbilang laluan calon, mengembangkan laluan yang paling menjanjikan pada setiap langkah masa. **Langkah Algoritma**: 1. Mulakan: Koleksi calon mengandungi laluan kosong 2. Untuk setiap langkah masa: - Lanjutkan semua laluan calon - Kekalkan laluan K dengan kebarangkalian tertinggi 3. Kembalikan laluan lengkap dengan kebarangkalian tertinggi **Penalaan Parameter**: - Lebar Rasuk K: Mengimbangi kerumitan pengiraan dengan kualiti penyahkodan - Penalti Panjang: Elakkan memihak kepada urutan pendek ### Carian berkas awalan Carian berkas awalan mempertimbangkan kebarangkalian awalan laluan untuk mengelakkan laluan pengiraan dua kali dengan awalan yang sama. **Idea teras**: Gabungkan laluan dengan awalan yang sama, dan hanya kekalkan kaedah sambungan yang paling mungkin. ## Teknik dan Pengoptimuman Latihan ### Prapemprosesan data **Pemprosesan Panjang Jujukan**: - Kumpulan dinamik: Mengumpulkan jujukan dengan panjang yang sama - Isi Strategi: Isi urutan pendek dengan penanda khas - Strategi Pemangkasan: Memotong jujukan yang terlalu panjang secara munasabah **Prapemprosesan Label**: - Penyeragaman Set Aksara: Pengekodan dan penggunaan huruf besar aksara seragam - Pengendalian watak khas: Mengendalikan tanda baca dan ruang - Pembinaan Perbendaharaan Kata: Bina glosari lengkap watak ### Strategi Latihan **Pembelajaran Kursus**: Mulakan latihan dengan sampel mudah dan secara beransur-ansur meningkatkan kesukaran: - Urutan pendek hingga panjang - Imej kosong kepada imej kabur - Fon biasa kepada fon tulisan tangan **Peningkatan Data**: - Transformasi geometri: berputar, berskala, memotong - Penambahan bunyi: Bunyi Gaussian, bunyi garam dan lada - Perubahan pencahayaan: kecerahan, pelarasan kontras **Teknik Regularisasi**: - Keciciran: Elakkan pemasangan berlebihan - Kemerosotan berat badan: Penyelarasan L2 - Melicinkan Label: Mengurangkan keyakinan berlebihan ### Penalaan hiperparameter **Penjadualan Kadar Pembelajaran**: - Strategi pemanasan:Beberapa zaman pertama menggunakan kadar pembelajaran yang kecil - Penyepuhlindapan kosinus: Kadar pembelajaran mereput mengikut fungsi kosinus - Penalaan Adaptif: Melaraskan berdasarkan prestasi set pengesahan **Pemilihan Saiz Batch**: - Had Memori: Pertimbangkan kapasiti memori GPU - Kestabilan kecerunan: Menyediakan kecerunan yang lebih stabil untuk kumpulan yang lebih besar - Kelajuan Penumpuan: Seimbangkan kelajuan dan kestabilan latihan ## Pertimbangan Aplikasi Praktikal ### Pengoptimuman Pengiraan **Pengoptimuman Memori**: - Pusat pemeriksaan kecerunan: Mengurangkan jejak memori perambatan ke hadapan - Latihan ketepatan campuran: Kurangkan keperluan memori dengan FP16 - Pengoptimuman graf dinamik: Mengoptimumkan peruntukan memori untuk graf yang dikira **Pengoptimuman kelajuan**: - Pengkomputeran Selari: Menggunakan keupayaan pemprosesan selari GPU - Pengoptimuman Algoritma: Dilaksanakan menggunakan algoritma ke hadapan ke belakang yang cekap - Pengoptimuman Kelompok: Tetapkan saiz kumpulan dengan sewajarnya ### Kestabilan berangka **Pengiraan Kebarangkalian**: - Pengiraan ruang log: Elakkan limpahan nilai yang disebabkan oleh pendaraban kebarangkalian - Keratan berangka: Mengehadkan julat nilai kebarangkalian - Teknik Normalisasi: Pastikan kesahihan taburan kebarangkalian **Kestabilan kecerunan**: - Pemangkasan Kecerunan: Menghalang letupan kecerunan - Permulaan Berat: Gunakan strategi permulaan yang sesuai - Normalisasi kelompok: menstabilkan proses latihan ## Penilaian Prestasi ### Menilai metrik **Ketepatan Tahap Watak**: Accuracy_char = Bilangan aksara yang diiktiraf dengan betul / Jumlah bilangan aksara **Ketepatan Tahap Bersiri**: Accuracy_seq = Bilangan jujukan yang betul / jumlah jujukan **Jarak Penyuntingan**: Mengukur perbezaan antara jujukan yang diramalkan dan jujukan sebenar, termasuk bilangan minimum operasi penyisipan, pemadaman dan penggantian. ### Analisis Ralat **Jenis Ralat Biasa**: - Kekeliruan Watak: Salah mengenal pasti watak serupa - Ralat pendua: CTC cenderung menghasilkan aksara pendua - Ralat panjang: Ramalan panjang jujukan yang tidak tepat **Strategi Penambahbaikan**: - Perlombongan sampel yang sukar: Fokus pada sampel latihan dengan kadar ralat yang tinggi - Pengoptimuman selepas pemprosesan: Membetulkan ralat menggunakan model bahasa - Pendekatan Bersepadu: Menggabungkan ramalan daripada berbilang model ## Ringkasan Fungsi kehilangan CTC menyediakan alat yang berkuasa untuk pemodelan jujukan, terutamanya apabila berhadapan dengan masalah penjajaran. Dengan memperkenalkan pelabelan kosong dan algoritma pengaturcaraan dinamik, CTC menyedari pembelajaran jujukan hujung ke hujung dan mengelakkan langkah prapemprosesan yang kompleks. **Pengambilan Utama**: - CTC menyelesaikan masalah panjang jujukan input dan output yang tidak sepadan - Algoritma ke hadapan-belakang menyediakan pengiraan kebarangkalian yang cekap - Strategi penyahkodan yang sesuai adalah penting untuk prestasi akhir - Teknik latihan dan strategi pengoptimuman memberi kesan ketara kepada prestasi model **Cadangan Permohonan**: - Pilih strategi penyahkodan yang sesuai untuk tugas tertentu - Penekanan pada teknik prapemprosesan dan peningkatan data - Fokus pada kestabilan berangka dan kecekapan pengiraan - Pengoptimuman pasca pemprosesan berdasarkan pengetahuan domain Kejayaan penggunaan CTC telah meletakkan asas penting untuk pembangunan pembelajaran mendalam dalam bidang pemodelan jujukan, dan juga memberikan sokongan utama untuk kemajuan teknologi OCR.