Seri OCR Pembelajaran Mendalam · 7 】 Fungsi Kehilangan CTC dan Teknik Pelatihan

## Pendahuluan Klasifikasi Temporal Koneksionis (CTC) merupakan terobosan penting dalam pemodelan urutan pembelajaran mendalam, terutama di bidang OCR. CTC memecahkan masalah mendasar ketidakcocokan antara panjang urutan input dan urutan output, memungkinkan pembelajaran urutan end-to-end. Artikel ini akan mempelajari prinsip-prinsip matematika, implementasi algoritma, dan teknik pengoptimalan pelatihan CTC. ## Konsep Dasar CTC ### Masalah penyelarasan urutan Dalam tugas OCR, kami menghadapi tantangan berikut: **Ketidakcocokan panjang**: Panjang urutan fitur gambar input berbeda dari panjang urutan teks keluaran. Misalnya, kata yang berisi 3 karakter mungkin sesuai dengan urutan fitur 100 langkah waktu. **Posisi Tidak Pasti**: Posisi pasti setiap karakter dalam gambar tidak diketahui. Metode tradisional membutuhkan segmentasi karakter yang tepat, yang sulit dalam aplikasi praktis. **Kesulitan dalam Segmentasi Karakter**: Teks yang ditulis terus menerus, teks tulisan tangan, atau font artistik berjuang untuk dibagi secara akurat menjadi karakter individual. ### Solusi CTC CTC memecahkan masalah penyelarasan urutan dengan cara inovatif berikut: Memperkenalkan Penanda Kosong: Gunakan penanda kosong khusus untuk menangani perataan. Tag kosong tidak sesuai dengan karakter keluaran apa pun dan digunakan untuk memisahkan karakter duplikat dari urutan isian. Probabilitas Jalur: Menghitung probabilitas semua jalur penyelarasan yang mungkin. Setiap jalur mewakili kemungkinan korespondensi langkah karakter-ke-waktu. **Perencanaan Dinamis**: Hitung probabilitas jalur secara efisien menggunakan algoritme maju-mundur, menghindari penghitungan semua jalur yang memungkinkan. ## Prinsip Matematika CTC ### Definisi Dasar Mengingat urutan input X = (x₁, x₂, ..., xt) dan urutan target Y = (y₁, y₂, ..., yu), di mana T ≥ U. Set tag: L = {1, 2, ..., K}, berisi kategori karakter K. **Pengumpulan Tag yang Diperluas**: L_ext = L ∪ {kosong}, berisi tag kosong. **Jalur penyelarasan**: Urutan panjang T π = (π₁, π₂, ..., πt), di mana πt ∈ L_ext. ### Pemetaan jalur ke tag CTC mendefinisikan fungsi pemetaan B yang mengubah jalur perataan menjadi urutan label keluaran: 1. Hapus semua spidol kosong 2. Gabungkan karakter duplikat berturut-turut **Contoh pemetaan**: - π = (a, a, kosong, b, kosong, b, b) → B(π) = (a, b, b) - π = (kosong, c, c, a, kosong, t) → B(π) = (c, a, t) ### Fungsi kehilangan CTC Fungsi kehilangan CTC didefinisikan sebagai logaritma negatif dari jumlah semua probabilitas jalur yang dipetakan ke urutan target Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) di mana B⁻¹(Y) adalah himpunan semua jalur yang dipetakan ke Y. Probabilitas Jalur: Dengan asumsi bahwa prediksi setiap langkah waktu bersifat independen, probabilitas jalurnya adalah: P(π| X) = ∏t yt^{πt} di mana yt^{πt} adalah probabilitas langkah waktu t memprediksi label πt. ## Algoritma Maju-Mundur ### Algoritma Maju Algoritma maju menghitung probabilitas jalur dari awal urutan ke posisi saat ini. **Urutan Label yang Diperpanjang**: Untuk memudahkan perhitungan, perluas urutan target Y ke Y_ext, masukkan tag kosong sebelum dan sesudah setiap karakter. **Inisialisasi**: - α₁(1) = y₁^{kosong} (posisi pertama kosong) - α₁(2) = y₁^{y₁} (posisi pertama adalah karakter pertama) - α₁(s) = 0 untuk lokasi lain **Rumus Rekursif**: Untuk t > 1 dan posisi s: - Jika Y_ext[s] kosong atau sama dengan karakter sebelumnya: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - Jika tidak: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Algoritma Mundur Algoritma mundur menghitung probabilitas jalur dari posisi saat ini ke akhir urutan. **Inisialisasi**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (jika tag terakhir tidak kosong) - β_T(s) = 0 untuk lokasi lain **Rumus Rekursif**: Untuk t < T dan posisi s: - Jika Y_ext [s+1] kosong atau sama dengan karakter saat ini: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - Jika tidak: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Perhitungan Gradien Probabilitas Total:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Gradien Probabilitas Label**: ∂(-ln P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## Strategi decoding CTC ### Decoding serakah Greedy memecahkan kode label dengan probabilitas tertinggi di setiap langkah waktu: π_t = argmax_k y_t^k Kemudian terapkan pemetaan B untuk mendapatkan urutan akhir. **Kelebihan**: Perhitungan mudah dan kecepatan tinggi **Kekurangan**: Solusi optimal global mungkin tidak diperoleh ### Decoding pencarian bundel Pencarian balok mempertahankan beberapa jalur kandidat, memperluas jalur yang paling menjanjikan di setiap langkah waktu. **Langkah-langkah Algoritma**: 1. Inisialisasi: Koleksi kandidat berisi jalur kosong 2. Untuk setiap langkah waktu: - Memperluas semua jalur kandidat - Pertahankan K-path dengan probabilitas tertinggi 3. Mengembalikan jalur lengkap dengan probabilitas tertinggi **Penyetelan Parameter**: - Lebar Balok K: Menyeimbangkan kompleksitas komputasi dengan kualitas decoding - Penalti Panjang: Hindari menyukai urutan pendek ### Pencarian bundel awalan Pencarian bundel awalan mempertimbangkan probabilitas awalan jalur untuk menghindari jalur penghitungan ganda dengan awalan yang sama. **Ide inti**: Gabungkan jalur dengan awalan yang sama, dan hanya pertahankan metode ekstensi yang paling mungkin. ## Teknik dan Optimasi Pelatihan ### Prapemrosesan data **Pemrosesan Panjang Urutan**: - Batch dinamis: Pengelompokan urutan dengan panjang yang sama - Strategi Isi: Isi urutan pendek dengan penanda khusus - Strategi Pemangkasan: Memotong urutan yang terlalu panjang secara wajar **Pra-pemrosesan Label**: - Standardisasi Kumpulan Karakter: Pengkodean dan kapitalisasi karakter yang seragam - Penanganan karakter khusus: Menangani tanda baca dan spasi - Pembangunan Kosakata: Bangun glosarium karakter yang lengkap ### Strategi Pelatihan **Pembelajaran Kursus**: Mulailah pelatihan dengan sampel sederhana dan tingkatkan kesulitan secara bertahap: - Urutan pendek hingga panjang - Gambar yang jelas menjadi gambar buram - Font biasa ke font tulisan tangan **Peningkatan Data**: - Transformasi geometri: putar, skala, potong - Penambahan kebisingan: Kebisingan Gaussian, kebisingan garam dan merica - Perubahan pencahayaan: kecerahan, penyesuaian kontras **Teknik Regularisasi**: - Putus sekolah: Mencegah overfitting - Degradasi berat: regularisasi L2 - Penghalusan Label: Mengurangi kepercayaan diri yang berlebihan ### Penyetelan hiperparameter **Penjadwalan Tingkat Pembelajaran**: - Strategi pemanasan: Beberapa zaman pertama menggunakan tingkat pembelajaran yang kecil - Anil kosinus: Tingkat belajar meluruh sesuai dengan fungsi kosinus - Penyetelan Adaptif: Menyesuaikan berdasarkan kinerja set validasi **Pemilihan Ukuran Batch**: - Batasan Memori: Pertimbangkan kapasitas memori GPU - Stabilitas Gradien: Memberikan gradien yang lebih stabil untuk batch yang lebih besar - Kecepatan Konvergensi: Menyeimbangkan kecepatan dan stabilitas latihan ## Pertimbangan Aplikasi Praktis ### Optimasi Komputasi **Pengoptimalan Memori**: - Pos pemeriksaan gradien: Mengurangi jejak memori propagasi maju - Pelatihan presisi campuran: Kurangi persyaratan memori dengan FP16 - Pengoptimalan grafik dinamis: Mengoptimalkan alokasi memori untuk grafik terhitung **Pengoptimalan Kecepatan**: - Komputasi Paralel: Memanfaatkan kemampuan pemrosesan paralel GPU - Pengoptimalan Algoritma: Diimplementasikan menggunakan algoritme maju-ke-mundur yang efisien - Pengoptimalan Batch: Atur ukuran batch dengan tepat ### Stabilitas numerik **Perhitungan Probabilitas**: - Perhitungan ruang log: Hindari luapan nilai yang disebabkan oleh perkalian probabilitas - Kliping numerik: Membatasi rentang nilai probabilitas - Teknik Normalisasi: Memastikan validitas distribusi probabilitas **Stabilitas Gradien**: - Pemotongan Gradien: Mencegah ledakan gradien - Inisialisasi Bobot: Gunakan strategi inisialisasi yang sesuai - Normalisasi batch: menstabilkan proses pelatihan ## Evaluasi Kinerja ### Mengevaluasi metrik **Akurasi Tingkat Karakter**: Accuracy_char = Jumlah karakter yang dikenali dengan benar / Jumlah total karakter **Akurasi Level Serial**: Accuracy_seq = Jumlah urutan yang benar / jumlah total urutan **Jarak Pengeditan**: Mengukur perbedaan antara urutan yang diprediksi dan urutan nyata, termasuk jumlah minimum operasi penyisipan, penghapusan, dan penggantian. ### Analisis Kesalahan **Jenis Kesalahan Umum**: - Kebingungan Karakter: Salah identifikasi karakter serupa - Kesalahan duplikat: CTC cenderung menghasilkan karakter duplikat - Kesalahan panjang: Prediksi panjang urutan yang tidak akurat **Strategi Perbaikan**: - Penambangan sampel yang sulit: Fokus pada sampel pelatihan dengan tingkat kesalahan tinggi - Pengoptimalan pasca-pemrosesan: Memperbaiki kesalahan menggunakan model bahasa - Pendekatan Terintegrasi: Menggabungkan prediksi dari beberapa model ## Ringkasan Fungsi kehilangan CTC menyediakan alat yang ampuh untuk pemodelan urutan, terutama saat berhadapan dengan masalah penyelarasan. Dengan memperkenalkan pelabelan kosong dan algoritme pemrograman dinamis, CTC mewujudkan pembelajaran urutan end-to-end dan menghindari langkah-langkah prapemrosesan yang rumit. **Kesimpulan Utama**: - CTC memecahkan masalah panjang urutan input dan output yang tidak cocok - Algoritme maju-mundur memberikan perhitungan probabilitas yang efisien - Strategi decoding yang sesuai sangat penting untuk kinerja akhir - Teknik pelatihan dan strategi pengoptimalan berdampak signifikan pada kinerja model **Saran Aplikasi**: - Pilih strategi decoding yang sesuai untuk tugas tertentu - Penekanan pada teknik pra-pemrosesan dan peningkatan data - Fokus pada stabilitas numerik dan efisiensi komputasi - Optimasi pasca-pemrosesan berdasarkan pengetahuan domain Keberhasilan penerapan CTC telah meletakkan dasar penting untuk pengembangan pembelajaran mendalam di bidang pemodelan urutan, dan juga memberikan dukungan utama untuk kemajuan teknologi OCR.