【Malalim na Pag-aaral OCR Series·6】Malalim na pagsusuri ng arkitektura ng CRNN

## Panimula Ang CRNN (Convolutional Recurrent Neural Network) ay isa sa pinakamahalagang arkitektura sa larangan ng malalim na pag-aaral ng OCR, na iminungkahi ni Bai Xiang et al. noong 2015. Matalino na pinagsasama ng CRNN ang mga kakayahan sa pagkuha ng tampok ng mga convolutional neural network (CNNs) sa mga kakayahan sa pagmomodelo ng pagkakasunud-sunod ng paulit-ulit na mga neural network (RNNs) upang makamit ang end-to-end na pagkilala sa teksto. Ang artikulong ito ay magbibigay ng isang malalim na pagsusuri ng disenyo ng arkitektura ng CRNN, mga prinsipyo ng pagtatrabaho, mga pamamaraan ng pagsasanay, at mga tiyak na aplikasyon sa OCR, na nagbibigay sa mga mambabasa ng isang komprehensibong teknikal na pag-unawa. ## Pangkalahatang-ideya ng CRNN Architecture ### Pagganyak ng Disenyo Bago ang CRNN, ang mga sistema ng OCR ay karaniwang nagpatibay ng isang hakbang-hakbang na diskarte: ang pagtuklas ng character at segmentation ay isinagawa muna, at pagkatapos ay ang bawat character ay kinikilala. Ang pamamaraang ito ay may mga sumusunod na problema: **Mga Limitasyon ng Tradisyunal na Pamamaraan**: - Pagpapalaganap ng error: Ang mga error sa segmentation ng character ay maaaring direktang makaapekto sa mga resulta ng pagkilala - Pagiging kumplikado: Nangangailangan ng pagdidisenyo ng mga kumplikadong algorithm ng segmentation ng character - Mahinang katatagan: Sensitibo sa spacing ng character at mga pagbabago sa font - Kawalan ng kakayahang hawakan ang tuloy-tuloy na mga stroke: Ang kababalaghan ng tuloy-tuloy na mga stroke sa sulat-kamay na teksto ay mahirap paghiwalayin **Mga Makabagong Ideya ng CRNN**: - End-to-end na pag-aaral: Pagmamapa nang direkta mula sa mga imahe patungo sa mga pagkakasunud-sunod ng teksto - Walang Segmentation: Iniiwasan ang pagiging kumplikado ng segmentation ng character - Pagmomodelo ng Pagkakasunud-sunod: Gamitin ang mga RNN upang i-modelo ang mga dependencies sa pagitan ng mga character - CTC Alignment: Tinutugunan ang mga hindi tugma sa haba ng pagkakasunud-sunod ng input-output ### Pangkalahatang arkitektura Ang arkitektura ng CRNN ay binubuo ng tatlong pangunahing bahagi: **1. Convolutional Layers**: - Pag-andar: I-extract ang mga pagkakasunud-sunod ng tampok mula sa mga imahe ng input - Input: Imahe ng linya ng teksto (nakapirming taas, variable na lapad) - Output: Pagkakasunud-sunod ng mapa ng tampok **2. Paulit-ulit na Mga Layer **: - Pag-andar: Imodelo ang mga dependencies ng konteksto sa mga pagkakasunud-sunod ng tampok - Input: Ang pagkakasunud-sunod ng tampok na nakuha ng CNN - Output: Isang pagkakasunud-sunod ng tampok na may impormasyon sa konteksto **3. Layer ng Transkripsyon **: - Pag-andar: I-convert ang mga pagkakasunud-sunod ng tampok sa mga pagkakasunud-sunod ng teksto - Paraan: Paggamit ng CTC (Connectionist Temporal Classification) - Output: Ang pangwakas na resulta ng pagkilala sa teksto ## Detalyadong paliwanag ng mga convolutional layer ### Mga Diskarte sa Pagkuha ng Tampok Ang convolutional layer ng CRNN ay partikular na idinisenyo para sa pagkilala sa teksto: **Mga Tampok ng Istraktura ng Network**: - Mababaw na Lalim: 7 layer ng convolutional layer ang karaniwang ginagamit - Maliit na convolutional kernels: 3×3 convolutional kernels ay pangunahing ginagamit - Pooling Strategy: Gamitin ang pooling nang matipid sa direksyon ng lapad **Tiyak na Pagsasaayos ng Network**: Input: 32×W×1 (taas 32, lapad W, solong channel) Conv1: 64 3×3 convolutional nuclei, hakbang 1, punan ang 1 MaxPool1: 2×2 pool, haba ng hakbang 2 Conv2: 128 3×3 convolutional kernels, hakbang 1, punan ang 1 MaxPool2: 2×2 pooled, laki ng hakbang 2 Conv3: 256 3×3 convolutional nuclei, hakbang 1, punan ang 1 Conv4: 256 3×3 convolutional cores, hakbang 1, punan ang 1 MaxPool3: 2×1 pooled, laki ng hakbang (2,1) Conv5: 512 3×3 convolutional cores, hakbang 1, punan ang 1 BatchNorm + ReLU Conv6: 512 3×3 convolutional kernels, hakbang 1, punan ang 1 BatchNorm + ReLU MaxPool4: 2×1 pooled, laki ng hakbang (2,1) Conv7: 512 2×2 convolutional nuclei, hakbang 1, punan 0 Output: 512×1×W / 4 ### Mga Pangunahing Pagsasaalang-alang sa Disenyo **Mataas na Diskarte sa Compression**: - Layunin: I-compress ang imahe sa 1 pixel na mataas - Paraan: Unti-unting i-compress ang taas gamit ang maraming mga layer ng pooling - Dahilan: Ang taas ng linya ng teksto ay medyo hindi mahalaga **Diskarte sa Paghawak ng Lapad **: - Layunin: Panatilihin ang lapad ng impormasyon ng imahe hangga't maaari - Paraan: Bawasan ang mga operasyon ng pooling sa direksyon ng lapad - Dahilan: Ang impormasyon ng pagkakasunud-sunod ng teksto ay higit sa lahat makikita sa direksyon ng lapad **Feature Map Conversion**: Ang output ng convolutional layer ay kailangang i-convert sa input format ng RNN: - Raw Output: C×H×W (Channel × Taas× Lapad) - Na-convert: W×C (haba ng pagkakasunud-sunod× dimensyon ng tampok) - Paraan: Kunin ang tampok na vector para sa bawat posisyon ng lapad bilang isang hakbang sa oras ## Detalyadong paliwanag ng pabilog na layer ### Pagpili ng RNN Ang mga CRNN ay karaniwang gumagamit ng bidirectional LSTM bilang loop layer: **Mga Pakinabang ng Bidirectional LSTM**: - Impormasyon sa Konteksto: Gumamit ng parehong pasulong at paatras na konteksto - Mga Dependencies ng Long-Distance: Ang LSTM ay may kakayahang hawakan ang mga dependencies ng malayong distansya - Gradient Stabilization: Iniiwasan ang problema ng pagkawala ng gradient **Pagsasaayos ng Network**: Input: W×512 (haba ng pagkakasunud-sunod × dimensyon ng tampok) BiLSTM1: 256 nakatagong mga cell (128 pasulong + 128 paatras) BiLSTM2: 256 nakatagong mga cell (128 pasulong + 128 paatras) Output: W×256 (haba ng pagkakasunud-sunod× nakatagong mga sukat) ### Mga Mekanismo ng Pagmomodelo ng Pagkakasunud-sunod **Timing Dependency Modeling**: Kinukuha ng RNN layer ang mga dependencies ng tiyempo sa pagitan ng mga character: - Ang impormasyon ng nakaraang character ay tumutulong sa pagkilala sa kasalukuyang character - Ang impormasyon para sa mga kasunod na character ay maaari ring magbigay ng kapaki-pakinabang na konteksto - Ang impormasyon ng buong salita o parirala ay tumutulong sa pag-disambiguate **Mga Pagpapahusay sa Tampok**: Ang mga tampok na naproseso ng RNN ay may mga sumusunod na katangian: - Sensitibo sa konteksto: Ang mga tampok ng bawat lokasyon ay naglalaman ng impormasyon sa konteksto - Pagkakapare-pareho ng tiyempo: Ang mga tampok sa mga katabing lokasyon ay may isang tiyak na pagpapatuloy - Semantiko kayamanan: Pinagsasama ang mga tampok na visual at pagkakasunud-sunod ## Detalyadong paliwanag ng layer ng transkripsyon ### Mekanismo ng CTC Ang CTC (Connectionist Temporal Classification) ay isang pangunahing bahagi ng CRNN: **Ang Papel ng CTCs**: - Pagtugon sa Mga Isyu sa Pagkakahanay: Ang mga haba ng pagkakasunud-sunod ng input ay hindi tumutugma sa haba ng pagkakasunud-sunod ng output - End-to-end na pagsasanay: Hindi na kailangan ng mga anotasyon sa pagkakahanay ng antas ng character - Hawakan ang mga duplicate: Hawakan nang tama ang mga kaso ng mga duplicate na character **Paano Gumagana ang CTC**: 1. Palawakin ang hanay ng label: Magdagdag ng mga blangko na label sa tuktok ng orihinal na hanay ng character 2. Path Enumeration: Enumerates lahat ng posibleng mga landas sa pagkakahanay 3. Path Probability: Kalkulahin ang probabilidad ng bawat landas 4. Marginalization: sum ang mga probabilidad ng lahat ng mga landas upang makuha ang pagkakasunud-sunod probabilidad ### CTC pagkawala function **Representasyon sa matematika**: Given ang input pagkakasunud-sunod X at ang target na pagkakasunud-sunod Y, ang CTC pagkawala ay tinukoy bilang: L_CTC = -log P(Y| X) kung saan P(Y| X) ay nakukuha sa pamamagitan ng pagbubuod ng mga probabilidad ng lahat ng posibleng nakahanay na mga landas: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Dito B ^ (-1) (Y) ay kumakatawan sa lahat ng mga hanay ng mga landas na maaaring mapa sa target na pagkakasunud-sunod Y. ** Pasulong-Paatras na Algorithm **: Upang mahusay na makalkula ang pagkawala ng CTC, isang pasulong-paatras na algorithm para sa dynamic na programming ay ginagamit: - Forward Algorithm: Kinakalkula ang posibilidad na maabot ang bawat estado - Paatras na Algorithm: Kinakalkula ang posibilidad mula sa bawat estado hanggang sa dulo - Pagkalkula ng Gradient: Kalkulahin ang mga gradient kasabay ng pasulong-paatras na posibilidad ## Diskarte sa Pagsasanay ng CRNN ### Preprocessing ng data **Preprocessing ng Imahe**: - Laki ng normalisasyon: Pag-isahin ang taas ng imahe sa 32 pixel - Pagpapanatili ng Aspect Ratio: Pinapanatili ang ratio ng aspeto ng orihinal na imahe - Grayscale Conversion: I-convert sa isang solong-channel grayscale na imahe - Numerical normalization: ang mga halaga ng pixel ay na-normalize sa [0,1] o [-1,1] **Pagpapahusay ng Data**: - Mga pagbabagong-anyo ng geometriko: pag-ikot, pagkiling, pagbabagong-anyo ng pananaw - Mga pagbabago sa pag-iilaw: liwanag, pagsasaayos ng kaibahan - Pagdaragdag ng ingay: Ingay ng Gaussian, ingay ng asin at paminta - Blur: Motion blur, Gaussian blur ### Mga Pamamaraan sa Pagsasanay **Pag-iiskedyul ng Rate ng Pag-aaral**: - Paunang Rate ng Pag-aaral: Karaniwang itinakda sa 0.001 - Diskarte sa pagkabulok: Exponential pagkabulok o hakbang na pagkabulok - Diskarte sa pag-init: Ang unang ilang mga panahon ay gumagamit ng isang maliit na rate ng pag-aaral **Mga Pamamaraan sa Regularisasyon**: - Dropout: Magdagdag ng isang dropout pagkatapos ng RNN layer - Pagkasira ng timbang: Pinipigilan ng regularisasyon ng L2 ang labis na pag-aayos - Batch normalization: Gumamit ng batch normalization sa CNN layer **Pagpili ng Optimizer**: - Adam: Adaptive learning rate, mabilis na convergence - RMSprop: Angkop para sa pagsasanay sa RNN - SGD + Momentum: Tradisyunal ngunit matatag na pagpipilian ## Pag-optimize at pagpapabuti ng CRNN ### Pag-optimize ng arkitektura **CNN Bahagyang Pagpapabuti**: - ResNet Connections: Idinagdag ang natitirang mga koneksyon upang mapabuti ang katatagan ng pagsasanay - DenseNet Fabric: Ang mga siksik na koneksyon ay nagpapabuti sa tampok na multiplexing - Mekanismo ng Pansin: Nagpapakilala ng pansin sa espasyo sa mga CNN **RNN Bahagyang Pagpapabuti**: - GRU Kapalit : Gamitin ang GRU upang mabawasan ang dami ng mga parameter - Transformer: Pinapalitan ang mga RNN gamit ang mga mekanismo ng pansin sa sarili - Mga Tampok ng Multi-Scale: Isama ang mga tampok mula sa iba't ibang mga kaliskis ### Pag-optimize ng Pagganap **Pagpapabilis ng Hinula**: - Model Quantization: Ang INT8 quantization ay binabawasan ang pagsisikap sa computational - Modelo ng pruning: Alisin ang mga hindi mahalaga na koneksyon - Knowledge Distillation: Alamin ang kaalaman ng mga malalaking modelo na may maliliit na modelo **Pag-optimize ng Memorya**: - Gradient checkpoints: Bawasan ang memory footprint sa panahon ng pagsasanay - Mixed Precision: Train with FP16 - Dynamic na pag-optimize ng graph: I-optimize ang istraktura ng kinakalkula na graph ## Mga Kaso ng Aplikasyon sa Real-World ### Pagkilala sa teksto na sulat-kamay **Mga Sitwasyon ng Aplikasyon**: - I-digitize ang mga sulat-kamay na tala - Form autofill - Pagkilala sa makasaysayang dokumento **Mga Teknikal na Tampok**: - Malaking pagkakaiba-iba ng character: Nangangailangan ng malakas na kakayahan sa pagkuha ng tampok - Patuloy na Pagproseso ng Stroke: Ang mga pakinabang ng mekanismo ng CTC ay halata - Mga Bagay sa Konteksto: Ang mga kakayahan sa pagmomodelo ng pagkakasunud-sunod ng RNN ay kritikal ### Pagkilala sa teksto **Mga Sitwasyon ng Aplikasyon**: - I-digitize ang mga dokumento - Pagkakakilanlan ng tiket - Pagkilala sa signage **Mga Teknikal na Tampok**: - Pagiging regular ng Font: Ang pagkuha ng tampok ng CNN ay medyo prangka - Mga panuntunan sa typography: Maaaring magamit ang impormasyon sa layout - Mga Kinakailangan sa Mataas na Katumpasan: Nangangailangan ng pinong pag-tune ng modelo ### Pagkilala sa teksto ng eksena **Mga Sitwasyon ng Aplikasyon**: - Pagkilala sa Teksto ng Street View - Pagkakakilanlan ng label ng produkto - Pagkilala sa karatula ng trapiko **Mga Teknikal na Tampok**: - Kumplikadong Background: Nangangailangan ng matatag na pagkuha ng tampok - Malubhang pagpapapangit: Kinakailangan ang matatag na disenyo ng arkitektura - Mga Kinakailangan sa Real-Time: Nangangailangan ng mahusay na pangangatwiran ## Buod Bilang isang klasikong arkitektura ng malalim na pag-aaral ng OCR, matagumpay na nalulutas ng CRNN ang maraming mga problema ng tradisyunal na mga pamamaraan ng OCR. Ang end-to-end na pamamaraan ng pagsasanay, konsepto ng disenyo nang walang character segmentation, at ang pagpapakilala ng mekanismo ng CTC ay nagbibigay ng mahalagang inspirasyon para sa kasunod na pag-unlad ng teknolohiya ng OCR. **Mga Pangunahing Kontribusyon**: - End-to-End na Pag-aaral: Pinapasimple ang disenyo ng mga sistema ng OCR - Sequence Modeling: Epektibong gumagamit ng mga katangian ng pagkakasunud-sunod ng teksto - CTC Alignment: Natugunan ang hindi pagkakatugma ng haba ng pagkakasunud-sunod - Simpleng Arkitektura: Madaling maunawaan at ipatupad **Direksyon ng pag-unlad**: - Mekanismo ng Pansin: Pagpapakilala ng pansin upang mapabuti ang pagganap - Transformer: Pinapalitan ang mga RNN ng pansin sa sarili - Multimodal fusion: Pagsamahin ang iba pang impormasyon tulad ng mga modelo ng wika - Magaan na disenyo: modelo ng compression para sa mga mobile device Ang tagumpay ng CRNN ay isang patunay sa mahusay na potensyal ng malalim na pag-aaral sa larangan ng OCR at nagbibigay ng mahalagang karanasan para sa pag-unawa kung paano magdisenyo ng epektibong end-to-end na mga sistema ng pag-aaral. Sa susunod na artikulo, tatalakayin natin ang mga detalye ng matematika at pagpapatupad ng CTC loss function.