【Deep Learning OCR Series·6】Analiză aprofundată a arhitecturii CRNN

## Introducere CRNN (Convolutional Recurrent Neural Network) este una dintre cele mai importante arhitecturi din domeniul OCR prin învățare profundă, propusă de Bai Xiang et al. în 2015. CRNN combină ingenios capabilitățile de extragere a caracteristicilor ale rețelelor neuronale convoluționale (CNN) cu capacitățile de modelare a secvențelor rețelelor neuronale recurente (RNN) pentru a realiza recunoașterea textului end-to-end. Acest articol va oferi o analiză aprofundată a proiectării arhitecturii CRNN, principiilor de lucru, metodelor de instruire și aplicațiilor specifice în OCR, oferind cititorilor o înțelegere tehnică cuprinzătoare. ## Prezentare generală a arhitecturii CRNN ### Motivația pentru design Înainte de CRNN, sistemele OCR adoptau de obicei o abordare pas cu pas: detectarea și segmentarea caracterelor erau efectuate mai întâi, iar apoi fiecare caracter era recunoscut. Această abordare are următoarele probleme: **Limitările metodelor tradiționale**: - Propagarea erorilor: Erorile în segmentarea caracterelor pot afecta direct rezultatele recunoașterii - Complexitate: Necesită proiectarea unor algoritmi complexi de segmentare a caracterelor - Robustețe slabă: Sensibil la spațierea caracterelor și la modificările fontului - Incapacitatea de a gestiona trăsăturile continue: Fenomenul trăsăturilor continue în textul scris de mână este dificil de separat **Idei inovatoare ale CRNN**: - Învățare end-to-end: Mapping direct de la imagini la secvențe de text - Fără segmentare: Evită complexitatea segmentării caracterelor - Modelare a secvențelor: Utilizarea RNN-urilor pentru a modela dependențele dintre caractere - Alinierea CTC: Rezolvă nepotrivirile de lungime a secvenței de intrare și ieșire ### Arhitectura generală Arhitectura CRNN este compusă din trei componente principale: **1. Straturi convoluționale**: - Funcție: Extragerea secvențelor de caracteristici din imaginile de intrare - Intrare: Imagine de linie text (înălțime fixă, lățime variabilă) - Ieșire: Secvența hărții de caracteristici **2. Straturi recurent**: - Funcție: Modelarea dependențelor contextuale în secvențe de caracteristici - Input: Secvența de lungmetraje extrasă de CNN - Output: O secvență de caracteristici cu informații contextuale **3. Stratul de transcriere**: - Funcție: Convertirea secvențelor de caracteristici în secvențe de text - Metodă: Folosind CTC (Clasificare Temporală Conexionistă) - Ieșire: Rezultatul final al recunoașterii textului ## Explicație detaliată a straturilor convoluționale ### Strategii de extragere a caracteristicilor Stratul convoluțional al CRNN este proiectat special pentru recunoașterea textului: **Caracteristici ale structurii rețelei**: - Adâncime mică: de obicei se folosesc 7 straturi de straturi convoluționale - Nuclee convoluționale mici: 3×3 nuclee convoluționale sunt folosite în principal - Strategia de pooling: Folosiți pooling-ul cu moderație în direcția lățimii **Configurație specifică a rețelei**: Intrare: 32×V×1 (Înălțime 32, Lățime V, Canal Unic) Conv1: 64 3×3 nuclee convoluționale, pasul 1, umple 1 MaxPool1: 2×2 bazine, lungimea pasului 2 Conv2: 128 3×3 nuclee convoluționale, pasul 1, umple 1 MaxPool2: 2×2 în pool, mărimea pasului 2 Conv3: 256 3×3 nuclee convoluționale, pasul 1, umple 1 Conv4: 256 3×3 nuclee convoluționale, pasul 1, umplerea 1 MaxPool3: 2×1 grupat, dimensiunea pasului (2,1) Conv5: 512 3×3 nuclee convoluționale, pasul 1, umplerea 1 BatchNorm + ReLU Conv6: 512 3×3 nuclee convoluționale, pasul 1, umple 1 BatchNorm + ReLU MaxPool4: 2×1 grupat, dimensiunea pasului (2,1) Conv7: 512 nuclee convoluționale 2×2, pasul 1, umple 0 Producție: 512×1×W/4 ### Considerații cheie de design **Strategie de compresie ridicată**: - Obiectiv: Comprimarea imaginii la 1 pixel înălțime - Metodă: Comprimă treptat înălțimea folosind mai multe straturi de acumulare - Motiv: Înălțimea liniei de text este relativ neimportantă **Strategia de menținere a lățimii**: - Obiectiv: Menținerea informațiilor despre lățimea imaginii cât mai mult posibil - Metodă: Reducerea operațiunilor de pooling în direcția lățimii - Rațiune: Informațiile de secvență ale textului se reflectă în principal în direcția lățimii **Conversia hărților de funcționalități**: Ieșirea stratului convoluțional trebuie convertită în formatul de intrare al RNN-ului: - Ieșire brută: C×H×W (canalul × înălțime× lățime) - Convertit: W×C (lungimea secvenței× dimensiunea caracteristicii) - Metodă: Ia vectorul caracteristicilor pentru fiecare poziție de lățime ca pas temporal ## Explicație detaliată a stratului circular ### Selecția RNN CRNN-urile folosesc de obicei LSTM-uri bidirecționale ca strat de buclă: **Avantajele LSTM-ului bidirecțional**: - Informații contextuale: Utilizează atât contextul înainte, cât și cel înapoi - Dependențe la distanță lungă: LSTM este capabil să gestioneze dependențe la distanțe lungi - Stabilizarea gradientului: Evită problema dispariției gradientului **Configurarea rețelei**: Intrare: W×512 (lungimea secvenței × dimensiunea caracteristicii) BiLSTM1: 256 celule ascunse (128 înainte + 128 înapoi) BiLSTM2: 256 celule ascunse (128 înainte + 128 înapoi) Ieșire: W×256 (lungimea secvenței× dimensiuni ascunse) ### Mecanisme de modelare a secvențelor **Modelarea dependențelor de temporizare**: Stratul RNN surprinde dependențele de timp dintre caractere: - Informațiile despre caracterul anterior ajută la recunoașterea caracterului curent - Informațiile pentru caracterele ulterioare pot oferi, de asemenea, context util - Informația întregului cuvânt sau expresie ajută la clarificare **Îmbunătățiri de funcționalități**: Caracteristicile procesate de RNN au următoarele caracteristici: - Sensibil la context: Caracteristicile fiecărei locații conțin informații contextuale - Consistența temporizării: Caracteristicile din locațiile adiacente au o anumită continuitate - Bogăție semantică: Combină caracteristici vizuale și de secvență ## Explicație detaliată a stratului de transcriere ### Mecanism CTC CTC (Clasificarea Temporală Conexionistă) este o componentă cheie a CRNN: **Rolul CTC-urilor**: - Rezolvarea problemelor de aliniere: lungimile secvențelor de intrare nu corespund lungimii secvențelor de ieșire - Antrenament end-to-end: Nu este nevoie de adnotări de aliniere la nivel de caracter - Gestionarea duplicatelor: Gestionarea corectă a cazurilor de caractere duplicate **Cum funcționează CTC**: 1. Extinde setul de etichete: Adaugă etichete goale deasupra setului original de caractere 2. Enumerarea căilor: Enumeră toate căile posibile de aliniere 3. Probabilitatea traseului: Calculați probabilitatea fiecărui drum 4. Marginalizare: se însumează probabilitățile tuturor căilor pentru a obține probabilitatea secvenței ### Funcția de pierdere CTC **Reprezentare matematică**: Având secvența de intrare X și secvența țintă Y, pierderea CTC este definită astfel: L_CTC = -log P(Y| X) unde P(Y| X) se obține prin însumarea probabilităților tuturor căilor aliniate posibile: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Aici B^(-1)(Y) reprezintă toate mulțimile de căi care pot fi mapate la secvența țintă Y. **Algoritmul Înainte-Înapoi**: Pentru a calcula eficient pierderea CTC, se folosește un algoritm înainte-înapoi pentru programarea dinamică: - Algoritmul Forward: Calculează probabilitatea de a atinge fiecare stare - Algoritm invers: Calculează probabilitatea de la fiecare stare până la final - Calculul gradientului: Se calculează gradientele împreună cu probabilitatea înainte-înapoi ## Strategia de antrenament CRNN ### Preprocesare a datelor **Preprocesare a imaginilor**: - Normalizarea dimensiunii: Unificarea înălțimii imaginii la 32 de pixeli - Menținerea raportului de aspect: Menține raportul de aspect al imaginii originale - Conversie în tonuri de gri: Se convertește într-o imagine în tonuri de gri cu un singur canal - Normalizare numerică: valorile pixel sunt normalizate la [0,1] sau [-1,1] **Îmbunătățirea datelor**: - Transformări geometrice: rotație, înclinare, transformare în perspectivă - Modificări de iluminare: luminozitate, ajustări de contrast - Adăugare de zgomot: zgomot gaussian, sunet de sare și piper - Blur: Blur de mișcare, blur gaussian ### Tehnici de antrenament **Programarea ratei de învățare**: - Rata inițială de învățare: De obicei setată la 0,001 - Strategia de dezintegrare: Dezintegrare exponențială sau decădere în trepte - Strategia de încălzire: Primele epoci folosesc o rată mică de învățare **Tehnici de regularizare**: - Dropout: Adaugă un dropout după stratul RNN - Degradarea greutății: regularizarea L2 previne supraajustarea - Normalizare pe loturi: Utilizarea normalizării pe loturi în stratul CNN **Selecția optimizatorului**: - Adam: Rata de învățare adaptivă, convergența rapidă - RMSprop: Potrivit pentru instruirea RNN - SGD+Momentum: Opțiune tradițională, dar stabilă ## Optimizarea și îmbunătățirea CRNN ### Optimizarea arhitecturii **Îmbunătățiri parțiale CNN**: - Conexiuni ResNet: Conexiuni reziduale adăugate pentru a îmbunătăți stabilitatea antrenamentului - DenseNet Fabric: Conexiunile dense îmbunătățesc multiplexarea caracteristicilor - Mecanism de Atenție: Introduce atenția spațială în CNN-uri **Îmbunătățiri parțiale RNN**: - Înlocuire GRU: Folosiți GRU pentru a reduce numărul de parametri - Transformator: Înlocuiește RNN-urile folosind mecanisme de auto-atenție - Caracteristici multi-scări: Încorporează caracteristici de la diferite scale ### Optimizarea performanței **Accelerarea inferenței**: - Cuantificarea modelului: Cuantizarea INT8 reduce efortul computațional - Tăierea modelului: Eliminarea conexiunilor neimportante - Distilarea cunoștințelor: Învață cunoștințele modelelor mari cu modele mici **Optimizarea memoriei**: - Puncte de control ale gradientului: Reducerea amprentei memoriei în timpul antrenamentului - Precizie mixtă: Antrenează cu FP16 - Optimizarea dinamică a grafurilor: Optimizarea structurii grafului calculat ## Cazuri de aplicații din lumea reală ### Recunoaștere a textului scris de mână **Scenarii de aplicare**: - Digitalizarea notițelor scrise de mână - Completarea automată a formularelor - Recunoașterea documentelor istorice **Caracteristici tehnice**: - Variație mare a caracterelor: necesită capacități puternice de extragere a caracteristicilor - Procesarea cursei continue: Avantajele mecanismului CTC sunt evidente - Contextul contează: Capacitățile de modelare a secvențelor ale RNN-urilor sunt critice ### Recunoaștere a textului imprimat **Scenarii de aplicare**: - Digitalizarea documentelor - Identificarea biletului - Recunoașterea semnalizării **Caracteristici tehnice**: - Regularitatea fontului: extragerea caracteristicilor CNN este relativ simplă - Reguli de tipografie: Informațiile despre layout pot fi utilizate - Cerințe ridicate de acuratețe: necesită ajustare fină a modelului ### Recunoașterea textului scenei **Scenarii de aplicare**: - Recunoaștere a textului Street View - Identificarea etichetei produsului - Recunoașterea indicatoarelor de circulație **Caracteristici tehnice**: - Fundal complex: necesită extragere robustă a caracteristicilor - Deformare severă: Este necesară o arhitectură robustă - Cerințe în timp real: necesită raționament eficient ## Rezumat Ca arhitectură clasică a OCR prin învățare profundă, CRNN rezolvă cu succes multe probleme ale metodelor tradiționale OCR. Metoda sa de instruire end-to-end, conceptul de proiectare fără segmentarea caracterelor și introducerea mecanismului CTC oferă toate o inspirație importantă pentru dezvoltarea ulterioară a tehnologiei OCR. **Contribuții cheie**: - Învățare End-to-End: Simplifică proiectarea sistemelor OCR - Modelarea secvențelor: Utilizează eficient proprietățile secvenței ale textului - Aliniere CTC: Ajustarea nepotrivirii de lungime a secvenței - Arhitectură simplă: Ușor de înțeles și implementat **Direcția de dezvoltare**: - Mecanism de atenție: Introducerea atenției pentru a îmbunătăți performanța - Transformator: Înlocuiește RNN-urile cu auto-atenție - Fuziune multimodală: Combină alte informații precum modele lingvistice - Design ușor: compresie de modele pentru dispozitive mobile Succesul CRNN este o dovadă a potențialului mare al învățării profunde în domeniul OCR și oferă experiență valoroasă pentru a înțelege cum să proiectezi sisteme eficiente de învățare end-to-end. În următorul articol, vom explora matematica și detaliile de implementare ale funcției de pierdere CTC.