【Deep Learning OCR Series·6】Analisi approfondita dell'architettura CRNN

## Introduzione CRNN (Convolutional Recurrent Neural Network) è una delle architetture più importanti nel campo dell'OCR per deep learning, proposta da Bai Xiang et al. nel 2015. CRNN combina abilmente le capacità di estrazione delle caratteristiche delle reti neurali convoluzionali (CNN) con le capacità di modellazione delle sequenze delle reti neurali ricorrenti (RNN) per ottenere il riconoscimento testuale end-to-end. Questo articolo fornirà un'analisi approfondita della progettazione dell'architettura del CRNN, dei principi di funzionamento, dei metodi di addestramento e delle applicazioni specifiche nell'OCR, fornendo ai lettori una comprensione tecnica completa. ## Panoramica dell'architettura CRNN ### Motivazione al design Prima del CRNN, i sistemi OCR adottavano tipicamente un approccio passo dopo passo: il rilevamento e la segmentazione dei caratteri venivano eseguiti per primi, e poi ogni carattere veniva riconosciuto. Questo approccio presenta i seguenti problemi: **Limitazioni dei metodi tradizionali**: - Propagazione degli errori: gli errori nella segmentazione dei caratteri possono influenzare direttamente i risultati del riconoscimento - Complessità: Richiede la progettazione di algoritmi complessi di segmentazione dei caratteri - Scarsa robustezza: sensibile alla spaziatura dei caratteri e ai cambiamenti del font - Incapacità di gestire tratti continui: Il fenomeno dei tratti continui in testi scritti a mano è difficile da distinguere **Idee innovative di CRNN**: - Apprendimento end-to-end: mappatura diretta dalle immagini alle sequenze di testo - Nessuna segmentazione: evita la complessità della segmentazione dei caratteri - Modellazione di Sequenze: Utilizzare RNN per modellare le dipendenze tra i caratteri - Allineamento CTC: Affronta le discrepanza di lunghezza della sequenza input-output ### Architettura complessiva L'architettura CRNN è composta da tre componenti principali: **1. Livelli convoluzionali**: - Funzione: Estrarre sequenze di caratteristiche dalle immagini di input - Input: Immagine della linea di testo (altezza fissa, larghezza variabile) - Output: Sequenza della mappa delle caratteristiche **2. Strati ricorrenti**: - Funzione: Modellare dipendenze contestuali nelle sequenze di caratteristiche - Input: La sequenza di feature estratta dalla CNN - Output: una sequenza di caratteristiche con informazioni contestuali **3. Livello di trascrizione**: - Funzione: Convertire sequenze di feature in sequenze di testo - Metodo: Utilizzo CTC (Classificazione temporale connessionista) - Output: Il risultato finale del riconoscimento del testo ## Spiegazione dettagliata degli strati convoluzionali ### Strategie di estrazione delle caratteristiche Il livello convoluzionale di CRNN è progettato specificamente per il riconoscimento del testo: **Caratteristiche della struttura della rete**: - Profondità ridotta: di solito si usano 7 strati di strati convoluzionali - Piccoli nuclei convoluzionali: si usano principalmente 3×3 nuclei convoluzionali - Strategia di pooling: utilizzare il pooling con parsimonia nella direzione della larghezza **Configurazione specifica della rete**: Input: 32×W×1 (Altezza 32, Larghezza W, Canale Singolo) Conv1: 64 nuclei convoluzionali 3×3, passo 1, riempire 1 MaxPool1: 2×2 piscine, lunghezza del passo 2 Conv2: 128 3×3 kernel convoluzionali, passo 1, riempire 1 MaxPool2: 2×2 in pool, dimensione passo 2 Conv3: 256 nuclei convoluzionali 3×3, passo 1, riempire 1 Conv4: 256 3×3 nuclei convoluzionali, passo 1, riempire 1 MaxPool3: 2×1 in pool, dimensione dei passi (2,1) Conv5: 512 3×3 nuclei convoluzionali, passo 1, riempire 1 BatchNorm + ReLU Conv6: 512 3×3 kernel convoluzionali, passo 1, riempire 1 BatchNorm + ReLU MaxPool4: 2×1 aggregati, dimensione dei passi (2,1) Conv7: 512 nuclei convoluzionali 2×2, passo 1, riempire 0 Uscita: 512×1×W/4 ### Considerazioni chiave di progettazione **Strategia ad alta compressione**: - Obiettivo: comprimere l'immagine a 1 pixel di altezza - Metodo: Comprimere gradualmente l'altezza usando più strati di accumulo - Motivo: L'altezza della riga del testo è relativamente irrilevante **Strategia di mantenimento della larghezza**: - Obiettivo: Mantenere il più possibile le informazioni sulla larghezza dell'immagine - Metodo: Ridurre le operazioni di pooling nella direzione di larghezza - Ragione: Le informazioni sulla sequenza del testo si riflettono principalmente nella direzione della larghezza **Conversione delle mappe di caratteristiche**: L'output dello strato convoluzionale deve essere convertito nel formato di ingresso della RNN: - Output grezzo: C×H×W (Canale × Altezza× Larghezza) - Convertito: W×C (Lunghezza della sequenza× Dimensione delle caratteristiche) - Metodo: Prendere il vettore caratteristico per ogni posizione di larghezza come passo temporale ## Spiegazione dettagliata dello strato circolare ### Selezione RNN Le CRNN tipicamente utilizzano LSTM bidirezionali come layer di loop: **Vantaggi del LSTM bidirezionale**: - Informazioni contestuali: utilizzare sia il contesto in avanti che all'indietro - Dipendenze a lunga distanza: LSTM è in grado di gestire dipendenze a lunga distanza - Stabilizzazione del gradiente: evita il problema della scomparsa del gradiente **Configurazione della rete**: Input: W×512 (lunghezza della sequenza × dimensione delle caratteristiche) BiLSTM1: 256 celle nascoste (128 avanti + 128 indietro) BiLSTM2: 256 celle nascoste (128 in avanti + 128 indietro) Output: W×256 (lunghezza della sequenza× dimensioni nascoste) ### Meccanismi di Modellazione delle Sequenze **Modellazione delle dipendenze temporali**: Il livello RNN cattura le dipendenze temporali tra i caratteri: - Le informazioni del personaggio precedente aiutano a riconoscere il personaggio attuale - Le informazioni sui personaggi successivi possono fornire anche un contesto utile - L'informazione dell'intera parola o frase aiuta a distinguere l'ambiguità **Miglioramenti delle funzionalità**: Le caratteristiche elaborate dalla RNN presentano le seguenti caratteristiche: - Sensibile al contesto: le caratteristiche di ogni luogo contengono informazioni contestuali - Coerenza temporale: le caratteristiche nelle località adiacenti hanno una certa continuità - Ricchezza semantica: Combina caratteristiche visive e di sequenza ## Spiegazione dettagliata dello strato di trascrizione ### Meccanismo CTC CTC (Classification Temporale Connessionista) è un componente chiave del CRNN: **Il ruolo dei CTC**: - Risoluzione dei problemi di allineamento: le lunghezze delle sequenze di input non corrispondono a quelle delle sequenze di output - Addestramento end-to-end: nessuna necessità di annotazioni di allineamento a livello di carattere - Gestire i duplicati: gestire correttamente i casi di caratteri duplicati **Come funziona il CTC**: 1. Espandi il set di etichette: aggiungi etichette vuote sopra il set originale di caratteri 2. Enumerazione dei percorsi: Elenca tutti i possibili percorsi di allineamento 3. Probabilità del percorso: Calcola la probabilità di ciascun percorso 4. Marginalizzazione: sommare le probabilità di tutti i percorsi per ottenere la probabilità della sequenza ### Funzione di perdita CTC **Rappresentazione matematica**: Data la sequenza di input X e la sequenza target Y, la perdita CTC è definita come: L_CTC = -log P(Y| X) dove P(Y| X) si ottiene sommando le probabilità di tutti i possibili percorsi allineati: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Qui B^(-1)(Y) rappresenta tutti gli insiemi di percorsi che possono essere mappati nella sequenza target Y. **Algoritmo avanti-indietro**: Per calcolare efficacemente la perdita CTC, si utilizza un algoritmo forward-back per la programmazione dinamica: - Algoritmo Forward: Calcola la probabilità di raggiungere ogni stato - Algoritmo al contrario: Calcola la probabilità da ogni stato fino alla fine - Calcolo del gradiente: Calcolare i gradienti in combinazione con la probabilità avanti-indietro ## Strategia di addestramento CRNN ### Preprocessing dati **Preprocessing dell'immagine**: - Normalizzazione delle dimensioni: unificare l'altezza dell'immagine a 32 pixel - Mantenimento del rapporto d'aspetto: mantiene il rapporto d'aspetto dell'immagine originale - Conversione in scala di grigi: Convertire in un'immagine in scala di grigi a canale singolo - Normalizzazione numerica: i valori dei pixel sono normalizzati a [0,1] o [-1,1] **Miglioramento dei dati**: - Trasformazioni geometriche: rotazione, inclinazione, trasformazione prospettica - Cambiamenti di illuminazione: luminosità, regolazioni del contrasto - Aggiunta di rumore: rumore gaussiano, rumore di sale e pepe - Sfocatura: sfocatura di movimento, sfocatura gaussiana ### Tecniche di addestramento **Programmazione del tasso di apprendimento**: - Tasso di apprendimento iniziale: tipicamente impostato a 0,001 - Strategia del decadimento: decadimento esponenziale o decadimento a gradini - Strategia di riscaldamento: Le prime epoche utilizzano un basso tasso di apprendimento **Tecniche di regolarizzazione**: - Dropout: Aggiungere un dropout dopo il livello RNN - Degrado del peso: la regolarizzazione L2 impedisce il sovrafitting - Normalizzazione batch: Utilizzare la normalizzazione batch nel livello CNN **Selezione ottimizzatore**: - Adam: Tasso di apprendimento adattivo, convergenza rapida - RMSprop: Adatto per l'addestramento RNN - SGD+Momentum: opzione tradizionale ma stabile ## Ottimizzazione e miglioramento di CRNN ### Ottimizzazione dell'architettura **Miglioramenti parziali della CNN**: - Connessioni ResNet: Aggiunte connessioni residue per migliorare la stabilità dell'addestramento - DenseNet Fabric: Connessioni dense migliorano il multiplexing delle feature - Meccanismo dell'Attenzione: Introduce l'attenzione spaziale nelle CNN **Miglioramenti parziali RNN**: - Sostituzione GRU: Usa GRU per ridurre la quantità di parametri - Transformer: Sostituisce le RNN usando meccanismi di auto-attenzione - Caratteristiche Multi-Scala: Incorporano caratteristiche di scale diverse ### Ottimizzazione delle prestazioni **Accelerazione dell'inferenza**: - Quantizzazione del modello: la quantizzazione INT8 riduce lo sforzo computazionale - Potatura modello: rimuovere connessioni non importanti - Distillazione della conoscenza: Impara la conoscenza di modelli grandi con modelli piccoli **Ottimizzazione della memoria**: - Punti di controllo gradiente: Ridurre l'impronta di memoria durante l'addestramento - Precisione mista: Allenare con FP16 - Ottimizzazione dinamica del grafo: ottimizzare la struttura del grafo calcolato ## Casi di applicazione nel mondo reale ### Riconoscimento di testo scritto a mano **Scenari applicative**: - Digitalizzare appunti scritti a mano - Compilazione automatica del modulo - Riconoscimento di documenti storici **Caratteristiche tecniche**: - Grande variazione di caratteri: richiede forti capacità di estrazione delle caratteristiche - Elaborazione a corsa continua: I vantaggi del meccanismo CTC sono evidenti - Il contesto conta: le capacità di modellazione delle sequenze delle RNN sono fondamentali ### Riconoscimento testuale stampato **Scenari applicative**: - Digitalizzare documenti - Identificazione del biglietto - Riconoscimento della segnaletica **Caratteristiche tecniche**: - Regolarità del font: l'estrazione delle funzionalità CNN è relativamente semplice - Regole tipografiche: Possono essere utilizzate le informazioni sulla disposizione - Requisiti di alta precisione: richiede una messa a punto fine per il modello ### Riconoscimento del testo della scena **Scenari applicative**: - Riconoscimento Testuale Street View - Identificazione dell'etichetta del prodotto - Riconoscimento dei segnali stradali **Caratteristiche tecniche**: - Background complesso: richiede un'estrazione robusta di caratteristiche - Deformazione severa: è richiesta una progettazione di architettura robusta - Requisiti in tempo reale: richiede un ragionamento efficiente ## Riassunto Come architettura classica del deep learning OCR, CRNN risolve con successo molti problemi dei metodi tradizionali OCR. Il suo metodo di addestramento end-to-end, il concetto di progettazione senza segmentazione dei caratteri e l'introduzione del meccanismo CTC forniscono tutti un'ispirazione importante per lo sviluppo successivo della tecnologia OCR. **Contributi chiave**: - Apprendimento end-to-end: semplifica la progettazione dei sistemi OCR - Modellazione delle sequenze: utilizza efficacemente le proprietà della sequenza del testo - Allineamento CTC: Disadattamento della lunghezza della sequenza indirizzata - Architettura Semplice: Facile da comprendere e implementare **Direzione dello sviluppo**: - Meccanismo dell'Attenzione: Introdurre l'attenzione per migliorare le prestazioni - Transformer: Sostituisce le RNN con autoattenzione - Fusione multimodale: Combinare altre informazioni come modelli linguistici - Progettazione leggera: compressione dei modelli per dispositivi mobili Il successo del CRNN è una testimonianza del grande potenziale del deep learning nel campo dell'OCR e fornisce un'esperienza preziosa per comprendere come progettare sistemi di apprendimento end-to-end efficaci. Nel prossimo articolo approfondiremo i dettagli matematici e di implementazione della funzione di perdita CTC.