【Sèrie OCR d'Aprenentatge Profund·4】Xarxes Neuronals Recurrents i Modelatge de Seqüències

## Introducció La Xarxa Neuronal Recurrent (RNN) és una arquitectura de xarxa neuronal en aprenentatge profund que està especialitzada en el processament de dades de seqüències. En tasques OCR, el reconeixement de text és essencialment un problema de conversió de seqüència a seqüència: convertir una seqüència de característiques d'imatge en una seqüència de caràcters de text. Aquest article aprofundirà en com funciona RNN, les seves principals variants i les seves aplicacions específiques en OCR, proporcionant als lectors una base teòrica completa i una orientació pràctica. ## Fonaments de la RNN ### Limitacions de les xarxes neuronals tradicionals Les xarxes neuronals feedforward tradicionals tenen limitacions fonamentals en el processament de dades de seqüència. Aquestes xarxes assumeixen que les dades d'entrada són independents i homodistribuïdes, i no poden capturar les dependències temporals entre elements de la seqüència. **Problemes de xarxa de feedforward**: - Longitud fixa d'entrada i sortida: No es poden gestionar seqüències de longitud variable - Manca de capacitat de memòria: Incapacitat per utilitzar informació històrica - Dificultat en compartir paràmetres: El mateix patró s'ha d'aprendre repetidament en diferents ubicacions - Sensibilitat posicional: Canviar l'ordre de les entrades pot provocar sortides completament diferents Aquestes limitacions són especialment evidents en tasques OCR. Les seqüències de text depenen molt del context, i els resultats de reconeixement del caràcter anterior sovint ajuden a determinar la probabilitat que hi hagi caràcters posteriors. Per exemple, quan s'identifica la paraula anglesa "the", si "th" ja està reconegut, el següent caràcter probablement serà "e". ### La idea central de RNN RNN resol el problema de la modelització de seqüències introduint unions de llaç. La idea central és afegir un mecanisme de "memòria" a la xarxa, perquè aquesta pugui emmagatzemar i utilitzar informació de moments anteriors. **Representació matemàtica de la RNN**: Al moment t, l'estat ocult de la RNN h_t determinat pel x_t d'entrada actual i l'estat ocult del moment anterior h_{t-1}: h_t = f(W_hh * h_{t-1} + W_xh * x_t + b_h) Entre ells: - W_hh és la matriu de pesos de l'estat ocult a l'estat ocult - W_xh és la matriu de pesos que entra en l'estat ocult - b_h és un vector de biaix - f és la funció d'activació (normalment tanh o ReLU) La y_t de sortida es calcula a partir de l'estat ocult actual: y_t = W_hy * h_t + b_y **Avantatges dels RNNs**: - Compartició de paràmetres: Els mateixos pesos es comparteixen en tots els passos de temps - Processament de seqüències de longitud variable: pot gestionar seqüències d'entrada de longitud arbitrària - Capacitat de memòria: Els estats ocults actuen com a "records" de la xarxa - Entrada i sortida flexible: Suporta modes d'un a un, un a molts, molts a un, molts a molts i més ### Vista ampliada de la RNN Per entendre millor com funcionen les RNN, podem expandir-les a la dimensió temporal. La RNN expandida sembla una xarxa de feedforward profunda, però tots els passos de temps comparteixen els mateixos paràmetres. **La importància del desplegament del temps**: - Flux d'informació fàcil d'entendre: És possible veure clarament com es transmet la informació entre passos de temps - Càlcul de gradients: Els gradients es calculen mitjançant l'algorisme de retropropagació temporal (BPTT) - Consideracions de paral·lelització: Tot i que les RNN són inherentment seqüencials, certes operacions es poden paral·lelitzar **Descripció matemàtica del procés de desplegament**: Per a seqüències de longitud T, la RNN s'expandeix de la manera següent: h_1 = f(W_xh * x_1 + b_h) h_2 = f(W_hh * h_1 + W_xh * x_2 + b_h) h_3 = f(W_hh * h_2 + W_xh * x_3 + b_h) ... h_T = f(W_hh * h_{T-1} + W_xh * x_T + b_h) Aquesta forma desplegada mostra clarament com es transmet la informació entre passos de temps i com es comparteixen els paràmetres entre tots els passos de temps. ## Problema de desaparició i explosió del gradient ### L'arrel del problema Quan entrenem RNNs, utilitzem l'algorisme de retropropagació a través del temps (BPTT). L'algorisme necessita calcular el gradient de la funció de pèrdua per a cada paràmetre de pas de temps. **Llei de la cadena per al càlcul del gradient**: Quan la seqüència és llarga, el gradient s'ha de retropropagar a través de diversos passos de temps. Segons la regla de la cadena, un gradient conteurà múltiples multiplicacions de la matriu de pesos: ∂L/∂W = Σ_t (∂L/∂y_t) * (∂y_t/∂h_t) * (∂h_t/∂W) on ∂h_t/∂W implica el producte de tots els estats intermedis des del moment t fins al moment 1. **Anàlisi matemàtica de la desaparició del gradient**: Considerem la propagació dels gradients entre passos de temps: ∂h_t/∂h_{t-1} = diag(f_prime(W_hh * h_{t-1} + W_xh * x_t + b_h)) * W_hh Quan la longitud de la seqüència és T, el gradient conté T-1 aquest terme de producte. Si el valor propi màxim de la W_hh és menor que 1, la multiplicació contínua de matrius provocarà una desintegració exponencial del gradient. **Anàlisi matemàtica de les explosions de gradients**: A l'inrevés, quan el valor propi màxim del W_hh és superior a 1, el gradient augmenta exponencialment: || ∂h_t/∂h_1|| ≈ || W_hh|| ^{t-1} Això condueix a un entrenament inestable i actualitzacions excessives de paràmetres. ### Explicació detallada de la solució Retallat de gradient: El retallat de gradient és la manera més directa de resoldre explosions de gradient. Quan la norma del gradient supera un llindar establert, el gradient s'escala a la mida del llindar. Aquest mètode és senzill i efectiu, però requereix una selecció acurada dels llindars. Un llindar massa petit limitarà la capacitat d'aprenentatge, i un llindar massa alt no evitarà efectivament l'explosió del gradient. **Estratègia d'inicialització de pes**: Una inicialització adequada del pes pot alleujar problemes de gradient: - Inicialització de Xavier: La variància de pes és 1/n, on n és la dimensió d'entrada - Inicialització He: La variància de pes és 2/n, que és adequada per a funcions d'activació de ReLU - Inicialització ortogonal: Inicialitza la matriu de pesos com una matriu ortogonal **Selecció de funcions d'activació**: Diferents funcions d'activació tenen efectes diferents en la propagació del gradient: - tanh: rang de sortida [-1,1], valor màxim del gradient de 1 - ReLU: pot alleujar la desaparició del gradient però pot causar mort neuronal - Leaky ReLU: Resol el problema de la mort neuronal de ReLU **Millores arquitectòniques**: La solució més fonamental va ser millorar l'arquitectura de la RNN, fet que va conduir a l'aparició de l'LSTM i el GRU. Aquestes arquitectures aborden gradients mitjançant mecanismes de barrera i dissenys especialitzats de flux d'informació. ## LSTM: Xarxa de Memòria a Curt Termini Llarg ### Motivació de disseny per a LSTM LSTM (Memòria a Llarg Curt Termini) és una variant de la RNN proposada per Hochreiter i Schmidhuber el 1997, dissenyada específicament per resoldre el problema de l'anul·lació del gradient i les dificultats d'aprenentatge dependent a distància. **Innovacions Bàsiques de LSTM**: - Estat cel·lular: Serveix com una "autopista" per a la informació, permetent que la informació flueixi directament entre passos temporals - Mecanisme de Portal: Control precís sobre l'entrada, retenció i sortida d'informació - Mecanismes de memòria dissociada: distingir entre memòria a curt termini (estat ocult) i memòria a llarg termini (estat cel·lular) **Com l'LSTM resol problemes de gradient**: L'LSTM actualitza l'estat de la cel·la mitjançant operacions additives en lloc d'operacions multiplicatives, cosa que permet que els gradients flueixin més fàcilment cap a passos de temps anteriors. Fórmula actualitzada per a l'estat cel·lular: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Aquí s'utilitza la suma a nivell d'element, evitant la multiplicació contínua de matrius en les RNN tradicionals. ### Explicació detallada de l'arquitectura LSTM El LSTM conté tres unitats de connexió i un estat cel·lular: **1. Oblida la Porta**: La porta de l'oblit decideix quina informació descartar de l'estat cel·lular: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) La sortida de la porta de l'oblit és un valor entre 0 i 1, on 0 és "completament oblidat" i 1 és "completament retingut". Aquesta porta permet als LSTM oblidar selectivament informació històrica poc important. **2. Porta d'entrada**: La porta d'entrada determina quina nova informació s'emmagatzema en l'estat de la cel·la: i_t = σ(W_i · [h_{t-1}, x_t] + b_i) C_tilde_t = tanh(W_C · [h_{t-1}, x_t] + b_C) La porta d'entrada consta de dues parts: la capa sigmoide determina quins valors s'han d'actualitzar, i la capa tanh crea vectors de valor candidats. **3. Actualització de l'estat de la cel·la**: Combina les sortides de la porta d'oblit i la porta d'entrada per actualitzar l'estat de la cel·la: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Aquesta fórmula és al cor de la LSTM: retenció i actualització selectiva de la informació mitjançant operacions de multiplicació i suma a nivell d'element. **4. Porta de sortida**: La porta de sortida determina quines parts de la cel·la són sortides: o_t = σ(W_o · [h_{t-1}, x_t] + b_o) h_t = o_t ⊙ tanh(C_t) La porta de sortida controla quines parts de l'estat de la cel·la afecten la sortida actual. ### Variants LSTM **LSTM de forat de mirall**: Basat en el LSTM estàndard, el Leephole LSTM permet que la unitat de porta vegi l'estat de la cel·la: f_t = σ(W_f · [C_{t-1}, h_{t-1}, x_t] + b_f) i_t = σ(W_i · [C_{t-1}, h_{t-1}, x_t] + b_i) o_t = σ(W_o · [C_t, h_{t-1}, x_t] + b_o) **LSTM acoblat**: Combina la porta d'oblit amb la porta d'entrada per assegurar que la quantitat d'informació oblidada sigui igual a la quantitat d'informació introduïda: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) i_t = 1 - f_t Aquest disseny redueix el nombre de paràmetres mantenint la funcionalitat bàsica de l'LSTM. ## GRU: Unitat de bucle tancat ### Disseny simplificat del GRU GRU (Gated Recurrent Unit) és una versió simplificada de la LSTM proposada per Cho et al. l'any 2014. GRU simplifica les tres portes de la LSTM a dues portes i fusiona l'estat cel·lular i l'estat ocult. **Filosofia de disseny de GRU**: - Estructura simplificada: Redueix el nombre de portes i disminueix la complexitat dels càlculs - Mantenir el rendiment: Simplificar mantenint un rendiment comparable a l'LSTM - Fàcil d'implementar: Una construcció més senzilla permet una implementació i posada en marxa fàcils ### Mecanisme de comporta del GRU **1. Porta de reinici**: r_t = σ(W_r · [h_{t-1}, x_t] + b_r) La porta de reinici determina com combinar la nova entrada amb la memòria anterior. Quan la porta de reinici s'acosta a 0, el model ignora l'estat ocult anterior. **2. Porta d'actualització**: z_t = σ(W_z · [h_{t-1}, x_t] + b_z) La porta d'actualització determina quanta informació passada conservar i quanta informació nova afegir. Controla tant l'oblit com l'entrada, de manera similar a la combinació d'oblit i portes d'entrada a LSTM. **3. Estat ocult del candidat**: h_tilde_t = tanh(W_h · [r_t ⊙ h_{t-1}, x_t] + b_h) Els estats ocults candidats utilitzen la porta de reinici per controlar els efectes de l'estat ocult anterior. **4. Estat Ocult Final**: h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h_tilde_t L'estat ocult final és una mitjana ponderada de l'estat ocult anterior i l'estat ocult candidat. ### Comparativa en profunditat de GRU vs LSTM **Comparació del nombre de paràmetres**: - LSTM: 4 matrius de pesos (porta d'oblidament, porta d'entrada, valor candidat, porta de sortida) - GRU: 3 matrius de pesos (porta de reinici, porta d'actualització, valor candidat) - El nombre de paràmetres del GRU és aproximadament el 75% del LSTM **Comparació de complexitat computacional**: - LSTM: Requereix el càlcul de 4 sortides de porta i actualitzacions de l'estat de la cel·la - GRU: Simplement calcular la sortida de 2 portes i actualitzacions d'estat ocultes - El GRU és típicament un 20-30% més ràpid que l'LSTM **Comparació de rendiment**: - En la majoria de tasques, GRU i LSTM tenen un rendiment comparable - L'LSTM pot ser lleugerament millor que el GRU en algunes tasques de seqüència llarga - GRU és una millor opció en casos on els recursos de càlcul són limitats ## RNNs bidireccionals ### La necessitat del processament bidireccional En moltes tasques de modelatge de seqüències, la sortida del moment present depèn no només de la informació passada sinó també del futur. Això és especialment important en tasques OCR, on el reconeixement de caràcters sovint requereix considerar el context de tota la paraula o frase. **Limitacions de les RNNs unidireccionals**: - Només es pot utilitzar informació històrica, no es pot obtenir cap context futur - Rendiment limitat en certes tasques, especialment aquelles que requereixen informació global - Reconeixement limitat de caràcters ambigus **Avantatges del processament bidireccional**: - Informació contextual completa: Aprofitar tant la informació passada com la futura - Millor desambiguació: Desambiguació amb informació contextual - Millora de la precisió del reconeixement: Millor rendiment en la majoria de tasques d'anotació de seqüències ### Arquitectura LSTM bidireccional L'LSTM bidireccional consta de dues capes de LSTM: - LSTM endavant: Seqüències de processos d'esquerra a dreta - LSTM cap enrere: Processar seqüències de dreta a esquerra **Representació matemàtica**: h_forward_t = LSTM_forward(x_t, h_forward_{t-1}) h_backward_t = LSTM_backward(x_t, h_backward_{t+1}) h_t = [h_forward_t; h_backward_t] # Cosint endavant i enrere estats ocults **Procés d'entrenament**: 1. L'LSTM avançat processa seqüències en ordre normal 2. L'LSTM a l'inrevés processa les seqüències en ordre invers 3. A cada pas de temps, connecta els estats ocults en ambdues direccions 4. Utilitza l'estat empalmat per a la predicció **Avantatges i desavantatges**: Beneficis: - Informació contextual completa - Millor rendiment - Tractament per simetria Desavantatges: - Doblar la complexitat dels càlculs - No es pot processar en temps real (requereix una seqüència completa) - Augment dels requisits de memòria ## Aplicacions de modelatge de seqüències en OCR ### Explicació detallada del reconeixement de línies de text En sistemes OCR, el reconeixement de línies de text és una aplicació típica del modelatge de seqüències. Aquest procés implica convertir una seqüència de característiques d'imatge en una seqüència de caràcters. **Modelatge de problemes**: - Entrada: Seqüència de característiques d'imatge X = {x_1, x_2, ..., x_T} - Sortida: Seqüència de caràcters Y = {y_1, y_2, ..., y_S} - Repte: La longitud de la seqüència d'entrada T i la longitud de la seqüència de sortida S sovint no són iguals **Aplicació de l'arquitectura CRNN en el reconeixement de línies de text**: CRNN (Convolutional Recurrent Neural Network) és una de les arquitectures més exitoses en OCR: 1. **Capa d'extracció de característiques de CNN**: - Extreure característiques d'imatge utilitzant xarxes neuronals convolucionals - Convertir característiques d'imatge 2D en seqüències de característiques 1D - Mantenir la continuïtat de la informació de temps 2. **Capa de Modelatge de Seqüències RNN**: - Seqüències de característiques de model utilitzant LSTM bidireccionals - Capturar dependències contextuals entre caràcters - Distribució de probabilitat de caràcters de sortida per a cada pas de temps 3. **Capa d'alineació CTC**: - Aborda les discrepàncies de longitud de seqüències d'entrada/sortida - No es requereixen dimensions d'alineació a nivell de caràcter - Entrenament d'extrem a extrem **Conversió de l'extracció de característiques a seqüència**: El mapa de característiques extret per la CNN s'ha de convertir en una forma de seqüència que la RNN pugui processar: - Segmentar el mapa de característiques en columnes, amb cada columna com a pas de temps - Mantenir la cronologia de la informació espacial - Assegurar que la longitud de la seqüència de característiques sigui proporcional a l'amplada de la imatge ### Aplicació del mecanisme d'atenció en OCR Les RNN tradicionals encara tenen colls d'ampolla d'informació quan es tracta de seqüències llargues. La introducció de mecanismes d'atenció millora encara més les capacitats del modelatge de seqüències. **Principis dels mecanismes d'atenció**: El mecanisme d'atenció permet que el model es centri en diferents parts de la seqüència d'entrada quan genera cada sortida: - Resoldre el coll d'ampolla d'informació dels vectors codificats de longitud fixa - Proporciona explicabilitat de les decisions del model - Processament millorat de seqüències llargues **Aplicacions específiques en OCR**: 1. **Atenció a nivell de personatge**: - Centrar-se en les àrees rellevants de la imatge a l'hora d'identificar cada caràcter - Ajustar els pesos d'atenció sobre la marxa - Millorar la robustesa a fons complexos 2. **Atenció a nivell de paraula**: - Considerar la informació contextual a nivell de vocabulari - Aprofitar el coneixement del model de llenguatge - Millorar la precisió del reconeixement de paraules senceres 3. **Atenció a Múltiples Escales**: - Aplicar mecanismes d'atenció a diferents resolucions - Gestionar textos de diferents mides - Millorar l'adaptabilitat als canvis d'escala **Representació matemàtica del mecanisme de l'atenció**: Per a la seqüència de sortida de l'encoder H = {h_1, h_2, ..., h_T} i l'estat del decodificador s_t: e_{t,i} = a(s_t, h_i) # Puntuació d'atenció α_{t,i} = softmax(e_{t,i}) # Pes d'atenció c_t = Σ_i α_{t,i} * h_i # vector de context ## Estratègies d'entrenament i optimització ### Estratègia d'entrenament seqüència a seqüència **Forçant el professor**: Durant la fase d'entrenament, utilitza la seqüència real de l'objectiu com a entrada del descodificador: - Avantatges: velocitat d'entrenament ràpida, convergència estable - Inconvenients: Fases d'entrenament i inferència inconsistents, que condueixen a l'acumulació d'errors **Mostreig programat**: Transició gradual de la força del professor a utilitzar les pròpies prediccions del model durant la formació: - Utilitzar etiquetes reals en l'etapa inicial i prediccions del model en les etapes posteriors - Reduir les diferències en la formació i el raonament - Millorar la robustesa del model **Aprenentatge curricular**: Comença amb mostres senzilles i augmenta gradualment la complexitat de les mostres: - Seqüències curtes a llargues: Entrena primer textos curts i després textos llargs - Imatges clares a borroses: Augmenta gradualment la complexitat de la imatge - Tipografies simples a complexes: des de l'escriptura impresa fins a la manuscrita ### Tècniques de regularització **Aplicació de l'abandonament a la RNN**: Sol·licitar abandonar l'escola a RNN requereix una atenció especial: - No apliquis el dropout a les connexions de bucle - El dropout es pot aplicar a les capes d'entrada i sortida - Abandonament variacional: Utilitza la mateixa màscara de dropout en tots els passos **Descomposició del pes**: La regularització L2 evita el sobreajustament: Pèrdua = Entropia Creuada + λ * || W|| ² on λ és el coeficient de regularització, que cal optimitzar pel conjunt de validació. **Retall de gradient**: Una manera efectiva d'evitar explosions de gradient. Quan la norma del gradient supera el llindar, escalem el gradient proporcionalment per mantenir la direcció del gradient inalterada. **Aturada anticipada**: Monitoritzeu el rendiment del conjunt de validació i atureu l'entrenament quan el rendiment ja no millori: - Evitar un sobreajust - Estalviar recursos informàtics - Seleccionar el model òptim ### Ajust d'hiperparàmetres **Programació de la velocitat d'aprenentatge**: - Taxa d'aprenentatge inicial: Normalment establerta entre 0,001-0,01 - Declivi de la taxa d'aprenentatge: decaiment exponencial o decaiment d'escala - Taxa d'aprenentatge adaptatiu: Utilitza optimitzadors com Adam, RMSprop, etc. **Selecció de la mida del lot**: - Lots petits: millor rendiment en generalització però temps d'entrenament més llarg - Alt volum: L'entrenament és ràpid però pot afectar la generalització - Normalment es seleccionen mides de lots entre 16 i 128 **Processament de la longitud de la seqüència**: - Longitud fixa: Truncar o omplir seqüències a longituds fixes - Longitud dinàmica: Utilitza farciment i enmascarament per gestionar seqüències de longitud variable - Estratègia de Recollida: Seqüències de grup de longitud similar ## Avaluació i anàlisi del rendiment ### Avaluar mètriques **Precisió a nivell de caràcter**: Accuracy_char = (Nombre de caràcters correctament reconeguts) / (Total de caràcters) Aquest és l'indicador d'avaluació més bàsic i reflecteix directament les capacitats de reconeixement de caràcters del model. **Precisió a nivell de sèrie**: Accuracy_seq = (nombre de seqüències correctament reconegudes) / (nombre total de seqüències) Aquest indicador és més rigorós, i només una seqüència completament correcta es considera correcta. **Distància d'edició (distància de Levenshtein)**: Mesura la diferència entre la sèrie predicha i la veritable: - El nombre mínim d'operacions d'inserció, retirada i substitució - Distància d'edició estandarditzada: distància d'edició / longitud de la seqüència - Puntuació BLEU: Comunament utilitzada en traducció automàtica i també es pot utilitzar per a l'avaluació OCR ### Anàlisi d'errors **Tipus d'error comuns**: 1. **Confusió de personatges**: Identificació errònia de personatges similars - El número 0 i la lletra O - Número 1 i lletra l - Lletres M i N 2. **Error de seqüència**: Error en l'ordre dels caràcters - Les posicions dels personatges s'inverteixen - Duplicació o omissió de caràcters 3. **Error de longitud**: Error en la predicció de la longitud de la seqüència - Massa llarga: Caràcters inexistents inserits - Massa curt: Falten els personatges presents **Mètode d'anàlisi**: 1. **Matriu de Confusió**: Analitza patrons d'error a nivell de caràcter 2. **Visualització d'atenció**: Entendre les preocupacions del model 3. **Anàlisi del gradient**: Comprova el flux del gradient 4. **Anàlisi d'activació**: Observar patrons d'activació a través de capes de la xarxa ### Diagnòstic de models **Detecció de sobreajust**: - Les pèrdues d'entrenament continuen disminuint, les pèrdues de validació augmenten - La precisió de l'entrenament és molt superior a la de validació - Solució: Augmentar la regularitat i reduir la complexitat del model **Detecció d'aptitud insuficient**: - Tant les pèrdues d'entrenament com de validació són altes - El model no funciona bé sobre el conjunt d'entrenament - Solució: Augmentar la complexitat del model i ajustar la taxa d'aprenentatge **Diagnòstic del problema del gradient**: - Pèrdua de gradient: El valor del gradient és massa petit, aprenentatge lent - Explosió de gradient: Valors excessius de gradient condueixen a un entrenament inestable - Solució: Utilitzant LSTM/GRU, retall en gradient ## Casos d'aplicació reals ### Sistema de Reconeixement de Caràcters Manuscrit **Escenaris d'aplicació**: - Digitalitzar notes manuscrites: Convertir notes en paper en documents electrònics - Ompliment automàtic de formularis: Reconeix automàticament el contingut manuscrit del formulari - Identificació de documents històrics: Digitalitzar llibres antics i documents històrics **Característiques tècniques**: - Grans variacions de caràcters: El text manuscrit té un alt grau de personalització - Processament continu amb lleta de ploma: Cal gestionar les connexions entre caràcters - Context important: Utilitza models de llenguatge per millorar el reconeixement **Arquitectura del sistema**: 1. **Mòdul de Pretractament**: - Dessoroll i millora d'imatges - Correcció d'inclinació - Divisió de línies de text 2. **Mòdul d'extracció de característiques**: - CNN extreu característiques visuals - Fusió de característiques a múltiples escales - Serialització de característiques 3. **Mòdul de Modelatge de Seqüències**: - Modelatge LSTM bidireccional - Mecanismes d'atenció - Codificació contextual 4. **Mòdul de Descodificació**: - Decodificació CTC o decodificació d'atenció - Postprocessament de models de llenguatge - Avaluació de la confiança ### Sistema de Reconeixement de Documents Impresos **Escenaris d'aplicació**: - Digitalització de documents: Convertir documents en paper en formats editables - Reconeixement de factures: Processa automàticament factures, rebuts i altres factures - Reconeixement de senyalització: Identificar senyals de trànsit, senyals de botiga i més **Característiques tècniques**: - Font normal: Més regular que el text manuscrit - Regles de tipografia: Es pot utilitzar la informació de maquetació - Requisits d'alta precisió: Les aplicacions comercials tenen requisits estrictes d'exactitud **Estratègia d'optimització**: 1. **Entrenament multi-tipografia**: Utilitza dades d'entrenament de múltiples fonts 2. **Millora de dades**: Rotar, escalar, afegir soroll 3. **Optimització de postprocessament**: correcció ortogràfica, correcció gramatical 4. **Avaluació de confiança**: Proporciona una puntuació de fiabilitat per als resultats de reconeixement ### Sistema de reconeixement de text d'escena **Escenaris d'aplicació**: - Reconeixement de text Street View: Reconeixement de text a Google Street View - Reconeixement d'Etiquetes de Producte: Identificació automàtica de productes de supermercat - Reconeixement de Senyals de Trànsit: Aplicacions dels sistemes de transport intel·ligents **Reptes tècnics**: - Fons complexos: El text està incrustat en escenes naturals complexes - Deformació severa: Deformació de perspectiva, deformació de flexió - Requisits en temps real: Les aplicacions mòbils han de ser sensibles **Solució**: 1. **Extracció robusta de funcionalitats**: Utilitza xarxes CNN més profundes 2. **Processament multiescala**: Gestionar text de diferents mides 3. **Correcció de geometria**: Corregeix automàticament deformacions geomètriques 4. **Compressió del Model**: Optimitzar el model per a mòbils ## Resum Les xarxes neuronals recurrents proporcionen una eina potent per a la modelització de seqüències en OCR. Des de RNNs bàsiques fins a LSTM i GRU millorats, passant pel processament bidireccional i mecanismes d'atenció, el desenvolupament d'aquestes tecnologies ha millorat molt el rendiment dels sistemes OCR. **Punts clau**: - Les RNN implementen modelatge de seqüències mitjançant juntes de bucles, però hi ha un problema de desaparició de gradient - LSTM i GRU resolen el problema de l'aprenentatge dependent a distància mitjançant mecanismes de gating - Les RNN bidireccionals poden aprofitar tota la informació contextual - Els mecanismes d'atenció milloren encara més la capacitat de modelització de seqüències - Les estratègies d'entrenament adequades i les tècniques de regularització són crucials per al rendiment del model **Futures Direccions de Desenvolupament**: - Integració amb arquitectures Transformer - Enfocament més eficient per a la modelització de seqüències - Aprenentatge multimodal d'extrem a extrem - Equilibri entre temps real i precisió A mesura que la tecnologia continua evolucionant, les tècniques de modelatge de seqüències continuen evolucionant. L'experiència i la tecnologia acumulades per les RNN i les seves variants en el camp de l'OCR han establert una base sòlida per entendre i dissenyar mètodes de modelatge de seqüències més avançats.