【Sèrie OCR d'Aprenentatge Profund·7】Funció de Pèrdua CTC i Tècniques d'Entrenament

## Introducció La Classificació Temporal Connexionista (CTC) és un avenç important en el modelatge de seqüències d'aprenentatge profund, especialment en el camp de la COR. La CTC resol el problema fonamental de la desconnexió entre la longitud de la seqüència d'entrada i la de sortida, permetent l'aprenentatge de seqüències d'extrem a extrem. Aquest article aprofundirà en els principis matemàtics, la implementació d'algorismes i les tècniques d'optimització d'entrenament del CTC. ## Conceptes bàsics del CTC ### Problemes d'alineació de seqüències En les tasques d'OCR, ens enfrontem als següents reptes: **Desajust de longitud**: La longitud de la seqüència de característiques de la imatge d'entrada és diferent de la longitud de la seqüència de text de sortida. Per exemple, una paraula que conté 3 caràcters pot correspondre a una seqüència de característiques de 100 passos de temps. **Posició incerta**: La posició exacta de cada caràcter a la imatge és desconeguda. Els mètodes tradicionals requereixen una segmentació precisa de caràcters, cosa que és difícil en aplicacions pràctiques. **Dificultat en la segmentació de caràcters**: El text escrit contínuament, text manuscrit o tipografies artístiques tenen dificultats per dividir-se amb precisió en caràcters individuals. ### Solució del CTC El CTC resol problemes d'alineació de seqüències de les següents maneres innovadores: Presentem els retoladors en blanc: Utilitza retoladors en blanc especials per gestionar l'alineació. Les etiquetes en blanc no corresponen a cap caràcter de sortida i s'utilitzen per separar els caràcters duplicats de les seqüències d'ompliment. Probabilitat de camí: Calcula la probabilitat de tots els possibles camins d'alineació. Cada camí representa una possible correspondència caràcter a pas de temps. **Planificació dinàmica**: Calcular eficientment les probabilitats de camí utilitzant algorismes endavant-enrere, evitant enumerar tots els camins possibles. ## Principis matemàtics del CTC ### Definicions bàsiques Donada la seqüència d'entrada X = (x₁, x₂, ..., xt) i la seqüència objectiu Y = (y₁, y₂, ..., yu), on T ≥ U. Conjunt d'etiquetes: L = {1, 2, ..., K}, que conté K categories de caràcters. **Col·lecció d'etiquetes ampliada**: L_ext = L ∪ {blank}, que conté etiquetes en blanc. **Camí d'alineació**: Una seqüència de longitud T π = (π₁, π₂, ..., πt), on πt ∈ L_ext. ### Mapeig de camins a etiquetes CTC defineix una funció de mapatge B que converteix el camí d'alineament en una seqüència d'etiquetes de sortida: 1. Eliminar tots els retoladors en blanc 2. Fusionar personatges duplicats consecutius **Exemple de cartografia**: - π = (a, a, en blanc, b, en blanc, b, b) → B(π) = (a, b, b) - π = (blanc, c, c, a, blanc, t) → B(π) = (c, a, t) ### Funció de pèrdua CTC La funció de pèrdua CTC es defineix com el logaritme negatiu de la suma de totes les probabilitats de camí mapades a la seqüència objectiu Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) on B⁻¹(Y) és el conjunt de tots els camins assignats a Y. Probabilitat de camí: Suposant que les prediccions de cada pas de temps són independents, la probabilitat de camí és: P(π| X) = ∏t yt^{πt} on yt^{πt} és la probabilitat que el pas de temps t predigui l'etiqueta πt. ## Algorisme endavant-enrere ### Algorisme de Forward L'algorisme endavant calcula la probabilitat del camí des de l'inici de la seqüència fins a la posició actual. **Seqüència d'Etiquetes Estesa**: Per facilitar el càlcul, expandeix la seqüència de destinació Y a Y_ext, inserint etiquetes en blanc abans i després de cada caràcter. **Inicialització**: - α₁(1) = y₁^{en blanc} (la primera posició està en blanc) - α₁(2) = y₁^{y₁} (la primera posició és el primer caràcter) - α₁(s) = 0 per a altres ubicacions **Fórmula recursiva**: Per a t > 1 i les posicions s: - Si Y_ext[s] és buit o igual que el caràcter anterior: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - En cas contrari: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Algorisme cap enrere L'algorisme cap enrere calcula la probabilitat del camí des de la posició actual fins al final de la seqüència. **Inicialització**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (si l'última etiqueta no està en blanc) - β_T(s) = 0 per a altres ubicacions **Fórmula recursiva**: Per a t < T i la posició s: - Si Y_ext [s+1] està en blanc o és el mateix que el caràcter actual: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - En cas contrari: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Càlcul de pendent Probabilitat total:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Gradient de probabilitat d'etiqueta**: ∂(-en P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## Estratègia de descodificació CTC ### Descodificació avariciosa Greedy decodifica l'etiqueta amb la probabilitat més alta a cada pas de temps: π_t = argmax_k y_t^k Després aplica el mapatge B per obtenir la seqüència final. **Avantatges**: càlculs fàcils i velocitat ràpida **Desavantatges**: La solució òptima global pot no obtenir-se ### Decodificació per cerca de feixos La cerca de feix manté múltiples camins candidats, ampliant els camins més prometedors a cada pas temporal. **Passos de l'algoritme**: 1. Inicialitzar: La col·lecció de candidats conté camins buits 2. Per a cada pas de temps: - Estendre tots els camins candidats - Mantenir el camí K amb la probabilitat més alta 3. Retorna el camí complet amb la probabilitat més alta **Ajust de paràmetres**: - Amplada de feix K: Equilibra la complexitat computacional amb la qualitat de descodificació - Penalització de llargada: Evitar afavorir seqüències curtes ### Cerca de prefix bundle La cerca de feixos de prefixos considera la probabilitat que un camí eviti el doble recompte de camins amb el mateix prefix. **Idea central**: Fusionar camins amb el mateix prefix i conservar només el mètode d'extensió més probable. ## Tècniques d'entrenament i optimització ### Preprocessament de dades **Processament de la longitud de la seqüència**: - Agrupació dinàmica: agrupació de seqüències de longitud similar - Estratègia d'ompliment: Omple seqüències curtes amb marcadors especials - Estratègia de truncament: Truncar raonablement seqüències excessivament llargues **Preprocessament d'etiquetes**: - Estandardització del conjunt de caràcters: codificació i majúscula uniformes de caràcters - Tractament de caràcters especials: Gestiona signes de puntuació i espais - Construcció de vocabulari: Crear un glossari complet de personatges ### Estratègia d'entrenament **Aprenentatge del Curs**: Comença a entrenar amb mostres senzilles i augmenta gradualment la dificultat: - Seqüències curtes a llargues - Imatge clara a imatge borrosa - Fonts normals a tipografies manuscrites **Millora de dades**: - Transformacions geomètriques: rotar, escalar, tallar - Addició de soroll: soroll gaussià, soroll de sal i pebre - Canvis d'il·luminació: brillantor, ajustos de contrast **Tècniques de regularització**: - Dropout: Evitar sobreajustaments - Degradació del pes: regularització L2 - Suavització d'etiquetes: Redueix l'excés de confiança ### Ajust d'hiperparàmetres **Programació de la velocitat d'aprenentatge**: - Estratègia d'escalfament: Les primeres èpoques utilitzen una taxa d'aprenentatge baixa - Recuit cosinus: La taxa d'aprenentatge decau segons la funció cosinus - Ajust adaptatiu: Ajusta segons el rendiment del conjunt de validació **Selecció de la mida del lot**: - Limitacions de memòria: Considereu la capacitat de memòria de la GPU - Estabilitat del gradient: Proporciona un gradient més estable per a lots més grans - Velocitat de convergència: Equilibrar la velocitat d'entrenament i l'estabilitat ## Consideracions d'aplicació pràctica ### Optimització computacional **Optimització de la memòria**: - Punts de control de gradient: Redueix la petjada de memòria de la propagació directa - Entrenament de precisió mixta: Reduir els requisits de memòria amb FP16 - Optimització dinàmica de grafs: Optimitza l'assignació de memòria per a grafs calculats **Optimització de velocitat**: - Computació paral·lela: Utilitza capacitats de processament paral·lel per GPU - Optimització d'algorismes: Implementada utilitzant algorismes eficients d'endavant a enrere - Optimització per lots: Ajustar les mides dels lots adequadament ### Estabilitat numèrica **Càlcul de probabilitat**: - Càlcul en espai logarítmic: Evitar un desbordament de valor causat per la multiplicació de probabilitat - Retallada numèrica: Limita el rang de valors de probabilitat - Tècniques de normalització: Garantir la validesa de les distribucions de probabilitat **Estabilitat del Gradient**: - Retall de gradient: Evita explosions de gradient - Inicialització de pesos: Utilitza una estratègia d'inicialització adequada - Normalització per lots: estabilitza el procés d'entrenament ## Avaluació del rendiment ### Avaluar mètriques **Precisió a nivell de caràcter**: Accuracy_char = Nombre de caràcters correctament reconeguts / Nombre total de caràcters **Precisió a nivell de sèrie**: Accuracy_seq = nombre de seqüències exactament correctes / nombre total de seqüències **Distància d'edició**: Mesura la diferència entre la seqüència prevista i la seqüència real, incloent-hi el nombre mínim d'operacions d'inserció, eliminació i substitució. ### Anàlisi d'errors **Tipus d'error comuns**: - Confusió de personatges: identificació errònia de personatges similars - Errors duplicats: els CTC tendeixen a produir caràcters duplicats - Error de longitud: Prediccions inexactes de la longitud de la seqüència **Estratègies de millora**: - Mineria de mostres difícil: Centrar-se en mostres d'entrenament amb altes taxes d'error - Optimització de postprocessament: Corregeix errors utilitzant models de llenguatge - Enfocament integrat: Combinació de prediccions de múltiples models ## Resum La funció de pèrdua CTC proporciona una eina potent per a la modelització de seqüències, especialment quan es tracta de problemes d'alineació. En introduir l'etiquetatge en blanc i els algorismes de programació dinàmica, el CTC realitza l'aprenentatge de seqüències de punta a punta i evita passos complexos de preprocessament. **Punts clau**: - CTC resol el problema de la desajustada longitud de seqüència d'entrada i sortida - Els algorismes endavant-enrere proporcionen càlculs de probabilitat eficients - Una estratègia de descodificació adequada és crucial per al rendiment final - Les tècniques d'entrenament i les estratègies d'optimització impacten significativament en el rendiment del model **Suggeriments d'aplicació**: - Triar l'estratègia de decodificació adequada per a la tasca específica - Èmfasi en tècniques de preprocessament i millora de dades - Enfocament en l'estabilitat numèrica i l'eficiència computacional - Optimització de postprocessament basada en el coneixement del domini L'aplicació exitosa de la CTC ha establert una base important per al desenvolupament de l'aprenentatge profund en el camp de la modelització de seqüències, i també ha proporcionat un suport clau per al provenç de la tecnologia OCR.