【Série hlubokého učení OCR·7】Funkce ztráty CTC a tréninkové techniky

## Úvod Konekcionistická časová klasifikace (CTC) je důležitým průlomem v modelování sekvencí hlubokého učení, zejména v oblasti OCR. CTC řeší základní problém nesouladu mezi délkou vstupní a výstupní sekvencí, což umožňuje učení sekvencí od začátku do konce. Tento článek se ponoří do matematických principů, implementace algoritmů a technik optimalizace tréninku CTC. ## Základní koncepty CTC ### Problémy se zarovnáním sekvencí V OCR úkolech čelíme následujícím výzvám: **Délka nesouladu**: Délka sekvence prvků vstupního obrázku se liší od délky sekvence výstupního textu. Například slovo obsahující 3 znaky může odpovídat sekvenci rysů o 100 časových krocích. **Nejistá pozice**: Přesná pozice každého znaku na obrázku není známa. Tradiční metody vyžadují přesnou segmentaci znaků, což je v praktických aplikacích obtížné. **Obtížnost segmentace znaků**: Nepřetržitě psaný text, ručně psaný text nebo umělecká písma mají potíže přesně se rozdělit na jednotlivé znaky. ### Řešení CTC CTC řeší problémy zarovnání sekvencí následujícími inovativními způsoby: Představujeme prázdné fixy: Používejte speciální prázdné fixy pro zarovnání. Prázdné značky neodpovídají žádným výstupním znacím a slouží k oddělení duplicitních znaků od vyplňovacích sekvencí. Pravděpodobnost cesty: Počítá pravděpodobnost všech možných cest zarovnání. Každá cesta představuje možnou korespondenci mezi znaky a časem v krocích. **Dynamické plánování**: Efektivně počítat pravděpodobnosti cest pomocí algoritmů vpřed a zpět, bez vyjmenování všech možných cest. ## Matematické principy CTC ### Základní definice Máme vstupní posloupnost X = (x₁, x₂, ..., xt) a cílovou posloupnost Y = (y₁, y₂, ..., yu), kde T ≥ U. Sada tagů: L = {1, 2, ..., K}, obsahující k kategorií znaků. **Rozšířená kolekce tagů**: L_ext = L ∪ {blank}, obsahující prázdné tagy. **Cesta zarovnání**: Posloupnost délky T π = (π₁, π₂, ..., πt), kde πt ∈ L_ext. ### Mapování cest na štítky CTC definuje mapovací funkci B, která převádí zarovnávací cestu na sekvenci výstupních štítků: 1. Odstraňte všechny prázdné značky 2. Sloučení po sobě jdoucích duplicitních znaků **Příklad mapování**: - π = (a, a, prázdno, b, prázdné, b, b) → B(π) = (a, b, b) - π = (prázdné, c, c, a, prázdné, t) → B(π) = (c, a, t) ### CTC ztrátová funkce CTC ztrátová funkce je definována jako záporný logaritmus součtu všech pravděpodobností cest zobrazených na cílovou posloupnost Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) kde B⁻¹(Y) je množina všech cest zobrazených na Y. Pravděpodobnost cesty: Za předpokladu, že předpovědi každého časového kroku jsou nezávislé, pravděpodobnost cesty je: P(π| X) = ∏t yt^{πt} kde yt^{πt} je pravděpodobnost, že časový krok t předpovídá označení πt. ## Algoritmus vpřed-zpět ### Forward algoritmus Forward algoritmus vypočítává pravděpodobnost cesty od začátku sekvence až po aktuální pozici. **Rozšířená sekvence štítků**: Pro usnadnění výpočtu rozšířte cílovou sekvenci Y na Y_ext, vložte prázdné štítky před a za každý znak. **Inicializace**: - α₁(1) = y₁^{prázdné} (první pozice je prázdná) - α₁(2) = y₁^{y₁} (první pozice je první znak) - α₁(s) = 0 pro ostatní lokality **Rekurzivní vzorec**: Pro t > 1 a pozici s: - Pokud je Y_ext[s] prázdný nebo stejný jako předchozí znak: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - Jinak: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Zpětný algoritmus Zpětný algoritmus vypočítává pravděpodobnost cesty od aktuální pozice až na konec sekvence. **Inicializace**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (pokud poslední tag není prázdný) - β_T(s) = 0 pro ostatní lokality **Rekurzivní vzorec**: Pro t < T a pozici s: - Pokud je Y_ext [s+1] prázdný nebo stejný jako aktuální znak: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - Jinak: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Výpočet gradientu Celková pravděpodobnost:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Gradient pravděpodobnosti štítku**: ∂(-in P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## strategie dekódování CTC ### Chamtivé dekódování Greedy dekóduje štítek s nejvyšší pravděpodobností v každém časovém kroku: π_t = argmax_k y_t^k Pak aplikujte zobrazení B pro získání finální sekvence. **Výhody**: Snadné výpočty a vysoká rychlost **Nevýhody**: Globální optimální řešení nemusí být dosaženo ### Dekódování vyhledávání svazků Beam search udržuje více kandidátních cest a rozšiřuje nejperspektivnější cesty v každém časovém kroku. **Kroky algoritmu**: 1. Inicializace: Kandidátní kolekce obsahuje prázdné cesty 2. Pro každý časový krok: - Rozšířit všechny kandidátní cesty - Udržovat K-cestu s nejvyšší pravděpodobností 3. Vraťte úplnou cestu s nejvyšší pravděpodobností **Ladění parametrů**: - Šířka paprsku K: Vyvažuje výpočetní složitost s kvalitou dekódování - Penalizace délky: Vyhněte se upřednostňování krátkých sekvencí ### Vyhledávání v prefixovém balíčku Vyhledávání v prefixovém balíčku bere v úvahu pravděpodobnost prefixu cesty, aby se zabránilo dvojímu počítání cest se stejným prefixem. **Základní myšlenka**: Sloučit cesty se stejným prefixem a zachovat pouze nejpravděpodobnější metodu rozšíření. ## Tréninkové techniky a optimalizace ### Předzpracování dat **Zpracování délky sekvence**: - Dynamické dávkování: Seskupování sekvencí podobné délky - Strategie vyplnění: Vyplňte krátké sekvence speciálními značkami - Strategie ořezání: Rozumně ořezávat příliš dlouhé sekvence **Předzpracování štítků**: - Standardizace znakových sad: Jednotné kódování znaků a velká písmena - Zpracování speciálních znaků: Ovládá interpunkční znaménka a mezery - Budování slovní zásoby: Sestavte kompletní slovník znaků ### Tréninková strategie **Výuka kurzu**: Začněte trénovat s jednoduchými vzorky a postupně zvyšujte obtížnost: - Krátké až dlouhé sekvence - Jasný obraz na rozmazaný obraz - Běžné fonty na ručně psaná písma **Vylepšení dat**: - Geometrické transformace: rotace, škálování, řezání - Přidání šumu: Gaussův šum, šum soli a pepře - Změny osvětlení: jas, úpravy kontrastu **Regularizační techniky**: - Dropout: Zabránit přepasování - Degradace hmotnosti: regularizace L2 - Vyhlazování štítků: Snižuje přehnanou jistotu ### Ladění hyperparametrů **Plánování rychlosti učení**: - Strategie zahřívání: První epochy používají malou rychlost učení - Kosinusové žíhání: Rychlost učení klesá podle kosinové funkce - Adaptivní ladění: Upravuje se na základě výkonu validační sady **Výběr velikosti dávky**: - Omezení paměti: Zvažte kapacitu paměti GPU - Stabilita gradientu: Poskytuje stabilnější gradient pro větší dávky - Konvergenční rychlost: Rovnováha tréninkové rychlosti a stability ## Praktické využití ### Výpočetní optimalizace **Optimalizace paměti**: - Gradientové kontrolní body: Snižuje paměťovou stopu při předním šíření - Trénink s míšenou přesností: Snižte požadavky na paměť s FP16 - Dynamická optimalizace grafů: Optimalizuje alokaci paměti pro vypočítané grafy **Optimalizace rychlosti**: - Paralelní výpočty: Využívá schopnosti paralelního zpracování GPU - Optimalizace algoritmů: Implementováno pomocí efektivních algoritmů pro přechod dopředu k zpět - Optimalizace dávek: Nastavte velikost dávek správně ### Numerická stabilita **Výpočet pravděpodobnosti**: - Výpočet logaritmického prostoru: Vyhněte se přetečení hodnoty způsobenému násobením pravděpodobnosti - Numerické ořezávání (Numeric clipping): Omezuje rozsah pravděpodobnostních hodnot - Normalizační techniky: Zajištění platnosti pravděpodobnostních rozdělení **Stabilita gradientu**: - Gradientní ořezování: Zabraňuje gradientním explozím - Inicializace váhy: Použijte vhodnou strategii inicializace - Dávková normalizace: stabilizuje proces trénování ## Hodnocení výkonu ### Vyhodnocujte metriky **Přesnost na úrovni postavy**: Accuracy_char = Počet správně rozpoznaných znaků / Celkový počet znaků **Sériová přesnost**: Accuracy_seq = Počet přesně správných sekvencí / celkový počet sekvencí **Vzdálenost úprav**: Měří rozdíl mezi předpovězovanou sekvencí a reálnou sekvencí, včetně minimálního počtu operací vložení, mazání a nahrazení. ### Analýza chyb **Běžné typy chyb**: - Zmatek postav: Chybná identifikaci podobných postav - Duplicitní chyby: CTC mají tendenci vytvářet duplicitní znaky - Chyba délky: Nepřesné předpovědi délky sekvencí **Strategie zlepšování**: - Těžba obtížných vzorků: Zaměřit se na tréninkové vzorky s vysokou chybovostí - Optimalizace post-processingu: Opravuje chyby pomocí jazykových modelů - Integrovaný přístup: Kombinace predikcí z více modelů ## Shrnutí Funkce ztrát CTC poskytuje silný nástroj pro modelování sekvencí, zejména při řešení problémů s zarovnáním. Zavedením algoritmů blank labeling a dynamického programování CTC realizuje učení sekvencí od začátku do konce a vyhýbá se složitým krokům předzpracování. **Klíčové poznatky**: - CTC řeší problém nesouladu délky vstupní a výstupní sekvence - Algoritmy vpřed a zpět poskytují efektivní výpočty pravděpodobnosti - Vhodná strategie dekódování je klíčová pro konečný výkon - Trénovací techniky a optimalizační strategie významně ovlivňují výkon modelu **Návrhy na aplikaci**: - Vybrat vhodnou dekódovací strategii pro konkrétní úkol - Důraz na techniky předzpracování a vylepšování dat - Zaměření na numerickou stabilitu a výpočetní efektivitu - Post-processing optimalizace založená na znalostech z dané oblasti Úspěšná aplikace CTC položila důležitý základ pro rozvoj hlubokého učení v oblasti modelování sekvencí a zároveň poskytla klíčovou podporu pokroku v technologii OCR.