【Série OCR hlubokého učení·6】Hloubková analýza architektury CRNN

## Úvod CRNN (Convolutional Recurens Neural Network) je jednou z nejdůležitějších architektur v oblasti hlubokého učení OCR, kterou v roce 2015 navrhli Bai Xiang a kol. CRNN chytře kombinuje extrakci příznaků konvolučních neuronových sítí (CNN) s modelováním sekvencí rekurentních neuronových sítí (RNN), aby dosáhl end-to-end rozpoznávání textu. Tento článek poskytne podrobnou analýzu návrhu architektury, pracovních principů, školicích metod a specifických aplikací v OCR v CRNN, čímž čtenářům poskytne komplexní technické porozumění. ## Přehled architektury CRNN ### Motivace k designu Před CRNN systémy OCR obvykle používaly krok za krokem přístup: nejprve se prováděla detekce znaků a segmentace, a poté byl rozpoznán každý znak. Tento přístup má následující problémy: **Omezení tradičních metod**: - Šíření chyb: Chyby v segmentaci znaků mohou přímo ovlivnit výsledky rozpoznávání - Složitost: Vyžaduje navrhování složitých algoritmů pro segmentaci znaků - Špatná odolnost: citlivá na rozestupy znaků a změny písma - Neschopnost zpracovat spojité tahy: Fenomen souvislých tahů v ručně psaném textu je obtížné oddělit **Inovativní nápady CRNN**: - End-to-end učení: Přímé mapování z obrázků na textové sekvence - Žádná segmentace: Zabraňuje složitosti segmentace znaků - Sekvenční modelování: Využití RNN k modelování závislostí mezi znaky - CTC zarovnání: Řeší nesoulad mezi délkou vstupní a výstupní sekvence ### Celková architektura Architektura CRNN se skládá ze tří hlavních komponent: **1. Konvoluční vrstvy**: - Funkce: Extrahovat sekvence příznaků ze vstupních obrázků - Vstup: Text line image (pevná výška, proměnlivá šířka) - Výstup: Sekvence mapy rysů **2. Opakující se vrstvy**: - Funkce: Modelujte kontextové závislosti v sekvencích příznaků - Vstup: Sekvence příznaků extrahovaná CNN - Výstup: Sekvence rysů s kontextovými informacemi **3. Transkripční vrstva**: - Funkce: Převádět sekvence rysů na textové sekvence - Metoda: Použití CTC (konekcionistická časová klasifikace) - Výstup: Výsledek konečného rozpoznání textu ## Podrobné vysvětlení konvolučních vrstev ### Strategie extrakce příznaků Konvoluční vrstva CRNN je navržena speciálně pro rozpoznávání textu: **Funkce struktury sítě**: - Mělká hloubka: Obvykle se používá 7 vrstev konvolučních vrstev - Malá konvoluční jádra: Používají se hlavně 3×3 konvoluční jádra - Strategie poolingu: Pooling používejte střídmě ve směru šířky **Specifická konfigurace sítě**: Vstup: 32×W×1 (výška 32, šířka W, jednokanálové) Konv1: 64 3×3 konvoluční jádra, krok 1, vyplnění 1 MaxPool1: 2×2 pooly, délka kroku 2 Conv2: 128 3×3 konvoluční jádra, krok 1, vyplnění 1 MaxPool2: 2×2 ve skupině, velikost kroku 2 Conv3: 256 3×3 konvoluční jádra, krok 1, vyplnění 1 Conv4: 256 3×3 konvoluční jádra, krok 1, vyplnění 1 MaxPool3: 2×1 sjednocené, velikost kroků (2,1) Conv5: 512 3×3 konvoluční jádra, krok 1, vyplnění 1 BatchNorm + ReLU Conv6: 512 3×3 konvoluční jádra, krok 1, vyplnění 1 BatchNorm + ReLU MaxPool4: 2×1 ve skupině, velikost kroků (2,1) Conv7: 512 2×2 konvoluční jádra, krok 1, vyplnění 0 Výkon: 512×1×W/4 ### Klíčové designové úvahy **Strategie vysoké komprese**: - Cíl: Komprimovat obraz na výšku 1 pixelu - Metoda: Postupně stlačujte výšku pomocí více vrstev poolingu - Důvod: Výška řádku textu je relativně nepodstatná **Strategie držení šířky**: - Cíl: Udržet co nejvíce informace o šířce obrazu - Metoda: Snížit operace poolování ve směru šířky - Důvod: Informace o pořadí textu se odrážejí hlavně ve směru šířky **Převod feature mapy**: Výstup konvoluční vrstvy je třeba převést do vstupního formátu RNN: - Surový výstup: C×H×W (× výška× šířka kanálu) - Převedeno: W×C (délka sekvence× rozměr rysu) - Metoda: Vezměte vektor rysu pro každou šířkovou pozici jako časový krok ## Podrobné vysvětlení kruhové vrstvy ### Výběr RNN CRNN obvykle používají obousměrné LSTM jako smyčkovou vrstvu: **Výhody obousměrného LSTM**: - Kontextové informace: Využívat jak vpřed, tak zpětný kontext - Závislosti na dálkách: LSTM je schopen zvládat závislosti na dálkách - Gradientová stabilizace: Eliminuje problém gradientového mizení **Konfigurace sítě**: Vstup: W×512 (délka sekvence × rozměr rysu) BiLSTM1: 256 skrytých buněk (128 vpřed + 128 vzad) BiLSTM2: 256 skrytých buněk (128 vpřed + 128 vzad) Výstup: W×256 (délka sekvence× skryté rozměry) ### Mechanismy modelování sekvencí **Modelování závislostí na časování**: Vrstva RNN zachycuje časové závislosti mezi znaky: - Informace o předchozím znaku pomáhají při rozpoznání aktuálního znaku - Informace o následujících postavách mohou také poskytnout užitečný kontext - Informace o celém slově nebo frázi pomáhají rozlišit **Vylepšení funkcí**: Vlastnosti zpracované RNN mají následující charakteristiky: - Citlivé na kontext: Vlastnosti každého místa obsahují kontextové informace - Časová konzistence: Prvky v sousedních lokalitách mají určitou kontinuitu - Sémantická bohádba: Kombinuje vizuální a sekvenční rysy ## Podrobné vysvětlení transkripční vrstvy ### CTC mechanismus CTC (Konekcionistická časová klasifikace) je klíčovou součástí CRNN: **Role CTC**: - Řešení problémů se zarovnáním: Délky vstupních sekvencí neodpovídají délkám výstupní sekvence - Komplexní trénink: Není potřeba anotací pro zarovnání na úrovni znaku - Řešení duplikátů: Správné řešení případů duplicitních znaků **Jak CTC funguje**: 1. Rozšířit sadu štítků: Přidat prázdné štítky na původní znakovou sadu 2. Enumerace cest: Vyjmenovává všechny možné cesty zarovnání 3. Pravděpodobnost cesty: Vypočítejte pravděpodobnost každé cesty 4. Marginalizace: sečtěte pravděpodobnosti všech cest, abyste získali pravděpodobnost sekvence ### CTC ztrátová funkce **Matematické znázornění**: Pro danou vstupní sekvenci X a cílovou sekvenci Y je ztráta CTC definována jako: L_CTC = -log P(Y| X) kde P(Y| X) je získána sečtenem pravděpodobností všech možných zarovnáných cest: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Zde B^(-1)(Y) reprezentuje všechny množiny cest, které lze namapovat na cílovou posloupnost Y. **Algoritmus vpřed-vzad**: Pro efektivní výpočet ztráty CTC se používá algoritmus pro dynamické programování vpřed-vzad: - Forward Algorithm: Počítá pravděpodobnost dosažení každého stavu - Zpětný algoritmus: Počítá pravděpodobnost od každého stavu až do konce - Výpočet gradientů: Výpočet gradientů ve spojení s pravděpodobností vpřed-zpět ## Tréninková strategie CRNN ### Předzpracování dat **Předzpracování obrazu**: - Normalizace velikosti: Sjednotit výšku obrazu na 32 pixelů - Udržování poměru stran: Udržuje poměr stran původního obrazu - Převod do odstínů šedi: Převod na jednokanálový obraz v odstínech šedi - Numerická normalizace: hodnoty pixelů jsou normalizovány na [0,1] nebo [-1,1] **Vylepšení dat**: - Geometrické transformace: rotace, naklonění, perspektivní transformace - Změny osvětlení: jas, úpravy kontrastu - Přidání šumu: Gaussův šum, šum soli a pepře - Rozmazání: Pohybové rozmazání, Gaussovo rozmazání ### Tréninkové techniky **Plánování rychlosti učení**: - Počáteční rychlost učení: Obvykle nastavena na 0,001 - Strategie útlumu: Exponenciální útlum nebo stupňový útlum - Strategie zahřívání: První epochy používají malou rychlost učení **Regularizační techniky**: - Dropout: Přidejte dropout za vrstvu RNN - Degradace hmotnosti: regularizace L2 zabraňuje přefitování - Dávková normalizace: Použití dávkové normalizace ve vrstvě CNN **Výběr optimalizátoru**: - Adam: Adaptivní rychlost učení, rychlá konvergence - RMSprop: Vhodný pro výcvik RNN - SGD+Momentum: Tradiční, ale stabilní varianta ## Optimalizace a zlepšení CRNN ### Optimalizace architektury **Částečná vylepšení CNN**: - ResNet připojení: Přidáno reziuální spojení pro zlepšení stability tréninku - DenseNet Fabric: Hustá propojení zlepšují multiplexování rysů - Mechanismus pozornosti: Zavádí prostorovou pozornost do CNN **Částečná vylepšení RNN**: - Náhrada GRU: Použijte GRU ke snížení počtu parametrů - Transformer: nahrazuje RNN pomocí mechanismů sebepozornosti - Multi-Scale Features: Zahrnout prvky z různých škál ### Optimalizace výkonu **Zrychlení inference**: - Kvantování modelů: Kvantizace INT8 snižuje výpočetní náročnost - Modelové ořezování: Odstraňte nepodstatné spoje - Destilace znalostí: Naučit se znalosti velkých modelů pomocí malých modelů **Optimalizace paměti**: - Gradientové kontrolní body: Snižují paměťovou stopu během tréninku - Smíšená přesnost: Vlak s FP16 - Dynamická optimalizace grafů: Optimalizace struktury vypočítaného grafu ## Reálné případy aplikace ### Rozpoznávání ručně psaného textu **Scénáře aplikace**: - Digitalizovat ručně psané poznámky - Automatické vyplňování formuláře - Uznávání historických dokumentů **Technické vlastnosti**: - Velká variabilita znaků: vyžaduje silné schopnosti extrakce rysů - Kontinuální zpracování zdvihem: Výhody mechanismu CTC jsou zřejmé - Kontext je důležitý: Schopnosti modelování sekvencí RNN jsou zásadní ### Rozpoznávání tištěného textu **Scénáře aplikace**: - Digitalizovat dokumenty - Identifikace jízdenek - Rozpoznávání značení **Technické vlastnosti**: - Regularita písma: Extrakce znaků CNN je relativně přímočará. - Pravidla typografie: Lze využít informace o rozvržení - Vysoké požadavky na přesnost: Vyžaduje jemné ladění modelu ### Rozpoznávání textu scény **Scénáře aplikace**: - Rozpoznávání textu ve Street View - Identifikace produktových štítků - Rozpoznávání dopravních značek **Technické vlastnosti**: - Komplexní pozadí: Vyžaduje robustní extrakci rysů - Těžká deformace: Je vyžadován robustní návrh architektury - Požadavky v reálném čase: Vyžaduje efektivní uvažování ## Shrnutí Jako klasická architektura hlubokého učení OCR úspěšně CRNN řeší mnoho problémů tradičních metod OCR. Jeho komplexní metoda školení, designový koncept bez segmentace znaků a zavedení mechanismu CTC poskytují důležitou inspiraci pro následný vývoj technologie OCR. **Klíčové příspěvky**: - End-to-End učení: Zjednodušuje návrh OCR systémů - Modelování sekvencí: Efektivně využívá vlastnosti sekvence textu - Zarovnání CTC: Řešené nesoulad délky sekvence - Jednoduchá architektura: Snadno pochopitelná a implementovatelná **Směr rozvoje**: - Mechanismus pozornosti: Zavedení pozornosti za účelem zlepšení výkonu - Transformer: Nahrazuje RNN sebepozorností - Multimodální fúze: Kombinujte další informace, například jazykové modely - Lehký design: komprese modelů pro mobilní zařízení Úspěch CRNN je důkazem velkého potenciálu hlubokého učení v oblasti OCR a poskytuje cenné zkušenosti pro pochopení toho, jak navrhovat efektivní systémy end-to-end učení. V dalším článku se ponoříme do matematiky a implementačních detailů ztrátové funkce CTC.