【Deep Learning OCR Series · 11】 Rogbodiyan ohun elo ti Transformer ni OCR

## Ifihan Niwon ifihan rẹ ninu iwe "Ifarabalẹ Ni Gbogbo O Nilo" ni ọdun 2017, faaji Transformer kii ṣe aṣeyọri nla nikan ni aaye ti ṣiṣe ede adayeba, ṣugbọn o tun ti ṣeto iyipada rogbodiyan ni aaye ti iran kọmputa. Ninu awọn iṣẹ OCR (Optical Character Recognition), Transformer ṣe afihan agbara rẹ kọja awọn faaji CNN ati RNN ibile. Nkan yii yoo ṣawari ohun elo ti Transformer ni OCR, ni idojukọ lori itupalẹ awọn awoṣe OCR Transformer pataki bii Vision Transformer (ViT) ati TrOCR, ati bii wọn ṣe n yi itọsọna idagbasoke ti imọ-ẹrọ idanimọ ọrọ pada. ## Awọn ipilẹ Faaji Transformer ### Ìàêñèìàëüíàÿ ìàøèíà Ni okan ti Transformer ni siseto Ifarabalẹ Ara ẹni, eyiti o gba awọn igbẹkẹle laarin eyikeyi awọn ipo meji ninu ọkọọkan naa. Agbara yii ṣe pataki ni awọn iṣẹ OCR, nibiti idanimọ ọrọ nilo lati ni oye awọn ibatan ti o tọ laarin awọn ohun kikọ. ** Awọn ikosile mathematiki **: Fun ọkọọkan titẹ sii X ∈ R ^ (n×d), a ṣe iṣiro ilana ifojusi ara ẹni bi atẹle: Ifarabalẹ (Q, K, V) = softmax (QK ^ T / √d_k) V Lara wọn: - Q = XW_Q (matrix ibeere) - K = XW_K (Matrix Bọtini) - V = XW_V (matrix iye) - W_Q, W_K, W_V ∈ R ^ (d×d_k) jẹ matrix iwuwo ti o ni imọran ** Long Head Attention Mechanism **: MultiHead(Q, K, V) = Concat(head_1, ..., head_h)W^O Ñîâåòñêèé àâòîìîáèëü Àëåêñàíäð Àëåê head_i = Ifarabalẹ (QW_i^Q, KW_i^K, VW_i^V) ### Transformer Encoder Structure Standard Encoder Layer ni: 1. Awọn akọmalu san ifojusi si sublayer 2. Ipo feedforward nẹtiwọki sublayers 3. Sisopọ ti o ku ati normalization fẹlẹfẹlẹ ** Aṣoju mathematiki **: x_out = LayerNorm(x + MultiHeadAttention(x)) x_final = LayerNorm(x_out + FFN(x_out)) ### Ipo Ifaminsi Niwọn igba ti Transformer funrararẹ ko ni alaye ipo, o jẹ dandan lati pese alaye ipo ti awọn eroja ni ọkọọkan nipasẹ ifaminsi ipo: ** Sine Ipo Ifaminsi **: PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE (pos, 2i + 1) = cos (pos / 10000 ^ (2i / d_model)) ** Koodu Ipo Ipo **: A lo ifaminsi ipo bi paramita ti o le kọ, ati pe aṣoju ipo ti o dara julọ ni a kọ laifọwọyi nipasẹ ikẹkọ. ## Ohun elo ti Vision Transformer ni OCR ### ViT Architecture Design Oniyipada iran pin aworan naa si awọn abulẹ iwọn ti o wa titi ati tọju alemo kọọkan bi ami ninu ọkọọkan naa. Apẹrẹ yii dara julọ fun idanimọ laini ọrọ ni awọn iṣẹ OCR. ** Image Chunk Processing **: 1. Pin aworan titẹ sii x ∈ R ^ (H×W ×C) sinu awọn abulẹ N 2. Alemo kọọkan jẹ P×P ni iwọn, ati pe awọn abulẹ N = HW / P² wa lapapọ 3. Flatten kọọkan alemo si a fekito x_p ∈ R ^ (P²×C) ** Linear projection **: Projecting awọn alemo fekito sinu D-onisẹpo aaye: z_0 = [x_class; x_p^1E; x_p^2E; ...; x_p^NE] + E_pos Lara wọn: - E ∈ R ^ (P²C×D) jẹ matrix iṣafihan laini ti a kọ ẹkọ - E_pos ∈ R ^ ((N + 1) ×D) jẹ koodu ipo - x_class jẹ aami iyasọtọ ti o kọ ẹkọ ### Awọn ilọsiwaju ViT pato OCR **1. Adaptive alemo segmentation **: - Ṣatunṣe iwọn alemo ni ibamu si awọn abuda ti laini ọrọ - Mu aala mimu pẹlu overlapping abulẹ - Awọn abulẹ ọpọlọpọ-asekale dapọ alaye ni awọn granularities oriṣiriṣi **2. Awọn imudara Awoṣe Ọkọọkan **: - Ṣafikun awọn agbara awoṣe ọkọọkan lori oke ti ViT - Titete ọkọọkan nipa lilo CTCs tabi awọn ọna ifojusi - Mu deede idanimọ dara si ni apapo pẹlu awọn awoṣe ede **3. Multimodal Fusion **: - Darapọ wiwo ati awọn ẹya ọrọ - Lo awọn ọna ifojusi agbelebu - Ipari-si-opin multimodal ti o dara ju ## TrOCR: Specialized OCR Transformer ### Akopọ ti faaji TrOCR TrOCR (OCR ti o da lori Transformer) jẹ awoṣe Transformer ti a dabaa nipasẹ Microsoft ni pataki fun awọn iṣẹ OCR, ni lilo faaji encoder-decoder. ** Ìwò faaji **: 1. ** Visual Encoder **: Encoder aworan ti o da lori ViT 2. ** Decoder ọrọ **: Decoder ọrọ ti o da lori BERT 3. ** Ifarabalẹ Agbelebu **: Sopọ awọn ọna wiwo ati ọrọ #### Encoder oniru ** Encoder wiwo **: - Lo awoṣe ViT ti a ti kọ tẹlẹ - Input: Ọrọ ila image - Abajade: Visual ẹya-ara ọkọọkan ** Ilana Isediwon Ẹya **: 1. Image patching ati PCM projection 2. Ṣafikun koodu ipo kan 3. Nipasẹ awọn olona-fẹlẹfẹlẹ Transformer encoder 4. Wu awọn ẹya ara ẹrọ aṣoju ti kọọkan alemo ### Decoder Oniru ** Ọrọ Decoder **: - BERT-orisun decoder faaji - Lo awọn iboju iparada ifẹsẹmulẹ lati rii daju iran autoregressive - Ṣafikun awọn ilana ifojusi agbelebu ** Ilana Decoding **: 1. Tẹ ami ibẹrẹ [BOS] 2. Awọn ilana ti ipilẹṣẹ nipasẹ awoṣe ifojusi ara ẹni 3. Idojukọ lori awọn ẹya wiwo nipasẹ ifojusi agbelebu 4. Asọtẹlẹ ohun kikọ ti o tẹle 5. Tun titi di opin aami iran [EOS] ### Ikẹkọ Ikẹkọ ** Ṣaaju ikẹkọ ipele **: - Lo data sintetiki ti o tobi - Awọn ilana ikẹkọ dandan fun awọn olukọ - Ẹkọ Multitasking (idanimọ + wiwa) ** Itanran-tuning Alakoso **: - Itanran-tune lori awọn data kan pato - Mu ilọsiwaju pẹlu data gidi - Awọn imuposi aṣamubadọgba ašẹ ## Awọn anfani ti Transformer ni OCR ### Long-Distance Dependency Modeling 【拼音】 yǒu yǒu yī gè yǒu yī - CNN: Aaye gbigba ti o lopin, nira lati gba awọn igbẹkẹle ijinna gigun - RNN: Ilana itẹlera, iṣoro iparun gradient kan wa - CRNN: Daapọ CNN ati RNN, ṣugbọn o tun ni awọn idiwọn ** Awọn anfani ti Awọn Ayipada: - Taara awoṣe ibasepo laarin lainidii awọn ipo - Awọn iṣiro ti o jọra fun ṣiṣe ikẹkọ giga - Awọn ọgbọn ẹkọ aṣoju ti o lagbara ### Multimodal Fusion Agbara ** Idapọ Ọrọ Wiworan-**: - Agbelebu-ifojusi siseto nipa ti atilẹyin multimodality - Ipari-si-opin apapọ ti o dara ju - Oye semantic ti o dara julọ ** Apẹẹrẹ Ohun elo **: - Oye iwe: Darapọ apẹrẹ ati alaye ọrọ - Ọrọ Iwoye: Daapọ ipo aworan ati akoonu ọrọ - Multilingual OCR: Leverages ede awoṣe imo #### Itumọ ** Ifarabalẹ Ifarabalẹ **: - Awọn iwuwo ifojusi pese iworan ti awọn ipinnu awoṣe - Ṣe iranlọwọ lati ni oye awọn agbegbe ti o nifẹ si awoṣe naa. - Dẹrọ itupalẹ aṣiṣe ati debugging awoṣe ** Oye Hierarchical **: - Awọn ipele oriṣiriṣi fojusi lori awọn ipele oriṣiriṣi ti awọn ẹya ara ẹrọ - Idojukọ aijinile lori awọn ẹya ara ẹrọ agbegbe - Idojukọ jinlẹ lori semantics agbaye ## Awọn ohun elo gidi-aye ### Idanimọ ọrọ ti a fi ọwọ ṣe ** Ipenija **: - Awọn ohun kikọ ti wa ni ibanujẹ pupọ - Iṣẹlẹ ti kikọ kikọ nigbagbogbo jẹ ibigbogbo. - Awọn aza kikọ kọọkan yatọ pupọ ** Ojutu Transformer **: - Ilana ifojusi ara ẹni gba awọn ibatan laarin awọn ohun kikọ - Ipo ifaminsi ilana ohun kikọ ipo alaye - Awọn akọmalu fojusi lori awọn abuda oriṣiriṣi ** Awọn imudara Iṣẹ **: - Ilọsiwaju 10-15% ni deede ni akawe si CRNN - Ti o dara ju gun ọrọ processing agbara - Ti o tobi adaptability si kikọ aza ### Idanimọ Iwe-aṣẹ ti a tẹjade ** Awọn oju iṣẹlẹ Ohun elo **: - Digitization ti awọn iwe itan - Multilingual iwe processing - Onínọmbà apẹrẹ ti o nira ** Awọn ẹya imọ-ẹrọ **: - Awọn awoṣe ti o tobi julọ ti a ti kọ tẹlẹ - Ikẹkọ apapọ multilingual - Awọn ọna ifojusi ti o mọ ### Idanimọ ọrọ iṣẹlẹ ** Awọn italaya imọ-ẹrọ **: - Complex lẹhin distractions - Ọrọ itọnisọna pupọ - Awọn ipa iyipada ina ** Anfani Transformer **: - Awoṣe ti o tọ agbaye - Aṣoju iwa ti o lagbara - Iṣapeye opin-si-opin ## Igbelewọn Iṣẹ ati Ifiwera ### Benchmark dataset ** Awọn akosile ẹkọ **: - IIIT-5K: Idanimọ ọrọ iṣẹlẹ - SVT: Street View Text - ICDAR Series: Standard OCR Evaluation ** Awọn eto data ile-iṣẹ **: - Ti abẹnu owo data - Multilingual adalu data - Real-aye ohun elo scenario data ### Awọn iṣiro iṣẹ ** Awọn iṣiro deede **: - Ihuwasi-ipele yiye - Ọrọ-ipele deede - Serial ipele yiye ** Awọn iṣiro ṣiṣe **: - Iyara iyara (FPS) - Awoṣe iwọn (nọmba awọn paramita) - Lilo iranti ### Ṣe afiwe awọn esi 【拼音】 yǒu yī gè yǒu yī gè - Ti a ṣe afiwe si CRNN: 5-15% ilọsiwaju ni deede - Significantly dara si gun ọrọ processing agbara akawe si CNN + CTC - Ti a ṣe afiwe pẹlu awọn ọna RNN: iwọn ti parallelization ti ni ilọsiwaju pupọ ** Ifiwera ti awọn oriṣiriṣi awọn iyipada Transformer **: - ViT vs CNN backbone: ViT ṣe dara julọ ni awọn oju iṣẹlẹ ti o nira - TrOCR vs CRNN: Iṣapeye opin-si-opin jẹ kedere - Ikẹkọ ti a ti kọ tẹlẹ vs de novo: Iṣẹ ti awọn awoṣe ti a ti kọ tẹlẹ ti ni ilọsiwaju pupọ ## Iṣapeye ati imuṣiṣẹ ### Awoṣe funmorawon ** Imọ Distillation **: - Lo awọn awoṣe nla bi awọn olukọ - Train lightweight akeko si dede - Ṣetọju iṣẹ lakoko ti o dinku iye awọn paramita ** Awoṣe Pruning **: - Pruning ti a ṣeto: Yọ gbogbo ori akiyesi kuro - Unstructured pruning: Yọ awọn isopọ ti ko ṣe pataki - Ìmúdàgba Pruning: Adjusts adaptively da lori input ** Awọn imuposi Quantization **: - INT8 Quantization: Dinku ifẹsẹtẹ iranti - Dynamic Quantization: Quantization nigbati o ba ronu - Ikẹkọ Imọye Iṣiro: Ṣe iṣiro awọn aṣiṣe ni lokan nigbati ikẹkọ ### Iṣapeye Inference ** Iṣiro iṣiro **: - Iṣapeye iṣiro ifarabalẹ: ifojusi kekere, ifojusi laini - Caching siseto: KV kaṣe accelerates decoding - Ipele processing: Mu GPU lilo ** Iṣapeye iranti **: - Awọn ayẹwo gradient: Dinku iranti ikẹkọ - Adalu konge: FP16 ikẹkọ - Awoṣe parallelism: Pinpin inference fun awọn awoṣe nla #### Ilana imuṣiṣẹ ** Imuṣiṣẹ awọsanma **: - Awọn iṣupọ GPU ti o ga julọ - Awoṣe servitization - Iwọn rirọ ** Imuṣiṣẹ eti **: - Iṣapeye alagbeka - Awọn ohun imuyara hardware - Real-time reasoning ## Ọjọ iwaju Idagbasoke Ọjọ iwaju ### Awọn aṣa Idagbasoke Imọ-ẹrọ ** Innovation Architectural **: - Awọn ọna ifarabalẹ ti o munadoko diẹ sii - Apẹrẹ faaji arabara - Awọn shatti iṣiro aṣamubadọgba ** Awọn imuposi Ikẹkọ Iṣaaju-Ikẹkọ **: - Ikẹkọ ti o tobi julọ - Multimodal ami-ikẹkọ - Ẹkọ ti ara ẹni ** Imugboroosi Ohun elo **: - Oye oye ti awọn iwe aṣẹ - Multimodal alaye isediwon - Awọn ohun elo ibanisọrọ akoko gidi ### Ìèõàèë Ìèõàéëîâè÷ ** Awọn italaya imọ-ẹrọ **: - Idiju iṣiro giga - Ibeere giga fun data - Interpretability nilo lati wa ni ilọsiwaju ** Awọn anfani Idagbasoke **: - Ilọsiwaju lemọlemọfún ninu iṣẹ hardware - Dagba data asekale - Awọn ibeere ohun elo ti o pọ si ## Akopọ Ohun elo ti faaji Transformer ni aaye ti OCR duro fun itọsọna idagbasoke pataki ti imọ-ẹrọ idanimọ ọrọ. Nipasẹ ilana ifojusi ara ẹni, Transformer le ṣe awoṣe awọn igbẹkẹle ijinna gigun laarin awọn ohun kikọ, pese iṣẹ ti o kọja awọn ọna CNN ati RNN ibile. ** Awọn anfani bọtini **: - Awọn agbara awoṣe ọkọọkan ti o lagbara - O tayọ multimodal Fusion agbara - Itumọ ti o dara - Awọn agbara iṣapeye ipari-si-opin ** Awọn ireti Ohun elo **: - Otitọ ti idanimọ ọrọ ti a kọ pẹlu ọwọ ti ni ilọsiwaju pupọ - Oye oye ti awọn iwe aṣẹ ti o nira - Iṣọkan processing ti OCR multilingual - Atilẹyin fun awọn ohun elo ibanisọrọ akoko gidi-akoko Pẹlu idagbasoke lemọlemọfún ti imọ-ẹrọ, ohun elo ti Transformer ni aaye ti OCR yoo tẹsiwaju lati jinlẹ, pese atilẹyin imọ-ẹrọ to lagbara fun kikọ eto idanimọ ọrọ ti o ni oye diẹ sii ati daradara. Ninu àpilẹkọ ti n bọ, a yoo ṣe apejuwe bi o ṣe le ṣe apẹrẹ ati imuse ti awọn eto OCR multimodal.