【Deep Learning OCR Series · 4】 Awọn nẹtiwọọki Neural loorekoore ati awoṣe ọkọọkan

## Ifihan Nẹtiwọọki Neural Loorekoore (RNN) jẹ faaji nẹtiwọọki neural ni ẹkọ jinlẹ ti o ṣe amọja ni ṣiṣe data ọkọọkan kan. Ninu awọn iṣẹ OCR, idanimọ ọrọ jẹ iṣoro iyipada ọkọọkan si-ọkọọkan kan: iyipada ọkọọkan ti awọn ẹya aworan sinu ọkọọkan ohun kikọ ọrọ. Nkan yii yoo ṣawari bi RNN ṣe n ṣiṣẹ, awọn iyatọ akọkọ rẹ, ati awọn ohun elo rẹ pato ni OCR, pese awọn onkawe pẹlu ipilẹ imọ-jinlẹ okeerẹ ati itọsọna to wulo. ## Awọn ipilẹ RNN ### Awọn idiwọn ti awọn nẹtiwọọki Neural Ibile Awọn nẹtiwọọki neural ti aṣa ni awọn idiwọn pataki ni ṣiṣe data ọkọọkan aṣa. Awọn nẹtiwọọki wọnyi ro pe data titẹ sii jẹ ominira ati homodistributed, ati pe ko le gba awọn igbẹkẹle akoko laarin awọn eroja ninu ọkọọkan naa. ** Awọn iṣoro Nẹtiwọọki Feedforward **: - Ti o wa titi input ati o wu ipari: Ayípadà ipari ọkọọkan ko le wa ni mu - Aini agbara iranti: Ailagbara lati lo alaye itan - Iṣoro ni Pinpin Paramita: Ilana kanna nilo lati kọ ẹkọ leralera ni awọn ipo oriṣiriṣi - Ifamọ ipo: Iyipada aṣẹ ti awọn igbewọle le ja si awọn abajade ti o yatọ patapata Awọn idiwọn wọnyi ni a ṣe akiyesi ni pataki ninu awọn iṣẹ OCR. Awọn ilana ọrọ jẹ igbẹkẹle pupọ, ati awọn abajade idanimọ ti ohun kikọ ti tẹlẹ nigbagbogbo ṣe iranlọwọ lati pinnu iṣeeṣe ti awọn ohun kikọ ti o tẹle. Fun apẹẹrẹ, nigbati o ba ṣe idanimọ ọrọ Gẹẹsi "awọn", ti a ba ti mọ "th" tẹlẹ, lẹhinna ohun kikọ ti o tẹle ni o ṣeeṣe ki o jẹ "e". ### Õàëÿâà íà êîìï " Íîâîñòè RNN yanju iṣoro ti awoṣe ọkọọkan nipa fifihan awọn isopọ lupu. Ero pataki ni lati ṣafikun ilana "iranti" si nẹtiwọọki, ki nẹtiwọọki le fipamọ ati lo alaye lati awọn akoko iṣaaju. ** Aṣoju mathematiki ti RNN **: Ni akoko t, ipo ti o farasin ti RNN h_t pinnu nipasẹ x_t titẹ sii lọwọlọwọ ati ipo ti o farasin ti akoko ti tẹlẹ h_{t-1}: h_t = f (W_hh * h_{t-1} + W_xh * x_t + b_h) Lara wọn: - W_hh ni matrix iwuwo lati ipinle ti o farasin si ipo ti o farasin - W_xh ni matrix iwuwo ti o wọ inu ipo ti o farasin - b_h jẹ fekito irẹjẹ - f jẹ iṣẹ imuṣiṣẹ (nigbagbogbo tanh tabi ReLU) Ïîýòîìó ýòîò ÷åëîâåê y_t íàõîäèòñÿ íà ýòîò ñ÷åò: y_t = W_hy * h_t + b_y 【拼音】 yǒu yī gè yǒu yī gè y� - Pinpin paramita: Awọn iwuwo kanna ni a pin kọja gbogbo awọn akoko - Ayípadà ipari ọkọọkan processing: Le mu input ọkọọkan ti lainidii ipari - Agbara iranti: Awọn ipinlẹ ti o farasin ṣiṣẹ bi "awọn iranti" ti nẹtiwọọki - Rọ titẹ sii ati o wu: Atilẹyin ọkan-si-ọkan, ọkan-si-ọpọlọpọ, ọpọlọpọ-si-ọkan, ọpọlọpọ-si-ọpọlọpọ awọn ipo ati diẹ sii ### Ti o dara ju ti o Lati ni oye daradara bi awọn RNN ṣe n ṣiṣẹ, a le faagun wọn ni apakan akoko. RNN ti o gbooro sii dabi nẹtiwọọki ifunni jinlẹ, ṣugbọn gbogbo awọn igbesẹ akoko pin awọn ipele kanna. 【拼音】 yǒu yī gè - Rọrun lati ni oye ṣiṣan alaye: O ṣee ṣe lati rii kedere bi alaye ṣe kọja laarin awọn igbesẹ akoko - Iṣiro Gradient: Awọn gradients ni a ṣe iṣiro nipasẹ algorithm Time Backpropagation (BPTT) - Awọn iṣaro Parallelization: Lakoko ti awọn RNN jẹ atẹle, awọn iṣẹ kan le jẹ afiwe 【拼音】 yǒu yī gè yǒu yī gè y�  ýòîì ñëó÷àå, ÷òî îíà íå ìîåò áûòü ïîõîà íà ýòîò âîïðîñ: h_1 = f (W_xh * x_1 + b_h) h_2 = f (W_hh * h_1 + W_xh * x_2 + b_h) h_3 = f (W_hh * h_2 + W_xh * x_3 + b_h) ... h_T = f (W_hh * h_{T-1} + W_xh * x_T + b_h) Fọọmu yii fihan kedere bi a ṣe kọja alaye laarin awọn igbesẹ akoko ati bii a ṣe pin awọn ipele kọja gbogbo awọn igbesẹ akoko. ## Ìàêñèìàëüíûé õàðàêòåð Ìèõàèë Àëåêñàíäðîâè÷ ### Ìèõàèë Ìèõàéëîâè÷ Nigbati a ba nkọ RNNs, a lo algorithm Backpropagation Through Time (BPTT). Alugoridimu nilo lati ṣe iṣiro gradient ti iṣẹ pipadanu fun paramita akoko kọọkan. ** Ofin pq fun iṣiro gradient **: Ti o ba ti wa ni ti o dara ju ti o ti wa ni Ni ibamu si awọn pq ofin, a gradient yoo ni ọpọ multiplications ti awọn àdánù matrix: ∂L / ∂W = Σ_t (∂L / ∂y_t) * (∂y_t / ∂h_t) * (∂h_t / ∂W) nibiti ∂h_t / ∂W ni ọja ti gbogbo awọn ipinlẹ agbedemeji lati akoko t si akoko 1. ** Onínọmbà mathematiki ti Gradient Disappearance **: Jẹ ki a wo bi o ṣe le ṣe atunyẹwo awọn aami aisan ti o wa ni isalẹ: ∂h_t/∂h_{t-1} = diag(f_prime(W_hh * h_{t-1} + W_xh * x_t + b_h)) * W_hh Nigbati ipari itẹlera ba jẹ T, gradient ni T-1 iru ọrọ ọja. Ti o ba ti awọn ti o pọju eigeniye ti awọn W_hh jẹ kere ju 1, lemọlemọfún matrix isodipupo yoo fa gradient exponential ibajẹ. ** Onínọmbà mathematiki ti awọn bugbamu gradient **: Ni idakeji, nigbati iye eigenvalue ti o pọ julọ ti W_hh tobi ju 1 lọ, gradient naa pọ si ni kiakia: || ∂h_t/∂h_1|| ≈ || W_hh|| ^{t-1} Eyi nyorisi ikẹkọ ti ko ni iduroṣinṣin ati awọn imudojuiwọn paramita ti o pọju. # Alaye ti o dara julọ ti o wa ni isalẹ. Gradient Clipping: Gige gradient jẹ ọna ti o taara julọ lati yanju awọn bugbamu gradient. Nígbà tí ìlànà ìtẹ̀sítì bá kọjá ẹnu-ọ̀nà tí a ṣeto, ìwọ̀n ìwọ̀n náà yóò ṣe ìwọ̀n sí ìwọ̀n ìwọ̀n. Ọna yii rọrun ati munadoko, ṣugbọn o nilo lati yan awọn ipele ti o faraba. Ẹnu-ọna ti o kere ju yoo ṣe idinwo agbara ẹkọ, ati ẹnu-ọna ti o tobi ju kii yoo ṣe idiwọ bugbamu gradient. ** Ilana Ibẹrẹ iwuwo **: Ibẹrẹ iwuwo to dara le dinku awọn ọran gradient: - Ibẹrẹ Xavier: Iyatọ iwuwo jẹ 1 / n, nibiti n jẹ iwọn titẹ sii - O ibẹrẹ: Iyatọ iwuwo jẹ 2 / n, eyiti o dara fun awọn iṣẹ imuṣiṣẹ ReLU - Orthogonal Initialization: Initializes matrix iwuwo bi matrix orthogonal ** Yiyan ti Awọn iṣẹ Imuṣiṣẹ **: Awọn iṣẹ imuṣiṣẹ oriṣiriṣi ni awọn ipa oriṣiriṣi lori itankale gradient: - tanh: ibiti o wu [-1,1], iye ti o pọju gradient ti 1 - ReLU: le dinku iparun gradient ṣugbọn o le fa iku neuronal - Leaky ReLU: Yanju iṣoro iku neuronal ti ReLU ** Awọn ilọsiwaju ayaworan **: Ojutu ti o ṣe pataki julọ ni lati mu faaji RNN dara, eyiti o yori si dide ti LSTM ati GRU. Awọn faaji wọnyi koju awọn gradients nipasẹ awọn ilana gating ati awọn aṣa ṣiṣan alaye pataki. ## LSTM: Nẹtiwọọki iranti igba pipẹ ### Ṣe atilẹyin fun awọn alabara ti o ni iriri LSTM (Long Short-Term Memory) jẹ iyatọ RNN ti Hochreiter ati Schmidhuber dabaa ni ọdun 1997, ti a ṣe apẹrẹ ni pataki lati yanju iṣoro ti ifarahan gradient ati awọn iṣoro ẹkọ ti o gbẹkẹle gigun. ** LSTM's Core Innovations**: - Ipinle Cell: Ṣiṣẹ bi "opopona" fun alaye, gbigba alaye laaye lati ṣan taara laarin awọn igbesẹ akoko - Gating siseto: Deede Iṣakoso lori awọn inflow, idaduro, ati o wu ti alaye - Awọn ilana iranti ti a yatọ: ṣe iyatọ laarin iranti igba kukuru (ipo ti o farasin) ati iranti igba pipẹ (ipinle cellular) ** Bawo ni LSTM ṣe yanju awọn iṣoro gradient **: LSTM ṣe imudojuiwọn ipo sẹẹli nipasẹ afikun dipo awọn iṣẹ isodipupo, eyiti o fun laaye awọn gradients lati ṣan ni rọọrun si awọn igbesẹ akoko iṣaaju. Agbekalẹ ti a ṣe imudojuiwọn fun ipinle cell: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Afikun ipele eroja ni a lo nibi, yago fun isodipupo matrix lemọlemọfún ni awọn RNN ibile. # Alaye alaye ti faaji LSTM LSTM ni awọn ẹya mẹta ati ipinle sẹẹli kan: **1. Gbagbe ẹnu-ọna **: Ẹnu-ọna ti igbagbe pinnu iru alaye ti o yẹ ki o yọ kuro ninu ipinle sẹẹli: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) Iṣelọpọ ti ẹnu-ọna igbagbe jẹ iye laarin 0 ati 1, pẹlu 0 ti o jẹ "gbagbe patapata" ati 1 ni "idaduro patapata". Ẹnu-ọna yii ngbanilaaye LSTM lati yan alaye itan ti ko ṣe pataki. **2. Ẹnubode Input **: Ẹnu-ọna titẹ sii pinnu iru alaye tuntun ti a fipamọ sinu ipinle sẹẹli: i_t = σ(W_i · [h_{t-1}, x_t] + b_i) C_tilde_t = tanh(W_C · [h_{t-1}, x_t] + b_C) Ẹnu-ọna titẹ sii ni awọn ẹya meji: fẹlẹfẹlẹ sigmoid pinnu iru awọn iye lati ṣe imudojuiwọn, ati fẹlẹfẹlẹ tanh ṣẹda awọn fekito iye oludije. **3. Imudojuiwọn Ipo Cell **: Darapọ awọn abajade ti ẹnu-ọna gbagbe ati ẹnu-ọna titẹ sii lati ṣe imudojuiwọn ipo sẹẹli: C_t = f_t ⊙ C_{t-1} + i_t ⊙ C_tilde_t Agbekalẹ yii wa ni okan ti LSTM: idaduro yiyan ati imudojuiwọn alaye nipasẹ isodipupo ipele ati awọn iṣẹ afikun. **4. Ẹnubode iṣelọpọ **: Ẹnu-ọna ti o wu pinnu iru awọn ẹya ara ti sẹẹli ti o wu: o_t = σ(W_o · [h_{t-1}, x_t] + b_o) h_t = o_t ⊙ tanh(C_t) Ẹnu-ọna ti o wu n ṣakoso iru awọn ẹya ti ipinle sẹẹli ti o ni ipa lori iṣelọpọ lọwọlọwọ. ### Awọn iyatọ LSTM ** Peephole LSTM **: Ilé lori boṣewa LSTM, awọn Peephole LSTM faye gba awọn gating kuro lati wo awọn cell ipinle: f_t = σ(W_f · [C_{t-1}, h_{t-1}, x_t] + b_f) i_t = σ(W_i · [C_{t-1}, h_{t-1}, x_t] + b_i) o_t = σ(W_o · [C_t, h_{t-1}, x_t] + b_o) ** Coupled LSTM **: Tọkọtaya ẹnu-ọna igbagbe pẹlu ẹnu-ọna titẹ sii lati rii daju pe iye alaye ti o gbagbe jẹ dogba si iye alaye ti o wọle: f_t = σ(W_f · [h_{t-1}, x_t] + b_f) i_t = 1 - f_t Apẹrẹ yii dinku nọmba awọn paramita lakoko mimu iṣẹ ipilẹ ti LSTM. ## GRU: Gated Loop Unit # Õàëÿâà íà êîìï " Íîâîñòè GRU (Gated Recurrent Unit) jẹ ẹya ti o rọrun ti LSTM ti a dabaa nipasẹ Cho et al. ni ọdun 2014. GRU simplifies awọn ẹnubode mẹta ti LSTM si awọn ẹnubode meji ati dapọ ipo cellular ati ipo ti o farasin. ** Imoye Apẹrẹ GRU **: - Ilana ti o rọrun: dinku nọmba awọn ilẹkun ati dinku idiju ti awọn iṣiro - Ṣetọju Išẹ: Rọrun lakoko mimu iṣẹ ti o jọra LSTM - Rọrun lati ṣe: Ikole ti o rọrun ngbanilaaye fun imuse ati igbimọ ti o rọrun ### Õàëÿâà íà êîìï " Íîâîñòè **1. Tun ẹnu-ọna **: r_t = σ(W_r · [h_{t-1}, x_t] + b_r) Ẹnu-ọna atunto pinnu bi o ṣe le darapọ titẹ titun pẹlu iranti iṣaaju. Nígbà tí ẹnu-ọ̀nà àtúnṣe náà bá súnmọ́ 0, àwòṣe náà kò ní ipò tí ó farapamọ́ tẹ́lẹ̀. **2. Imudojuiwọn Ẹnubode **: z_t = σ(W_z · [h_{t-1}, x_t] + b_z) Ẹnubode ìmúdójúìwọ̀n náà máa pinnu iye ìsọfúnni tí ó ti kọjá láti tọ́jú àti iye ìròyìn tuntun láti fi kún un. O ṣakoso mejeeji gbagbe ati titẹ sii, iru si apapo ti igbagbe ati awọn ẹnubode titẹ sii ni LSTM. **3. Ipo ti o farasin oludije **: h_tilde_t = tanh(W_h · [r_t ⊙ h_{t-1}, x_t] + b_h) Awọn ipinlẹ ti o farapamọ lo ẹnu-ọna atunto lati ṣakoso awọn ipa ti ipinle ti o farasin tẹlẹ. **4. Ipinle Ti o Farasin Ikẹhin **: h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h_tilde_t Ipinle ti o farasin ti o kẹhin jẹ apapọ iwuwo ti ipinle ti o farasin tẹlẹ ati ipinle ti o farapamọ ti oludije. ### GRU vs LSTM In-Depth Comparison 【拼音】 yǒu yī gè yǒu yī gè y� - LSTM: 4 àdánù matrices (gbagbe ẹnu-ọna, input ẹnubode, oludije iye, o wu ẹnu-ọna) - GRU: Awọn matrices iwuwo 3 (ẹnu-ọna atunṣe, ẹnu-ọna imudojuiwọn, iye oludije) - Nọmba awọn paramita ti GRU jẹ to 75% ti LSTM ** Ifiwera Complexity Iṣiro **: - LSTM: Nilo iṣiro ti awọn abajade ẹnu-ọna 4 ati awọn imudojuiwọn ipinle sẹẹli - GRU: Nìkan ṣe iṣiro iṣelọpọ ti awọn ẹnubode 2 ati awọn imudojuiwọn ipo ti o farasin - GRU jẹ deede 20-30% yiyara ju LSTM ** Ifiwera Iṣẹ **: - Lori ọpọlọpọ awọn iṣẹ-ṣiṣe, GRU ati LSTM ṣe afiwe - LSTM le jẹ diẹ dara julọ ju GRU lori diẹ ninu awọn iṣẹ-ṣiṣe gigun - GRU jẹ yiyan ti o dara julọ ni awọn ọran nibiti awọn orisun iširo ti ni opin ## Õàðàêòåðèñòè÷åñêèé õàðàêòåð Àëåêñàíäð À ### Òàêèì îáðàçîì, ÷òî ó ìåíÿ íåò íèêàêèõ ÷åëîâåê. Ni ọpọlọpọ awọn iṣẹ-ṣiṣe, iṣelọpọ ti akoko lọwọlọwọ ko da lori awọn ti o ti kọja nikan, ṣugbọn tun lori alaye iwaju. Eyi ṣe pataki paapaa ni awọn iṣẹ OCR, nibiti idanimọ ohun kikọ nigbagbogbo nilo lati ṣe akiyesi ipo ti gbogbo ọrọ tabi gbolohun ọrọ. 【拼音】 yǒu yī gè yī - Alaye itan nikan ni a le lo, ko si ipo ọjọ iwaju ti a le gba - Iṣẹ ti o lopin ni awọn iṣẹ kan, paapaa awọn ti o nilo alaye agbaye - Idanimọ ti o lopin ti awọn ohun kikọ ambiguous ** Awọn anfani ti Processing Bidirectional **: - Pipe alaye ti o tọ: Lo alaye ti o ti kọja ati ọjọ iwaju - Dara disambiguation: Disambiguation pẹlu alaye ti o tọ - Imudarasi idanimọ deede: Ṣe dara julọ lori ọpọlọpọ awọn iṣẹ-ṣiṣe asọye ọkọọkan ### Bidirectional LSTM faaji Awọn ipele LSTM bidirectional ni awọn fẹlẹfẹlẹ LSTM meji: - Iwaju LSTM: Ilana ilana lati osi si ọtun - Sẹhin LSTM: Ilana ilana lati ọtun si apa osi ** Aṣoju mathematiki **: h_forward_t = LSTM_forward(x_t, h_forward_{t-1}) h_backward_t = LSTM_backward(x_t, h_backward_{t+1}) h_t = [h_forward_t; h_backward_t] # Õî÷ó ïîìî÷ü, ÷òî ó ìåíÿ íåò íèêàêèõ ÷åëîâåê. ** Ilana Ikẹkọ **: 1. Siwaju LSTM ilana ilana ni deede ibere 2. LSTM sẹhin ṣe ilana awọn ilana ni aṣẹ yiyipada 3. Ni igbesẹ kọọkan, sopọ awọn ipinlẹ ti o farapamọ ni awọn itọsọna mejeeji 4. Lo awọn spliced ipinle fun asọtẹlẹ * Awọn anfani ati awọn alailanfani **: Awọn anfani: - Alaye ti o tọ ni kikun - Iṣẹ ti o dara julọ - Itọju Symmetry Awọn alailanfani: - Ṣe ilọpo meji idiju ti awọn iṣiro - Ko le ṣe ilọsiwaju ni akoko gidi (nilo ọkọọkan ni kikun) - Awọn ibeere iranti ti o pọ si ## Awọn ohun elo Awoṣe Ọkọọkan ni OCR # Alaye alaye ti idanimọ laini ọrọ Ninu awọn ọna OCR, idanimọ laini ọrọ jẹ ohun elo aṣoju ti awoṣe ọkọọkan ọkọ. Ni ọna yii, o nilo lati ṣe iyipada awọn ẹya ara ẹrọ ti o wa ni isalẹ si awọn ohun kikọ sori ayelujara. ** Awoṣe Iṣoro **: - Input: Image feature sequence X = {x_1, x_2, ..., x_T} - Output: Character ọkọọkan Y = {y_1, y_2, ..., y_S} - Ipenija: Input ọkọọkan ipari T ati o wu ọkọọkan ipari S ni o wa igba ko dogba ** Ohun elo ti faaji CRNN ni idanimọ laini ọrọ **: CRNN (Convolutional Recurrent Neural Network) jẹ ọkan ninu awọn faaji ti o ṣaṣeyọri julọ ni OCR: 1. ** CNN Ẹya-ara Isediwon Layer **: - Yọ awọn ẹya aworan jade nipa lilo awọn nẹtiwọọki neural convolutional - Ṣe iyipada awọn ẹya aworan 2D sinu awọn ẹya ara ẹrọ 1D - Ṣetọju itẹsiwaju ti alaye akoko 2. ** RNN Ọkọọkan Modeli Layer **: - Awọn ẹya ara ẹrọ awoṣe nipa lilo awọn LSTM bidirectional - Gba awọn igbẹkẹle ti o tọ laarin awọn ohun kikọ - O wu ohun kikọ iṣeeṣe pinpin fun kọọkan akoko igbese 3. ** CTC Alignment Layer **: - Adirẹsi input / output ọkọọkan ipari mismatches - Ko si awọn iwọn titete ipele ti ohun kikọ silẹ ti o nilo - Ikẹkọ ipari-si-opin ** Iyipada ti isediwon ẹya-ara si ọkọọkan **: Maapu ẹya-ara ti a fa jade nipasẹ CNN nilo lati yipada si fọọmu ọkọọkan ti RNN le ṣe ilana: - Pin awọn ẹya map sinu ọwọn, pẹlu kọọkan iwe bi a akoko igbese - Ṣetọju chronology ti alaye aaye - Rii daju pe ipari ti ọkọọkan ẹya jẹ iwọntunwọnsi si iwọn ti aworan naa # Ohun elo ti siseto ifojusi ni OCR Awọn RNN ibile tun ni awọn idiwọ alaye nigbati o ba n ṣe pẹlu awọn itọsọna gigun. Ifihan ti awọn ọna ifojusi tun mu awọn agbara ti awoṣe ọkọọkan pọ si. ** Awọn ilana ti Awọn ilana Ifarabalẹ **: Ilana ifojusi ngbanilaaye awoṣe lati dojukọ awọn oriṣiriṣi awọn ẹya ti ọkọọkan titẹ sii nigbati o ba npese iṣelọpọ kọọkan: - Yanju awọn alaye bottleneck ti o wa titi-ipari encoded fekito - Pese alaye ti awọn ipinnu awoṣe - Imudarasi processing ti gun ọkọọkan ** Awọn ohun elo pato ni OCR **: 1. ** Ifarabalẹ Ipele Ohun kikọ **: - Fojusi lori awọn agbegbe aworan ti o yẹ nigbati o ba ṣe idanimọ ohun kikọ kọọkan - Ṣatunṣe awọn iwuwo ifojusi lori fly - Mu robustness si eka backgrounds 2. ** Ifarabalẹ Ipele Ọrọ **: - Ṣe akiyesi alaye ti o tọ ni ipele fokabulari - Lo imọ awoṣe ede - Mu deede ti gbogbo ọrọ idanimọ 3. ** Ifarabalẹ Ọpọlọpọ-Asekale **: - Lilo awọn ilana ifojusi ni awọn ipinnu oriṣiriṣi - Mu ọrọ ti awọn titobi oriṣiriṣi - Mu aṣamubadọgba si awọn ayipada iwọn ** Aṣoju mathematiki ti Ilana Ifarabalẹ **: Fun encoder o wu ọkọọkan H = {h_1, h_2, ..., h_T} ati decoder ipinle s_t: e_{t,i} = a(s_t, h_i) # Ifarabalẹ α_{t,i} = softmax(e_{t,i}) # Àdánù àkíyèsí c_t = Σ_i α_{t,i} * h_i # context vector ## Awọn ilana Ikẹkọ ati Iṣapeye ### Ilana ikẹkọ ọkọọkan ** Olukọni Iforukọsilẹ **: Lakoko ipele ikẹkọ, lo ọkọọkan ibi-afẹde gidi bi titẹ sii decoder: - Aleebu: iyara ikẹkọ iyara, iṣọpọ iduroṣinṣin - Konsi: Ikẹkọ ti ko ni ibamu ati awọn ipele inference, ti o yori si ikojọpọ awọn aṣiṣe ** Iṣapẹẹrẹ ti a ṣeto **: Ni ilọsiwaju lati fi agbara mu olukọ si lilo awọn asọtẹlẹ ti awoṣe lakoko ikẹkọ: - Lo awọn aami gidi ni ipele akọkọ ati awọn asọtẹlẹ awoṣe ni awọn ipele nigbamii - Din awọn iyatọ ninu ikẹkọ ati ironu - Mu awoṣe robustness ** Ẹkọ Ẹkọ **: Bẹrẹ pẹlu awọn ayẹwo ti o rọrun ati ki o maa mu idiju ti awọn ayẹwo pọ si: - Kukuru si Awọn itọsọna Gigun: Ṣe ikẹkọ awọn ọrọ kukuru akọkọ, lẹhinna awọn ọrọ gigun - Clear to Blurred Images: Maa mu idiju ti aworan naa pọ si - Rọrun si Awọn nkọwe ti o nira: Lati titẹ si kikọ ọwọ ### Awọn imuposi Regularization ** Ohun elo ti Dropout ni RNN **: Lilo dropout ni RNN nilo ifojusi pataki: - Maṣe lo dropout lori awọn asopọ lupu - Dropout le ṣee lo ni awọn fẹlẹfẹlẹ titẹ sii ati awọn fẹlẹfẹlẹ iṣelọpọ - Iyatọ: Lo iboju iparada kanna ni gbogbo awọn igbesẹ ** Ibajẹ iwuwo **: L2 regularization idilọwọ overfitting: Isonu = CrossEntropy + λ * || W|| ² Nibiti λ jẹ olùsọdipúpọ regularization, eyiti o nilo lati ṣe iṣapeye nipasẹ ṣeto ifọwọsi. ** Gradient Cropping **: Ọna ti o munadoko lati dènà awọn bugbamu gradient. Nigbati iwuwasi gradient ba kọja ẹnu-ọna, ṣe iwọn gradient ni iwọntunwọnsi lati jẹ ki itọsọna gradient ko yipada. ** Tete Duro **: Ṣe àmójútó ìmúdájú ṣeto iṣẹ́ kí o sì dá ìdánilẹ́kọ̀ọ́ dúró nígbà tí iṣẹ́ kò bá sí sí i mọ́: - Ṣe idiwọ apọju - Fipamọ awọn orisun iširo - Yan awoṣe ti o dara julọ ### Hyperparameter tuning ** Eto Oṣuwọn Ẹkọ **: - Oṣuwọn Ẹkọ Akọkọ: Nigbagbogbo ṣeto ni 0.001-0.01 - Ibajẹ oṣuwọn ẹkọ: ibajẹ exponential tabi ibajẹ akaba - Oṣuwọn Ẹkọ Aṣamubadọgba: Lo awọn iṣapeye bi Adam, RMSprop, ati bẹbẹ lọ ** Ipele Iwọn Aṣayan **: - Awọn ipele kekere: Iṣẹ gbogbogbo ti o dara julọ ṣugbọn akoko ikẹkọ gigun - Iwọn didun giga: Ikẹkọ jẹ iyara ṣugbọn o le ni ipa lori gbogbogbo - Ipele titobi laarin 16-128 ti wa ni maa yan ** Ilana Ipari Ipari **: - Ti o wa titi Gigun: Truncate tabi kun ọkọọkan si awọn gigun ti o wa titi - Gigun ti o lagbara: Lo padding ati masking lati mu awọn ipele gigun iyipada - Bagging Strategy: Awọn itọsọna ẹgbẹ ti iru gigun ## Igbelewọn iṣẹ ati itupalẹ ### Ṣe ayẹwo awọn iṣiro ** Ihuwasi-ipele deede **: Accuracy_char = (Nọmba awọn ohun kikọ ti a mọ daradara) / (Lapapọ awọn ohun kikọ) Eyi ni itọka igbelewọn ipilẹ julọ ati taara ṣe afihan awọn agbara idanimọ ti awoṣe. ** Serial Ipele Yiye **: Accuracy_seq = (Nọmba awọn ọkọọkan ti a mọ daradara) / (Nọmba lapapọ ti awọn ọkọọkan ọkọ) Atọka yii jẹ lile diẹ sii, ati pe ọkọọkan ti o tọ patapata nikan ni a kà si ti o tọ. **Ṣiṣatunkọ ijinna (ijinna Levenshtein)**: Jẹ ki a wo iyatọ laarin awọn asọtẹlẹ ati otitọ jara: - Nọmba ti o kere julọ ti ifibọ, yọkuro, ati awọn iṣẹ rirọpo - Ijinna ṣiṣatunkọ deede: ijinna ṣiṣatunkọ / ipari ọkọọkan - Dimegilio BLEU: Lilo nigbagbogbo ni itumọ ẹrọ ati pe o tun le ṣee lo fun igbelewọn OCR ### Onínọmbà aṣiṣe ** Awọn oriṣi aṣiṣe ti o wọpọ **: 1. ** Idarudapọ ohun kikọ **: Idanimọ ti awọn ohun kikọ ti o jọra - Nọmba 0 ati lẹta O - Nọmba 1 ati lẹta l - Awọn lẹta M ati N 【拼音】 yǒu yī gè - Awọn ipo ihuwasi ti wa ni yiyipada - Duplication tabi omission ti awọn ohun kikọ 3. ** Aṣiṣe gigun **: Aṣiṣe ni asọtẹlẹ ipari ọkọọkan - Ti pẹ ju: Awọn ohun kikọ ti ko si tẹlẹ - Kukuru ju: Awọn ohun kikọ ti o wa lọwọlọwọ ti sọnu ** Ọna Onínọmbà **: 1. ** Matrix Idarudapọ **: Ṣe itupalẹ awọn ilana aṣiṣe ipele ohun kikọ silẹ 2. ** Ifarabalẹ Ifarabalẹ **: Loye awọn ifiyesi awoṣe 3. ** Onínọmbà gradient **: Ṣayẹwo ṣiṣan gradient 4. ** Onínọmbà Imuṣiṣẹ **: Ṣe akiyesi awọn ilana imuṣiṣẹ kọja awọn fẹlẹfẹlẹ ti nẹtiwọọki ### Iwadii awoṣe ** Overfit erin **: - Awọn adanu ikẹkọ tẹsiwaju lati dinku, awọn adanu ijẹrisi dide - Awọn ikẹkọ yiye jẹ Elo ti o ga ju awọn ifọwọsi yiye - Ojutu: Mu deede pọ si ati dinku idiju awoṣe ** Underfit erin **: - Mejeeji ikẹkọ ati awọn adanu ijẹrisi jẹ giga - Awoṣe naa ko ṣe daradara lori ṣeto ikẹkọ - Solusan: Mu idiju awoṣe pọ si ati ṣatunṣe oṣuwọn ẹkọ ** Iwadii Iṣoro Gradient **: - Pipadanu gradient: Iye gradient jẹ kekere ju, ẹkọ ti o lọra - Gradient bugbamu: Awọn iye gradient ti o pọ julọ yori si ikẹkọ ti ko ni iduroṣinṣin - Solusan: Lilo LSTM / GRU, Gradient Cropping ## Awọn ohun elo gidi-aye ### Eto Idanimọ Ohun kikọ ti a kọ pẹlu ọwọ ** Awọn oju iṣẹlẹ Ohun elo **: - Digitize Handwritten Notes: Se iyipada iwe awọn akọsilẹ sinu itanna awọn iwe aṣẹ - Fọọmu Aifọwọyi: Ṣe idanimọ akoonu fọọmu ti a kọ pẹlu ọwọ laifọwọyi - Idanimọ Iwe Itan: Digitize awọn iwe atijọ ati awọn iwe itan ** Awọn ẹya imọ-ẹrọ **: - Awọn iyatọ ti ohun kikọ nla: Ọrọ ti a kọ pẹlu ọwọ ni ipele giga ti ara ẹni - Ṣiṣe pen lemọlemọfún: Awọn asopọ laarin awọn ohun kikọ nilo lati wa ni abojuto - Context-Pataki: Lo awọn awoṣe ede lati mu idanimọ dara si ** System Architecture **: 1. ** Pretreatment module **: - Image denoising and enhancement - Tilt atunse - Pipin ila ọrọ 2. ** Ẹya isediwon module **: - CNN yọ awọn ẹya wiwo - Idapọ ẹya-ara pupọ - Ẹya serialization 3. ** Ọkọọkan Modeli Module **: - Awoṣe LSTM bidirectional - Awọn ọna ifarabalẹ - Contextual encoding 4. ** Decoding module **: - CTC decoding tabi ifarabalẹ ifarabalẹ - Awoṣe ede post-processing - Igbelewọn igbẹkẹle ### Eto Idanimọ Iwe-aṣẹ ti a tẹjade ** Awọn oju iṣẹlẹ Ohun elo **: - Iwe Digitization: Yiyipada awọn iwe aṣẹ sinu awọn ọna kika ti a le ṣatunkọ - Idanimọ Bill: Ṣe ilana awọn iwe isanwo, awọn risiti ati awọn idiyele miiran laifọwọyi - Idanimọ Signage: Ṣe idanimọ awọn ami opopona, awọn ami itaja, ati diẹ sii ** Awọn ẹya imọ-ẹrọ **: - Deede font: Diẹ deede ju handwritten ọrọ - Typography ofin: Layout alaye le ṣee lo - Awọn ibeere deede giga: Awọn ohun elo iṣowo ni awọn ibeere deede ti o muna ** Ilana ti o dara julọ **: 1. ** Ikẹkọ Multi-Font **: Nlo data ikẹkọ lati awọn nkọwe pupọ 2. ** Imudara data **: Yiyi, iwọn, afikun ariwo 3. ** Iṣapeye ifiweranṣẹ-processing **: ayẹwo sisọwe, atunse girama 4. ** Igbelewọn Igbẹkẹle **: Pese Dimegilio igbẹkẹle fun awọn abajade idanimọ ### Õàëÿâà íà êîìï " Ñòðàíèöà " Ñòðàíèöà " Ñòðà ** Awọn oju iṣẹlẹ Ohun elo **: - Street View Text Recognition: Ọrọ idanimọ ni Google Street View - Idanimọ Aami Ọja: Idanimọ aifọwọyi ti awọn ọja fifuyẹ - Idanimọ Ami Ijabọ: Awọn ohun elo ti awọn ọna gbigbe ti o ni oye ** Awọn italaya imọ-ẹrọ **: - Awọn ipilẹ ti o nira: Ọrọ ti wa ni ifibọ ni awọn oju iṣẹlẹ adayeba ti o nira - Ibajẹ ti o lagbara: Abuku irisi, abuku atunse - Awọn ibeere Akoko Gidi: Awọn ohun elo alagbeka nilo lati ni idahun ** Ojutu **: 1. ** Isediwon Ẹya ti o lagbara **: Nlo awọn nẹtiwọọki CNN ti o jinlẹ 2. ** Processing Multi-Asekale **: Mu ọrọ ti awọn titobi oriṣiriṣi 3. ** Atunse Geometry **: Ṣe atunṣe awọn abuku jiometirika laifọwọyi 4. ** Awoṣe Funmorawon **: Jẹ ki awoṣe fun alagbeka ## Akopọ Awọn nẹtiwọọki neural loorekoore pese ọpa ti o lagbara fun awoṣe ọkọọkan ni OCR. Lati awọn RNN ipilẹ si awọn LSTM ati awọn GRU ti o dara julọ si ṣiṣe bidirectional ati awọn ọna akiyesi, idagbasoke ti awọn imọ-ẹrọ wọnyi ti ni ilọsiwaju pupọ si iṣẹ ti awọn eto OCR. ** Awọn bọtini Takeaways**: - RNNs ṣe awoṣe ọkọọkan nipasẹ awọn isopọ lupu, ṣugbọn iṣoro iparun gradient kan wa - LSTM ati GRU yanju iṣoro ẹkọ ti o gbẹkẹle gigun nipasẹ awọn ilana gating - Awọn RNN bidirectional ni anfani lati lo alaye ti o tọ ni kikun - Awọn ilana ifarabalẹ tun mu agbara ti awoṣe ọkọọkan pọ si - Awọn ọgbọn ikẹkọ ti o yẹ ati awọn imuposi regularization jẹ pataki fun iṣẹ awoṣe ** Awọn itọsọna Idagbasoke Ọjọ iwaju **: - Integration pẹlu Transformer faaji - Ọna ti o munadoko diẹ sii si awoṣe ọkọọkan - Ẹkọ multimodal opin-si-opin - Iwontunwonsi ti akoko gidi ati deede Bi imọ-ẹrọ ti n tẹsiwaju lati dagbasoke, awọn imuposi awoṣe ọkọọkan ṣi n yipada. Iriri ati imọ-ẹrọ ti a kojọpọ nipasẹ awọn RNN ati awọn iyatọ wọn ni aaye ti OCR ti fi ipilẹ ti o lagbara fun agbọye ati apẹrẹ awọn ọna awoṣe ọkọọkan ti o ni ilọsiwaju diẹ sii.