【ගැඹුරු ඉගෙනුම් OCR ශ්රේණි · 6】CRNN ගෘහ නිර්මාණ ශිල්පය පිළිබඳ ගැඹුරු විශ්ලේෂණය

## හැඳින්වීම CRNN (Convolutional පුනරාවර්තන ස්නායු ජාලය) යනු 2015 දී Bai Xiang et al. විසින් යෝජනා කරන ලද ගැඹුරු ඉගෙනුම් OCR ක්ෂේත්රයේ වැදගත්ම ගෘහ නිර්මාණ ශිල්පයකි. සීආර්එන්එන් දක්ෂ ලෙස සංයුක්ත ස්නායු ජාල (සීඑන්එන්) වල විශේෂාංග නිස්සාරණ හැකියාවන් පුනරාවර්තන ස්නායු ජාල (ආර්එන්එන්) වල අනුක් රමික ආකෘති නිර්මාණ හැකියාවන් සමඟ ඒකාබද්ධ කරයි. මෙම ලිපිය CRNN හි ගෘහ නිර්මාණ ශිල්පය සැලසුම, වැඩ කිරීමේ මූලධර්ම, පුහුණු ක් රම සහ OCR හි නිශ්චිත යෙදුම් පිළිබඳ ගැඹුරු විශ්ලේෂණයක් ලබා දෙන අතර පා readers කයන්ට පුළුල් තාක්ෂණික අවබෝධයක් ලබා දෙයි. ## CRNN ගෘහ නිර්මාණ ශිල්පය පිළිබඳ දළ විශ්ලේෂණය ### නිර්මාණ අභිප්රේරණය CRNN ට පෙර, OCR පද්ධති සාමාන් යයෙන් පියවරෙන් පියවර ප් රවේශයක් අනුගමනය කළේය: චරිත හඳුනා ගැනීම සහ ඛණ්ඩනය කිරීම පළමුව සිදු කරන ලද අතර පසුව එක් එක් චරිතය හඳුනා ගන්නා ලදී. මෙම ප් රවේශයට පහත සඳහන් ගැටළු ඇත: ** සාම්ප් රදායික ක් රමවල සීමාවන් **: - දෝෂ ප් රචාරණය: චරිත ඛණ්ඩනයේ දෝෂ හඳුනාගැනීමේ ප් රති results ල කෙලින්ම බලපායි - සංකීර්ණත්වය: සංකීර්ණ අක්ෂර ඛණ්ඩන ඇල්ගොරිතම නිර්මාණය කිරීම අවශ් ය වේ - දුර්වල ශක්තිය: අක්ෂර පරතරය සහ අකුරු වෙනස්කම් වලට සංවේදී වේ - අඛණ්ඩ ආ roke ාතය හැසිරවීමට ඇති නොහැකියාව: අතින් ලියන ලද පා text යේ අඛණ්ඩ ආ roke ාතවල සංසිද්ධිය වෙන් කිරීම දුෂ්කර ය ** සීආර්එන්එන් හි නවෝත්පාදන අදහස් **: - අවසානයේ සිට අවසානය දක්වා ඉගෙනීම: රූපවල සිට පෙළ අනුපිළිවෙල දක්වා කෙලින්ම සිතියම්ගත කිරීම - ඛණ්ඩනය නැත: චරිත ඛණ්ඩනයේ සංකීර්ණත්වය වළක්වයි - අනුක් රමික ආකෘති නිර්මාණය: චරිත අතර යැපීම් ආකෘති නිර්මාණය කිරීම සඳහා ආර්එන්එන් භාවිතා කරන්න - CTC පෙළගැස්වීම: ආදාන-ප් රතිදාන අනුක් රමික දිග නොගැලපීම ආමන්ත් රණය කරයි ### සමස්ත ගෘහ නිර්මාණ ශිල්පය CRNN ගෘහ නිර්මාණ ශිල්පය ප්රධාන සංරචක තුනකින් සමන්විත වේ: **1. සංවියෝජන ස්ථර **: - ක්රියාව: ආදාන රූප වලින් විශේෂාංග අනුපිළිවෙල උපුටා ගන්න - ආදාන: පෙළ රේඛා රූපය (ස්ථාවර උස, විචල් ය පළල) - ප් රතිදානය: විශේෂාංග සිතියම් අනුපිළිවෙල **2. පුනරාවර්තන ස්ථර **: - ක් රියාකාරිත්වය: විශේෂාංග අනුපිළිවෙලවල ආදර්ශ සන්දර්භීය යැපීම් - ආදානය: සීඑන්එන් විසින් උපුටා ගන්නා ලද විශේෂාංග අනුපිළිවෙල - ප් රතිදානය: සන්දර්භීය තොරතුරු සහිත විශේෂාංග අනුපිළිවෙලක් **3. පිටපත් ස්ථරය **: - ක්රියාකාරිත්වය: විශේෂාංග අනුපිළිවෙල පෙළ අනුපිළිවෙල බවට පරිවර්තනය කරන්න - ක්රමය: CTC භාවිතා කිරීම (සම්බන්ධතාවාදී තාවකාලික වර්ගීකරණය) - ප් රතිදානය: අවසාන පෙළ හඳුනාගැනීමේ ප් රති result ලය ## සංවියෝජන ස්ථර පිළිබඳ සවිස්තරාත්මක පැහැදිලි කිරීමක් ### විශේෂාංග නිස්සාරණ උපාය මාර්ග CRNN හි සංයෝජන ස්ථරය විශේෂයෙන් නිර්මාණය කර ඇත්තේ පෙළ හඳුනා ගැනීම සඳහා ය: ** ජාල ව්යුහය විශේෂාංග **: - නොගැඹුරු ගැඹුර: කොන්වොලියුෂනල් ස්ථරවල ස්ථර7ක් සාමාන් යයෙන් භාවිතා වේ - කුඩා කොන්වොලියුෂනල් කර්නල්: 3×3 කොන්වොලියුෂනල් කර්නල් ප් රධාන වශයෙන් භාවිතා වේ - පූලිං උපාය මාර්ගය: පළල දිශාවට අරපිරිමැස්මෙන් එකතු කිරීම භාවිතා කරන්න ** විශේෂිත ජාල වින්යාසය **: ආදාන: 32×W×1 (උස 32, පළල W, තනි නාලිකාව) Conv1: 64 3×3 convolutional න්යෂ්ටිය, පියවර 1, පිරවීම 1 MaxPool1: 2×2 තටාක, පියවර දිග 2 Conv2: 128 3×3 කොන්වොලියුෂනල් කර්නල්, පියවර 1, පිරවීම 1 MaxPool2: 2×2 සංචිත, පියවර ප්රමාණය 2 Conv3: 256 3×3 සංවිදන න්යෂ්ටිය, පියවර 1, පිරවීම 1 Conv4: 256 3×3 convolutional හර, පියවර 1, පිරවීම 1 MaxPool3: 2×1 සංචිතය, පියවර ප්රමාණය (2,1) Conv5: 512 3×3 Convolutional හර, පියවර 1, පිරවීම 1 BatchNorm + ReLU Conv6: 512 3×3 කොන්වොලියුෂනල් කර්නල්, පියවර 1, පිරවීම 1 BatchNorm + ReLU MaxPool4: 2×1 සංචිත, පියවර ප්රමාණය (2,1) Conv7: 512 2×2 convolutional න්යෂ්ටිය, පියවර 1, පිරවීම 0 ප්රතිදානය: 512×1×W / 4 ### ප්රධාන නිර්මාණ සලකා බැලීම් ** ඉහළ සම්පීඩන උපාය මාර්ග **: - ඉලක්කය: පික්සල් 1 ක් ඉහළට රූපය සම්පීඩනය කරන්න - ක්රමය: බහු පූලිං ස්ථර භාවිතා කරමින් ක්රමයෙන් උස සම්පීඩනය කරන්න - හේතුව: පෙළ රේඛාවේ උස සාපේක්ෂව වැදගත් නොවේ ** පළල රඳවා ගැනීමේ උපාය මාර්ග **: - ඉලක්කය: රූපයේ පළල තොරතුරු හැකි තරම් පවත්වා ගන්න - ක්රමය: පළල දිශාවට එකතු කිරීමේ මෙහෙයුම් අඩු කරන්න - හේතුව: පා text යේ අනුක් රමික තොරතුරු ප් රධාන වශයෙන් පළල දිශාවෙන් පිළිබිඹු වේ **විශේෂාංග සිතියම පරිවර්තනය **: සංචලනීය ස්ථරයේ ප් රතිදානය ආර්එන්එන් හි ආදාන ආකෘතියට පරිවර්තනය කළ යුතුය: - අමු ප් රතිදානය: C×H×W (චැනල් × උස× පළල) - පරිවර්තනය: W×C (අනුක් රමික දිග× විශේෂාංග මානය) - ක්රමය: කාල පියවරක් ලෙස එක් එක් පළල තත්ත්වය සඳහා විශේෂාංග දෛශිකය ගන්න ## චක් රලේඛ ස්ථරය පිළිබඳ සවිස්තරාත්මක පැහැදිලි කිරීමක් ### ආර්එන්එන් තේරීම CRNN සාමාන්යයෙන් ලූප ස්ථරය ලෙස ද්විපාර්ශ්වික LSTM භාවිතා කරයි: ** ද්විපාර්ශ්වික LSTM වාසි **: - සන්දර්භීය තොරතුරු: ඉදිරි හා පසුගාමී සන්දර්භය යන දෙකම භාවිතා කරන්න - දිගු දුර පරායත්තයන්: LSTM දිගු දුර පරායත්තයන් හැසිරවීමට හැකියාව ඇත - අනුක් රමික ස්ථායීකරණය: අනුක් රමික අතුරුදහන් වීමේ ගැටලුව වළක්වයි **ජාල වින්යාසය **: ආදාන: W×512 (අනුක්රමය දිග × විශේෂාංගය මානයක්) BiLSTM1: සැඟවුණු සෛල 256 (128 ඉදිරියට + 128 පසුගාමී) BiLSTM2: සැඟවුණු සෛල 256 (128 ඉදිරියට + 128 පසුපසට) ප්රතිදානය: W×256 (අනුක්රමය දිග× සැඟවුණු මාන) ### අනුපිළිවෙල ආකෘති නිර්මාණ යාන්ත්රණ ** කාලය පරායත්ත ආකෘති නිර්මාණය **: ආර්එන්එන් ස්ථරය චරිත අතර කාල පරායත්තයන් ග් රහණය කර ගනී: - පෙර චරිතයේ තොරතුරු වර්තමාන චරිතය හඳුනා ගැනීමට උපකාරී වේ - පසුකාලීන චරිත සඳහා තොරතුරු ද ප් රයෝජනවත් සන්දර්භයක් ලබා දිය හැකිය - සම්පූර්ණ වචනයේ හෝ වාක් ය ඛණ්ඩයේ තොරතුරු අපැහැදිලි කිරීමට උපකාරී වේ ** විශේෂාංග වැඩි දියුණු කිරීම් **: ආර්එන්එන් විසින් සැකසූ විශේෂාංග පහත සඳහන් ලක්ෂණ ඇත: - සන්දර්භය සංවේදී: සෑම ස්ථානයකම විශේෂාංගවල සන්දර්භීය තොරතුරු අඩංගු වේ - කාල අනුකූලතාව: යාබද ස්ථානවල විශේෂාංග යම් අඛණ්ඩතාවයක් ඇත - අර්ථ විචාර පොහොසත්කම: දෘශ් ය හා අනුක් රමික ලක්ෂණ ඒකාබද්ධ කරයි ## පිටපත් කිරීමේ ස්ථරය පිළිබඳ සවිස්තරාත්මක පැහැදිලි කිරීමක් ### CTC යාන්ත් රණය CTC (සම්බන්ධතාවාදී තාවකාලික වර්ගීකරණය) CRNN හි ප්රධාන අංගයකි: **CTC වල කාර්යභාරය **: - පෙළගැස්වීමේ ගැටළු විසඳීම: ආදාන අනුක් රමික දිග ප් රතිදාන අනුක් රමික දිගට නොගැලපේ - අවසානයේ සිට අවසානය දක්වා පුහුණුව: චරිත මට්ටමේ පෙළගැස්වීමේ විවරණයන් අවශ් ය නොවේ - අනුපිටපත් හැසිරවීම: අනුපිටපත් අක්ෂර නිවැරදිව හැසිරවිය **CTC ක් රියා කරන ආකාරය **: 1. ලේබල් කට්ටලය පුළුල් කරන්න: මුල් අක්ෂර කට්ටලය මත හිස් ලේබල් එකතු කරන්න 2. මාර්ග ගණනය කිරීම: හැකි සියලු පෙළගැස්වීමේ මාර්ග ගණනය කරයි 3. මාර්ගය සම්භාවිතාව: එක් එක් මාර්ගයේ සම්භාවිතාව ගණනය කරන්න 4. ආන්තිකකරණය: අනුක්රමය සම්භාවිතාව ලබා ගැනීම සඳහා සියලු මාර්ග සම්භාවිතාව එකතුව ### CTC පාඩු කාර්යය ** ගණිතමය නිරූපණය **: ආදාන අනුපිළිවෙල X සහ ඉලක්ක අනුපිළිවෙල Y සැලකිල්ලට ගනිමින්, CTC පාඩුව අර්ථ දැක්වෙන්නේ මෙසේය: L_CTC = -log P(Y| X) එහිදී P(Y| X) හැකි සියලු පෙළගැස්වූ මාර්ගවල සම්භාවිතාවන් සාරාංශ කිරීමෙන් ලබා ගනු ලැබේ: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) මෙහිදී B^(-1)(Y) නියෝජනය කරන්නේ ඉලක්කගත අනුපිළිවෙල Y ට සිතියම් ගත කළ හැකි සියලුම මාර්ග කට්ටලයකි. ** ඉදිරි-පසුගාමී ඇල්ගොරිතම **: CTC පාඩුව කාර්යක්ෂමව ගණනය කිරීම සඳහා, ගතික ක් රමලේඛනය සඳහා ඉදිරි-පසුගාමී ඇල්ගොරිතමයක් භාවිතා කරයි: - ඉදිරි ඇල්ගොරිතමය: එක් එක් ප්රාන්තයට ළඟා වීමේ සම්භාවිතාව ගණනය කරයි - පසුගාමී ඇල්ගොරිතමය: එක් එක් ප් රාන්තයේ සිට අවසානය දක්වා සම්භාවිතාව ගණනය කරයි - අනුක් රමික ගණනය කිරීම: ඉදිරිපස පසුගාමී සම්භාවිතාව සමඟ ඒකාබද්ධව අනුක් රමික ගණනය කරන්න ## CRNN පුහුණු උපාය මාර්ග ### දත්ත පෙරසැකසුම් ** රූප පෙරසැකසීම **: - ප්රමාණය සාමාන්යකරණය: පික්සල් 32 දක්වා රූපයේ උස ඒකාබද්ධ කරන්න - දර්ශන අනුපාතය නඩත්තු කිරීම: මුල් රූපයේ දර්ශන අනුපාතය පවත්වා ගනී - අළු පරිවර්තනය: තනි නාලිකා අළු පරිමාණ රූපයක් බවට පරිවර්තනය කරන්න - සංඛ් යාත්මක සාමාන් යකරණය: පික්සල් අගයන් [0,1] හෝ [-1,1] දක්වා සාමාන් යකරණය කර ඇත **දත්ත වැඩි දියුණු කිරීම **: - ජ්යාමිතික පරිවර්තන: භ්රමණය, නැඹුරුව, ඉදිරිදර්ශන පරිවර්තනය - ආලෝකකරණ වෙනස්කම්: දීප්තිය, ප් රතිවිරුද්ධ ගැලපීම් - ශබ්දය එකතු කිරීම: ගවුසියානු ශබ්දය, ලුණු සහ ගම්මිරිස් ශබ්දය - බොඳවීම: චලන බොඳවීම, ගවුසියන් බොඳවීම ### පුහුණු ශිල්පීය ක් රම ** ඉගෙනුම් අනුපාතය උපලේඛනගත කිරීම **: - මූලික ඉගෙනුම් අනුපාතය: සාමාන්යයෙන් 0.001 ලෙස සකසා ඇත - දිරාපත් වීමේ උපාය මාර්ගය: ඝාතීය ක්ෂය වීම හෝ පියවර ක්ෂය වීම - උණුසුම් උපාය මාර්ගය: පළමු යුග කිහිපය කුඩා ඉගෙනුම් අනුපාතයක් භාවිතා කරයි ** විධිමත් කිරීමේ ශිල්පීය ක්රම **: - අතහැර දැමීම: ආර්එන්එන් ස්ථරයෙන් පසු අතහැර දැමීමක් එකතු කරන්න - බර පිරිහීම: L2 විධිමත් කිරීම අධික ලෙස සවි කිරීම වළක්වයි - කණ්ඩායම සාමාන් යකරණය: සීඑන්එන් ස්ථරයේ කණ්ඩායම සාමාන් යකරණය භාවිතා කරන්න ** ප් රශස්තිකාරක තේරීම් **: - ඇඩම්: අනුවර්තී ඉගෙනුම් අනුපාතය, වේගවත් අභිසාරී - ආර්එම්එස්ප් රොප්: ආර්එන්එන් පුහුණුව සඳහා සුදුසු ය - SGD + ගම්යතාව: සාම්ප් රදායික නමුත් ස්ථාවර විකල්පය ## CRNN ප්රශස්තිකරණය සහ වැඩිදියුණු කිරීම ### ගෘහ නිර්මාණ ශිල්පය ප්රශස්තිකරණය ** සීඑන්එන් අර්ධ වැඩිදියුණු කිරීම් **: - රෙස්නෙට් සම්බන්ධතා: පුහුණු ස්ථායිතාව වැඩි දියුණු කිරීම සඳහා ඉතිරි සම්බන්ධතා එකතු කරන ලදී - DenseNet ෆැබ්රික්: ඝන සම්බන්ධතා විශේෂාංගය වැඩි දියුණු කරයි - අවධානය යාන්ත් රණය: සීඑන්එන් වල අවකාශීය අවධානය හඳුන්වා දෙයි ** ආර්එන්එන් අර්ධ වැඩිදියුණු කිරීම් **: - GRU ප් රතිස්ථාපනය: පරාමිතීන් ප් රමාණය අඩු කිරීම සඳහා GRU භාවිතා කරන්න - ට් රාන්ස්ෆෝමර්: ස්වයං අවධානය යාන්ත් රණයන් භාවිතා කරමින් ආර්එන්එන් ප් රතිස්ථාපනය කරයි - බහු පරිමාණ විශේෂාංග: විවිධ පරිමාණ වලින් විශේෂාංග ඇතුළත් කරන්න ### කාර්ය සාධන ප්රශස්තිකරණය ** අනුමාන ත්වරණය **: - ආදර්ශ ප් රමාණකරණය: INT8 ප් රමාණකරණය පරිගණකමය උත්සාහය අඩු කරයි - ආදර්ශ කප්පාදු කිරීම: වැදගත් නොවන සම්බන්ධතා ඉවත් කරන්න - දැනුම ආසවනය: කුඩා ආකෘති සමඟ විශාල ආකෘති පිළිබඳ දැනුම ඉගෙන ගන්න **මතක ප්රශස්තිකරණය **: - අනුක් රමික මුරපොලවල්: පුහුණුව අතරතුර මතක පියසටහන අඩු කරන්න - මිශ් ර නිරවද් යතාව: FP16 සමඟ දුම්රිය - ගතික ප් රස්තාර ප් රශස්තිකරණය: ගණනය කරන ලද ප් රස්ථාරයේ ව් යුහය ප් රශස්ත කරන්න ## සැබෑ ලෝක යෙදුම් නඩු ### අතින් ලියන ලද පෙළ හඳුනා ගැනීම ** යෙදුම් අවස්ථා **: - අතින් ලියන ලද සටහන් ඩිජිටල්කරණය කරන්න - පෝරමය ස්වයංක් රීයව පිරවීම - ඓතිහාසික ලේඛන පිළිගැනීම ** තාක්ෂණික විශේෂාංග **: - විශාල චරිත විචලනය: ශක්තිමත් අංග නිස්සාරණ හැකියාවන් අවශ්ය වේ - අඛණ්ඩ ආ roke ාත සැකසුම්: සීටීසී යාන්ත් රණයේ වාසි පැහැදිලිය - සන්දර්භය කාරණා: ආර්එන්එන් හි අනුක් රමික ආකෘති නිර්මාණ හැකියාවන් ඉතා වැදගත් ය ### මුද්රිත පෙළ හඳුනා ගැනීම ** යෙදුම් අවස්ථා **: - ලේඛන ඩිජිටල්කරණය කරන්න - ප් රවේශ පත් ර හඳුනා ගැනීම - සංඥා හඳුනා ගැනීම ** තාක්ෂණික විශේෂාංග **: - අකුරු විධිමත්භාවය: සීඑන්එන් විශේෂාංග නිස්සාරණය සාපේක්ෂව සරල ය - යතුරු ලියන නීති: පිරිසැලසුම තොරතුරු භාවිතා කළ හැකිය - ඉහළ නිරවද්යතාව අවශ්යතා: දඩ ආදර්ශ සුසර කිරීම අවශ්ය වේ ### දර්ශන පෙළ හඳුනා ගැනීම ** යෙදුම් අවස්ථා **: - වීදි දර්ශන පෙළ හඳුනා ගැනීම - නිෂ්පාදන ලේබලය හඳුනා ගැනීම - රථවාහන සංඥා හඳුනා ගැනීම ** තාක්ෂණික විශේෂාංග **: - සංකීර්ණ පසුබිම: ශක්තිමත් විශේෂාංග නිස්සාරණය අවශ් ය වේ - දරුණු විරූපණය: ශක්තිමත් ගෘහ නිර්මාණ ශිල්පය සැලසුම අවශ් ය වේ - තත් ය කාලීන අවශ් යතා: කාර්යක්ෂම තර්කනය අවශ් ය වේ ## සාරාංශය ගැඹුරු ඉගෙනුම් OCR හි සම්භාව් ය ගෘහ නිර්මාණ ශිල්පයක් ලෙස, CRNN සාම්ප් රදායික OCR ක් රමවල බොහෝ ගැටළු සාර්ථකව විසඳයි. එහි අවසානයේ සිට අවසානය දක්වා පුහුණු ක් රමය, චරිත ඛණ්ඩනය නොමැතිව සැලසුම් සංකල්පය සහ CTC යාන්ත් රණය හඳුන්වා දීම යන සියල්ලම OCR තාක්ෂණයේ පසුකාලීන සංවර්ධනය සඳහා වැදගත් ආශ්වාදයක් ලබා දෙයි. ** ප් රධාන දායකත්වයන් **: - අවසානයේ සිට අවසානය දක්වා ඉගෙනීම: OCR පද්ධති සැලසුම් කිරීම සරල කරයි - අනුක් රමික ආකෘති නිර්මාණය: පෙළේ අනුක් රමික ගුණාංග effectively ලදායී ලෙස භාවිතා කරයි - සීටීසී පෙළගැස්වීම: ආමන්ත් රණය කරන ලද අනුක් රමික දිග නොගැලපීම - සරල ගෘහ නිර්මාණ ශිල්පය: තේරුම් ගැනීමට සහ ක් රියාත්මක කිරීමට පහසුය **සංවර්ධන අධ් යක්ෂණය **: - අවධානය යාන්ත් රණය: කාර්ය සාධනය වැඩි දියුණු කිරීම සඳහා අවධානය යොමු කිරීම - ට් රාන්ස්ෆෝමර්: ආර්එන්එන් ස්වයං අවධානයෙන් ප් රතිස්ථාපනය කරයි - බහුවිධ විලයනය: භාෂා ආකෘති වැනි වෙනත් තොරතුරු ඒකාබද්ධ කරන්න - සැහැල්ලු නිර්මාණය: ජංගම උපාංග සඳහා ආදර්ශ සම්පීඩනය CRNN හි සාර්ථකත්වය OCR ක්ෂේත් රයේ ගැඹුරු ඉගෙනීමේ විශාල විභවයට සාක්ෂියක් වන අතර effective ලදායී අවසානයේ සිට අවසානය දක්වා ඉගෙනුම් පද්ධති සැලසුම් කරන්නේ කෙසේද යන්න අවබෝධ කර ගැනීම සඳහා වටිනා අත්දැකීම් සපයයි. ඊළඟ ලිපියෙන් අපි CTC පාඩු ශ් රිතයේ ගණිතය සහ ක් රියාත්මක කිරීමේ විස්තර ගැන සොයා බලමු.