【ஆழமான கற்றல் OCR தொடர்·11】OCR இல் மின்மாற்றியின் புரட்சிகர பயன்பாடு

## அறிமுகம் 2017 ஆம் ஆண்டில் "கவனம் உங்களுக்கு தேவைப்படும் அனைத்தும்" காகிதத்தில் அறிமுகப்படுத்தப்பட்டதிலிருந்து, டிரான்ஸ்பார்மர் கட்டமைப்பு இயற்கை மொழி செயலாக்கத் துறையில் பெரும் வெற்றியைப் பெற்றது மட்டுமல்லாமல், கணினி பார்வை துறையில் ஒரு புரட்சிகர மாற்றத்தையும் ஏற்படுத்தியுள்ளது. OCR (ஆப்டிகல் கேரக்டர் ரெகக்னிஷன்) பணிகளில், டிரான்ஸ்ஃபார்மர் பாரம்பரிய CNN மற்றும் RNN கட்டமைப்புகளுக்கு அப்பால் அதன் வலிமையை நிரூபிக்கிறது. இந்த கட்டுரை OCR இல் மின்மாற்றியின் பயன்பாட்டை ஆராயும், விஷன் டிரான்ஸ்பார்மர் (ViT) மற்றும் TrOCR போன்ற சிறப்பு OCR மின்மாற்றி மாதிரிகளின் பகுப்பாய்வு மற்றும் அவை உரை அங்கீகார தொழில்நுட்பத்தின் வளர்ச்சி திசையை எவ்வாறு மாற்றுகின்றன என்பதில் கவனம் செலுத்தும். ## மின்மாற்றி கட்டிடக்கலை அடிப்படைகள் ### சுய கவனம் பொறிமுறையின் கொள்கை மின்மாற்றியின் இதயத்தில் சுய கவனம் பொறிமுறை உள்ளது, இது வரிசையில் உள்ள எந்த இரண்டு நிலைகளுக்கும் இடையிலான சார்புகளைப் பிடிக்கிறது. OCR பணிகளில் இந்த திறன் குறிப்பாக முக்கியமானது, அங்கு உரை அங்கீகாரம் எழுத்துக்களுக்கு இடையிலான சூழல் உறவுகளைப் புரிந்துகொள்வது தேவைப்படுகிறது. ** கணித வெளிப்பாடுகள்**: உள்ளீட்டு வரிசை X ∈ R^(n×d) க்கு, சுய கவனம் பொறிமுறை பின்வருமாறு கணக்கிடப்படுகிறது: கவனம்(Q, K, V) = softmax(QK^T / √d_k)V அவற்றில்: - Q = XW_Q (வினவல் மேட்ரிக்ஸ்) - K = XW_K (முக்கிய மேட்ரிக்ஸ்) - V = XW_V (மதிப்பு அணி) - W_Q, W_K, W_V ∈ R^(d×d_k) என்பது கற்றுக்கொள்ளக்கூடிய எடை அணி **நீண்ட தலை கவனம் பொறிமுறை**: மல்டிஹெட்(Q, K, V) = கான்காட்(head_1, ..., head_h)W^O ஒவ்வொரு கவனமும் தலைகள்: head_i = கவனம்(QW_i^Q, KW_i^K, VW_i^V) ### மின்மாற்றி குறியாக்கி அமைப்பு நிலையான குறியாக்கி அடுக்கில் உள்ளது: 1. காளைகள் துணை அடுக்கில் கவனம் செலுத்துகின்றன 2. பின்னூட்ட நெட்வொர்க் துணை அடுக்குகளை நிலை 3. எஞ்சிய இணைவு மற்றும் அடுக்கு இயல்பாக்கம் ** கணித பிரதிநிதித்துவம்**: x_out = LayerNorm(x + MultiHeadAttention(x)) x_final = LayerNorm(x_out + FFN(x_out)) ### நிலை குறியீட்டு முறை மின்மாற்றியில் நிலைத் தகவல்கள் இல்லை என்பதால், நிலை குறியாக்கம் மூலம் வரிசையில் உள்ள கூறுகளின் நிலை தகவலை வழங்க வேண்டியது அவசியம்: **சைன் நிலை குறியீட்டு முறை**: PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) ** கற்றுக்கொள்ளக்கூடிய நிலை குறியீட்டு முறை**: நிலை குறியாக்கம் கற்றுக்கொள்ளக்கூடிய அளவுருவாகப் பயன்படுத்தப்படுகிறது, மேலும் உகந்த நிலை பிரதிநிதித்துவம் தானாகவே பயிற்சியின் மூலம் கற்றுக்கொள்ளப்படுகிறது. ## OCR இல் பார்வை மின்மாற்றியின் பயன்பாடு ### ViT கட்டிடக்கலை வடிவமைப்பு விஷன் டிரான்ஸ்ஃபார்மர் படத்தை நிலையான அளவிலான திட்டுகளாகப் பிரித்து, ஒவ்வொரு இணைப்பையும் வரிசையில் ஒரு டோக்கனாக நடத்துகிறது. இந்த வடிவமைப்பு OCR பணிகளில் உரை வரி அங்கீகாரத்திற்கு மிகவும் பொருத்தமானது. ** படத் துண்டு செயலாக்கம்**: 1. உள்ளீட்டு படத்தை x ∈ R^(H×W×C) ஐ N திட்டுகளாக பிரிக்கவும் 2. ஒவ்வொரு இணைப்பும் P×P அளவில் உள்ளது, மேலும் மொத்தம் N = HW/P² திட்டுகள் உள்ளன 3. ஒவ்வொரு துண்டையும் ஒரு திசையன் x_p ∈ R^(P²×C) க்கு தட்டையாக்குங்கள் ** நேரியல் திட்டம்**: பேட்ச் திசையன் டி-பரிமாண இடத்தில் திட்டமிடுதல்: z_0 = [x_class; x_p^1E; x_p^2E; ...; x_p^NE] + E_pos அவற்றில்: - E ∈ R^(P²C×D) என்பது கற்றுக்கொள்ளக்கூடிய நேரியல் திட்ட அணி ஆகும் - E_pos ∈ R^((N+1)×D) என்பது நிலைக் குறியீடு - x_class என்பது கற்றுக்கொள்ளக்கூடிய வகைப்பாடு டோக்கன் ### OCR-குறிப்பிட்ட ViT மேம்பாடுகள் **1. தகவமைப்பு பேட்ச் பிரிவு**: - உரை வரியின் பண்புகளுக்கு ஏற்ப பேட்ச் அளவை சரிசெய்யவும் - ஒன்றுடன் ஒன்று இணைப்புகளுடன் எல்லை கையாளுதலை மேம்படுத்தவும் - பல அளவிலான இணைப்புகள் வெவ்வேறு துகள்களில் தகவல்களை ஒன்றிணைக்கின்றன **2. வரிசை மாடலிங் மேம்பாடுகள் **: - ViT மேல் வரிசை மாடலிங் திறன்களைச் சேர்க்கவும் - CTC கள் அல்லது கவனம் வழிமுறைகளைப் பயன்படுத்தி வரிசை சீரமைப்பு - மொழி மாதிரிகளுடன் இணைந்து அங்கீகார துல்லியத்தை மேம்படுத்தவும் **3. மல்டிமோடல் ஃப்யூஷன்**: - காட்சி மற்றும் உரை அம்சங்களை இணைக்கவும் - குறுக்கு-கவனம் வழிமுறைகளைப் பயன்படுத்தவும் - எண்ட்-டு-எண்ட் மல்டிமோடல் தேர்வுமுறை ## TrOCR: சிறப்பு OCR மின்மாற்றி ### TrOCR கட்டிடக்கலையின் கண்ணோட்டம் TrOCR (டிரான்ஸ்ஃபார்மர் அடிப்படையிலான OCR) என்பது மைக்ரோசாப்ட் ஆல் குறிப்பாக OCR பணிகளுக்காக முன்மொழியப்பட்ட ஒரு மின்மாற்றி மாதிரியாகும், இது குறியாக்கி-டிகோடர் கட்டமைப்பைப் பயன்படுத்துகிறது. **ஒட்டுமொத்த கட்டிடக்கலை**: 1. **விஷுவல் குறியாக்கி **: ViT அடிப்படையிலான பட குறியாக்கி 2. **உரை டிகோடர்**: BERT அடிப்படையிலான உரை டிகோடர் 3. **குறுக்கு கவனம்**: காட்சி மற்றும் உரை முறைகளை இணைக்கவும் ### குறியாக்கி வடிவமைப்பு **விஷுவல் குறியாக்கி**: - முன் பயிற்சி பெற்ற ViT மாதிரியைப் பயன்படுத்தவும் - உள்ளீடு: உரை வரி படம் - வெளியீடு: காட்சி அம்ச வரிசை ** அம்சம் பிரித்தெடுத்தல் செயல்முறை**: 1. பட ஒட்டுதல் மற்றும் நேரியல் திட்டம் 2. நிலைக் குறியீட்டைச் சேர்க்கவும் 3. பல அடுக்கு மின்மாற்றி குறியாக்கி மூலம் 4. ஒவ்வொரு துண்டின் அம்ச பிரதிநிதித்துவத்தை வெளியீடு செய்யவும் ### டிகோடர் வடிவமைப்பு **உரை டிகோடர்**: - BERT அடிப்படையிலான டிகோடர் கட்டிடக்கலை - தன்னியக்க பின்னடைவு தலைமுறையை உறுதிப்படுத்த காரண முகமூடிகளைப் பயன்படுத்தவும் - குறுக்கு-கவனம் வழிமுறைகளை உள்ளடக்கியது **டிகோடிங் செயல்முறை**: 1. தொடக்க டோக்கனை உள்ளிடவும் [BOS] 2. சுய கவனம் மாடலிங் மூலம் காட்சிகள் உருவாக்கப்பட்டுள்ளன 3. குறுக்கு-கவனம் மூலம் காட்சி அம்சங்களில் கவனம் செலுத்துங்கள் 4. அடுத்த கதாபாத்திரத்தை கணிக்கவும் 5. தலைமுறை டோக்கனின் இறுதி வரை மீண்டும் செய்யவும் [EOS] ### பயிற்சி உத்தி ** பயிற்சிக்கு முந்தைய கட்டம்**: - பெரிய அளவிலான செயற்கை தரவைப் பயன்படுத்தவும் - ஆசிரியர்களுக்கான கட்டாய பயிற்சி உத்திகள் - மல்டிடாஸ்கிங் கற்றல் (அங்கீகாரம் + கண்டறிதல்) ** ஃபைன்-ட்யூனிங் கட்டம்**: - குறிப்பிட்ட தரவுத்தொகுப்புகளில் நன்றாக டியூன் செய்யவும் - உண்மையான தரவுடன் மேம்படுத்தவும் - டொமைன் தழுவல் நுட்பங்கள் ## OCR இல் மின்மாற்றியின் நன்மைகள் ### நீண்ட தூர சார்பு மாடலிங் **பாரம்பரிய முறைகளின் வரம்புகள்**: - சி.என்.என்: வரையறுக்கப்பட்ட ஏற்பு புலம், நீண்ட தூர சார்புகளைப் பிடிப்பது கடினம் - RNN: வரிசை செயலாக்கம், ஒரு சாய்வு மறைந்து போகும் சிக்கல் உள்ளது - CRNN: CNN மற்றும் RNN ஐ இணைக்கிறது, ஆனால் இன்னும் வரம்புகள் உள்ளன **மின்மாற்றிகளின் நன்மைகள்**: - தன்னிச்சையான இடங்களுக்கு இடையிலான உறவுகளை நேரடியாக மாதிரி செய்யுங்கள் - உயர் பயிற்சி செயல்திறனுக்கான இணையான கணக்கீடுகள் - வலுவான பிரதிநிதித்துவ கற்றல் திறன்கள் ### மல்டிமோடல் இணைவு திறன்கள் **விஷுவல் டெக்ஸ்ட் ஃப்யூஷன்**: - குறுக்கு-கவனம் பொறிமுறை இயற்கையாகவே மல்டிமோடலிட்டியை ஆதரிக்கிறது - இறுதி முதல் இறுதி வரை கூட்டு தேர்வுமுறை - சிறந்த சொற்பொருள் புரிதல் **விண்ணப்ப உதாரணம்**: - ஆவண புரிதல்: தளவமைப்பு மற்றும் உரை தகவல்களை ஒருங்கிணைக்கிறது - காட்சி உரை: பட சூழல் மற்றும் உரை உள்ளடக்கத்தை ஒருங்கிணைக்கிறது - பன்மொழி OCR: மொழி மாதிரி அறிவைப் பயன்படுத்துகிறது ### விளக்கம் ** கவனம் காட்சிப்படுத்தல்**: - கவனம் எடைகள் மாதிரி முடிவுகளின் காட்சிப்படுத்தலை வழங்குகின்றன - மாதிரியின் ஆர்வமுள்ள பகுதிகளைப் புரிந்துகொள்ள உதவுகிறது - பிழை பகுப்பாய்வு மற்றும் மாதிரி பிழைத்திருத்தத்தை எளிதாக்குகிறது **படிநிலை புரிதல்**: - வெவ்வேறு அடுக்குகள் வெவ்வேறு நிலைகளின் அம்சங்களில் கவனம் செலுத்துகின்றன - உள்ளூர் அம்சங்களில் ஆழமற்ற கவனம் உலகளாவிய சொற்பொருளியலில் ஆழமான கவனம் ## நிஜ உலக பயன்பாட்டு வழக்குகள் ### கையால் எழுதப்பட்ட உரை அங்கீகாரம் ** சவால்**: - கதாபாத்திரங்கள் கடுமையாக சிதைக்கப்படுகின்றன - தொடர்ச்சியான எழுத்து நிகழ்வு பரவலாக உள்ளது - தனிப்பட்ட எழுத்து பாணிகள் பெரிதும் வேறுபடுகின்றன ** மின்மாற்றி தீர்வு **: - சுய கவனம் பொறிமுறை கதாபாத்திரங்களுக்கு இடையிலான உறவுகளைப் பிடிக்கிறது - நிலை குறியாக்கம் செயல்முறைகள் எழுத்து நிலை தகவல் - காளைகள் வெவ்வேறு குணாதிசயங்களில் கவனம் செலுத்துகின்றன **செயல்திறன் மேம்பாடுகள்**: - CRNN உடன் ஒப்பிடும்போது துல்லியத்தில் 10-15% முன்னேற்றம் - சிறந்த நீண்ட உரை செயலாக்க திறன்கள் - எழுத்து பாணிகளுக்கு அதிக தகவமைப்பு ### அச்சிடப்பட்ட ஆவண அடையாளம் **பயன்பாட்டு காட்சிகள்**: வரலாற்று ஆவணங்களை டிஜிட்டல் மயமாக்குதல் - பன்மொழி ஆவண செயலாக்கம் - சிக்கலான தளவமைப்பு பகுப்பாய்வு ** தொழில்நுட்ப அம்சங்கள்**: - பெரிய அளவிலான முன் பயிற்சி பெற்ற மாதிரிகள் - பன்மொழி கூட்டுப் பயிற்சி - தளவமைப்பு-விழிப்புணர்வு கவனம் வழிமுறைகள் ### காட்சி உரை அங்கீகாரம் ** தொழில்நுட்ப சவால்கள்**: - சிக்கலான பின்னணி கவனச்சிதறல்கள் - பல திசை உரை - விளக்கு மாற்ற விளைவுகள் ** மின்மாற்றி நன்மை**: - உலகளாவிய சூழல் மாடலிங் - வலுவான சிறப்பியல்பு பிரதிநிதித்துவம் - இறுதி முதல் இறுதி தேர்வுமுறை ## செயல்திறன் மதிப்பீடு மற்றும் ஒப்பீடு ### பெஞ்ச்மார்க் தரவுத்தொகுப்பு **கல்வி தரவுத்தொகுப்புகள்**: - IIIT-5K: காட்சி உரை அங்கீகாரம் - SVT: தெரு காட்சி உரை - ICDAR தொடர்: நிலையான OCR மதிப்பீடு **தொழில்துறை தரவுத் தொகுப்புகள்**: - உள் வணிக தரவு - பன்மொழி கலப்பு தரவு - நிஜ உலக பயன்பாட்டு காட்சி தரவு ### செயல்திறன் அளவீடுகள் **துல்லிய அளவீடுகள்**: - எழுத்து நிலை துல்லியம் - வார்த்தை நிலை துல்லியம் - தொடர் நிலை துல்லியம் **செயல்திறன் அளவீடுகள்**: - அனுமானம் வேகம் (FPS) - மாதிரி அளவு (அளவுருக்கள் எண்ணிக்கை) - நினைவக பயன்பாடு ### முடிவுகளை ஒப்பிடுக **பாரம்பரிய முறைகளுடன் ஒப்பீடு**: - CRNN உடன் ஒப்பிடும்போது: துல்லியத்தில் 5-15% முன்னேற்றம் - CNN + CTC உடன் ஒப்பிடும்போது கணிசமாக மேம்பட்ட நீண்ட உரை செயலாக்க திறன்கள் - ஆர்.என்.என் முறைகளுடன் ஒப்பிடும்போது: இணைமயமாக்கலின் அளவு பெரிதும் மேம்படுத்தப்பட்டுள்ளது **வெவ்வேறு மின்மாற்றி வகைகளின் ஒப்பீடு**: - ViT vs CNN முதுகெலும்பு: ViT சிக்கலான சூழ்நிலைகளில் சிறப்பாக செயல்படுகிறது - TrOCR vs CRNN: இறுதி முதல் இறுதி தேர்வுமுறை தெளிவாகத் தெரிகிறது - முன் பயிற்சி பெற்ற vs de novo பயிற்சி: முன் பயிற்சி பெற்ற மாடல்களின் செயல்திறன் கணிசமாக மேம்படுத்தப்பட்டுள்ளது ## தேர்வுமுறை மற்றும் வரிசைப்படுத்தல் ### மாதிரி சுருக்கம் ** அறிவு வடிகட்டல்**: - ஆசிரியர்களாக பெரிய மாதிரிகளைப் பயன்படுத்தவும் - இலகுரக மாணவர் மாதிரிகளை பயிற்றுவிக்கவும் - அளவுருக்களின் அளவைக் குறைக்கும் போது செயல்திறனைப் பராமரிக்கவும் ** மாதிரி கத்தரித்தல்**: - கட்டமைக்கப்பட்ட கத்தரித்தல்: முழு கவனத்தையும் அகற்றவும் - கட்டமைக்கப்படாத கத்தரித்தல்: முக்கியமற்ற இணைப்புகளை அகற்றவும் - டைனமிக் கத்தரித்தல்: உள்ளீட்டின் அடிப்படையில் தகவமைப்பு சரிசெய்கிறது ** அளவீட்டு நுட்பங்கள்**: - INT8 குவாண்டைசேஷன்: நினைவக தடயத்தை குறைக்கிறது - டைனமிக் குவாண்டைசேஷன்: பகுத்தறிவு செய்யும் போது அளவீடு - அளவு உணர்தல் பயிற்சி: பயிற்சியின் போது மனதில் உள்ள பிழைகளை அளவிடவும் ### அனுமானம் தேர்வுமுறை ** கணக்கீட்டு தேர்வுமுறை**: - கவனம் கணக்கீட்டு தேர்வுமுறை: அரிதான கவனம், நேரியல் கவனம் - கேச்சிங் பொறிமுறை: KV கேச் டிகோடிங்கை துரிதப்படுத்துகிறது - தொகுதி செயலாக்கம்: GPU பயன்பாட்டை மேம்படுத்துகிறது ** நினைவக தேர்வுமுறை**: - சாய்வு சோதனைச் சாவடிகள்: பயிற்சி நினைவகத்தைக் குறைக்கவும் - கலப்பு துல்லியம்: FP16 பயிற்சி - மாதிரி இணைவாதம்: பெரிய மாதிரிகளுக்கான விநியோகிக்கப்பட்ட அனுமானம் ### வரிசைப்படுத்தல் உத்தி ** கிளவுட் வரிசைப்படுத்தல்**: - உயர் செயல்திறன் GPU கிளஸ்டர்கள் - மாதிரி சேவை - மீள் அளவிடுதல் ** விளிம்பு வரிசைப்படுத்தல்**: - மொபைல் தேர்வுமுறை - வன்பொருள் முடுக்கிகள் - நிகழ்நேர பகுத்தறிவு ## எதிர்கால அபிவிருத்தி திசை ### தொழில்நுட்ப வளர்ச்சிப் போக்குகள் **கட்டிடக்கலை கண்டுபிடிப்பு**: - மிகவும் திறமையான கவனம் வழிமுறைகள் - கலப்பின கட்டிடக்கலை வடிவமைப்பு - தகவமைப்பு கணக்கீட்டு விளக்கப்படங்கள் ** பயிற்சிக்கு முந்தைய நுட்பங்கள்**: - பெரிய அளவிலான முன் பயிற்சி - மல்டிமோடல் முன் பயிற்சி - சுய மேற்பார்வை கற்றல் **பயன்பாட்டு விரிவாக்கம்**: - ஆவணங்களின் புத்திசாலித்தனமான புரிதல் - மல்டிமோடல் தகவல் பிரித்தெடுத்தல் - நிகழ்நேர ஊடாடும் பயன்பாடுகள் ### சவால்கள் மற்றும் வாய்ப்புகள் ** தொழில்நுட்ப சவால்கள்**: - உயர் கணக்கீட்டு சிக்கல் - தரவுக்கான அதிக தேவை - விளக்கம் மேம்படுத்தப்பட வேண்டும் ** மேம்பாட்டு வாய்ப்புகள்**: - வன்பொருள் செயல்திறனில் தொடர்ச்சியான முன்னேற்றம் - வளர்ந்து வரும் தரவு அளவு - பெருகிய முறையில் மாறுபட்ட விண்ணப்பத் தேவைகள் ## சுருக்கம் ஓ.சி.ஆர் துறையில் மின்மாற்றி கட்டமைப்பின் பயன்பாடு உரை அங்கீகார தொழில்நுட்பத்தின் ஒரு முக்கியமான வளர்ச்சி திசையை பிரதிபலிக்கிறது. சுய கவனம் பொறிமுறையின் மூலம், டிரான்ஸ்பார்மர் கதாபாத்திரங்களுக்கு இடையிலான நீண்ட தூர சார்புகளை சிறப்பாக மாதிரியாக்க முடியும், இது பாரம்பரிய சி.என்.என் மற்றும் ஆர்.என்.என் முறைகளை மீறும் செயல்திறனை வழங்குகிறது. ** முக்கிய நன்மைகள்**: - சக்திவாய்ந்த வரிசை மாடலிங் திறன்கள் - சிறந்த மல்டிமோடல் இணைவு திறன்கள் - நல்ல விளக்கம் - எண்ட்-டு-எண்ட் தேர்வுமுறை திறன்கள் **விண்ணப்ப வாய்ப்புகள்**: - கையால் எழுதப்பட்ட உரை அங்கீகாரத்தின் துல்லியம் கணிசமாக மேம்படுத்தப்பட்டுள்ளது - சிக்கலான ஆவணங்களின் புத்திசாலித்தனமான புரிதல் - பன்மொழி OCR இன் ஒருங்கிணைந்த செயலாக்கம் - நிகழ்நேர ஊடாடும் பயன்பாடுகளுக்கான ஆதரவு தொழில்நுட்பத்தின் தொடர்ச்சியான வளர்ச்சியுடன், OCR துறையில் மின்மாற்றியின் பயன்பாடு தொடர்ந்து ஆழமடையும், இது மிகவும் புத்திசாலித்தனமான மற்றும் திறமையான உரை அங்கீகார அமைப்பை உருவாக்குவதற்கான வலுவான தொழில்நுட்ப ஆதரவை வழங்கும். அடுத்த கட்டுரையில், மல்டிமோடல் OCR அமைப்புகளின் வடிவமைப்பு மற்றும் செயல்படுத்தலை ஆராய்வோம்.