【डीप लर्निङ ओसीआर श्रृंखला·8】पाठ पत्ता लगाउने एल्गोरिदमको विस्तृत विवरण

## परिचय पाठ पत्ता लगाउनु ओसीआर प्रणालीमा पहिलो र महत्त्वपूर्ण चरण हो। यसको कार्य छविहरूमा पाठ क्षेत्रहरू सही रूपमा पत्ता लगाउनु हो, त्यसपछिको पाठ पहिचानको लागि सटीक इनपुट प्रदान गर्नु हो। गहिरो शिक्षा प्रविधिको विकासको साथ, पाठ पत्ता लगाउने एल्गोरिदमले परम्परागत विधिहरूबाट गहिरो सिक्ने विधिहरूमा महत्त्वपूर्ण परिवर्तनहरू गरेका छन्। यस लेखले मुख्यधारा पाठ पत्ता लगाउने एल्गोरिदममा तल्लीन गर्नेछ, EAST, DBNet, PSENet, आदि सहित, तिनीहरूको डिजाइन सिद्धान्तहरू, प्राविधिक सुविधाहरू, र अनुप्रयोग परिदृश्यहरूको विश्लेषण गर्दै। ## पाठ पत्ता लगाउने चुनौतीहरू ### परिदृश्य जटिलता वास्तविक-विश्व पाठ पत्ता लगाउने धेरै चुनौतीहरूको सामना गर्दछ: **ज्यामितीय विरूपण**: - परिप्रेक्ष्य विरूपण: शूटिंग कोणको कारण ज्यामितीय विरूपण - घुमाउरो पाठ: बाङ्गो सतहहरू जस्तै बिलबोर्ड र बोतलहरूमा पाठ - घुमाएको पाठ: कुनै पनि कोणमा पाठको व्यवस्था - स्केल भिन्नता: विभिन्न दूरीहरूको कारण पाठ आकारमा भिन्नता **दृश्य हस्तक्षेप **: - जटिल पृष्ठभूमि: पाठको रंग र बनावट पृष्ठभूमिसँग मिल्दोजुल्दो छ - प्रकाश परिवर्तनहरू: कडा प्रकाश, छाया, प्रतिबिंब, आदि। - धब्बा र शोर: गति धब्बा, गलत फोकस, छवि शोर - अवरोध मुद्दाहरू: केही पाठ अन्य वस्तुहरू द्वारा अस्पष्ट छ ** पाठ विविधता **: - बहुभाषी मिश्रण: चिनियाँ, अंग्रेजी, अरबी, र अन्य विभिन्न भाषाहरू - फन्ट भिन्नताहरू: प्रिन्ट, हस्तलेखन, कलात्मक फन्टहरू - सघन व्यवस्था: सानो रेखा खाली ठाउँ र तंग क्यारेक्टरहरू - बहु-दिशात्मकता: तेर्सो, ठाडो, झुकाव र अन्य विभिन्न दिशाहरू ### प्राविधिक आवश्यकताहरू **सटीकता आवश्यकताहरू**: - उच्च सम्झना: कुनै हराइरहेको पाठ क्षेत्रहरू - उच्च सटीकता: गैर-पाठ क्षेत्रहरूको गलत पहिचानबाट बच्नुहोस् - सीमा परिशुद्धता: पाठको सीमाहरू सही रूपमा पत्ता लगाउनुहोस् **दक्षता आवश्यकताहरू**: - वास्तविक समय प्रशोधन: मोबाइल अनुप्रयोगहरूलाई द्रुत प्रतिक्रियाहरू चाहिन्छ - संसाधन सीमितताहरू: मोबाइल उपकरणहरूको लागि गणना र मेमोरी सीमाहरू - ब्याच प्रोसेसिंग: ठूलो मात्रामा कागजातहरूको कुशल प्रशोधन ## परम्परागत पाठ पत्ता लगाउने विधिहरू ### जडान गरिएको अवयव-आधारित दृष्टिकोण ** MSER (अधिकतम स्थिर चरम क्षेत्रहरू)**: - सिद्धान्त: छविमा स्थिर चरम क्षेत्रहरू खोज्छ - पेशेवरहरू: प्रकाश परिवर्तनको लागि बबूदार, उच्च कम्प्युटेशनल दक्षता - विपक्ष: जटिल पृष्ठभूमिमा संवेदनशील, कम-कन्ट्रास्ट पाठ ह्यान्डल गर्न गाह्रो **SWT (स्ट्रोक चौडाइ रूपान्तरण)**: - सिद्धान्त: स्ट्रोक चौडाइमा आधारित पाठको स्थिरता पत्ता लगाउने - पेशेवरहरू: फन्ट परिवर्तनहरूको लागि अनुकूलनीय - विपक्षहरू: प्यारामिटर-संवेदनशील, शोर-संवेदनशील ### स्लाइडिंग सञ्झ्याल-आधारित दृष्टिकोण **बहु-स्केल पत्ता लगाउने**: - विभिन्न आकारका स्लाइडिंग विन्डोहरू प्रयोग गर्नुहोस् - HOG र LBP जस्ता म्यानुअल सुविधाहरू संयोजन गर्नुहोस् - यो पाठ हो कि होइन भनेर निर्धारण गर्न SVM जस्ता क्लासिफायरहरू प्रयोग गर्नुहोस् ** फाइदा र बेफाइदा विश्लेषण **: - पेशेवरहरू: सरल अवधारणा र कार्यान्वयन गर्न सजिलो - विपक्ष: उच्च कम्प्यूटेशनल जटिलता, मनपरी आकारको पाठ ह्यान्डल गर्न गाह्रो ## गहिरो सिक्ने पाठ पत्ता लगाउने एल्गोरिदमहरू ### EAST एल्गोरिदमको विस्तृत विवरण EAST (कुशल र सटीक दृश्य पाठ डिटेक्टर) २०१ 2017 मा प्रस्तावित एक कुशल पाठ पत्ता लगाउने एल्गोरिथ्म हो ** कोर विचारहरू**: - पाठ क्षेत्रहरूको प्रत्यक्ष भविष्यवाणी: जटिल पोस्ट-प्रोसेसिंग चरणहरूबाट बच्न - बहु-स्केल सुविधा फ्यूजन: सुविधा जानकारीको विभिन्न स्तरहरू संयोजन गर्दै - ज्यामिति भविष्यवाणी: घुमाउने आयत र चतुर्भुज पत्ता लगाउन समर्थन गर्दछ **सञ्जाल वास्तुकला**: **1. सुविधा निकासी नेटवर्क **: - ब्याकबोन नेटवर्क: PVANet वा ResNet - सुविधा पिरामिड: बहु-स्केल सुविधाहरू फ्यूज गर्दै - अपस्याम्पलिंग: सुविधा नक्शा रिजोलुसन पुनर्स्थापना गर्नुहोस् **2. भविष्यवाणी शाखाहरू**: - स्कोर ग्राफ: प्रत्येक पिक्सेल पाठसँग सम्बन्धित हुने सम्भावनाको भविष्यवाणी गर्दछ - ज्यामिति ग्राफ: पाठको क्षेत्रको ज्यामितीय प्यारामिटरहरूको भविष्यवाणी गर्दछ **ज्यामितीय प्यारामिटर भविष्यवाणी **: ** रोटेशन आयत मोड**: - 4 दूरी मानहरू: आयतको चार पक्षहरूको दूरी - 1 कोण मान: आयतको रोटेशनको कोण ** क्वाड मोड**: - 8 समन्वय मानहरू: क्वाडको चार शीर्षहरूको समन्वय अफसेट ** हानि प्रकार्य डिजाइन **: **वर्गीकरण हानि**: वर्ग सन्तुलन प्रयोग गरेर क्रस-एन्ट्रोपी हानि: L_cls = -β * y * लग (ŷ) - (1-β) * (1-y) * लग (1-ŷ) **प्रतिगमन हानि **: IoU हानि र L1 हानिको संयोजन प्रयोग गर्दै: L_geo = L_IoU + λ * L_smooth_L1 **पोस्ट-प्रोसेसिंग**: - थ्रेसहोल्डिंग: स्कोर ग्राफको आधारमा उम्मेद्वार क्षेत्रहरू उत्पन्न गर्नुहोस् - NMS: डुप्लिकेट पत्ता लगाउन गैर-अधिकतम दमन - ज्यामिति अवरोधहरू: तर्कहीन ज्यामितिहरू फिल्टर गर्नुहोस् ### DBNet एल्गोरिदमको विस्तृत विवरण DBNet (डिफरेन्सिएबल Binarization Network) २०२० मा प्रस्तावित एक वास्तविक-समय पाठ पत्ता लगाउने एल्गोरिदम हो। **कोर इनोभेसन**: - फरक Binarization: नेटवर्कमा binarization प्रक्रिया एकीकृत गर्दछ - अनुकूली थ्रेसहोल्ड: प्रत्येक पिक्सेलको लागि इष्टतम थ्रेसहोल्ड सिक्छ - सरलीकृत पोस्ट-प्रोसेसिंग: पोस्ट-प्रोसेसिंगको जटिलता कम गर्दछ **सञ्जाल वास्तुकला**: **1. ब्याकबोन नेटवर्कहरू**: - रेसनेट-18/50: सुविधा निकासी - एफपीएन: सुविधा पिरामिड नेटवर्क - अपस्याम्पलिंग: मूल छविको १/4 रिजोलुसनमा फर्कनुहोस् **2. भविष्यवाणी टाउको **: - सम्भावना ग्राफ P: पाठ क्षेत्र सम्भावना - थ्रेसहोल्ड ग्राफ T: अनुकूली Binarization थ्रेसहोल्ड - बाइनरी ग्राफ B: अन्तिम Binarization परिणाम **विभेद्य बाइनराइजेशन**: **मानक बाइनराइजेशन**: B = 1 यदि P > T अरू 0 **फरक अनुमान**: बी = 1 / (1 + exp(-k*(P-T))) जहाँ K प्रवर्धन कारक हो, प्रकार्यलाई चरण प्रकार्यको नजिक ल्याउँदछ। **हानि प्रकार्य**: **कुल घाटा**: एल = L_cls + α * L_dis + β * L_thresh - L_cls: वर्गीकरण हानि (बाइनरी क्रस-एन्ट्रोपी) - L_dis: दूरी हानि (पासा हानि) - L_thresh: थ्रेसहोल्ड हानि (L1 हानि) **प्रशिक्षण रणनीतिहरू**: - कठिन नमूना खनन: गाह्रो-टू-वर्गीकृत पिक्सेलहरूमा ध्यान केन्द्रित गर्नुहोस् - डाटा वृद्धि: घुमाउने, मापन गर्ने, रंग रूपान्तरण गर्ने - बहु-स्केल प्रशिक्षण: विभिन्न पाठ आकारहरूमा अनुकूलनशीलता सुधार गर्नुहोस् ### PSENet एल्गोरिदमको विस्तृत विवरण PSENet (प्रोग्रेसिभ स्केल एक्सपान्सन नेटवर्क) विशेष गरी मनपरी आकारको पाठ पत्ता लगाउन डिजाइन गरिएको हो **कोर विचार **: - प्रगतिशील स्केलिंग: साना कोरबाट पूर्ण पाठ क्षेत्रहरूमा क्रमिक रूपमा विस्तार गर्दै - मल्टिस्केल कोरहरू: विभिन्न आकारहरूको पाठ कोरहरू उत्पन्न गर्दै - पिक्सेल एकत्रीकरण: पिक्सेल-स्तर एकत्रीकरणको माध्यमबाट पाठ उदाहरणहरू पुनर्निर्माण गर्दै **सञ्जाल आर्किटेक्चर**: **1. सुविधा निष्कर्षण **: - रेसनेट ब्याकबोन नेटवर्क - एफपीएन सुविधा फ्यूजन - बहु भविष्यवाणी शाखाहरू **2. बहु-स्केल भविष्यवाणी **: विभिन्न स्केलहरूमा n विभाजन प्लटहरू उत्पन्न गर्नुहोस्: - S1: सबैभन्दा सानो कर्नेल (पाठ केन्द्र क्षेत्र) - S2, S3, ..., Sn: बिस्तारै कर्नेलहरू विस्तार गर्दै - Sn: पूर्ण पाठ क्षेत्र ** प्रगतिशील स्केलिंग एल्गोरिदम **: **1. सुरुवात**: - सबैभन्दा सानो कर्नेल S1 बाट सुरू गर्नुहोस् - पाठ उदाहरणहरू प्राप्त गर्न जडान घटक विश्लेषण प्रयोग गर्नुहोस् **2. पुनरावृत्त विस्तार**: दायरा (२, एन + १) मा i का लागि: प्रत्येक पाठ दृष्टान्तका लागि: Si मा आसन्न पिक्सेलहरू फेला पार्नुहोस् हालको दृष्टान्तमा आसन्न पिक्सेलहरू गाभ्नुहोस् दृष्टान्त सीमाहरू अद्यावधिक गर्नुहोस् **3. समाप्ति सर्तहरू**: - अधिकतम स्केल Sn मा पुग्नुहोस् - वा स्केलिंग जारी राख्न असमर्थ **हानि प्रकार्य**: **पूर्ण हानि**: L = Σ(i=1 देखि n) λi * L_seg(Si, Gi) ती मध्ये: - L_seg: विभाजन हानि (पासा हानि + क्रस-एन्ट्रोपी हानि) - Gi: ith स्केलको सत्य लेबल - λi: विभिन्न तराजूहरूको वजन ### पिक्सेललिङ्क अल्गोरिदम पिक्सेललिंकले पिक्सेलहरू बीचको जडानको भविष्यवाणी गरेर पाठ पत्ता लगाउँदछ। **कोर विचार **: - पिक्सेल वर्गीकरण: प्रत्येक पिक्सेल पाठसँग सम्बन्धित छ कि छैन भनेर निर्धारण गर्दै - जडान भविष्यवाणी: आसन्न पिक्सेलहरू बीचको जडान सम्बन्धको भविष्यवाणी गर्दै - उदाहरण विभाजन: पाठ उदाहरणहरू बनाउनको लागि जडान सम्बन्धहरू मार्फत पिक्सेलहरू एकत्रित गर्दै **सञ्जाल डिजाइन**: **1. पाठ / गैर-पाठ भविष्यवाणी **: - बाइनरी वर्गीकरण कार्य - प्रति पिक्सेल आउटपुट पाठ सम्भावना **2. जडान भविष्यवाणी **: - 8 दिशामा जडान भविष्यवाणी - प्रत्येक दिशाको लागि आउटपुट जडान सम्भावना **पोस्ट-प्रोसेसिंग एल्गोरिदम**: **1. पिक्सेल फिल्टरिंग**: - पाठ सम्भावनामा आधारित पिक्सेल फिल्टर गर्नुहोस् - उच्च आत्मविश्वासको साथ पाठ पिक्सेलहरू सुरक्षित गर्नुहोस् **2. जडान गरिएको एकत्रीकरण **: - एल्गोरिदम प्रयोग गर्नुहोस् र क्वेरी गर्नुहोस् - जडान सम्बन्धको आधारमा पिक्सेलहरू मर्ज गर्नुहोस् - जडान गरिएको पाठ उदाहरणहरू फारम गर्नुहोस् ## मूल्याङ्कन मेट्रिक्स र बेन्चमार्क डेटासेटहरू ### मूल्याङ्कन मेट्रिक्स **पत्ता लगाउने स्तर मेट्रिक्स**: - परिशुद्धता: सही पाठ क्षेत्रहरूको अनुपात पत्ता लगाइएको - सम्झना: सही पाठ क्षेत्रहरूको अनुपात सही रूपमा पत्ता लगाइएको - F1 स्कोर: परिशुद्धता र सम्झनाको हार्मोनिक औसत ** पिक्सेल स्तर मेट्रिक्स**: - पिक्सेल सटीकता: पिक्सेलको प्रतिशत जुन सही रूपमा वर्गीकृत गरिएको छ - पिक्सेल रिकल: पाठ पिक्सेलको अनुपात सही रूपमा वर्गीकृत - IoU: वास्तविक क्षेत्रमा अनुमानित क्षेत्रको अनुपात ### बेन्चमार्क डेटासेटहरू **आईसीडीएआर श्रृंखला**: - आईसीडीएआर २०१३: फोकस्ड तेर्सो पाठ पत्ता लगाउने - आईसीडीएआर २०१ 2015: बहु-दिशात्मक पाठ समावेशन - आईसीडीएआर २०१ 2017: बहुभाषी पाठ पत्ता लगाउने ** अन्य महत्त्वपूर्ण डेटासेटहरू**: - MSRA-TD500: बहु-दिशात्मक लामो पाठ लाइनहरू - COCO-पाठ: प्राकृतिक दृश्यहरूमा पाठ - कुल-पाठ: घुमाउरो पाठ पत्ता लगाउने - CTW1500: अनियमित आकारको पाठ ## व्यावहारिक अनुप्रयोग विचारहरू ### प्रदर्शन अप्टिमाइजेसन **मोडेल कम्प्रेसन**: - ज्ञान आसवन: साना मोडेलहरूको साथ ठूला मोडेलहरू सिक्नुहोस् - मोडेल काँटछाँट: महत्वहीन जडानहरू हटाउँदै - परिमाणीकरण: संख्यात्मक शुद्धता घटाउँदै **अनुमान त्वरण**: - टेन्सरआरटी: एनभिडिया जीपीयू एक्सेलेरेशन - ओपनभिनो: इंटेल हार्डवेयर अप्टिमाइजेसन - मोबाइल अप्टिमाइजेसन: एआरएम प्रोसेसरहरूको लागि अनुकूलित ### परिनियोजन रणनीति ** क्लाउड परिनियोजन **: - उच्च-सटीक मोडेलहरू: जटिल नेटवर्क संरचनाहरू प्रयोग गर्नुहोस् - ब्याच प्रोसेसिंग: थ्रूपुट बढाउनुहोस् - लोचदार स्केलिंग: लोडको आधारमा स्वचालित रूपमा मापन गर्नुहोस् **किनारा परिनियोजन**: - हल्का मोडेलहरू: परिशुद्धता र दक्षता सन्तुलन गर्दै - वास्तविक समय प्रशोधन: कम विलम्बता आवश्यकताहरू - अफलाइन अपरेशन: कुनै नेटवर्क जडान आवश्यक छैन ## भविष्यको विकास प्रवृत्तिहरू ### प्रविधि विकास दिशा **मल्टिमोडल फ्यूजन **: - भाषा मोडेलहरू संयोजन गर्नुहोस्: पाठ शब्दार्थ जानकारीको लाभ उठाउनुहोस् - बहु-सेन्सर फ्यूजन: गहिराइ, इन्फ्रारेड, आदि जस्ता जानकारी संयोजन गर्नुहोस्। - समय जानकारी: भिडियोमा अस्थायी सम्बन्धहरूको लाभ उठाउनुहोस् **अनुकूली पहिचान**: - डोमेन अनुकूलन: विभिन्न परिदृश्यहरू र डेटा वितरणमा अनुकूलन गर्दछ - सानो-शट लर्निंग: नयाँ पाठ प्रकारहरूमा द्रुत रूपमा अनुकूलन गर्दछ - अनलाइन लर्निंग: प्रयोगकर्ताको प्रतिक्रियाको आधारमा निरन्तर सुधार गर्दछ **अन्त-देखि-अन्त अप्टिमाइजेसन**: - पत्ता लगाउने र मान्यता महासंघ: पहिचान र पहिचानको एकीकृत अप्टिमाइजेसन - बहु-कार्य सिक्ने: बहु सम्बन्धित कार्यहरूको एक साथ प्रदर्शन - तंत्रिका वास्तुकला खोज: इष्टतम नेटवर्क संरचनाको स्वचालित डिजाइन ### अनुप्रयोग विस्तार ** उदीयमान परिदृश्यहरू**: - एआर / वीआर: संवर्धित वास्तविकतामा पाठ पत्ता लगाउने - स्वायत्त ड्राइभिङ: ट्राफिक चिन्ह र सडक चिन्ह पहिचान - औद्योगिक निरीक्षण: उत्पादन लेबलिंग र गुणस्तर नियन्त्रण ** क्रस-डोमेन अनुप्रयोगहरू**: - चिकित्सा छविहरू: मेडिकल रेकर्ड र रिपोर्टहरूमा पाठ - रिमोट सेन्सिङ इमेजरी: उपग्रह इमेजरीमा स्थानको नामहरूको पहिचान - ऐतिहासिक कागजातहरू: प्राचीन पुस्तकहरू र पाण्डुलिपिहरूको डिजिटलीकरण ## निष्कर्ष पाठ पत्ता लगाउने, OCR प्रणालीको एक प्रमुख घटकको रूपमा, गहिरो शिक्षाको युगमा महत्त्वपूर्ण प्रगति गरेको छ। EAST को कुशल पहिचानदेखि DBNet को वास्तविक समय प्रशोधनदेखि PSENet को मनपरी आकार पत्ता लगाउनेसम्म, प्रत्येक एल्गोरिदमको यसको अद्वितीय फाइदाहरू र लागू परिदृश्यहरू छन् **मुख्य प्राविधिक बिन्दुहरू**: - बहु-स्केल सुविधा फ्यूजन: विभिन्न आकारहरूको पाठ ह्यान्डल गर्दै - ज्यामिति मोडेलिंग: मनपरी आकारहरूको साथ पाठ पत्ता लगाउन समर्थन गर्दै - अन्त-देखि-अन्त अप्टिमाइजेसन: प्रणाली डिजाइन र प्रशिक्षण प्रक्रियाहरू सरल बनाउँदै - वास्तविक-समय विचारहरू: सटीकता र दक्षताको आवश्यकतालाई सन्तुलन गर्दै **चयन सिफारिसहरू**: - सटीकतालाई प्राथमिकता दिनुहोस्: PSENet जस्ता जटिल एल्गोरिदम छनौट गर्नुहोस् - गति प्राथमिकता: DBNet जस्तै हल्का एल्गोरिथ्म छनौट गर्नुहोस् - बहुमुखी प्रतिभा: एक एल्गोरिथ्म छनौट गर्नुहोस् जुन EAST जस्तै प्रदर्शनलाई सन्तुलनमा राख्दछ टेक्नोलोजीको निरन्तर विकासको साथ, पाठ पत्ता लगाउने एल्गोरिदमले उच्च सटीकता, छिटो गति, र बलियो सामान्यीकरण क्षमताहरूको दिशामा विकास गर्न जारी राख्नेछ, ओसीआर प्रणालीहरूको व्यापक अनुप्रयोगको लागि ठोस प्राविधिक आधार प्रदान गर्दछ।