【Deep Learning OCR Series·6】 شیکردنەوەی قووڵ لە تەلارسازی CRNN

## پێشەکی CRNN (Convolutional Recurrent Neural Network) یەکێکە لە گرنگترین تەلارسازەکان لە بواری OCR ی فێربوونی قووڵ، کە لە ساڵی 2015 لەلایەن Bai Xiang et al. پێشنیار کراوە. CRNN زیرەکانە توانای دەرهێنانی تایبەتمەندی تۆڕە دەماریەکانی کۆنڤولوشنی (CNNs) لەگەڵ تواناکانی مۆدێلکردنی زنجیرەی تۆڕە دەمارییە دووبارەبووەکان (RNNs) تێکەڵ دەکات بۆ بەدەستهێنانی ناسینەوەی دەق لە کۆتاییدا. ئەم وتارە شیکردنەوەیەکی قووڵ بۆ دیزاینی تەلارسازی CRNN، بنەماکانی کارکردن، شێوازەکانی ڕاهێنان، و کاربەرنامە تایبەتەکان لە OCR پێشکەش دەکات و تێگەیشتنێکی تەکنیکی گشتگیر بۆ خوێنەران دابین دەکات. ## گشتی تەلارسازی CRNN ### هاندانی دیزاین پێش CRNN، سیستەمەکانی OCR بە شێوەیەکی ئاسایی هەنگاو بە هەنگاو ڕێگایان گرتەبەر: سەرەتا دۆزینەوەی کارەکتەر و دابەشکردن ئەنجام دەدرا، پاشان هەر پیتەیەک دەناسرێتەوە. ئەم شێوازە ئەم کێشانەی خوارەوەی هەیە: **سنووردارییەکانی شێوازە تەقلیدییەکان**: - بڵاوبوونەوەی هەڵە: هەڵەکان لە دابەشکردنی پیتەکان دەتوانن ڕاستەوخۆ کاریگەری هەبێت لەسەر ئەنجامەکانی ناسینەوە. - ئاڵۆزی: پێویستی بە دیزاینکردنی ئەلگۆریتمی دابەشکردنی کارەکتەرە ئاڵۆزەکان هەیە - لاوازی بەهێزی: هەستیارە بەرامبەر بۆشایی پیتەکان و گۆڕینی فۆنت - نەتوانینی مامەڵەکردن لەگەڵ لێدانی بەردەوام: دیاردەی لێدانی بەردەوام لە دەقی دەستنووسدا زەحمەتە جیابکرێتەوە **بیرۆکە داهێنەرەکانی CRNN: - فێربوونی کۆتایی بۆ کۆتایی: نەخشەسازی راستەوخۆ لە وێنەکانەوە بۆ زنجیرەی دەق - بێ دابەشکردن: خۆی لە ئاڵۆزی دابەشکردنی کارەکتەر بەدوور دەگرێت - مۆدێلکردنی زنجیرە: RNNs بەکار بهێنە بۆ مۆدێلکردنی پشتبەستن لە نێوان کارەکتەرەکان - ڕێکخستنی CTC: ناگونجانی درێژی زنجیرەی تێکردن-دەرچوو دەستنیشان دەکات ### تەلارسازی گشتی تەلارسازی CRNN لە سێ پێکهاتەی سەرەکی پێکهاتووە: **1. چینە کانڤولوشنەکان**: - کردار: دەرهێنانی زنجیرەی تایبەتمەندیەکان لە وێنەکانی تێکردن - تێکردن: وێنەی هێڵی دەق (بەرزی جێگیر، پانی گۆڕاو) - دەرچون: زنجیرەی نەخشەی تایبەتمەندی **2. چینە دووبارەبووەکان**: - فرمان: مۆدێلی پشتبەستنەکانی دەق لە زنجیرەی تایبەتمەندی - تێکردن: زنجیرەی تایبەتمەندی دەرهێنراو لەلایەن CNN - دەرچون: زنجیرەیەکی تایبەتمەندی لەگەڵ زانیاری ناوەڕۆکی **3. چینی رونووس**: - فرمان: زنجیرەی تایبەتمەندیەکان بگۆڕە بۆ زنجیرەی دەق - شێواز: بەکارهێنانی CTC (پۆلێنکردنی کاتی پەیوەندیدار) - دەرچون: ئەنجامی کۆتایی ناسینەوەی دەق ## ڕوونکردنەوەی وردی چینە پێچاوپێچییەکان ### ستراتیجیەکانی دەرهێنانی تایبەتمەندی چینی کۆنڤولوشنی CRNN بە تایبەتی بۆ ناسینەوەی دەق دیزاین کراوە: **تایبەتمەندیەکانی پێکهاتەی تۆڕ**: - قوڵایی تەنک: 7 چین لە چینی پێچ بەکاردەهێنرێت - ناوکی کۆنڤولوشنی بچووک: 3×3 ناوکی کانڤولوشنی بەشێوەیەکی سەرەکی بەکاردەهێنرێن - ستراتیجی کۆکردنەوە: کۆکردنەوە بە کەمی لە ئاراستەی پانتایی بەکاربێنە **شێوەپێدانی تۆڕی تایبەت**: تێکردن: 32×W×1 (بەرزی 32، پانی W، یەک کەناڵ) Conv1: 64 3×3 ناوکی کۆنڤولوشنال، هەنگاوی 1، پڕکردنەوەی 1 MaxPool1: 2×2 حەوز، درێژی هەنگاو 2 Conv2: 128 3×3 ناوکی کۆنڤولوشنال، هەنگاوی 1، پڕکردنەوەی 1 MaxPool2: 2×2 کۆکراوە، قەبارەی هەنگاوی 2 Conv3: 256 3×3 ناوکی کۆنڤولوشنال، هەنگاوی 1، پڕکردنەوەی 1 Conv4: 256 3×3 ناوکی کۆنڤولوشنال، هەنگاوی 1، پڕکردنەوەی 1 MaxPool3: 2×1 کۆکراوە، قەبارەی هەنگاو (2,1) Conv5: 512 3×3 ناوکی کۆنڤولوشن، هەنگاوی 1، پڕکردنەوەی 1 BatchNorm + ReLU Conv6: 512 3×3 ناوکی کۆنڤولوشنال، هەنگاوی 1، پڕکردنەوەی 1 BatchNorm + ReLU MaxPool4: 2×1 کۆکراوە، قەبارەی هەنگاو (2,1) Conv7: 512 2×2 ناوکی کۆنڤولوشنال، هەنگاوی 1، 0 پڕ بکەوە دەرچون: 512×1×W/4 ### گرنگی دیزاینی سەرەکی **ستراتیجی پەستانی بەرز**: - ئامانج: پەستاندنی وێنەکە بۆ بەرزی 1 پیکسڵ - شێواز: وردە وردە بەرزی بپەستێنە بە بەکارهێنانی چەند چینێکی کۆکردنەوە - هۆکار: بەرزی هێڵی دەق تا ڕادەیەک گرنگ نییە **ستراتیجی ڕاگرتنی پانتایی**: - ئامانج: پاراستنی زانیاری پانی وێنەکە تا ئەوپەڕی توانا - شێواز: کردارەکانی کۆکردنەوە لە ئاڕاستەی پانتایی کەم بکەوە - هۆکار: زانیاری زنجیرەیی دەقەکە بەشێوەیەکی سەرەکی لە ئاڕاستەی پانتایی ڕەنگ دەداتەوە **گۆڕینی نەخشەی تایبەتمەندی**: دەرچوی چینی کۆنڤولوشنال پێویستە بگۆڕدرێت بۆ فۆرماتی تێکردنی RNN: - دەرچوی خاو: C×H×W (بەرزی × کەناڵ× پانی) - گۆڕدراوە: W×C (درێژی زنجیرە× دووری تایبەتمەندی) - شێواز: ئاڕاستەی تایبەتمەندی بۆ هەر شوێنێکی پانیی وەک هەنگاوێکی کات وەربگرە ## ڕوونکردنەوەی وردی چینی بازنەیی ### هەڵبژاردنی RNN CRNNs بە شێوەیەکی ئاسایی LSTMs دوو ئاڕاستە بەکاردەهێنن وەک چینی ئەڵقە: **سوودەکانی LSTM دوو ئاڕاستەی: - زانیاری دەقی: هەردوو چوارچێوەی پێشەوە و دواوە بەکار بهێنە - پشتبەستنەکانی دوورمەودا: LSTM توانای چارەسەرکردنی پشتبەستنەکانی دوورمەودا هەیە - جێگیرکردنی نمرەی لاری: خۆی لە کێشەی دیارنەمانی نمرەی لاری دوور دەخاتەوە **ڕێکخستنی تۆڕ**: تێکردن: W×512 (درێژی زنجیرە × دووری تایبەتمەندی) BiLSTM1: 256 خانەی شاراوە (128 بەرەو پێشەوە + 128 بەرەو دواوە) BiLSTM2: 256 خانەی شاراوە (128 بەرەو پێشەوە + 128 بەرەو دواوە) دەرچون: W×256 (درێژی زنجیرە× دووری شاراوە) ### میکانیزمەکانی مۆدێلکردنی زنجیرە **مۆدێلکردنی پشت بەستن بە کات**: چینی RNN پشتبەستنەکانی کات لە نێوان پیتەکاندا دەگرێت: - زانیاری کاراکتەری پێشوو یارمەتیدەرە لە ناسینەوەی کاراکتەری ئێستا - زانیاری بۆ کارەکتەرەکانی دواتر دەتوانێ چوارچێوەیەکی بەسوود دابین بکات - زانیاری تەواوی وشە یان دەستەواژەکە یارمەتیدەرە بۆ ڕوونکردنەوەی **باشکردنی تایبەتمەندیەکان**: ئەو تایبەتمەندییانەی لەلایەن RNN چارەسەر دەکرێن ئەم تایبەتمەندییانەی خوارەوەیان هەیە: - هەستیار بە دەق: تایبەتمەندیەکانی هەر شوێنێک زانیاری دەقی تێدایە - گونجانی کات: تایبەتمەندیەکانی شوێنە دراوسێکان بەردەوامییەکی دیاریکراویان هەیە - دەوڵەمەندی واتا: تایبەتمەندیەکانی بینراو و زنجیرەیی تێکەڵ دەکات ## ڕوونکردنەوەی وردی چینی لەبەرگرتنەوە ### میکانیزمی CTC CTC (Connectionist Temporal Classification) پێکهاتەیەکی سەرەکی CRNN یە: **ڕۆڵی CTCs**: - چارەسەرکردنی کێشەکانی ڕێکخستن: درێژی زنجیرەی تێکردن لەگەڵ درێژی زنجیرەی دەرچو ناگونجێت - ڕاهێنانی کۆتایی بۆ کۆتایی: پێویست بە پەراوێزی ڕێکخستنی ئاستی کارەکتەر ناکات - چارەسەرکردنی دووبارەبووەکان: چارەسەرکردنی حاڵەتەکانی کارەکتەرە دووبارەبووەکان بە دروستی **CTC چۆن کار دەکات**: 1. سێتی پلیتەکە فراوان بکە: ناونیشانی بەتاڵ زیاد بکە لە سەرەوەی کۆمەڵە نووسە ڕەسەنەکە 2. سەرژمێری ڕێڕەو: هەموو ڕێڕەوەکانی ڕێکخستنی گونجاو دەژمێرێت 3. ئەگەری ڕێڕەو: ئەگەری هەر ڕێگایەک بژمێرە 4. پەراوێزخستن: ئەگەرەکانی هەموو ڕێگاکان کۆبکەوە بۆ بەدەستهێنانی ئەگەری زنجیرە ### کرداری لەدەستدانی CTC **نوێنەرایەتی بیرکاری**: بە پێدانی زنجیرەی تێکردنی X و زنجیرەی ئامانجی Y، لەدەستدانی CTC بەم شێوەیە پێناسە دەکرێت: L_CTC = -log P(Y| X) کە P(Y| X) بە کۆکردنەوەی ئەگەرەکانی هەموو ڕێڕەوەکانی گونجاو بەدەست دەهێنرێت: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) لێرەدا B^(-1)(Y) نوێنەرایەتی هەموو کۆمەڵە ڕێڕەوەکان دەکات کە دەتوانرێت نەخشە بکێشرێن بۆ زنجیرەی مەبەست Y. **ئەلگۆریتمی پێشەوە-دواوە**: بۆ ئەژمارکردنی کاریگەری زیانی CTC، ئەلگۆریتمێکی پێشەوە-دواوە بۆ پرۆگرامکردنی داینامیکی بەکاردەهێنرێت: - ئەلگۆریتمی پێشەوە: ئەگەری گەیشتن بە هەر دۆخێک ئەژمێرێت - ئەلگۆریتمی دواوە: ئەگەرەکان لە هەر دۆخێکەوە تا کۆتایی ئەژمێرێت - ژماردنی نمرەی لار: ژماردنی پلەکان بە هاوبەشی لەگەڵ ئەگەری پێشەوە-دواوە ## CRNN ستراتیجی ڕاهێنان ### پرۆسەی پێشوەختی داتا **پرۆسەی پێشوەختی وێنە**: - ئاساییکردنەوەی قەبارە: بەرزی وێنەکە یەکبکەرەوە بۆ 32 پیکسڵ - پاراستنی ڕێژەی بەرزی: رێژەی پانی وێنە ڕەسەنەکە دەپارێزێت - گۆڕینی خۆڵەمێشی: گۆڕین بۆ وێنەیەکی خۆڵەمێشی تاک کەناڵ - ئاساییکردنەوەی ژمارەیی: بەهای پیکسڵ ئاسایی دەکرێنەوە بۆ [0,1] یان [-1,1] **باشکردنی داتا**: - گۆڕانی ئەندازەیی: سوڕانەوە، لاربوونەوە، گۆڕینی ڕوانگە - گۆڕانی ڕووناکی: درەوشانەوە، ڕێکخستنی کۆنتراست - زیادکردنی ژاوەژاو: ژاوەژاوی گاوسی، ژاوەژاوی خوێ و بیبەر - تەڵخ: لێڵی جوڵە، تەڵخی گاوسی ### تەکنیکەکانی ڕاهێنان **خشتەی ڕێژەی فێربوون**: - ڕێژەی فێربوونی سەرەتایی: بە شێوەیەکی ئاسایی بۆ 0.001 دانراوە - ستراتیجی پوکانەوە: پوکانەوەی نمایی یان پووکانەوەی هەنگاو - ستراتیجی خۆگەرمکردن:چەند سەردەمی یەکەم ڕێژەیەکی کەم فێربوون بەکاردەهێنن **تەکنیکەکانی رێکخستن**: - وازهێنان: زیادکردنی وازهێنان لە دوای چینی RNN - دابەزینی کێش: رێکخستنی L2 ڕێگری دەکات لە زیادەڕۆیی - ئاساییکردنەوەی دەستە: ئاساییکردنەوەی دەستە لە چینی CNN بەکاربێنە **هەڵبژاردنی باشترکەر**: - ئادەم: ڕێژەی فێربوونی خۆگونجاندن، لێکنزیکبوونەوەی خێرا - RMSprop: گونجاوە بۆ ڕاهێنانی RNN - SGD+تەوژم: بژاردەی تەقلیدی بەڵام جێگیر ## باشکردن و باشترکردنی CRNN ### باشکردنی تەلارسازی **چاکسازییە بەشێکی سی ئێن ئێن**: - گرێدانەکانی ResNet: گرێدانی پاشماوە زیادکراوە بۆ باشترکردنی جێگیری ڕاهێنان - DenseNet Fabric: پەیوەندیە چڕەکان فرە تایبەتمەندی باشتر دەکەن - میکانیزمی سەرنج: سەرنجی بۆشایی لە CNNs دا دەناسێنێت **چاکسازی بەشێکی RNN **: - گۆڕینەوەی GRU: GRU بەکاربێنە بۆ کەمکردنەوەی بڕی پارامیتەرەکان - ترانسفۆرمەر: جێگەی RNNs دەگرێتەوە بە بەکارهێنانی میکانیزمی سەرنجدانی خودی - تایبەتمەندی فرە پێوەری: تایبەتمەندی لە پێوەری جیاواز تێکەڵ بکە ### باشکردنی ئەدا **خێرایی استنتاج**: - کوانتەکردنی مۆدێل: کوانتەکردنی INT8 هەوڵی ژمێریاری کەم دەکاتەوە - بڕینی مۆدێل: پەیوەندیە ناگرنگەکان لاببەن - دڵۆپاندنی زانیاری: فێربوونی زانیاری مۆدێلی گەورە لەگەڵ مۆدێلی بچووک **باشکردنی بیرگە**: - خاڵی پشکنینی نمرەی لاری: کەمکردنەوەی جێپێی بیرگە لەکاتی ڕاهێنان - وردی تێکەڵ: ڕاهێنان لەگەڵ FP16 - باشکردنی دینامیکی گراف: باشترکردنی پێکهاتەی گرافی ژمێردراو ## حاڵەتەکانی جێبەجێکردنی جیهانی ڕاستەقینە ### ناسینەوەی دەقی دەستنووس **سیناریۆی کاربەرنامە**: - دیجیتاڵکردنی تێبینیە دەستنووسەکان - فۆرمی پڕکردنەوەی خۆکار - ناسینەوەی بەڵگەنامەی مێژوویی **تایبەتمەندی تەکنیکی**: - جیاوازی گەورەی پیتەکان: پێویستی بە توانای بەهێزی دەرهێنانی تایبەتمەندی هەیە - پرۆسەی بەردەوامی جەڵتە: سوودەکانی میکانیزمی CTC ئاشکران - ناوەڕۆک گرنگە: تواناکانی مۆدێلکردنی زنجیرەی RNNs زۆر گرنگە ### ناسینەوەی دەقی چاپکراو **سیناریۆی کاربەرنامە**: - دیجیتاڵکردنی بەڵگەنامەکان - ناسنامەی بلیتەکان - ناسینەوەی هێماکان **تایبەتمەندی تەکنیکی**: - ڕێکوپێکی فۆنت: دەرهێنانی تایبەتمەندی سی ئێن ئێن تا ڕادەیەک ئاسانە - یاساکانی تایپۆگرافی: دەتوانرێت زانیاری شێواز بەکار بهێنرێت - پێداویستی وردی بەرز: پێویستی بە ڕێکخستنی مۆدێلی ورد هەیە ### ناسینەوەی دەقی دیمەن **سیناریۆی کاربەرنامە**: - ناسینەوەی دەقی ستریت ڤیو - ناسینەوەی پلیتی بەرهەم - ناسینەوەی هێمای هاتوچۆ **تایبەتمەندی تەکنیکی**: - باکگراوندێکی ئاڵۆز: پێویستی بە دەرهێنانی تایبەتمەندی بەهێز هەیە - شێواندنی توند: دیزاینی تەلارسازی بەهێز پێویستە - پێداویستیەکانی کاتی ڕاستەقینە: پێویستی بە هۆکاری کاریگەر هەیە ## پوختە وەک تەلارسازییەکی کلاسیکی OCR فێربوونی قووڵ، CRNN سەرکەوتوانە زۆربەی کێشەکانی شێوازە تەقلیدییەکانی OCR چارەسەر دەکات. شێوازی ڕاهێنانی کۆتایی بۆ کۆتایی، چەمکی دیزاین بەبێ دابەشکردنی کارەکتەر، و ناساندنی میکانیزمی CTC هەمووی ئیلهامێکی گرنگ بۆ پەرەسەندنی داهاتووی تەکنەلۆژیای OCR دابین دەکات. **بەشدارییە سەرەکیەکان**: - فێربوونی کۆتایی بۆ کۆتایی: دیزاینی سیستەمەکانی OCR ئاسان دەکات - مۆدێلکردنی زنجیرە: بە شێوەیەکی کاریگەر تایبەتمەندیەکانی زنجیرەی دەق بەکاردەهێنێت - ڕێکخستنی CTC: نەگونجانی درێژی زنجیرەی ناونیشانکراو - تەلارسازی سادە: ئاسانە بۆ تێگەیشتن و جێبەجێکردن **ئاراستەی پەرەسەندن**: - میکانیزمی سەرنجدان: ناساندنی سەرنج بۆ باشترکردنی ئەدا - ترانسفۆرمەر: جێگەی RNNs دەگرێتەوە بە سەرنجی خودی - تێکەڵکردنی فرەشێواز: زانیاریەکانی تر تێکەڵ بکە وەک مۆدێلەکانی زمان - دیزاینی سووک: پەستانی مۆدێل بۆ ئامێرەکانی مۆبایل سەرکەوتنی CRNN بەڵگەیە لەسەر توانای گەورەی فێربوونی قووڵ لە بواری OCR و ئەزموونێکی بەنرخ دابین دەکات بۆ تێگەیشتن لە چۆنیەتی دیزاین کردنی سیستەمی فێربوونی کاریگەر لە کۆتایی. لە وتاری داهاتوودا، دەچینە ناو وردەکارییەکانی بیرکاری و جێبەجێکردنی فرمانی لەدەستدانی CTC.