【סדרת OCR ללמידה עמוקה·7】אובדן CTC וטכניקות אימון

## הקדמה סיווג זמני קונקנציוניסטי (CTC) הוא פריצת דרך חשובה במידול רצפים של למידה עמוקה, במיוחד בתחום ה-OCR. CTC פותר את הבעיה הבסיסית של חוסר התאמה בין אורך רצף הקלט לרצף הפלט, ומאפשר למידה רצף מקצה לקצה. מאמר זה יעמיק בעקרונות המתמטיים, ביישום האלגוריתמים ובטכניקות אופטימיזציה של CTC. ## מושגים בסיסיים של CTC ### בעיות יישור רצפים במשימות OCR, אנו מתמודדים עם האתגרים הבאים: **אי התאמה באורך**: אורך רצף תכונת התמונה הקלט שונה מאורך רצף הטקסט הפלט. לדוגמה, מילה המכילה 3 תווים עשויה להתאים לרצף תכונות של 100 צעדי זמן. **מיקום לא ודאי**: המיקום המדויק של כל תו בתמונה אינו ידוע. שיטות מסורתיות דורשות חלוקה מדויקת של תווים, דבר שקשה ביישומים מעשיים. **קושי בחלוקת תווים**: טקסט שנכתב ברציפות, טקסט בכתב יד או פונטים אמנותיים מתקשים להתחלק במדויק לתווים בודדים. ### הפתרון של CTC CTC פותר בעיות יישור רצפים בדרכים חדשניות הבאות: הצגת טושים ריקים: השתמשו בטושים ריקים מיוחדים לטיפול ביישור. תגיות ריקות אינן תואמות לתווי פלט ומשמשים להפרדת תווים כפולים מרצפי מילוי. הסתברות נתיב: מחשב את ההסתברות לכל מסלולי היישור האפשריים. כל נתיב מייצג התאמה אפשרית של צעד תווים לזמן. **תכנון דינמי**: חישוב יעיל של הסתברויות מסלול באמצעות אלגוריתמים קדימה-אחורה, תוך הימנעות ממניית כל המסלולים האפשריים. ## עקרונות המתמטיקה של CTC ### הגדרות בסיסיות בהינתן רצף הקלט X = (x₁, x₂, ..., xt) ורצף היעד Y = (y₁, y₂, ..., yu), כאשר T ≥ U. קבוצת תגיות: L = {1, 2, ..., K}, המכילה K קטגוריות תווים. **אוסף תגיות מורחב**: L_ext = L ∪ {ריק}, המכיל תגיות ריקות. **מסלול יישור**: רצף באורך T π = (π₁, π₂, ..., πt), כאשר πt ∈ L_ext. ### מיפוי מסלולים לתגיות CTC מגדיר פונקציית מיפוי B שממירה את מסלול היישור לרצף תוויות פלט: 1. הסר את כל הסימנים הריקים 2. מיזוג תווים כפולים עוקבים **דוגמה למיפוי**: - π = (a, a, ריק, b, ריק, b, b) → B(π) = (a, b, b) - π = (ריק, c, c, a, ריק, t) → B(π) = (c, a, t) ### פונקציית אובדן CTC פונקציית האובדן של CTC מוגדרת כלוגריתם השלילי של סכום כל הסתברויות המסלול הממופות לרצף היעד Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) כאשר B⁻¹(Y) היא קבוצת כל המסלולים הממופים ל-Y. הסתברות מסלול: בהנחה שהתחזיות של כל צעד זמן הן בלתי תלאות, הסתברות המסלול היא: P(π| X) = ∏t yt^{πt} כאשר yt^{πt} היא ההסתברות ששלב הזמן t יחזה את התווית πt. ## אלגוריתם קדימה-אחורה ### אלגוריתם קדימה אלגוריתם ההתקדמות מחשב את הסתברות המסלול מתחילת הרצף למיקום הנוכחי. **רצף תוויות מורחב**: כדי להקל על החישוב, הרחבו את רצף היעד Y ל-Y_ext, תוך הכנסת תגיות ריקות לפני ואחרי כל תו. **אתחול**: - α₁(1) = y₁^{ריק} (המיקום הראשון הוא ריק) - α₁(2) = y₁^{y₁} (המיקום הראשון הוא התו הראשון) - α₁(s) = 0 למיקומים אחרים **נוסחה רקורסיבית**: עבור t > 1 ומיקום s: - אם Y_ext[s] ריק או זהה לתו הקודם: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - אחרת: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### אלגוריתם לאחור האלגוריתם האחורי מחשב את הסתברות המסלול מהמיקום הנוכחי ועד סוף הרצף. **אתחול**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (אם התג האחרון אינו ריק) - β_T(s) = 0 למיקומים אחרים **נוסחה רקורסיבית**: עבור t < T ומיקומים s: - אם Y_ext [s+1] ריק או זהה לתו הנוכחי: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - אחרת: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### חישוב גרדיאנט הסתברות כוללת:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **מדרון הסתברות התווית**: ∂(-inn P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## אסטרטגיית פענוח CTC ### פענוח חמדני גרידי מפענח את התווית עם ההסתברות הגבוהה ביותר בכל שלב זמן: π_t = argmax_k y_t^k לאחר מכן מיישם את המיפוי B כדי לקבל את הרצף הסופי. **יתרונות**: חישובים קלים ומהירות גבוהה **חסרונות**: ייתכן שלא יושג הפתרון האופטימלי הגלובלי ### פענוח חיפוש חבילות חיפוש קרן שומר על מספר מסלולי מועמדים, ומרחיב את המסלולים המבטיחים ביותר בכל שלב זמן. **שלבי אלגוריתם**: 1. אתחול: אוסף המועמדים מכיל מסלולים ריקים 2. לכל צעד זמן: - הרחבת כל מסלולי המועמדים - לשמור על מסלול K עם ההסתברות הגבוהה ביותר 3. החזר את המסלול המלא בהסתברות הגבוהה ביותר **כיוון פרמטרים**: - רוחב קרן K: מאזן בין מורכבות חישובית לאיכות פענוח - עונש אורך: הימנע מהעדפת רצפים קצרים ### חיפוש חבילת קידומת חיפוש חבילת קידומת מתחשב בהסתברות הקידומת של מסלול כדי להימנע מספרי כפול של מסלולים עם אותו קידומה. **רעיון מרכזי**: למזג מסלולים עם אותו קידומת, ולשמור רק על שיטת ההרחבה הסבירה ביותר. ## טכניקות אימון ואופטימיזציה ### קדם-עיבוד נתונים **עיבוד אורך רצף**: - אצווה דינמית: קיבוץ רצפים באורך דומה - אסטרטגיית מילוי: מילוי רצפים קצרים עם סימנים מיוחדים - אסטרטגיית חיתוך: קיצוץ סביר של רצפים ארוכים מדי **עיבוד מוקדם של תווית**: - תקנון סט תווים: קידוד אחיד וכתיבה גדולה של תווים - טיפול מיוחד בתווים: מטפל בסימני פיסוק ורווחים - בניית אוצר מילון: בניית מילון מונחים מלא של דמויות ### אסטרטגיית אימון **למידת קורסים**: התחל אימון עם דגימות פשוטות והעלה בהדרגה את רמת הקושי: - רצפים קצרים עד ארוכים - תמונה ברורה לתמונה מטושטשת - פונטים רגילים לגופנים בכתב יד **שיפור נתונים**: - טרנספורמציות גאומטריה: סיבוב, קנה מידה, חיתוך - הוספת רעש: רעש גאוסיאני, רעש מלח ופלפל - שינויים בתאורה: בהירות, התאמות ניגודיות **טכניקות רגולריזציה**: - נפילה: מניעת התאמת יתר - ירידה במשקל: רגולריזציה L2 - החלקת תווית: מפחיתה ביטחון יתר ### כוונון היפרפרמטרים **תזמון קצב למידה**: - אסטרטגיית חימום: העידנים הראשונים משתמשים בקצב למידה נמוך - חישול קוסינוס: קצב הלמידה מתפרק בהתאם לפונקציית הקוסינוס - כוונון אדפטיבי: מותאם בהתאם לביצועי סט האימות **מבחר גודל אצווה**: - מגבלות זיכרון: שקלו את קיבולת הזיכרון של GPU - יציבות גרדיאנט: מספקת גרדיאנט יציב יותר לקבוצות גדולות יותר - מהירות התכנסות: אימון שיווי משקל, מהירות ויציבות ## שיקולים מעשיים ליישום ### אופטימיזציה חישובית **אופטימיזציה של זיכרון**: - נקודות ביקורת גרדיאנט: מפחיתה את טביעת הרגל של הזיכרון של התפשטות קדימה - אימון דיוק מעורב: הפחתת דרישות הזיכרון עם FP16 - אופטימיזציה דינמית של גרף: אופטימיזציה של הקצאת זיכרון לגרפים מחושבים **אופטימיזציה למהירות**: - מחשוב מקבילי: משתמש ביכולות עיבוד מקבילי של GPU - אופטימיזציה של אלגוריתמים: מיושמת באמצעות אלגוריתמים יעילים קדימה-לאחור - אופטימיזציה של אצווה: קביעת גודל אצווה כראוי ### יציבות מספרית **חישוב הסתברות**: - חישוב לוג-מרחב: מניעת גלישת ערך הנגרמת מכפל הסתברות - חיתוך נומרי: מגביל את טווח ערכי ההסתברות - טכניקות נרמל: להבטיח את תוקף התפלגויות ההסתברות **יציבות גרדיאנט**: - חיתוך גרדיאנט: מונע פיצוצי גרדיאנט - אתחול משקל: השתמש באסטרטגיית אתחול מתאימה - נרמול אצווה: מייצב את תהליך האימון ## הערכת ביצועים ### הערכת מדדים **דיוק ברמת הדמות**: Accuracy_char = מספר התווים שזוהו נכון / מספר תווים כולל **דיוק ברמת סידור**: Accuracy_seq = מספר הרצפים המדויקים במדויק / סך כל הרצפים **מרחק עריכה**: מודד את ההפרש בין הרצף החזוי לרצף הממשי, כולל המינימום של פעולות ההכנסה, המחיקה וההחלפה. ### ניתוח שגיאות **סוגי שגיאות נפוצים**: - בלבול דמות: אי-סדר של דמויות דומות - שגיאות כפולות: CTCs נוטים לייצר תווים כפולים - שגיאת אורך: תחזיות לא מדויקות לאורך רצף **אסטרטגיות שיפור**: - כריית דגימות קשה: התמקדות בדגימות אימון עם שיעורי שגיאה גבוהים - אופטימיזציה של עיבוד לאחר מכן: מתקנת שגיאות באמצעות מודלים של שפה - גישה משולבת: שילוב תחזיות ממספר מודלים ## תקציר פונקציית האובדן של CTC מספקת כלי עוצמתי למידול רצפים, במיוחד בהתמודדות עם בעיות יישור. על ידי הכנסת תיוג ריק ואלגוריתמים דינמיים לתכנות, CTC מממש למידת רצפים מקצה לקצה ומונע שלבי קדם-עיבוד מורכבים. **מסקנות מרכזיות**: - CTC פותר את בעיית חוסר התאמת אורכי רצף הקלט והפלט - אלגוריתמים קדימה-אחורה מספקים חישובי הסתברות יעילים - אסטרטגיית פענוח מתאימה היא קריטית לביצוע הסופי - טכניקות אימון ואסטרטגיות אופטימיזציה משפיעות משמעותית על ביצועי המודל **הצעות לבקשה**: - לבחור את אסטרטגיית הפענוח המתאימה למשימה הספציפית - דגש על טכניקות קדם-עיבוד ושיפור נתונים - התמקדות ביציבות נומרית וביעילות חישובית - אופטימיזציה של עיבוד לאחר העבודה בהתבסס על ידע בתחום היישום המוצלח של CTC הניח יסוד חשוב לפיתוח למידה עמוקה בתחום מידול הרצפים, וגם סיפק תמיכה מרכזית להתקדמות טכנולוגיית ה-OCR.