【סדרת OCR ללמידה עמוקה·5】עקרון ויישום מנגנון קשב

## הקדמה מנגנון הקשב הוא חידוש חשוב בתחום הלמידה העמוקה, המדמה קשב סלקטיבי בתהליכים קוגניטיביים אנושיים. במשימות OCR, מנגנון הקשב יכול לסייע למודל להתמקד באופן דינמי באזורים חשובים בתמונה, ולשפר משמעותית את הדיוק והיעילות של זיהוי טקסט. מאמר זה יעמיק ביסודות התיאורטיים, עקרונות מתמטיים, שיטות יישום ויישומים ספציפיים של מנגנוני קשב ב-OCR, ויספק לקוראים הבנה טכנית מקיפה והכוונה מעשית. ## השלכות ביולוגיות של מנגנוני קשב ### מערכת קשב חזותי אנושית למערכת הראייה האנושית יש יכולת חזקה להקשיב באופן סלקטיבי, מה שמאפשר לנו להפיק מידע שימושי ביעילות בסביבות חזותיות מורכבות. כשאנחנו קוראים טקסט, העיניים מתמקדות אוטומטית בדמות שמזוהה כרגע, עם דיכוי מתון של המידע שמסביב. **מאפייני תשומת הלב האנושית**: - סלקטיביות: יכולת לבחור חלקים חשובים מתוך כמות גדולה של מידע - דינמי: מוקדי הקשב מתאימים דינמית בהתאם לדרישות המשימה - היררכיות: ניתן לפזר תשומת לב ברמות שונות של הפשטה - פרלליזם: ניתן להתמקד במספר אזורים קשורים בו זמנית - רגישות להקשר: הקצאת תשומת לב מושפעת ממידע הקשרי **מנגנונים עצביים של קשב חזותי**: במחקר במדעי המוח, קשב חזותי כולל עבודה מתואמת של אזורים שונים במוח: - קורטקס פריאטלי: אחראי על שליטה בתשומת לב מרחבית - קליפת המוח הפרה-פרונטלית: אחראי על שליטה בתשומת לב ממוקדת מטרה - קורטקס חזותי: אחראי על זיהוי וייצוג תכונות - תלמוס: משמש כתחנת ממסר למידע קשב ### דרישות מודל חישובי רשתות עצביות מסורתיות בדרך כלל דוחסות את כל המידע הקלט לווקטור באורך קבוע בעת עיבוד נתוני רצף. גישה זו כוללת צווארי בקבוק ברורים של מידע, במיוחד כאשר מדובר ברצפים ארוכים, שבהם מידע מוקדם נכתב בקלות על ידי מידע מאוחר יותר. **מגבלות השיטות המסורתיות**: - צווארי בקבוק מידע: וקטורים מקודדים באורך קבוע מתקשים להחזיק את כל המידע החשוב - תלות למרחקים ארוכים: קושי למודל יחסים בין אלמנטים הרחוקים זה מזה ברצף קלט - יעילות חישובית: יש לעבד את כל הרצף כדי לקבל את התוצאה הסופית - הסברנות: קושי בהבנת תהליך קבלת ההחלטות של המודל - גמישות: אי אפשרות לכוונן דינמית את אסטרטגיות עיבוד המידע בהתאם לדרישות המשימה **פתרונות למנגנוני קשב**: מנגנון הקשב מאפשר למודל להתמקד באופן סלקטיבי בחלקים שונים של הקלט בזמן עיבוד כל פלט על ידי הכנסת מנגנון הקצאת משקל דינמי: - בחירה דינמית: בחירה דינמית של מידע רלוונטי בהתבסס על דרישות המשימות הנוכחיות - גישה גלובלית: גישה ישירה לכל מיקום ברצף הקלט - מחשוב מקביל: תומך בעיבוד מקבילי לשיפור היעילות החישובית - הסברנות: משקלי קשב מספקים הסבר חזותי להחלטות המודל ## עקרונות מתמטיים של מנגנוני קשב ### מודל קשב בסיסי הרעיון המרכזי של מנגנון הקשב הוא להקצות משקל לכל אלמנט ברצף הקלט, מה שמשקף עד כמה אותו אלמנט חשוב למשימה. **ייצוג מתמטי**: בהינתן רצף הקלט X = {x₁, x₂, ..., xn} וקטור השאילתה q, מנגנון הקשב מחשב את משקל תשומת הלב עבור כל רכיב קלט: α_i = f(q, x_i) # פונקציית ציון קשב α̃_i = softmax(α_i) = exp(α_i) / Σj exp(αj) # משקל מנורמל וקטור ההקשר הסופי מתקבל על ידי סכום משוקלל: c = Σi α̃_i · x_i **רכיבי מנגנוני הקשב**: 1. שאילתה: מציינת את המידע שצריך לשים לב אליו כרגע 2. מפתח: מידע ההתייחסות המשמש לחישוב משקל תשומת הלב 3. ערך: מידע שמשתתף בפועל בסכום המשוקלל 4. **פונקציית תשומת לב**: פונקציה שמחשבת את הדמיון בין שאילתות למפתחות ### הסבר מפורט על פונקציית ציון קשב פונקציית ציון הקשב קובעת כיצד מחושב המתאם בין השאילתה לקלט. פונקציות ניקוד שונות מתאימות לתרחישי יישום שונים. **1. תשומת לב של מוצר נקודה**: α_i = q^T · x_i זהו מנגנון הקשב הפשוט ביותר ויעיל חישובית, אך דורש ששאילתות וקלטים יהיו בעלי ממדים זהים. **יתרונות**: - חישובים פשוטים ויעילות גבוהה - מספר קטן של פרמטרים ואין צורך בפרמטרים נוספים ללמידה. - להבחין ביעילות בין וקטורים דומים לשונים במרחב מממד גבוה **חסרונות**: - דורש ששאילתות ומפתחות יהיו בעלי ממדים זהים - אי יציבות נומרית יכולה להתרחש במרחב רב-ממדי - חוסר יכולת למידה להסתגל ליחסי דמיון מורכבים **2. תשומת לב נקודת-מוצר בקנה מידה**: α_i = (q^T · x_i) / √d כאשר d הוא הממד של הווקטור. גורם הסקיילינג מונע את בעיית היעלמות הגרדיאנטים הנגרמת על ידי ערך המכפלה הנקודתית הגדול במרחב רב-ממדי. **הצורך בהרחבה**: כאשר הממד d גדול, השונות של מכפלת הנקודה עולה, מה שגורם לפונקציית הסופטמקס להיכנס לאזור הרוויה והגרדיאנט הופך לקטן. על ידי חלוקה ב-√d, ניתן לשמור על השונות של מכפלת הנקודה. **גזירה מתמטית**: בהנחה שהאלמנטים q ו-k הם משתנים אקראיים בלתי תלויים, עם ממוצע 0 ושונות של 1, אז: - q^T · השונות של k היא d - השונות של (q^T · k) / √d היא 1 **3. תשומת לב נוספת**: α_i = v^T · tanh(W_q · q + W_x · x_i) שאילתות וקלטים ממופים לאותו מרחב באמצעות מטריצת פרמטרים ללמידה W_q ו-W_x, ואז מחושב הדמיון. **ניתוח יתרון**: - גמישות: יכולה לטפל בשאילתות ומפתחות בממדים שונים - יכולות למידה: להסתגל ליחסי דמיון מורכבים עם פרמטרים ניתנים ללמידה - יכולות ביטוי: טרנספורמציות לא ליניאריות מספקות יכולות ביטוי משופרות **ניתוח פרמטרים**: - W_q ∈ R^{d_h×d_q}: שאילתא את מטריצת ההקרנה - W_x ∈ R^{d_h×d_x}: מטריצת הקרנת מפתחות - v ∈ R^{d_h}: וקטור משקל קשב - d_h: ממדים של שכבות נסתרות **4. תשומת לב ל-MLP**: α_i = MLP([q; x_i]) השתמש בפרספטרונים רב-שכבתיים כדי ללמוד פונקציות קורלציה בין שאילתות וקלטים ישירות. **מבנה הרשת**: MLPs בדרך כלל כוללים 2-3 שכבות מחוברות במלואן: - שכבת קלט: חיבורי שאילתות ווקטורי מפתח - שכבה נסתרת: הפעלת פונקציות באמצעות ReLU או tanh - שכבת פלט: מפיקה ציוני קשב סקלריים **ניתוח יתרונות וחסרונות**: יתרונות: - כישורי הבעה חזקים ביותר - ניתן ללמוד יחסים לא ליניאריים מורכבים - אין הגבלות על ממדי הקלט חסרונות: - מספר רב של פרמטרים והתאמת יתר קלה - מורכבות חישובית גבוהה - זמן אימון ארוך ### מנגנון ריבוי תשומת לב בראש Multi-Head Attention הוא מרכיב מרכזי בארכיטקטורת הטרנספורמר, המאפשר למודלים לשים לב לסוגי מידע שונים במקביל בתת-מרחבי ייצוג שונים. **הגדרה מתמטית**: MultiHead(Q, K, V) = Concat(head₁, head₂, ..., headh) · W^O כאשר כל ראש תשומת לב מוגדר כך: headi = תשומת לב (Q· W_i^Q, K· W_i^K, V·W_i^V) **מטריצת פרמטרים**: - W_i^Q ∈ R^{d_model×d_k}: מטריצת הקרנת השאילתות של כותרת ה-ith - W_i^K ∈ R^{d_model×d_k}: מטריצת ההטלה המרכזית של כותרת ה-ith - W_i^V ∈ R^{d_model×d_v}: מטריצת הקרנת ערך עבור ראש ה-ith - W^O ∈ R^{h·d_v×d_model}: מטריצת הקרנת פלט **יתרונות של תשומת לב שוורים**: 1. **גיוון**: ראשים שונים יכולים להתמקד בסוגים שונים של תכונות 2. **פרלליזם**: ניתן לחשב מספר ראשים במקביל, מה שמשפר את היעילות 3. **יכולת הבעה**: שיפרה את יכולת הלמידה הייצוגית של המודל 4. **יציבות**: אפקט האינטגרציה של ריבוי ראשים יציב יותר 5. **התמחות**: כל ראש יכול להתמחות בסוגים מסוימים של מערכות יחסים **שיקולים לבחירת ראש**: - מעט מדי ראשים: ייתכן שלא לוכד מספיק גיוון מידע - ספירת ראשים מופרזת: מגבירה את המורכבות החישובית, מה שעלול להוביל להתאמת יתר - אפשרויות נפוצות: 8 או 16 ראשים, מותאמות לפי גודל המודל ומורכבות המשימה **אסטרטגיית הקצאת ממדים**: בדרך כלל מגדירים d_k = d_v = d_model / h כדי להבטיח שכמות הפרמטרים הכוללת סבירה: - לשמור על הנפח החישובי הכולל יציב יחסית - לכל ראש יש יכולת ייצוג מספקת - להימנע מאובדן מידע הנגרם מממדים קטנים מדי ## מנגנון תשומת לב עצמית ### המושג של תשומת לב עצמית תשומת לב עצמית היא צורה מיוחדת של מנגנון תשומת לב שבו שאילתות, מפתחות וערכים כולם מגיעים מאותו רצף קלט. מנגנון זה מאפשר לכל אלמנט ברצף להתמקד בכל שאר האלמנטים ברצף. **ייצוג מתמטי**: עבור רצף הקלט X = {x₁, x₂, ..., xn}: - מטריצת שאילתה: Q = X · W^Q - מטריצת מפתחות: K = X · W^K - מטריצת ערכים: V = X · W^V תפוקת תשומת לב: תשומת לב(Q, K, V) = softmax(QK^T / √d_k) · V **תהליך חישוב של תשומת לב עצמי**: 1. **טרנספורמציה ליניארית**: רצף הקלט מתקבל על ידי שלוש טרנספורמציות ליניאריות שונות לקבלת Q, K ו-V 2. **חישוב דמיון**: חשב את מטריצת הדמיון בין כל זוגות המיקום 3. **נרמול משקל**: השתמש בפונקציית הסופטמקס כדי לנרמל משקלי קשב 4. **סכום משוקלל**: סכום משוקלל של וקטורי ערך בהתבסס על משקלי קשב ### יתרונות של תשומת לב עצמית **1. מידול תלות למרחקים ארוכים**: תשומת לב עצמית יכולה למודל ישירות את הקשר בין כל שתי עמדות ברצף, ללא קשר למרחק. זה חשוב במיוחד במשימות OCR, שבהן זיהוי תווים דורש לעיתים קרובות התחשבות במידע הקשרי מרחוק. **ניתוח מורכבות זמן**: - RNN: חישוב רצף O(n), קשה למקביל - CNN: O(log n) לכיסוי כל הרצף - תשומת לב עצמית: אורך המסלול של O(1) מתחבר ישירות לכל מיקום **2. חישוב מקביל**: בניגוד ל-RNNs, חישוב תשומת הלב העצמית יכול להיות מקביל לחלוטין, מה שמשפר משמעותית את יעילות האימון. **יתרונות המקבילות**: - ניתן לחשב את משקלי הקשב לכל העמדות בו-זמנית - פעולות מטריצה יכולות לנצל במלואו את כוח המחשוב המקבילי של GPU - זמן האימון מתקצר משמעותית בהשוואה ל-RNN **3. פרשנות**: מטריצת משקל הקשב מספקת הסבר חזותי להחלטות המודל, ומקלה על הבנת אופן פעולת המודל. **ניתוח חזותי**: - מפת חום קשב: מראה כמה תשומת לב כל מיקום מקדיש לאחרים - דפוסי קשב: ניתוח דפוסי קשב מראשים שונים - ניתוח היררכי: התבוננות בשינויים בדפוסי קשב ברמות שונות **4. גמישות**: ניתן להרחיב אותו בקלות לרצפים באורכים שונים מבלי לשנות את ארכיטקטורת המודל. ### קידוד מיקום מכיוון שמנגנון תשומת הלב העצמית עצמו אינו מכיל מידע על מיקום, יש לספק למודל מידע מיקום של אלמנטים ברצף באמצעות קידוד מיקום. **הצורך בקידוד מיקום**: מנגנון תשומת הלב העצמית הוא בלתי ניתן לשינוי, כלומר, שינוי סדר רצף הקלט אינו משפיע על הפלט. אבל במשימות OCR, מידע המיקום של הדמויות הוא קריטי. **קידוד מיקום סינוס**: PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) ביניהם: - pos: אינדקס מיקום - i: אינדקס מימד - d_model: ממד המודל **יתרונות קידוד מיקום סינוס**: - דטרמיניסטי: אין צורך בלמידה, מה שמפחית את כמות הפרמטרים - אקסטרפולציה: יכולה להתמודד עם רצפים ארוכים יותר מאשר באימון - מחזוריות: יש לה אופי מחזורי טוב, מה שנוח למודל ללמוד יחסי מיקום יחסיים **קידוד עמדות ללמידה**: קידוד המיקום משמש כפרמטר ללמידה, והייצוג האופטימלי של המיקום נלמד אוטומטית בתהליך האימון. **שיטת היישום**: - הקצאת וקטור ניתן ללמידה לכל מיקום - לסכם עם ההטמעות הקלט כדי לקבל את הקלט הסופי - עדכון קוד המיקום באמצעות הפצה אחורית **יתרונות וחסרונות של קידוד עמדות ללמידה**: יתרונות: - גמיש ללמידת ייצוגים עמדתיים ספציפיים למשימה - הביצועים בדרך כלל מעט טובים יותר מקידוד במיקום קבוע חסרונות: - הגדלת כמות הפרמטרים - חוסר יכולת לעבד רצפים מעבר לאורך האימון - נדרשים נתוני הכשרה נוספים **קידוד מיקום יחסי**: הוא אינו מקודד ישירות למיקום מוחלט, אלא מקודד יחסי מיקום יחסיים. **עקרון היישום**: - הוספת הטיית מיקום יחסית לחישובי קשב - להתמקד רק במרחק היחסי בין האלמנטים, לא במיקומם המוחלט - יכולת הכללה טובה יותר ## יישומי תשומת לב ב-OCR ### תשומת לב רצף לרצף היישום הנפוץ ביותר במשימות OCR הוא השימוש במנגנוני קשב במודלים רצף לרצף. המקודד מקודד את תמונת הקלט לרצף של תכונות, והמפענח מתמקד בחלק הרלוונטי של המקודד דרך מנגנון תשומת לב כשהוא יוצר כל תו. **ארכיטקטורת מקודד-מפענח**: 1. **מקודד**: CNN מחלץ תכונות תמונה, RNN מקודד לייצוג רצף 2. **מודול תשומת לב**: מחשב את משקל הקשב של מצב המפענח ופלט המקודד 3. **מפענח**: יצירת רצפי תווים המבוססים על וקטורי הקשר משוקללים לפי קשב **תהליך חישוב תשומת לב**: ברגע הפענוח t, מצב המפענח הוא s_t, ופלט המקודד הוא H = {h₁, h₂, ..., hn}: e_ti = a(s_t, h_i) # ציון קשב α_ti = softmax(e_ti) # תשומת לב משקל c_t = Σi α_ti · h_i # וקטור הקשר **בחירת פונקציות קשב**: פונקציות קשב נפוצות כוללות: - תשומת לב מצטברת: e_ti = s_t^T · h_i - תשומת לב מצטברת: e_ti = v^T · tanh(W_s · s_t + W_h · h_i) - קשב ביליניארי: e_ti = s_t^T · W · h_i ### מודול תשומת לב חזותית קשב ויזואלי מיישם מנגנוני קשב ישירות על מפת תכונות התמונה, ומאפשר למודל להתמקד באזורים חשובים בתמונה. **תשומת לב מרחבית**: חשב את משקלי הקשב עבור כל מיקום מרחבי במפת התכונות: A(i,j) = σ(W_a · [F(i,j); g]) ביניהם: - F(i,j): וקטור עצמי של מיקום (i,j). - g: מידע על הקשר גלובלי - W_a: מטריצת משקל ללמידה - σ: פונקציית הפעלה של סיגמואיד **שלבים להשגת תשומת לב מרחבית**: 1. **חילוץ תכונות**: השתמש ב-CNN כדי לחלץ מפות תכונות תמונה 2. **אגרגציה מידע גלובלית**: השגת תכונות גלובליות באמצעות איגוד ממוצע גלובלי או איגוד מקסימלי גלובלי 3. **חישוב תשומת לב**: חישוב משקלי תשומת לב על בסיס תכונות מקומיות וגלובליות 4. **שדרוג תכונות**: שדרג את התכונה המקורית עם משקלי תשומת לב **תשומת לב ערוץ**: משקלי הקשב מחושבים עבור כל ערוץ בגרף התכונות: A_c = σ(W_c · GAP(F_c)) ביניהם: - GAP: איגוד ממוצע עולמי - F_c: מפת תכונות של ערוץ c - W_c: מטריצת המשקל של תשומת הלב של הערוץ **עקרונות תשומת הלב של הערוץ**: - ערוצים שונים לוכדים סוגים שונים של תכונות - בחירת ערוצי תכונה חשובים באמצעות מנגנוני קשב - לדכא תכונות לא רלוונטיות ולשפר תכונות שימושיות **תשומת לב מעורבת**: שלב קשב מרחבי וקשב ערוץ: F_output = F ⊙ A_spatial ⊙ A_channel כאשר ⊙ מייצג כפל ברמת האלמנט. **יתרונות של תשומת לב מעורבת**: - לשקול את חשיבות הממדים המרחביים והממדים של המעבר - יכולות בחירת תכונות משופרות יותר - ביצועים טובים יותר ### תשומת לב רב-קנית הטקסט במשימת ה-OCR הוא בקנה מידה שונה, ומנגנון הקשב הרב-קנה מידה יכול להתמקד במידע רלוונטי ברזולוציות שונות. **תשומת לב אופיינית לפירמידה**: מנגנון הקשב מיושם על מפות תכונות בקנה מידה שונים, ואז תוצאות הקשב של מספר סולמות מתאחדות. **ארכיטקטורת יישום**: 1. **חילוץ תכונות בקנה מידה רב**: השתמש ברשתות פירמידת תכונות כדי לחלץ תכונות בקני מידה שונים 2. **קשב ספציפי למשקל**: מחשב את משקלי הקשב באופן עצמאי בכל סולם 3. **מיזוג חוצה קנה מידה**: שילוב תוצאות קשב לב מסולמות שונים 4. **תחזית סופית**: לבצע תחזית סופית בהתבסס על התכונות הממוזגות **בחירת קנה מידה אדפטיבי**: בהתאם לצרכי משימת הזיהוי הנוכחית, סולם התכונות המתאים ביותר נבחר דינמית. **אסטרטגיית בחירה**: - בחירה מבוססת תוכן: בוחר אוטומטית את הקנה מידה המתאים בהתאם לתוכן התמונה - בחירה מבוססת משימה: בחר את הסולם בהתבסס על מאפייני המשימה שזוהתה - הקצאת משקל דינמית: הקצאת משקלים דינמיים לסולמות שונים ## וריאציות של מנגנוני קשב ### תשומת לב דלילה המורכבות החישובית של מנגנון הקשב העצמי הסטנדרטי היא O(n²), שהיא יקרה חישובית לרצפים ארוכים. תשומת לב דלילה מפחיתה את המורכבות החישובית על ידי הגבלת טווח הקשב. **תשומת לב מקומית**: כל מיקום מתמקד רק במיקום שבתוך החלון הקבוע סביבו. **ייצוג מתמטי**: עבור מיקום i, מחושב רק משקל הקשב בטווח המיקום [i-w, i+w], כאשר w הוא גודל החלון. **ניתוח יתרונות וחסרונות**: יתרונות: - מורכבות חישובית מופחתת ל-O(n·w) - נשמר מידע על הקשר מקומי - מתאים לטיפול ברצפים ארוכים חסרונות: - לא מסוגל ללכוד תלות למרחקים ארוכים - גודל החלון צריך להיות מכוון בקפידה - אובדן פוטנציאלי של מידע גלובלי חשוב **קש תשומת לב**: חלק את הרצף לחלקים, שכל אחד מתמקד רק בשאר החלקים באותו בלוק. **שיטת היישום**: 1. חלק את הרצף באורך n לבלוקים n/b, שכל אחד מהם בגודל b 2. חשב את תשומת הלב המלאה בתוך כל בלוק 3. אין חישוב תשומת לב בין בלוקים מורכבות חישובית: O(n·b), כאשר b << n **תשומת לב אקראית**: כל מיקום בוחר באקראי חלק מהמיקום לצורך חישוב תשומת הלב. **אסטרטגיית בחירה אקראית**: - אקראי קבוע: דפוסי חיבור אקראיים שנקבעו מראש - אקראי דינמי: בחירת חיבורים דינמית במהלך האימון - אקראי מובנה: משלב חיבורים מקומיים ואקראיים ### תשומת לב ליניארית קשב ליניארי מפחיתה את מורכבות חישובי הקשב מ-O(n²) ל-O(n) באמצעות טרנספורמציות מתמטיות. **תשומת לב גרעינית**: קירוב פעולות סופטמקס באמצעות פונקציות ליבה: תשומת לב(Q, K, V) ≈ φ(Q) · (φ(K)^T · V) φ מהן הן פונקציות מיפוי תכונות. **פונקציות ליבה נפוצות**: - ליבת ReLU: φ(x) = ReLU(x) - ליבת ELU: φ(x) = ELU(x) + 1 - גרעיני תכונות אקראיות: שימוש בתכונות פורייה אקראיות **יתרונות קשב ליניארי**: - מורכבות חישובית עולה באופן ליניארי - דרישות הזיכרון מופחתות משמעותית - מתאים לטיפול ברצפים ארוכים מאוד **פשרות ביצועים**: - דיוק: בדרך כלל מעט מתחת לרמת הקשב הסטנדרטית - יעילות: משפרת משמעותית את היעילות החישובית - ישמות: מתאים לתרחישים עם משאבים מוגבלים ### קרוס קרב במשימות רב-מודליות, תשומת לב צולבת מאפשרת אינטראקציה של מידע בין מודאליות שונות. **תמונה-טקסט קשב צולב**: תכונות טקסט משמשות כשאילתות, ותכונות תמונה משמשות כמפתחות וערכים למימוש תשומת הלב של הטקסט לתמונות. **ייצוג מתמטי**: CrossAttention(Q_text, K_image, V_image) = softmax(Q_text · K_image^T / √d) · V_image **תרחישי יישומים**: - יצירת תיאור תמונה - שאלות ותשובות ויזואליות - הבנת מסמכים רב-מודליים **תשומת לב דו-כיוונית**: חשב גם קשב תמונה לטקסט וגם טקסט לתמונה. **שיטת היישום**: 1. תמונה לטקסט: תשומת לב (Q_image, K_text, V_text) 2. טקסט לתמונה: תשומת לב (Q_text, K_image, V_image) 3. מיזוג תכונות: מיזוג הקשב מוביל לשני הכיוונים ## אסטרטגיות אימון ואופטימיזציה ### פיקוח קשב הנחה את המודל ללמוד את דפוסי הקשב הנכונים על ידי מתן אותות מפוקחים לתשומת לב. **אובדן יישור קשב**: L_align = || A - A_gt|| ² ביניהם: - A: מטריצת משקל קשב חזויה - A_gt: תגי תשומת לב אותנטיים **רכישת אותות מפוקח**: - הערות ידניות: מומחים מסמנים תחומים חשובים - היוריסטיקות: יצירת תוויות תשומת לב המבוססות על כללים - פיקוח חלש: שימוש באותות פיקוח גסים **הסדרת קשב**: עודדו דליל או חלקות במשקל תשומת הלב: L_reg = λ₁ · || A|| ₁ + λ₂ · || ∇A|| ² ביניהם: - || A|| ₁: רגולריזציה של L1 לעידוד דלילות - || ∇A|| ²: רגולריזציה של חלקות, עידוד משקלי קשב דומים במצבים סמוכים **למידה בריבוי משימות**: חיזוי קשב משמש כמשימה משנית ומאומן בשילוב עם המשימה הראשית. **עיצוב פונקציית אובדן**: L_total = L_main + α · L_attention + β · L_reg כאשר α ו-β הם ההיפרפרמטרים שמאזנים איברי הפסד שונים. ### ויזואליזציה של קשב המחשה של משקלי קשב עוזרת להבין כיצד המודל עובד ולפתור בעיות בגיאות. **המחשת מפת חום**: מפה את משקלי הקשב כמפת חום, תוך חשיבה עליהם על התמונה המקורית כדי להראות את אזור העניין של המודל. **שלבי יישום**: 1. להוציא את מטריצת משקל תשומת הלב 2. מפות את ערכי המשקל למרחב הצבע 3. התאימו את גודל מפת החום כך שתתאים לתמונה המקורית 4. שכבה או צד לצד זה **מסלול תשומת לב**: מציג את מסלול התנועה של מוקד תשומת הלב במהלך הפענוח, ומסייע בהבנת תהליך הזיהוי של המודל. **ניתוח מסלול**: - סדר תנועת תשומת הלב - מגורים עם טווח קשב - דפוס קפיצות קשב - זיהוי התנהגות קשב חריגת **הדמיית קשב מרובת ראש**: התפלגות המשקל של ראשי הקשב השונים מוצגת בנפרד, ומנותחת רמת ההתמחות של כל ראש. **ממדים אנליטיים**: - הבדלים ראש בראש: הבדלים אזוריים שמעניינים ראשים שונים - התמחות ראש: חלק מהראשים מתמחים בסוגים מסוימים של תכונות - חשיבות הראשים: התרומה של ראשים שונים לתוצאה הסופית ### אופטימיזציה חישובית **אופטימיזציה של זיכרון**: - נקודות ביקורת גרדיאנט: משתמשים בנקודות ביקורת גרדיאנטיות באימון רצף ארוך כדי להפחית את טביעת הרגל של הזיכרון - דיוק מעורב: מפחית את דרישות הזיכרון עם אימון FP16 - מטמון קשב: מטמונים חישבו את משקלי הקשב **האצה חישובית**: - חתיכת מטריצות: חישוב מטריצות גדולות במקטעים כדי להפחית שיאי זיכרון - חישובים דלילים: האצת חישובים עם דלילות משקלי תשומת הלב - אופטימיזציה של חומרה: אופטימיזציה של חישובי תשומת לב עבור חומרה ספציפית **אסטרטגיית המקבילות**: - מקביליות נתונים: עיבוד דגימות שונות במקביל על מספר כרטיסי מסך - מקביליות במודל: פיזור חישובי קשב על פני מספר מכשירים - פרלליזציה של צינור: שכבות חישוב שונות של צינור ## הערכת ביצועים וניתוח ### הערכת איכות קשב **דיוק קשב**: מדוד את יישור משקלי הקשב באמצעות הערות ידניות. נוסחת חישוב: דיוק = (מספר המיקומים הממוקדים נכון) / (סך כל המיקומים) **ריכוז**: ריכוז התפלגות הקשב נמדד באמצעות אנטרופיה או מקדם ג'יני. חישוב אנטרופיה: H(A) = -Σi αi · log(αi) כאשר αi הוא משקל הקשב של מיקום ה-i. **יציבות קשב**: הערך את עקביות דפוסי הקשב תחת קלטים דומים. מדדי יציבות: יציבות = 1 - || A₁ - A₂|| ₂ / 2 כאשר A₁ ו-A₂ הן מטריצות משקל הקשב של קלטים דומים. ### ניתוח יעילות חישובית **מורכבות הזמן**: לנתח את המורכבות החישובית ואת זמן הריצה בפועל של מנגנוני קשב שונים. השוואת מורכבות: - תשומת לב סטנדרטית: O(n²d) - תשומת לב דלילה: O(n·k·d), k<< n - קשב ליניארי: O(n·d²) **שימוש בזיכרון**: הערך את הביקוש לזיכרון GPU למנגנוני קשב. ניתוח זיכרון: - מטריצת משקל תשומת לב: O(n²) - תוצאת חישוב ביניים: O(n·d) - אחסון בשיפוע: O(n²d) **ניתוח צריכת אנרגיה**: הערך את השפעת צריכת האנרגיה של מנגנוני קשב על מכשירים ניידים. גורמי צריכת אנרגיה: - עוצמת חישוב: מספר פעולות נקודה צפה - גישה לזיכרון: עומס העברת נתונים - ניצול חומרה: שימוש יעיל במשאבי מחשוב ## מקרי יישום בעולם האמיתי ### זיהוי טקסט בכתב יד בזיהוי טקסט בכתב יד, מנגנון הקשב עוזר למודל להתמקד בתו שהוא מזהה כרגע, תוך התעלמות ממידע מסיח דעת אחר. **השפעות יישום**: - דיוק הזיהוי עלה ב-15-20% - עמידות משופרת לרקעים מורכבים - שיפור ביכולת לטפל בטקסט מסודר בצורה לא סדירה **יישום טכני**: 1. **קשב מרחבי**: שים לב לאזור המרחבי שבו הדמות נמצאת 2. **תשומת לב זמנית**: ניצל את הקשר הזמני בין הדמויות 3. **תשומת לב רב-קניות**: טיפול בדמויות בגדלים שונים **מחקר מקרה**: במשימות זיהוי מילים באנגלית בכתב יד, מנגנוני קשב יכולים: - מיקום מדויק של מיקום כל תו - לטפל בתופעת הקווים הרציפים בין תווים - להשתמש בידע במודל השפה ברמת המילה ### זיהוי טקסט של סצנה בסצנות טבעיות, הטקסט מוטמע לעיתים קרובות ברקעים מורכבים, ומנגנוני קשב יכולים להפריד ביעילות בין טקסט לרקע. **תכונות טכניות**: - תשומת לב רב-קנית לעבודה עם טקסט בגדלים שונים - תשומת לב מרחבית לאיתור אזורי טקסט - בחירת קשב ערוץ של תכונות שימושיות **אתגרים ופתרונות**: 1. **הסחת דעת ברקע**: סינון רעשי רקע באמצעות תשומת לב מרחבית 2. **שינויים בתאורה**: להסתגל לתנאי תאורה שונים דרך קשב ערוץ 3. **עיוות גיאומטרי**: משלב תיקון גיאומטרי ומנגנוני קשב **שיפורי ביצועים**: - שיפור של 10-15% בדיוק במאגרי הנתונים של ICDAR - שיפור משמעותי ביכולת ההסתגלות לתרחישים מורכבים - מהירות ההסקה נשמרת במגבלות מקובלות ### ניתוח מסמכים במשימות ניתוח מסמכים, מנגנוני קשב מסייעים למודלים להבין את המבנה והיחסים ההיררכיים של מסמכים. **תרחישי יישומים**: - זיהוי טבלה: התמקדות במבנה העמודות של הטבלה - ניתוח פריסה: זיהוי אלמנטים כמו כותרות, גוף, תמונות ועוד - חילוץ מידע: איתור מיקום המידע המרכזי **חדשנות טכנולוגית**: 1. **קשב היררכי**: יישם תשומת לב ברמות שונות 2. **קשב מובנה**: שקלו את המידע המובנה של המסמך 3. **קשב רב-מודלי**: שילוב טקסט ומידע חזותי **תוצאות מעשיות**: - להגדיל את דיוק זיהוי הטבלאות ביותר מ-20% - שיפור משמעותי בכוח עיבוד לפריסות מורכבות - דיוק חילוץ המידע השתפר משמעותית ## מגמות פיתוח עתידיות ### מנגנון קשב יעיל ככל שאורך הרצף גדל, העלות החישובית של מנגנון הקשב הופכת לצוואר בקבוק. כיווני מחקר עתידיים כוללים: **אופטימיזציה של אלגוריתמים**: - מצב קשב דליל יעיל יותר - שיפורים בשיטות חישוב מקורבות - עיצוב תשומת לב ידידותי לחומרה **חדשנות אדריכלית**: - מנגנון קשב היררכי - ניתוב קשב דינמי - תרשימי חישוב אדפטיביים **פריצת דרך תיאורטית**: - ניתוח תיאורטי של מנגנון הקשב - הוכחה מתמטית לדפוסי קשב אופטימליים - תיאוריה מאוחדת של קשב ומנגנונים נוספים ### תשומת לב רב-מודלית מערכות OCR עתידיות ישלבו מידע נוסף ממספר מודאליות: **מיזוג ויזואלי-שפה**: - תשומת לב משותפת לתמונות וטקסט - העברת מידע בין מודאליות - ייצוג מולטימודלי מאוחד **מיזוג מידע זמני**: - תזמון תשומת לב ב-OCR וידאו - מעקב טקסט לסצנות דינמיות - מידול משותף של מרחב-זמן **מיזוג רב-חיישנים**: - שילוב תשומת לב תלת-ממדית עם מידע עומק - מנגנוני קשב לתמונות רב-ספקטרליות - מידול משותף של נתוני חיישנים ### שיפור פרשנות שיפור יכולת הפרשנות של מנגנוני קשב הוא כיוון מחקר חשוב: **הסבר תשומת לב**: - שיטות ויזואליזציה אינטואיטיביות יותר - הסבר סמנטי לדפוסי קשב - כלים לניתוח שגיאות וניפוי שגיאות **היגיון סיבתי**: - ניתוח סיבתי של תשומת לב - שיטות חשיבה נגד-עובדתית - טכנולוגיית אימות עמידות **אינטראקציה בין אדם למחשב**: - התאמות קשב אינטראקטיביות - שילוב משוב של משתמשים - מצב תשומת לב מותאם אישית ## תקציר כחלק חשוב בלמידה עמוקה, מנגנון הקשב ממלא תפקיד הולך וגדל בתחום ה-OCR. מרצף בסיסי ועד תשומת לב רצף לתשומת לב עצמית מורכבת מרובת ראשים, מתשומת לב מרחבית ועד תשומת לב רב-קנה מידה, פיתוח טכנולוגיות אלו שיפר משמעותית את ביצועי מערכות ה-OCR. **מסקנות מרכזיות**: - מנגנון הקשב מדמה את יכולת הקשב הסלקטיבי האנושי ופותר את בעיית צווארי הבקבוק במידע - עקרונות מתמטיים מבוססים על סכום משוקלל, המאפשרים בחירת מידע על ידי למידת משקלי קשב - קשב רב-ראשי ותשומת לב עצמית הן הטכניקות המרכזיות של מנגנוני קשב מודרניים - יישומים ב-OCR כוללים מידול רצפים, תשומת לב ויזואלית, עיבוד רב-קנה מידה ועוד - כיווני פיתוח עתידיים כוללים אופטימיזציה של יעילות, מיזוג מולטימודלי, שיפור פרשנות ועוד **עצה מעשית**: - לבחור את מנגנון הקשב המתאים למשימה הספציפית - שים לב לאיזון בין יעילות חישובית לביצועים - לנצל במלואו את יכולת הפירוש של תשומת הלב לניפוי שגיאות במודל - לעקוב אחרי ההתקדמות המחקרית והטכנולוגית העדכניות ביותר ככל שהטכנולוגיה ממשיכה להתפתח, מנגנוני תשומת הלב ימשיכו להתפתח, ויספקו כלים חזקים אף יותר ל-OCR וליישומי AI אחרים. הבנה ושליטה בעקרונות וביישומים של מנגנוני קשב היא קריטית עבור טכנאים העוסקים במחקר ופיתוח OCR.