【ซีรี่ส์ OCR การเรียนรู้เชิงลึก·7】ฟังก์ชันการสูญเสีย CTC และเทคนิคการฝึกอบรม

## บทนํา Connectionist Temporal Classification (CTC) เป็นความก้าวหน้าที่สําคัญในการสร้างแบบจําลองลําดับการเรียนรู้เชิงลึก โดยเฉพาะอย่างยิ่งในด้าน OCR CTC แก้ปัญหาพื้นฐานของความไม่ตรงกันระหว่างความยาวของลําดับอินพุตและลําดับเอาต์พุตทําให้สามารถเรียนรู้ลําดับแบบ end-to-end บทความนี้จะเจาะลึกหลักการทางคณิตศาสตร์ การใช้งานอัลกอริทึม และเทคนิคการเพิ่มประสิทธิภาพการฝึกอบรมของ CTC ## แนวคิดพื้นฐานของ CTC ### ปัญหาการจัดตําแหน่งลําดับ ในงาน OCR เราเผชิญกับความท้าทายดังต่อไปนี้: **ความยาวไม่ตรงกัน**: ความยาวของลําดับคุณลักษณะภาพอินพุตแตกต่างจากความยาวของลําดับข้อความที่ส่งออก ตัวอย่างเช่น คําที่มีอักขระ 3 ตัวอาจสอดคล้องกับลําดับคุณลักษณะ 100 ขั้นตอนเวลา **ตําแหน่งที่ไม่แน่นอน**: ไม่ทราบตําแหน่งที่แน่นอนของตัวละครแต่ละตัวในภาพ วิธีการแบบดั้งเดิมต้องการการแบ่งส่วนอักขระที่แม่นยํา ซึ่งเป็นเรื่องยากในการใช้งานจริง **ความยากลําบากในการแบ่งส่วนอักขระ**: ข้อความที่เขียนด้วยลายมือ หรือแบบอักษรศิลปะอย่างต่อเนื่องพยายามแยกออกเป็นอักขระแต่ละตัวอย่างแม่นยํา ### โซลูชั่นของ CTC CTC แก้ปัญหาการจัดตําแหน่งลําดับด้วยวิธีที่เป็นนวัตกรรมใหม่ดังต่อไปนี้: ขอแนะนําเครื่องหมายเปล่า: ใช้เครื่องหมายเปล่าพิเศษเพื่อจัดการกับการจัดตําแหน่ง แท็กเปล่าไม่สอดคล้องกับอักขระเอาต์พุตใดๆ และใช้เพื่อแยกอักขระที่ซ้ํากันออกจากลําดับการเติม ความน่าจะเป็นของเส้นทาง: คํานวณความน่าจะเป็นของเส้นทางการจัดตําแหน่งที่เป็นไปได้ทั้งหมด แต่ละเส้นทางแสดงถึงการโต้ตอบขั้นตอนแบบอักขระต่อเวลาที่เป็นไปได้ **การวางแผนแบบไดนามิก**: คํานวณความน่าจะเป็นของเส้นทางอย่างมีประสิทธิภาพโดยใช้อัลกอริทึมเดินหน้า-ถอยหลังหลีกเลี่ยงการแจกแจงเส้นทางที่เป็นไปได้ทั้งหมด ## หลักการทางคณิตศาสตร์ของ CTC ### คําจํากัดความพื้นฐาน กําหนดลําดับอินพุต X = (x₁, x₂, ..., xt) และลําดับเป้าหมาย Y = (y₁, y₂, ..., yu) โดยที่ T ≥ U ชุดแท็ก: L = {1, 2, ..., K} ประกอบด้วยหมวดหมู่อักขระ K **คอลเลกชันแท็กเพิ่มเติม**: L_ext = L ∪ {blank} ประกอบด้วยแท็กว่าง **เส้นทางการจัดตําแหน่ง**: ลําดับความยาว T π = (π₁, π₂, ..., πt) โดยที่ πt ∈ L_ext ### การแมปเส้นทางไปยังแท็ก CTC กําหนดฟังก์ชันการแม็ป B ที่แปลงเส้นทางการจัดตําแหน่งเป็นลําดับป้ายชื่อเอาต์พุต: 1. ลบเครื่องหมายว่างทั้งหมด 2. รวมอักขระที่ซ้ํากันต่อเนื่องกัน **ตัวอย่างการทําแผนที่**: - π = (a, a, ว่าง, b, b, b, b) → b(π) = (a, b, b) - π = (ว่าง, c, c, a, ว่าง, t) → B (π) = (c, a, t) ### ฟังก์ชั่นการสูญเสีย CTC ฟังก์ชันการสูญเสีย CTC ถูกกําหนดให้เป็นลอการิทึมลบของผลรวมของความน่าจะเป็นของเส้นทางทั้งหมดที่แมปกับลําดับเป้าหมาย Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) โดยที่ B⁻¹(Y) คือเซตของเส้นทางทั้งหมดที่แมปกับ Y ความน่าจะเป็นของเส้นทาง: สมมติว่าการคาดการณ์ของแต่ละขั้นตอนเวลาเป็นอิสระความน่าจะเป็นของเส้นทางคือ: ป (π| X) = ∏t yt^{πt} โดยที่ yt^{πt} คือความน่าจะเป็นของขั้นตอนเวลา t ที่ทํานายป้ายกํากับ πt ## อัลกอริทึมเดินหน้า-ถอยหลัง ### อัลกอริทึมไปข้างหน้า อัลกอริทึมไปข้างหน้าจะคํานวณความน่าจะเป็นของเส้นทางจากจุดเริ่มต้นของลําดับไปยังตําแหน่งปัจจุบัน **ลําดับฉลากเพิ่มเติม**: เพื่อความสะดวกในการคํานวณ ให้ขยายลําดับเป้าหมาย Y เป็น Y_ext โดยแทรกแท็กว่างก่อนและหลังอักขระแต่ละตัว **การเริ่มต้น**: - α₁(1) = y₁^{ว่าง} (ตําแหน่งแรกว่างเปล่า) - α₁(2) = y₁^{y₁} (ตําแหน่งแรกคืออักขระตัวแรก) - α₁(s) = 0 สําหรับสถานที่อื่น **สูตรเรียกซ้ํา**: สําหรับ t > 1 และตําแหน่ง s: - หาก Y_ext[s] ว่างเปล่าหรือเหมือนกับอักขระก่อนหน้า: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - มิฉะนั้น: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### อัลกอริทึมย้อนหลัง อัลกอริทึมย้อนกลับจะคํานวณความน่าจะเป็นของเส้นทางจากตําแหน่งปัจจุบันไปยังจุดสิ้นสุดของลําดับ **การเริ่มต้น**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (หากแท็กสุดท้ายไม่ว่างเปล่า) - β_T = 0 สําหรับสถานที่อื่น **สูตรเรียกซ้ํา**: สําหรับ t < T และตําแหน่ง s: - หาก Y_ext [s+1] ว่างเปล่าหรือเหมือนกับอักขระปัจจุบัน: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - มิฉะนั้น: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### การคํานวณการไล่ระดับสี ความน่าจะเป็นทั้งหมด:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **การไล่ระดับสีของความน่าจะเป็นของฉลาก**: ∂(-ln P(Y| X))/∂y_k^t = -1/P(Y| X) × σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## กลยุทธ์การถอดรหัส CTC ### การถอดรหัสโลภ โลภถอดรหัสฉลากด้วยความน่าจะเป็นสูงสุดในแต่ละขั้นตอน: π_t = argmax_k y_t^k จากนั้นใช้การแมป B เพื่อรับลําดับสุดท้าย **ข้อดี**: คํานวณง่ายและความเร็วที่รวดเร็ว **ข้อเสีย**: อาจไม่ได้รับโซลูชันที่เหมาะสมที่สุดทั่วโลก ### การถอดรหัสการค้นหาบันเดิล การค้นหาด้วยลําแสงจะรักษาเส้นทางผู้สมัครหลายเส้นทาง โดยขยายเส้นทางที่มีแนวโน้มมากที่สุดในแต่ละขั้นตอน **ขั้นตอนอัลกอริทึม**: 1. เริ่มต้น: คอลเลกชันผู้สมัครมีเส้นทางว่างเปล่า 2. สําหรับแต่ละขั้นตอนเวลา: - ขยายเส้นทางผู้สมัครทั้งหมด - รักษาเส้นทาง K ให้มีความน่าจะเป็นสูงสุด 3. ส่งคืนเส้นทางที่สมบูรณ์ด้วยความน่าจะเป็นสูงสุด **การปรับแต่งพารามิเตอร์**: - Beam Width K: สร้างสมดุลระหว่างความซับซ้อนในการคํานวณกับคุณภาพการถอดรหัส - บทลงโทษความยาว: หลีกเลี่ยงการชอบลําดับสั้น ๆ ### การค้นหาชุดคํานําหน้า การค้นหากลุ่มคํานําหน้าจะพิจารณาความน่าจะเป็นของคํานําหน้าของเส้นทางเพื่อหลีกเลี่ยงการนับเส้นทางซ้ําที่มีคํานําหน้าเดียวกัน **แนวคิดหลัก**: รวมเส้นทางที่มีคํานําหน้าเดียวกัน และเก็บเฉพาะวิธีการขยายที่เป็นไปได้มากที่สุดเท่านั้น ## เทคนิคการฝึกอบรมและการเพิ่มประสิทธิภาพ ### การประมวลผลข้อมูลล่วงหน้า **การประมวลผลความยาวลําดับ**: - การแบทช์แบบไดนามิก: การจัดกลุ่มลําดับที่มีความยาวใกล้เคียงกัน - กลยุทธ์การเติม: เติมลําดับสั้น ๆ ด้วยเครื่องหมายพิเศษ - กลยุทธ์การตัดทอน: ตัดทอนลําดับที่ยาวเกินไปอย่างสมเหตุสมผล **การประมวลผลฉลากล่วงหน้า**: - การกําหนดมาตรฐานชุดอักขระ: การเข้ารหัสอักขระและการใช้อักษรตัวพิมพ์ใหญ่ที่สม่ําเสมอ - การจัดการอักขระพิเศษ: จัดการเครื่องหมายวรรคตอนและช่องว่าง - การสร้างคําศัพท์: สร้างอภิธานศัพท์ของตัวละครที่สมบูรณ์ ### กลยุทธ์การฝึกอบรม **การเรียนรู้หลักสูตร**: เริ่มการฝึกอบรมด้วยตัวอย่างง่ายๆ และค่อยๆ เพิ่มความยาก: - ลําดับสั้นถึงยาว - ภาพที่ชัดเจนถึงภาพเบลอ - แบบอักษรปกติเป็นแบบอักษรที่เขียนด้วยลายมือ **การปรับปรุงข้อมูล**: - การแปลงรูปทรงเรขาคณิต: หมุน ปรับขนาด ตัด - การเพิ่มเสียงรบกวน: เสียงเกาส์เซียน, เสียงเกลือและพริกไทย - การเปลี่ยนแปลงของแสง: การปรับความสว่าง คอนทราสต์ **เทคนิคการทําให้เป็นมาตรฐาน**: - Dropout: ป้องกันการโอเวอร์ฟิตติ้ง - การเสื่อมสภาพของน้ําหนัก: L2 regularization - การปรับฉลากให้เรียบ: ลดความมั่นใจมากเกินไป ### การปรับแต่งไฮเปอร์พารามิเตอร์ **การจัดตารางอัตราการเรียนรู้**: - กลยุทธ์การวอร์มอัพ: สองสามยุคแรกใช้อัตราการเรียนรู้เพียงเล็กน้อย - การหลอมโคไซน์: อัตราการเรียนรู้จะลดลงตามฟังก์ชันโคไซน์ - การปรับจูนแบบปรับได้: ปรับตามประสิทธิภาพของชุดการตรวจสอบความถูกต้อง **การเลือกขนาดแบทช์**: - ข้อจํากัดของหน่วยความจํา: พิจารณาความจุหน่วยความจํา GPU - ความเสถียรของการไล่ระดับสี: ให้การไล่ระดับสีที่เสถียรยิ่งขึ้นสําหรับแบทช์ขนาดใหญ่ - ความเร็วการบรรจบกัน: ปรับสมดุลความเร็วและความเสถียรในการฝึก ## ข้อควรพิจารณาในการใช้งานจริง ### การเพิ่มประสิทธิภาพการคํานวณ **การเพิ่มประสิทธิภาพหน่วยความจํา**: - จุดตรวจสอบการไล่ระดับสี: ลดรอยเท้าหน่วยความจําของการแพร่กระจายไปข้างหน้า - การฝึกอบรมที่มีความแม่นยําแบบผสม: ลดความต้องการหน่วยความจําด้วย FP16 - การเพิ่มประสิทธิภาพกราฟแบบไดนามิก: ปรับการจัดสรรหน่วยความจําให้เหมาะสมสําหรับกราฟที่คํานวณได้ **การเพิ่มประสิทธิภาพความเร็ว**: - การประมวลผลแบบขนาน: ใช้ความสามารถในการประมวลผลแบบขนานของ GPU - การเพิ่มประสิทธิภาพอัลกอริทึม: ดําเนินการโดยใช้อัลกอริทึมไปข้างหน้าไปข้างหลังที่มีประสิทธิภาพ - การเพิ่มประสิทธิภาพแบทช์: กําหนดขนาดแบทช์ให้เหมาะสม ### ความเสถียรของตัวเลข **การคํานวณความน่าจะเป็น**: - การคํานวณพื้นที่บันทึก: หลีกเลี่ยงค่าล้นที่เกิดจากการคูณความน่าจะเป็น - การตัดตัวเลข: จํากัดช่วงของค่าความน่าจะเป็น - เทคนิคการทําให้เป็นมาตรฐาน: ตรวจสอบความถูกต้องของการแจกแจงความน่าจะเป็น **ความเสถียรของการไล่ระดับสี**: - การครอบตัดการไล่ระดับสี: ป้องกันการระเบิดของการไล่ระดับสี - การเริ่มต้นน้ําหนัก: ใช้กลยุทธ์การเริ่มต้นที่เหมาะสม - การทําให้เป็นมาตรฐานของแบทช์: ทําให้กระบวนการฝึกอบรมมีเสถียรภาพ ## การประเมินผลการปฏิบัติงาน ### ประเมินเมตริก **ความแม่นยําระดับตัวละคร**: Accuracy_char = จํานวนอักขระที่จดจําได้อย่างถูกต้อง / จํานวนอักขระทั้งหมด **ความแม่นยําระดับอนุกรม**: Accuracy_seq = จํานวนลําดับที่ถูกต้องทุกประการ / จํานวนลําดับทั้งหมด **ระยะการแก้ไข**: วัดความแตกต่างระหว่างลําดับที่คาดการณ์ไว้และลําดับจริง รวมถึงจํานวนขั้นต่ําของการแทรก การลบ และการแทนที่ ### การวิเคราะห์ข้อผิดพลาด **ประเภทข้อผิดพลาดทั่วไป**: - ความสับสนของตัวละคร: การระบุตัวละครที่คล้ายกันผิดพลาด - ข้อผิดพลาดที่ซ้ํากัน: CTC มีแนวโน้มที่จะสร้างอักขระที่ซ้ํากัน - ข้อผิดพลาดความยาว: การคาดการณ์ความยาวของลําดับไม่ถูกต้อง **กลยุทธ์การปรับปรุง**: - การทําเหมืองตัวอย่างที่ยาก: มุ่งเน้นไปที่การฝึกอบรมตัวอย่างที่มีอัตราข้อผิดพลาดสูง - การเพิ่มประสิทธิภาพหลังการประมวลผล: แก้ไขข้อผิดพลาดโดยใช้โมเดลภาษา - แนวทางแบบบูรณาการ: รวมการคาดการณ์จากหลายแบบจําลอง ## สรุป ฟังก์ชันการสูญเสีย CTC เป็นเครื่องมือที่มีประสิทธิภาพสําหรับการสร้างแบบจําลองลําดับ โดยเฉพาะอย่างยิ่งเมื่อต้องรับมือกับปัญหาการจัดตําแหน่ง ด้วยการแนะนําการติดฉลากเปล่าและอัลกอริธึมการเขียนโปรแกรมแบบไดนามิก CTC ตระหนักถึงการเรียนรู้ลําดับแบบ end-to-end และหลีกเลี่ยงขั้นตอนการประมวลผลล่วงหน้าที่ซับซ้อน **ประเด็นสําคัญ**: - CTC แก้ปัญหาความยาวลําดับอินพุตและเอาต์พุตที่ไม่ตรงกัน - อัลกอริทึมไปข้างหน้า-ถอยหลังให้การคํานวณความน่าจะเป็นที่มีประสิทธิภาพ - กลยุทธ์การถอดรหัสที่เหมาะสมเป็นสิ่งสําคัญสําหรับประสิทธิภาพขั้นสุดท้าย - เทคนิคการฝึกอบรมและกลยุทธ์การเพิ่มประสิทธิภาพส่งผลต่อประสิทธิภาพของโมเดลอย่างมีนัยสําคัญ **คําแนะนําการสมัคร**: - เลือกกลยุทธ์การถอดรหัสที่เหมาะสมสําหรับงานเฉพาะ - เน้นที่เทคนิคการประมวลผลล่วงหน้าและการปรับปรุงข้อมูล - มุ่งเน้นไปที่ความเสถียรของตัวเลขและประสิทธิภาพการคํานวณ - การเพิ่มประสิทธิภาพหลังการประมวลผลตามความรู้ด้านโดเมน การประยุกต์ใช้ CTC ที่ประสบความสําเร็จได้วางรากฐานที่สําคัญสําหรับการพัฒนาการเรียนรู้เชิงลึกในด้านการสร้างแบบจําลองลําดับ และยังให้การสนับสนุนที่สําคัญสําหรับความก้าวหน้าของเทคโนโลยี OCR