【딥러닝 OCR 시리즈·7】CTC 손실 기능 및 훈련 기법

## 서론 커넥시니스트 시간 분류(CTC)는 특히 OCR 분야에서 딥러닝 시퀀스 모델링에서 중요한 돌파구입니다. CTC는 입력 서열과 출력 서열 길이 간의 불일치라는 근본적인 문제를 해결하여 종단 간 시퀀스 학습을 가능하게 합니다. 이 글에서는 CTC의 수학적 원리, 알고리즘 구현, 그리고 훈련 최적화 기법에 대해 깊이 있게 다룰 것입니다. ## CTC 기본 개념 ### 서열 정렬 문제 OCR 작업에서 우리는 다음과 같은 도전 과제에 직면합니다: **길이 불일치**: 입력된 이미지 특징 시퀀스의 길이가 출력 텍스트 시퀀스 길이와 다릅니다. 예를 들어, 3문자로 구성된 단어는 100개의 시간 단계로 이루어진 특징 시퀀스에 해당할 수 있습니다. **불확실한 위치**: 이미지 내 각 문자의 정확한 위치는 알려지지 않았습니다. 전통적인 방법은 정밀한 문자 분할이 필요하며, 이는 실용에서 어렵습니다. **문자 분할의 어려움**: 연속적으로 쓰인 텍스트, 손글씨, 예술적인 글꼴은 개별 글자로 정확히 분리되기 어렵습니다. ### CTC의 해결책 CTC는 다음과 같은 혁신적인 방법으로 서열 정렬 문제를 해결합니다: 빈 마커 소개: 정렬을 위해 특수 빈 마커를 사용하세요. 빈 태그는 출력 문자와 대응하지 않으며, 중복된 문자를 채우기 시퀀스에서 구분하는 데 사용됩니다. 경로 확률: 가능한 모든 정렬 경로의 확률을 계산합니다. 각 경로는 문자와 시간 단계 간의 대응 관계를 나타낸다. **동적 계획**: 모든 가능한 경로를 열거하지 않고 순-후 알고리즘을 사용하여 경로 확률을 효율적으로 계산합니다. ## CTC 수학 원리 ### 기본 정의 입력 서열 X = (x₁, x₂, ..., xt)와 목표 서열 Y = (y₁, y₂, ..., yu)가 주어졌으며, 여기서 T ≥ U입니다. 태그 집합: L = {1, 2, ..., K}, K개의 문자 범주를 포함함. **확장 태그 컬렉션**: L_ext = L ∪ {blank}, 빈 태그를 포함함. **정렬 경로**: 길이 T π = (π₁, π₂, ..., πt), 여기서 πt ∈ L_ext. ### 태그로 가는 경로 매핑 CTC는 정렬 경로를 출력 라벨 시퀀스로 변환하는 매핑 함수 B를 정의합니다: 1. 모든 빈 마커를 제거한다 2. 연속된 중복 문자 병합 **지도 예시**: - π = (a, a, 공백, b, b, b, b) → B(π) = (a, b, b) - π = (공백, c, c, a, 공백, t) → B(π) = (c, a, t) ### CTC 손실 기능 CTC 손실 함수는 목표 시퀀스 Y에 대응된 모든 경로 확률의 합의 음의 로그로 정의됩니다: L_CTC = -log P(Y| X) = -로그 Σ_{π∈B⁻¹(Y)} P(π| X) 여기서 B⁻¹(Y)는 Y에 사상된 모든 경로의 집합이다. 경로 확률: 각 시간 단계의 예측이 독립적이라고 가정할 때, 경로 확률은 다음과 같습니다: P(π| X) = ∏t yt^{πt} 여기서 yt^{πt}는 시간 단계 t가 라벨 πt를 예측할 확률이다. ## 순방향-후방 알고리즘 ### 순방향 알고리즘 순방향 알고리즘은 시퀀스의 시작점에서 현재 위치까지의 경로 확률을 계산합니다. **확장 라벨 시퀀스**: 계산을 용이하게 하기 위해 대상 시퀀스 Y를 Y_ext로 확장하고, 각 문자 앞뒤에 빈 태그를 삽입하세요. **초기화**: - α₁(1) = y₁^{blank} (첫 번째 위치는 빈칸) - α₁(2) = y₁^{y₁} (첫 번째 위치가 첫 번째 문자임) - α₁(s) = 0, 기타 위치의 경우 **재귀 공식**: t > 1과 위치 s에 대해: - Y_ext[s]가 비어 있거나 이전 문자와 동일한 경우: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - 그렇지 않으면: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### 역방향 알고리즘 역방향 알고리즘은 현재 위치에서 시퀀스 끝까지의 경로 확률을 계산합니다. **초기화**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (마지막 태그가 비어 있지 않을 경우) - β_T(s) = 0, 기타 위치의 경우 **재귀 공식**: t< T와 위치 s에 대해: - Y_ext [s+1]이 현재 문자와 같거나 빈칸일 경우: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - 그렇지 않으면: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### 경사 계산 총 확률:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **라벨 확률의 기울기**: ∂(-inn P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## CTC 해독 전략 ### 탐욕스러운 해독 탐욕은 각 시간 단계에서 가장 높은 확률로 라벨을 해독합니다: π_t = argmax_k y_t^k 그 다음 B 매핑을 적용해 최종 시퀀스를 얻습니다. **장점**: 계산이 쉽고 속도가 빠릅니다 **단점**: 전역 최적해를 얻지 못할 수 있습니다 ### 번들 탐색 디코딩 빔 탐색은 여러 후보 경로를 유지하며, 각 시간 단계에서 가장 유망한 경로를 확장합니다. **알고리즘 단계**: 1. 초기화: 후보 컬렉션에는 빈 경로가 포함되어 있습니다 2. 각 시간 단계에 대해: - 모든 후보 경로를 확장하기 - K-경로를 가장 높은 확률로 유지한다 3. 전체 경로를 가장 높은 확률로 반환한다 **파라미터 튜닝**: - 빔 폭 K: 계산 복잡성과 디코딩 품질을 균형 있게 조정함 - 길이 페널티: 짧은 시퀀스를 선호하지 마세요 ### 접두사 번들 검색 접두사 번들 탐색은 동일한 접두사를 가진 경로를 중복 세기 방지하기 위해 경로의 접두사 확률을 고려합니다. **핵심 아이디어**: 같은 접두사를 가진 경로를 병합하고, 가장 가능성이 높은 확장 방법만 유지합니다. ## 훈련 기법과 최적화 ### 데이터 전처리 **시퀀스 길이 처리**: - 동적 배치: 비슷한 길이의 시퀀스를 그룹화하기. - 채우기 전략: 짧은 시퀀스에 특수 마커를 채우기 - 절단 전략: 지나치게 긴 수열을 합리적으로 잘라낸다 **라벨 전처리**: - 문자 집합 표준화: 균일한 문자 인코딩 및 대문자 사용 - 특수 문자 처리: 구두점 및 공백 처리 - 어휘 구축: 완전한 한자 용어집 구축 ### 훈련 전략 **강좌 학습**: 간단한 샘플로 훈련을 시작하고 점차 난이도를 올리세요: - 짧거나 긴 시퀀스 - 선명한 이미지에서 흐릿한 이미지로 - 일반 글꼴에서 손글씨 글꼴로 **데이터 향상**: - 기하학 변환: 회전, 축소, 절단 - 노이즈 더미: 가우시안 노이즈, 소금과 후추 노이즈 - 조명 변화: 밝기, 대비 조정 **정규화 기법**: - 드롭아웃: 과적합 방지 - 무게 저하: L2 정규화 - 라벨 스무딩: 과도한 자신감 감소 ### 하이퍼파라미터 튜닝 **학습 속도 일정 조정**: - 워밍업 전략: 처음 몇 에포크는 학습 속도가 적습니다 - 코사인 어닐링: 학습률이 코사인 함수에 따라 감쇠됨 - 적응형 튜닝: 검증 세트 성능을 기반으로 조정 **배치 크기 선택**: - 메모리 제한: GPU 메모리 용량 고려 - 경배 안정성: 더 큰 배치에 대해 더 안정적인 경배를 제공합니다 - 수렴 속도: 훈련 속도와 안정성의 균형 ## 실용적 적용 고려사항 ### 계산 최적화 **메모리 최적화**: - 그라디언트 체크포인트: 순방향 전파의 메모리 사용량을 줄입니다 - 혼합정밀도 훈련: FP16으로 메모리 요구량을 줄입니다 - 동적 그래프 최적화: 계산된 그래프에 대한 메모리 할당 최적화 **속도 최적화**: - 병렬 컴퓨팅: GPU 병렬 처리 기능을 활용함 - 알고리즘 최적화: 효율적인 순방향 후방 알고리즘을 사용하여 구현됨 - 배치 최적화: 배치 크기를 적절히 설정함 ### 수적 안정성 **확률 계산**: - 로그 공간 계산: 확률 곱셈으로 인한 값 오버플로우 방지 - 수치 클리핑: 확률 값의 범위를 제한함 - 정규화 기법: 확률 분포의 타당성 보장 **경배 안정성**: - 경사 절단: 경사 폭발 방지 - 가중치 초기화: 적절한 초기화 전략 사용 - 배치 정규화: 학습 과정을 안정화합니다 ## 성과 평가 ### 지표를 평가하세요 **캐릭터 레벨 정확도**: Accuracy_char = 올바르게 인식된 문자 수 / 총 문자 수 **직렬 레벨 정확도**: Accuracy_seq = 정확히 맞는 서열 수 / 총 서열 수 **편집 거리**: 예측된 서열과 실제 서열 간의 차이를 측정하며, 삽입, 삭제, 대체 연산의 최소 횟수를 포함합니다. ### 오류 분석 **일반적인 오류 유형**: - 캐릭터 혼동: 유사한 캐릭터의 오인 - 중복 오류: CTC는 중복 문자를 생성하는 경향이 있습니다 - 길이 오류: 부정확한 시퀀스 길이 예측 **개선 전략**: - 어려운 샘플 마이닝: 오류율이 높은 샘플에 집중 - 후처리 최적화: 언어 모델을 이용한 오류를 수정함 - 통합 접근법: 여러 모델의 예측을 결합함 ## 요약 CTC 손실 함수는 특히 정렬 문제를 다룰 때 서열 모델링에 강력한 도구를 제공합니다. 빈 라벨링과 동적 계획법 알고리즘을 도입함으로써 CTC는 종단 간 수열 학습을 실현하고 복잡한 전처리 단계를 피합니다. **주요 요점**: - CTC는 입력과 출력 시퀀스 길이가 일치하지 않는 문제를 해결합니다 - 순방향-후방 알고리즘은 효율적인 확률 계산을 제공합니다 - 적절한 디코딩 전략이 최종 성능에 매우 중요합니다 - 훈련 기법과 최적화 전략이 모델 성능에 큰 영향을 미칩니다 **지원 제안**: - 특정 작업에 맞는 적절한 디코딩 전략 선택 - 데이터 전처리 및 향상 기법에 중점을 둔다 - 수치 안정성 및 계산 효율성에 대한 집중 - 도메인 지식에 기반한 후처리 최적화 CTC의 성공적인 적용은 시퀀스 모델링 분야에서 딥러닝 발전에 중요한 토대를 마련했으며, OCR 기술의 발전에 핵심적인 지원을 제공했습니다.