【딥러닝 OCR 시리즈·6】CRNN 아키텍처에 대한 심층 분석

## 서론 CRNN(컨볼루션 반복 신경망)은 딥러닝 OCR 분야에서 가장 중요한 아키텍처 중 하나로, 2015년 Bai Xiang 등에 의해 제안되었습니다. CRNN은 합성곱 신경망(CNN)의 특징 추출 기능과 순환 신경망(RNN)의 서열 모델링 기능을 교묘하게 결합하여 종단 간 텍스트 인식을 달성합니다. 이 글에서는 CRNN의 아키텍처 설계, 작동 원리, 교육 방법, OCR에서의 구체적 응용에 대한 심층 분석을 제공하여 독자들에게 포괄적인 기술적 이해를 제공할 것입니다. ## CRNN 아키텍처 개요 ### 디자인 동기 CRNN 이전에는 OCR 시스템이 일반적으로 단계별 방식을 채택했습니다: 먼저 문자 검출과 분할을 수행한 후 각 문자를 인식했습니다. 이 접근법에는 다음과 같은 문제점이 있습니다: **전통 방법의 한계**: - 오류 전파: 문자 분할에서의 오류는 인식 결과에 직접적인 영향을 미칠 수 있습니다 - 복잡성: 복잡한 문자 분할 알고리즘 설계가 필요합니다 - 견고성 저하: 문자 간격과 글꼴 변경에 민감함 - 연속된 획을 다룰 수 없음: 손글씨에서 연속된 획 현상을 구분하기 어렵다 **CRNN의 혁신적인 아이디어**: - 종단 간 학습: 이미지에서 텍스트 시퀀스로 직접 매핑 - 세그먼트 없음: 캐릭터 세분화의 복잡성을 피합니다 - 시퀀스 모델링: RNN을 활용해 문자 간 의존성을 모델링합니다 - CTC 정렬: 입력-출력 시퀀스 길이 불일치 해결 ### 전체 건축 CRNN 아키텍처는 세 가지 주요 구성 요소로 구성됩니다: **1. 합성곱 계층**: - 기능: 입력 이미지에서 특징 서열 추출 - 입력: 텍스트 라인 이미지 (고정 높이, 가변 너비) - 출력: 특징 지도 시퀀스 **2. 반복 입수**: - 기능: 특징 시퀀스의 맥락적 의존성을 모델링한다 - 입력: CNN이 추출한 특징 시퀀스 - 출력: 맥락 정보를 포함한 특징 시퀀스 **3. 전사 계층**: - 기능: 특징 시퀀스를 텍스트 시퀀스로 변환 - 방법: CTC(연결주의 시간 분류) 사용 - 출력: 최종 텍스트 인식 결과 ## 합성곱층에 대한 상세한 설명 ### 특징 추출 전략 CRNN의 컨볼루션 계층은 텍스트 인식을 위해 특별히 설계되었습니다: **네트워크 구조 특징**: - 얕은 깊이: 일반적으로 7개의 합성곱 층이 사용됩니다 - 작은 컨볼루션 커널: 주로 3×3개의 컨볼루션 커널이 사용됩니다. - 풀링 전략: 폭 방향에서 풀링 사용은 절제합니다 **특정 네트워크 구성**: 입력: 32×W×1 (높이 32, 너비 W, 단일 채널) 컨버전1: 64 3×3 컨볼루션 핵, 1단계, 1 채움 MaxPool1: 2×2개의 수영장, 스텝 길이 2 Conv2: 128 3×3 컨볼루션 커널, 1단계, 1 채우기 MaxPool2: 2×2 풀링, 스텝 크기 2 Conv3: 256 3×3 합성곱 핵, 1단계, 1 채움 Conv4: 256 3×3 컨볼루션 코어, 1단계, 1 채움 MaxPool3: 2×1 풀링, 스텝 크기 (2,1) Conv5: 512 3×3개의 컨볼루션 코어, 1단계, 1 채움 배치 정규 + ReLU Conv6: 512 3×3 컨볼루션 커널, 1단계, 1 채우기 배치 정규 + ReLU MaxPool4: 2×1 풀링, 스텝 크기 (2,1) Conv7: 512 2×2 합성곱 핵, 1단계, 0 채우기 출력: 512×1×W/4 ### 주요 설계 고려사항 **고압축 전략**: - 목표: 이미지를 1픽셀 높이로 압축함 - 방법: 여러 층을 쌓아 점진적으로 높이를 압축합니다 - 이유: 텍스트 줄의 높이는 상대적으로 중요하지 않습니다 **폭 보유 전략**: - 목표: 이미지의 폭 정보를 최대한 유지함 - 방법: 폭 방향에서의 풀링 작업 감소 - 이유: 텍스트의 순서 정보는 주로 폭 방향에 반영된다 **특징 지도 변환**: 합성곱 계층의 출력은 RNN의 입력 형식으로 변환되어야 합니다: - 원본 출력: C×H×W (채널 × 높이× 폭) - 변환: W×C (시퀀스 길이× 특징 차원) - 방법: 각 폭 위치에 대한 특징 벡터를 타임스텝으로 취합니다 ## 원형 층에 대한 상세한 설명 ### RNN 선발 CRNN은 일반적으로 양방향 LSTM을 루프 계층으로 사용합니다: **양방향 LSTM의 장점**: - 맥락 정보: 순방향 및 후방 맥락 모두를 활용함 - 장거리 의존성: LSTM은 장거리 의존성을 처리할 수 있습니다 - 구배 안정화: 구배 소멸 문제를 피함 **네트워크 구성**: 입력: W×512 (시퀀스 길이 × 특징 차원) BiLSTM1: 256개의 숨겨진 셀 (128 앞으로, 128 뒤로) BiLSTM2: 256개의 숨겨진 셀 (128 앞으로, 128 뒤로) 출력: W×256 (시퀀스 길이× 숨겨진 차원) ### 서열 모델링 메커니즘 **타이밍 의존성 모델링**: RNN 계층은 문자 간 타이밍 의존성을 포착합니다: - 이전 문자의 정보가 현재 문자를 인식하는 데 도움을 준다 - 후속 문자에 대한 정보도 유용한 맥락을 제공할 수 있습니다 - 단어나 구의 전체 정보가 중의성을 구분하는 데 도움이 된다 **기능 향상**: RNN이 처리하는 특징들은 다음과 같은 특징을 가집니다: - 문맥 민감: 각 장소의 특징에 맥락 정보를 포함함 - 타이밍 일관성: 인접 위치의 특징들은 일정한 연속성을 가집니다 - 의미론적 풍부성: 시각적 특징과 순서적 특징을 결합함 ## 전사 계층에 대한 상세한 설명 ### CTC 메커니즘 CTC(연결주의 시간 분류)는 CRNN의 핵심 구성 요소입니다: **CTC의 역할**: - 정렬 문제 해결: 입력 시퀀스 길이가 출력 시퀀스 길이와 일치하지 않음 - 종단 간 훈련: 캐릭터 레벨 정렬 주석이 필요 없음 - 중복 처리: 중복 문자의 경우를 올바르게 처리합니다 **CTC 작동 원리**: 1. 라벨 집합 확장: 원래 문자 집합 위에 빈 라벨을 추가하세요 2. 경로 열거: 가능한 모든 정렬 경로를 열거합니다 3. 경로 확률: 각 경로의 확률을 계산합니다 4. 주변화: 모든 경로의 확률을 합산하여 시퀀스 확률을 얻는다 ### CTC 손실 기능 **수학적 표현**: 입력 서열 X와 목표 서열 Y가 주어졌을 때, CTC 손실은 다음과 같이 정의됩니다: L_CTC = -log P(Y| X) 여기서 P(Y| X)는 가능한 모든 정렬된 경로의 확률을 합산하여 얻어집니다: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) 여기서 B^(-1)(Y)는 목표 서열 Y에 매핑할 수 있는 모든 경로 집합을 나타낸다. **전방-후방 알고리즘**: CTC 손실을 효율적으로 계산하기 위해 동적 계획법을 위한 순방향-후방 알고리즘이 사용됩니다: - 순방향 알고리즘: 각 상태에 도달할 확률을 계산합니다 - 후방 알고리즘: 각 상태에서 끝까지 확률을 계산함 - 구배 계산: 앞뒤 확률과 함께 기울기를 계산합니다 ## CRNN 교육 전략 ### 데이터 전처리 **이미지 전처리**: - 크기 정규화: 이미지 높이를 32픽셀로 통합함 - 화면 비율 유지: 원본 이미지의 화면 비율을 유지함 - 그레이스케일 변환: 단일 채널 그레이스케일 이미지로 변환 - 수치 정규화: 픽셀 값은 [0,1] 또는 [-1,1]로 정규화됩니다. **데이터 향상**: - 기하학적 변환: 회전, 기울기, 원근 변환 - 조명 변화: 밝기, 대비 조정 - 노이즈 더미: 가우시안 노이즈, 소금과 후추 노이즈 - 블러: 모션 블러, 가우시안 블러 ### 훈련 기법 **학습 속도 일정 조정**: - 초기 학습률: 일반적으로 0.001로 설정됨 - 붕괴 전략: 지수 감소 또는 단계적 감소 - 워밍업 전략: 처음 몇 에포크는 학습 속도가 적습니다 **정규화 기법**: - 드롭아웃: RNN 계층 뒤에 드롭아웃을 추가하세요 - 중량 저하: L2 정규화가 과적합을 방지함 - 배치 정규화: CNN 계층에서 배치 정규화 사용 **옵티마이저 선택**: - Adam: 적응형 학습률, 빠른 수렴 - RMSprop: RNN 교육 적합 - SGD+모멘텀: 전통적이지만 안정적인 옵션 ## CRNN의 최적화 및 개선 ### 아키텍처 최적화 **CNN 부분 개선점**: - ResNet 연결: 훈련 안정성을 향상시키기 위한 잔류 연결 추가 - DenseNet 패브릭: 조밀한 연결은 특징 다중화를 개선합니다 - 주의 메커니즘: CNN에 공간적 주의를 도입함 **RNN 부분적 개선**: - GRU 대체: GRU를 사용하여 매개변수 수를 줄입니다 - 트랜스포머: 자기 주의 메커니즘을 이용해 RNN을 대체함 - 다중 스케일 특징: 다양한 스케일의 특징을 통합합니다 ### 성능 최적화 **추론 가속**: - 모델 양자화: INT8 양자화는 계산 노력을 줄입니다 - 모델 가지치기: 중요하지 않은 연결을 제거합니다 - 지식 증류: 작은 모델로 대규모 모델을 배우기 **메모리 최적화**: - 그라데이언트 체크포인트: 훈련 중 메모리 사용량 감소 - 혼합 정밀도: FP16으로 훈련 - 동적 그래프 최적화: 계산된 그래프의 구조를 최적화합니다 ## 실제 적용 사례 ### 손글씨 텍스트 인식 **응용 시나리오**: - 손으로 쓴 노트 디지털화 - 폼 자동 완성 - 역사적 문서 인식 **기술적 특징**: - 큰 문자 다양성: 강력한 특징 추출 능력이 필요합니다 - 연속 스트로크 처리: CTC 메커니즘의 장점은 명확합니다 - 맥락 중요성: RNN의 서열 모델링 능력은 매우 중요합니다 ### 인쇄된 텍스트 인식 **응용 시나리오**: - 문서 디지털화 - 티켓 식별 - 표지판 인식 **기술적 특징**: - 글꼴 규칙성: CNN 특징 추출은 비교적 간단합니다 - 타이포그래피 규칙: 레이아웃 정보를 활용할 수 있습니다 - 높은 정확도 요구사항: 미세 모델 튜닝 필요 ### 장면 텍스트 인식 **응용 시나리오**: - 스트리트 뷰 텍스트 인식 - 제품 라벨 식별 - 교통 표지판 인식 **기술적 특징**: - 복잡한 배경: 견고한 특징 추출이 필요합니다 - 심한 변형: 견고한 아키텍처 설계가 필요합니다 - 실시간 요구사항: 효율적인 추론 필요 ## 요약 딥러닝 OCR의 고전적인 아키텍처로서, CRNN은 전통적인 OCR 방법의 많은 문제를 성공적으로 해결합니다. 종단 간 학습 방법, 문자 분할 없는 설계 개념, CTC 메커니즘 도입은 모두 OCR 기술 개발에 중요한 영감을 제공합니다. **주요 기여사항**: - 종단 간 학습: OCR 시스템 설계를 단순화함 - 시퀀스 모델링: 텍스트의 시퀀스 특성을 효과적으로 활용함 - CTC 정렬: 해결된 서열 길이 불일치 - 단순 아키텍처: 이해 및 구현이 용이함 **개발 방향**: - 주의 메커니즘: 성과 향상을 위한 주의 도입 - 트랜스포머: RNN을 자기 주의로 대체함 - 다중 모드 융합: 언어 모델과 같은 다른 정보를 결합함 - 경량 설계: 모바일 기기용 모델 압축 CRNN의 성공은 OCR 분야에서 딥러닝의 큰 잠재력을 입증하며, 효과적인 종단 간 학습 시스템을 설계하는 데 귀중한 경험을 제공합니다. 다음 글에서는 CTC 손실 함수의 수학과 구현 세부 사항을 자세히 살펴보겠습니다.