【Serie OCR de Aprendizaje Profundo·6】Análisis en profundidad de la arquitectura CRNN

## Introducción CRNN (Red Neuronal Convolucional Recurrent) es una de las arquitecturas más importantes en el campo de la OCR por aprendizaje profundo, propuesta por Bai Xiang et al. en 2015. CRNN combina de forma ingeniosa las capacidades de extracción de características de las redes neuronales convolucionales (CNN) con las capacidades de modelado de secuencias de las redes neuronales recurrentes (RNN) para lograr el reconocimiento de texto de extremo a extremo. Este artículo ofrecerá un análisis en profundidad del diseño de la arquitectura de CRNN, sus principios de funcionamiento, sus métodos de entrenamiento y aplicaciones específicas en OCR, proporcionando a los lectores una comprensión técnica completa. ## Visión general de la arquitectura CRNN ### Motivación de diseño Antes de la CRNN, los sistemas OCR solían adoptar un enfoque paso a paso: primero se realizaban la detección y segmentación de caracteres, y luego se reconocía cada carácter. Este enfoque presenta los siguientes problemas: **Limitaciones de los métodos tradicionales**: - Propagación de errores: Los errores en la segmentación de caracteres pueden afectar directamente a los resultados de reconocimiento - Complejidad: Requiere diseñar algoritmos complejos de segmentación de caracteres - Baja robustez: Sensible al espaciado de caracteres y a los cambios de fuente - Incapacidad para manejar trazos continuos: El fenómeno de los trazos continuos en texto manuscrito es difícil de separar **Ideas innovadoras de CRNN**: - Aprendizaje de extremo a extremo: Mapeado directamente de imágenes a secuencias de texto - Sin segmentación: Evita la complejidad de la segmentación de caracteres - Modelado de secuencias: Utilizar RNN para modelar dependencias entre caracteres - Alineación CTC: Soluciona desajustes de longitud de secuencias de entrada y salida ### Arquitectura general La arquitectura CRNN consta de tres componentes principales: **1. Capas convolucionales**: - Función: Extraer secuencias de características de imágenes de entrada - Entrada: Imagen de línea de texto (altura fija, ancho variable) - Salida: Secuencia de mapas de características **2. Capas recurrentes**: - Función: Modelar dependencias contextuales en secuencias de características - Entrada: La secuencia de largometrajes extraída por la CNN - Salida: Una secuencia de características con información contextual **3. Capa de transcripción**: - Función: Convertir secuencias de características en secuencias de texto - Método: Usando CTC (Clasificación Temporal Conexionista) - Salida: El resultado final del reconocimiento de texto ## Explicación detallada de las capas convolucionales ### Estrategias de extracción de características La capa convolucional de CRNN está diseñada específicamente para el reconocimiento de texto: **Características de la estructura de la red**: - Profundidad poco profunda: normalmente se utilizan 7 capas convolucionales - Núcleos convolucionales pequeños: se utilizan principalmente núcleos convolucionales 3×3 - Estrategia de agrupación: Usar la agrupación con moderación en la dirección de ancho **Configuración específica de red**: Entrada: 32×A×1 (Altura 32, Ancho W, Canal Único) Conv1: 64 núcleos convolucionales 3×3, paso 1, llenar 1 MaxPool1: 2×2 piscinas, longitud de paso 2 Conv2: 128 núcleos convolucionales 3×3, paso 1, llenar 1 MaxPool2: 2×2 agrupados, tamaño de paso 2 Conv3: 256 núcleos convolucionales 3×3, paso 1, rellenar 1 Conv4: 256 3×3 núcleos convolucionales, paso 1, relleno 1 MaxPool3: 2×1 agrupado, tamaño de paso (2,1) Conv5: 512 3×3 núcleos convolucionales, paso 1, relleno 1 BatchNorm + ReLU Conv6: 512 núcleos convolucionales 3×3, paso 1, relleno 1 BatchNorm + ReLU MaxPool4: 2×1 agrupado, tamaño de paso (2,1) Conv7: 512 núcleos convolucionales 2×2, paso 1, rellenar 0 Salida: 512×1×W/4 ### Consideraciones clave de diseño **Estrategia de alta compresión**: - Objetivo: Comprimir la imagen a 1 píxel de altura - Método: Comprimir gradualmente la altura usando múltiples capas de acumulación - Razón: La altura de la línea de texto es relativamente poco importante **Estrategia de Sujetar Ancho**: - Objetivo: Mantener la información de ancho de la imagen tanto como sea posible - Método: Reducir las operaciones de agrupación en la dirección de ancho - Razón: La información de secuencia del texto se refleja principalmente en la dirección de ancho **Conversión de mapas de características**: La salida de la capa convolucional debe convertirse al formato de entrada de la RNN: - Salida en bruto: C×H×W (Alto × Canal× Ancho) - Convertido: W×C (Longitud de la secuencia× Dimensión de la característica) - Método: Toma el vector de características para cada posición de ancho como un paso de tiempo ## Explicación detallada de la capa circular ### Selección RNN Las CRNN suelen usar LSTM bidireccionales como capa de lazo: **Ventajas del LSTM bidireccional**: - Información contextual: Utilizar tanto el contexto hacia adelante como hacia atrás - Dependencias de larga distancia: LSTM es capaz de manejar dependencias de larga distancia - Estabilización de gradiente: evita el problema de la desaparición de gradiente **Configuración de red**: Entrada: W×512 (longitud de secuencia × dimensión de características) BiLSTM1: 256 celdas ocultas (128 hacia adelante + 128 hacia atrás) BiLSTM2: 256 celdas ocultas (128 hacia adelante + 128 hacia atrás) Salida: W×256 (longitud de secuencia× dimensiones ocultas) ### Mecanismos de modelado de secuencias **Modelado de dependencias temporales**: La capa RNN captura las dependencias temporales entre caracteres: - La información del personaje anterior ayuda a reconocer al personaje actual - La información sobre los caracteres posteriores también puede proporcionar un contexto útil - La información de la palabra o frase completa ayuda a desambiguar **Mejoras en funcionalidades**: Las características procesadas por RNN tienen las siguientes características: - Sensible al contexto: Las características de cada ubicación contienen información contextual - Consistencia temporal: Las características en ubicaciones adyacentes tienen cierta continuidad - Riqueza semántica: Combina características visuales y secuenciales ## Explicación detallada de la capa de transcripción ### Mecanismo CTC CTC (Clasificación Temporal Conexionista) es un componente clave de la CRNN: **El papel de los CTC**: - Abordar problemas de alineación: Las longitudes de las secuencias de entrada no coinciden con las longitudes de las secuencias de salida - Entrenamiento de extremo a extremo: No es necesario anotar alineamientos a nivel de carácter - Gestionar duplicados: Gestionar correctamente los casos de caracteres duplicados **Cómo funciona el CTC**: 1. Ampliar el conjunto de etiquetas: Añadir etiquetas en blanco encima del conjunto original de caracteres 2. Enumeración de caminos: Enumera todos los caminos posibles de alineación 3. Probabilidad de camino: Calcular la probabilidad de cada camino 4. Marginación: suma las probabilidades de todos los caminos para obtener la probabilidad de la secuencia ### Función de pérdida CTC **Representación matemática**: Dada la secuencia de entrada X y la secuencia objetivo Y, la pérdida CTC se define como: L_CTC = -log P(Y| X) donde P(Y| X) se obtiene sumando las probabilidades de todos los caminos alineados posibles: P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Aquí B^(-1)(Y) representa todos los conjuntos de caminos que pueden mapearse a la secuencia objetivo Y. **Algoritmo Adelante-Atrás**: Para calcular eficientemente la pérdida de CTC, se utiliza un algoritmo de avance-atrás para la programación dinámica: - Algoritmo de Forward: Calcula la probabilidad de alcanzar cada estado - Algoritmo hacia atrás: Calcula la probabilidad desde cada estado hasta el final - Cálculo de gradientes: Calcular gradientes junto con la probabilidad adelante-atrás ## Estrategia de Entrenamiento CRNN ### Preprocesamiento de datos **Preprocesamiento de imagen**: - Normalización de tamaño: unificar la altura de la imagen a 32 píxeles - Mantenimiento de la relación de aspecto: Mantiene la relación de aspecto de la imagen original - Conversión en escala de grises: Convertir a una imagen en escala de grises de un solo canal - Normalización numérica: los valores de píxeles se normalizan a [0,1] o [-1,1] **Mejora de datos**: - Transformaciones geométricas: rotación, inclinación, transformación en perspectiva - Cambios de iluminación: brillo, ajustes de contraste - Adición de ruido: ruido gaussiano, ruido de sal y pimienta - Desenfoque: Desenfoque de movimiento, Desenfoque Gaussiano ### Técnicas de entrenamiento **Programación de la velocidad de aprendizaje**: - Tasa de aprendizaje inicial: típicamente establecida en 0,001 - Estrategia de decaimiento: decaimiento exponencial o decaimiento escalonado - Estrategia de calentamiento: Las primeras épocas utilizan una pequeña tasa de aprendizaje **Técnicas de regularización**: - Dropout: Añadir un dropout tras la capa RNN - Degradación del peso: la regularización en L2 evita el sobreajuste - Normalización por lotes: Utilizar la normalización por lotes en la capa CNN **Selección de optimizador**: - Adam: Tasa de aprendizaje adaptativa, convergencia rápida - RMSprop: Adecuado para entrenamiento en la RNN - SGD+Momentum: opción tradicional pero estable ## Optimización y mejora de CRNN ### Optimización de arquitectura **Mejoras parciales de CNN**: - Conexiones ResNet: Se añadieron conexiones residuales para mejorar la estabilidad del entrenamiento - DenseNet Fabric: Las conexiones densas mejoran la multiplexación de características - Mecanismo de atención: Introduce la atención espacial en las CNN **Mejoras parciales de RNN**: - Reemplazo de GRU: Usar GRU para reducir la cantidad de parámetros - Transformador: Sustituye a las RNN usando mecanismos de autoatención - Características multiescala: Incorporan características de diferentes escalas ### Optimización del rendimiento **Aceleración de inferencia**: - Cuantización de modelos: la cuantización INT8 reduce el esfuerzo computacional - Poda de modelos: eliminar conexiones poco importantes - Destilación de conocimiento: Aprender el conocimiento de modelos grandes con modelos pequeños **Optimización de memoria**: - Puntos de control de gradiente: Reducir la huella de memoria durante el entrenamiento - Precisión mixta: Entrenamiento con FP16 - Optimización dinámica de grafos: Optimizar la estructura del grafo calculado ## Casos de aplicación en el mundo real ### Reconocimiento de texto manuscrito **Escenarios de aplicación**: - Digitalizar notas manuscritas - Relleno automático de formularios - Reconocimiento de documentos históricos **Características técnicas**: - Gran variación de caracteres: Requiere una fuerte capacidad de extracción de características - Procesamiento de Carreras Continuas: Las ventajas del mecanismo CTC son evidentes - El contexto importa: Las capacidades de modelado de secuencias de las RNN son críticas ### Reconocimiento de texto impreso **Escenarios de aplicación**: - Digitalizar documentos - Identificación del billete - Reconocimiento de señalización **Características técnicas**: - Regularidad de fuentes: la extracción de características CNN es relativamente sencilla - Reglas de tipografía: Se puede utilizar la información de maquetación - Requisitos de alta precisión: Requiere ajuste fino para modelos ### Reconocimiento de texto de escena **Escenarios de aplicación**: - Reconocimiento de texto Street View - Identificación de etiquetas de producto - Reconocimiento de señales de tráfico **Características técnicas**: - Antecedentes complejos: Requiere una extracción robusta de características - Deformación severa: Se requiere un diseño de arquitectura robusta - Requisitos en tiempo real: Requiere razonamiento eficiente ## Resumen Como arquitectura clásica de OCR de aprendizaje profundo, CRNN resuelve con éxito muchos problemas de los métodos tradicionales de OCR. Su método de entrenamiento de extremo a extremo, el concepto de diseño sin segmentación de caracteres y la introducción del mecanismo CTC proporcionan una inspiración importante para el desarrollo posterior de la tecnología OCR. **Contribuciones clave**: - Aprendizaje de extremo a extremo: Simplifica el diseño de los sistemas OCR - Modelado de secuencias: Utiliza eficazmente las propiedades de secuencia del texto - Alineación CTC: Desajuste de longitud de secuencia abordado - Arquitectura simple: fácil de entender e implementar **Dirección de desarrollo**: - Mecanismo de atención: Introducción de atención para mejorar el rendimiento - Transformer: Sustituye a las RNN con autoatención - Fusión multimodal: Combinar otra información como modelos de lenguaje - Diseño ligero: compresión de modelos para dispositivos móviles El éxito de CRNN es un testimonio del gran potencial del aprendizaje profundo en el campo de la OCR y proporciona una valiosa experiencia para entender cómo diseñar sistemas de aprendizaje efectivos de extremo a extremo. En el próximo artículo, profundizaremos en los detalles matemáticos y de implementación de la función de pérdida CTC.