【Serie OCR de Aprendizaje Profundo·7】Función de Pérdida CTC y Técnicas de Entrenamiento

## Introducción La Clasificación Temporal Conexionista (CTC) es un avance importante en el modelado de secuencias de aprendizaje profundo, especialmente en el campo de la OCR. CTC resuelve el problema fundamental de la descoordinación entre la longitud de la secuencia de entrada y la secuencia de salida, permitiendo el aprendizaje de secuencias de extremo a extremo. Este artículo profundizará en los principios matemáticos, la implementación de algoritmos y las técnicas de optimización de entrenamiento de CTC. ## Conceptos básicos del CTC ### Problemas de alineación de secuencias En las tareas de OCR, nos enfrentamos a los siguientes desafíos: **Desajuste de longitud**: La longitud de la secuencia de características de la imagen de entrada es diferente de la longitud de la secuencia de texto de salida. Por ejemplo, una palabra que contiene 3 caracteres puede corresponder a una secuencia de características de 100 pasos de tiempo. **Posición incierta**: La posición exacta de cada carácter en la imagen es desconocida. Los métodos tradicionales requieren una segmentación precisa de caracteres, lo cual es difícil en aplicaciones prácticas. **Dificultad en la segmentación de caracteres**: El texto escrito de forma continua, manuscrito o fuentes artísticas tienen dificultades para dividirse con precisión en caracteres individuales. ### Solución del CTC El CTC resuelve problemas de alineación de secuencias de las siguientes formas innovadoras: Presentando los rotuladores en blanco: Utiliza rotuladores especiales para controlar la alineación. Las etiquetas en blanco no corresponden a ningún carácter de salida y se utilizan para separar caracteres duplicados de las secuencias de relleno. Probabilidad de camino: Calcula la probabilidad de todos los caminos posibles de alineación. Cada ruta representa una posible correspondencia paso a paso de carácter a tiempo. **Planificación dinámica**: Calcular eficientemente las probabilidades de camino usando algoritmos adelante-atrás, evitando enumerar todos los caminos posibles. ## Principios Matemáticos CTC ### Definiciones básicas Dada la secuencia de entrada X = (x₁, x₂, ..., xt) y la secuencia objetivo Y = (y₁, y₂, ..., yu), donde T ≥ U. Conjunto de etiquetas: L = {1, 2, ..., K}, que contiene K categorías de caracteres. **Colección extendida de etiquetas**: L_ext = L ∪ {en blanco}, que contiene etiquetas en blanco. **Camino de alineación**: Una secuencia de longitud T π = (π₁, π₂, ..., πt), donde πt ∈ L_ext. ### Mapeado de caminos a etiquetas CTC define una función de mapeo B que convierte el camino de alineamiento en una secuencia de etiquetas de salida: 1. Quitar todos los rotuladores en blanco 2. Fusionar caracteres duplicados consecutivos **Ejemplo de mapeo**: - π = (a, a, en blanco, b, en blanco, b, b) → B(π) = (a, b, b) - π = (blanco, c, c, a, blanco, t) → B(π) = (c, a, t) ### Función de pérdida CTC La función de pérdida CTC se define como el logaritmo negativo de la suma de todas las probabilidades de camino mapeadas a la secuencia objetivo Y: L_CTC = -log P(Y| X) = -log Σ_{π∈B⁻¹(Y)} P(π| X) donde B⁻¹(Y) es el conjunto de todos los caminos asignados a Y. Probabilidad de camino: Suponiendo que las predicciones de cada paso de tiempo son independientes, la probabilidad de camino es: P(π| X) = ∏t yt^{πt} donde yt^{πt} es la probabilidad de que el paso de tiempo t prediga la etiqueta πt. ## Algoritmo Adelante-Atrás ### Algoritmo de Avance El algoritmo forward calcula la probabilidad del camino desde el inicio de la secuencia hasta la posición actual. **Secuencia de etiquetas extendida**: Para facilitar el cálculo, amplía la secuencia objetivo Y a Y_ext, insertando etiquetas en blanco antes y después de cada carácter. **Inicialización**: - α₁(1) = y₁^{blank} (la primera posición está en blanco) - α₁(2) = y₁^{y₁} (la primera posición es el primer carácter) - α₁(s) = 0 para otras ubicaciones **Fórmula recursiva**: Para t > 1 y las posiciones s: - Si Y_ext[s] está en blanco o es el mismo que el carácter anterior: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1)) × y_t^{Y_ext[s]} - En caso contrario: α_t(s) = (α_{t-1}(s) + α_{t-1}(s-1) + α_{t-1}(s-2)) × y_t^{Y_ext[s]} ### Algoritmo hacia atrás El algoritmo hacia atrás calcula la probabilidad de camino desde la posición actual hasta el final de la secuencia. **Inicialización**: - β_T(| Y_ext|) = 1 - β_T(| Y_ext|-1) = 1 (si la última etiqueta no está en blanco) - β_T(s) = 0 para otras ubicaciones **Fórmula recursiva**: Para t < T y las posiciones s: - Si Y_ext [s+1] está en blanco o es el mismo que el carácter actual: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1)) × y_{t+1}^{Y_ext[s+1]} - En caso contrario: β_t(s) = (β_{t+1}(s) + β_{t+1}(s+1) + β_{t+1}(s+2)) × y_{t+1}^{Y_ext[s+1]} ### Cálculo de gradiente Probabilidad total:P (Y| X) = α_T(| Y_ext|) + α_T(| Y_ext|-1) **Gradiente de probabilidad de etiqueta**: ∂(-en P(Y| X))/∂y_k^t = -1/P(Y| X) × Σ_{s:Y_ext[s]=k} (α_t(s) × β_t(s))/y_k^t ## Estrategia de decodificación CTC ### Decodificación codiciosa Greedy decodifica la etiqueta con la mayor probabilidad en cada paso de tiempo: π_t = argmax_k y_t^k Luego aplica el mapeo B para obtener la secuencia final. **Pros**: Cálculos sencillos y velocidad rápida **Desventajas**: La solución óptima global puede no obtenerse ### Decodificación por búsqueda por haz La búsqueda por haz mantiene múltiples rutas candidatas, ampliando las rutas más prometedoras en cada paso temporal. **Pasos del algoritmo**: 1. Inicializar: La colección candidata contiene rutas vacías 2. Para cada paso de tiempo: - Extender todos los caminos candidatos - Mantener el K-camino con mayor probabilidad 3. Devolver el camino completo con la mayor probabilidad **Ajuste de parámetros**: - Ancho de haz K: Equilibra la complejidad computacional con la calidad de decodificación - Penalización de longitud: Evitar favorecer secuencias cortas ### Búsqueda de prefijo en el haz La búsqueda de fibrados prefijos considera la probabilidad de que un camino evite el doble conteo de caminos con el mismo prefijo. **Idea central**: Fusionar caminos con el mismo prefijo y conservar solo el método de extensión más probable. ## Técnicas de entrenamiento y optimización ### Preprocesamiento de datos **Procesamiento de longitud de secuencia**: - Agrupación dinámica por lotes: agrupación de secuencias de longitud similar - Estrategia de relleno: Rellenar secuencias cortas con marcadores especiales - Estrategia de truncamiento: Truncar razonablemente secuencias excesivamente largas **Preprocesamiento de etiquetas**: - Estandarización de conjuntos de caracteres: codificación y mayúscula uniformes de caracteres - Manejo de caracteres especiales: Maneja signos de puntuación y espacios - Construcción de vocabulario: Crear un glosario completo de personajes ### Estrategia de entrenamiento **Aprendizaje del curso**: Empieza a entrenar con muestras sencillas y aumenta la dificultad poco a poco: - Secuencias cortas a largas - Imagen clara a imagen borrosa - Fuentes normales a fuentes manuscritas **Mejora de datos**: - Transformaciones geométricas: rotar, escalar, cortar - Adición de ruido: ruido gaussiano, ruido de sal y pimienta - Cambios de iluminación: brillo, ajustes de contraste **Técnicas de regularización**: - Dropout: Evitar sobreajustes - Degradación de peso: regularización L2 - Suavizado de etiquetas: Reduce la sobreconfianza ### Ajuste de hiperparámetros **Programación de la velocidad de aprendizaje**: - Estrategia de calentamiento: Las primeras épocas utilizan una pequeña tasa de aprendizaje - Recocido coseno: La tasa de aprendizaje decae según la función coseno - Ajuste adaptativo: Ajusta en función del rendimiento del conjunto de validación **Selección del tamaño del lote**: - Limitaciones de memoria: Considere la capacidad de memoria de la GPU - Estabilidad de gradiente: Proporciona un gradiente más estable para lotes más grandes - Velocidad de convergencia: Equilibrio de la velocidad y estabilidad del entrenamiento ## Consideraciones de aplicación práctica ### Optimización computacional **Optimización de memoria**: - Puntos de control de gradiente: Reduce la huella de memoria de la propagación hacia adelante - Entrenamiento de precisión mixta: Reducir los requisitos de memoria con FP16 - Optimización dinámica de grafos: optimiza la asignación de memoria para grafos calculados **Optimización de velocidad**: - Computación Paralela: Utiliza capacidades de procesamiento paralelo de GPU - Optimización de algoritmos: Implementada utilizando algoritmos eficientes de adelante a atrás - Optimización por lotes: Ajustar los tamaños de lote adecuadamente ### Estabilidad numérica **Cálculo de probabilidad**: - Cálculo en espacio logarítmico: Evitar desbordamientos de valores causados por multiplicación de probabilidad - Recorte numérico: Limita el rango de valores de probabilidad - Técnicas de normalización: Garantizar la validez de las distribuciones de probabilidad **Estabilidad del Gradiente**: - Recorte en gradiente: Previene explosiones de gradiente - Inicialización de pesos: Utilizar una estrategia de inicialización adecuada - Normalización por lotes: estabiliza el proceso de entrenamiento ## Evaluación del rendimiento ### Evaluar métricas **Precisión a nivel de personaje**: Accuracy_char = Número de caracteres correctamente reconocidos / Número total de caracteres **Precisión a nivel de serie**: Accuracy_seq = número de secuencias exactamente correctas / número total de secuencias **Distancia de edición**: Mide la diferencia entre la secuencia predicha y la secuencia real, incluyendo el número mínimo de operaciones de inserción, eliminación y reemplazo. ### Análisis de errores **Tipos de error comunes**: - Confusión de personajes: Identificación errónea de personajes similares - Errores duplicados: Los CTC tienden a producir caracteres duplicados - Error de longitud: predicciones inexactas de longitud de secuencia **Estrategias de mejora**: - Minería de muestras difícil: Enfoque en muestras de entrenamiento con altas tasas de error - Optimización de postprocesamiento: Corrige errores utilizando modelos de lenguaje - Enfoque Integrado: Combinar predicciones de múltiples modelos ## Resumen La función de pérdida CTC proporciona una herramienta poderosa para el modelado de secuencias, especialmente cuando se trata de problemas de alineación. Al introducir etiquetado en blanco y algoritmos de programación dinámica, CTC realiza el aprendizaje de secuencias de extremo a extremo y evita pasos complejos de preprocesamiento. **Puntos clave**: - CTC resuelve el problema de longitudes de secuencias de entrada y salida desajustadas - Los algoritmos adelante-atrás proporcionan cálculos de probabilidad eficientes - Una estrategia de decodificación adecuada es crucial para el rendimiento final - Las técnicas de entrenamiento y estrategias de optimización impactan significativamente en el rendimiento del modelo **Sugerencias de solicitud**: - Elegir la estrategia de decodificación adecuada para la tarea específica - Énfasis en el preprocesamiento de datos y técnicas de mejora - Enfoque en la estabilidad numérica y la eficiencia computacional - Optimización de postprocesamiento basada en el conocimiento del dominio La aplicación exitosa de la CTC ha sentado una base importante para el desarrollo del aprendizaje profundo en el campo de la modelización de secuencias, y también ha proporcionado un apoyo clave para el avance de la tecnología OCR.