【Deep Learning OCR Series·6】Analyse approfondie de l’architecture CRNN

## Introduction CRNN (Convolutional Recurrent Neural Network) est l’une des architectures les plus importantes dans le domaine de l’OCR par apprentissage profond, proposée par Bai Xiang et al. en 2015. Le CRNN combine habilement les capacités d’extraction de caractéristiques des réseaux neuronaux convolutionnels (CNN) avec les capacités de modélisation de séquences des réseaux neuronaux récurrents (RNN) pour assurer une reconnaissance textuelle de bout en bout. Cet article offrira une analyse approfondie de la conception architecturale du CRNN, des principes de fonctionnement, des méthodes d’entraînement et des applications spécifiques en OCR, offrant aux lecteurs une compréhension technique complète. ## Aperçu de l’architecture CRNN ### Motivation de conception Avant le CRNN, les systèmes OCR adoptaient généralement une approche étape par étape : la détection et la segmentation des caractères étaient d’abord, puis chaque caractère était reconnu. Cette approche présente les problèmes suivants : **Limites des méthodes traditionnelles** : - Propagation des erreurs : Les erreurs dans la segmentation des caractères peuvent affecter directement les résultats de reconnaissance - Complexité : Nécessite de concevoir des algorithmes complexes de segmentation de caractères - Faible robustesse : Sensible à l’espacement des caractères et aux changements de police - Incapacité à gérer les traits continus : Le phénomène des traits continus dans un texte manuscrit est difficile à séparer **Idées novatrices de CRNN** : - Apprentissage de bout en bout : Mappage direct des images vers les séquences de texte - Pas de segmentation : Évite la complexité de la segmentation des caractères - Modélisation de séquences : Utiliser les RNN pour modéliser les dépendances entre les caractères - Alignement CTC : Corrige les inadéquations de longueur de séquence entrée-sortie ### Architecture générale L’architecture CRNN se compose de trois composantes principales : **1. Couches convolutionnelles** : - Fonction : Extraire des séquences de caractéristiques à partir d’images d’entrée - Entrée : image de ligne de texte (hauteur fixe, largeur variable) - Sortie : Séquence de cartes de caractéristiques **2. Couches récurrentes** : - Fonction : Modéliser les dépendances contextuelles dans les séquences de caractéristiques - Entrée : la séquence de longs métrages extraite par le CNN - Sortie : Une séquence de caractéristiques avec des informations contextuelles **3. Couche de transcription** : - Fonction : Convertir des séquences de caractéristiques en séquences de texte - Méthode : Utilisant CTC (classification temporelle connexionniste) - Sortie : Le résultat final de la reconnaissance de texte ## Explication détaillée des couches convolutionnelles ### Stratégies d’extraction de caractéristiques La couche convolutionnelle du CRNN est conçue spécifiquement pour la reconnaissance de texte : **Caractéristiques de la structure du réseau** : - Faible profondeur : 7 couches de couches convolutionnelles sont généralement utilisées - Noyaux convolutifs petits : 3×3 noyaux convolutifs sont principalement utilisés - Stratégie de mise en commun : utiliser la mise en commun avec parcimonie dans la direction de la largeur **Configuration réseau spécifique** : Entrée : 32×W×1 (Hauteur 32, Largeur W, Canal simple) Conv1 : 64 noyaux convolutionnels 3×3, étape 1, remplir 1 MaxPool1 : 2×2 piscines, longueur de pas 2 Conv2 : 128 noyaux convolutifs 3×3, étape 1, remplir 1 MaxPool2 : 2×2 en pool, taille de pas 2 Conv3 : 256 noyaux convolutifs 3×3, étape 1, remplir 1 Conv4 : 256 3×3 cœurs convolutionnels, étape 1, remplir 1 MaxPool3 : 2×1 groupés, taille de pas (2,1) Conv5 : 512 3×3 cœurs convolutionnels, étape 1, remplir 1 BatchNorm + ReLU Conv6 : 512 3×3 noyaux convolutionnels, étape 1, remplir 1 BatchNorm + ReLU MaxPool4 : 2×1 en groupe, taille de pas (2,1) Conv7 : 512 noyaux convolutionnels 2×2, étape 1, remplir 0 Sortie : 512×1×W/4 ### Considérations clés de conception **Stratégie de haute compression** : - Objectif : compresser l’image à 1 pixel de hauteur - Méthode : Comprimer graduellement la hauteur en utilisant plusieurs couches de pooling - Raison : La hauteur de la ligne de texte est relativement peu importante **Stratégie de maintien de largeur** : - Objectif : Maintenir l’information de largeur de l’image autant que possible - Méthode : Réduire les opérations de regroupement dans la direction de la largeur - Raison : L’information de séquence du texte se reflète principalement dans la direction de la largeur **Conversion des cartes de fonctionnalités** : La sortie de la couche convolutionnelle doit être convertie au format d’entrée du RNN : - Sortie brute : C×H×W (Hauteur × Hauteur× Largeur) - Converti : W×C (Longueur de la séquence× Dimension des caractéristiques) - Méthode : Prendre le vecteur de caractéristiques pour chaque position de largeur comme pas de temps ## Explication détaillée de la couche circulaire ### Sélection RNN Les CRNN utilisent typiquement des LSTM bidirectionnels comme couche de boucle : **Avantages du LSTM bidirectionnel** : - Informations contextuelles : Utiliser à la fois le contexte avant et arrière - Dépendances longue distance : LSTM est capable de gérer des dépendances longue distance - Stabilisation du gradient : Évite le problème de la disparition du gradient **Configuration réseau** : Entrée : W×512 (longueur de la séquence × dimension des caractéristiques) BiLSTM1 : 256 cellules cachées (128 en avant + 128 en arrière) BiLSTM2 : 256 cellules cachées (128 en avant + 128 en arrière) Sortie : W×256 (longueur de la séquence× dimensions cachées) ### Mécanismes de modélisation des séquences **Modélisation temporelle des dépendances** : La couche RNN capture les dépendances temporelles entre les caractères : - L’information du personnage précédent aide à reconnaître le personnage actuel - L’information sur les caractères suivants peut aussi fournir un contexte utile - L’information de l’ensemble du mot ou de l’expression aide à clarifier l’ambiguïté **Améliorations des fonctionnalités** : Les caractéristiques traitées par RNN présentent les caractéristiques suivantes : - Sensible au contexte : les caractéristiques de chaque emplacement contiennent des informations contextuelles - Cohérence temporelle : Les caractéristiques dans les emplacements adjacents ont une certaine continuité - Richesse sémantique : Combine des caractéristiques visuelles et de séquence ## Explication détaillée de la couche de transcription ### Mécanisme CTC La CTC (Classification Temporelle Connexionniste) est un élément clé du CRNN : **Le rôle des CTC** : - Résolution des problèmes d’alignement : Les longueurs des séquences d’entrée ne correspondent pas aux longueurs des séquences de sortie - Entraînement de bout en bout : Pas besoin d’annotations d’alignement au niveau des caractères - Gérer les doublons : Gérer correctement les cas de caractères dupliqués **Comment fonctionne le CTC** : 1. Élargir l’ensemble d’étiquettes : ajouter des étiquettes vierges au-dessus du jeu de caractères original 2. Énumération des chemins : Énumère tous les chemins d’alignement possibles 3. Probabilité de chemin : Calculer la probabilité de chaque chemin 4. Marginalisation : sommer les probabilités de tous les chemins pour obtenir la probabilité de la séquence ### Fonction de perte CTC **Représentation mathématique** : Étant donné la séquence d’entrée X et la séquence cible Y, la perte CTC est définie comme suit : L_CTC = -log P(Y| X) où P(Y| X) s’obtient en additionnant les probabilités de tous les chemins alignés possibles : P(Y| X) = Σ_π∈B^(-1)(Y) P(π| X) Ici, B^(-1)(Y) représente tous les ensembles de chemins pouvant être mappés à la suite cible Y. **Algorithme avant-arrière** : Pour calculer efficacement la perte CTC, un algorithme avant-arrière pour la programmation dynamique est utilisé : - Algorithme Forward : Calcule la probabilité d’atteindre chaque état - Algorithme à l’envers : Calcule la probabilité de chaque état jusqu’à la fin - Calcul du gradient : Calculer les gradients en conjonction avec la probabilité avant-arrière ## Stratégie de formation CRNN ### Prétraitement des données **Prétraitement d’image** : - Normalisation de la taille : Unifier la hauteur de l’image à 32 pixels - Maintien du ratio d’image : Maintient le format d’image de l’image originale - Conversion en niveaux de gris : Convertir en image en niveaux de gris à canal unique - Normalisation numérique : les valeurs des pixels sont normalisées à [0,1] ou [-1,1] **Amélioration des données** : - Transformations géométriques : rotation, inclinaison, transformation en perspective - Changements d’éclairage : luminosité, ajustements de contraste - Ajout de bruit : bruit gaussienne, bruit poivre et sel - Flou : Flou de mouvement, flou Gaussen ### Techniques d’entraînement **Planification du taux d’apprentissage** : - Taux d’apprentissage initial : généralement fixé à 0,001 - Stratégie de désintégration : décroissance exponentielle ou décroissance par étapes - Stratégie d’échauffement : Les premières époques utilisent un faible taux d’apprentissage **Techniques de régularisation** : - Dropout : Ajouter un dropout après la couche RNN - Dégradation du poids : la régularisation en L2 empêche le surajustement - Normalisation par lots : Utiliser la normalisation par lots dans la couche CNN **Sélection de l’optimiseur** : - Adam : Taux d’apprentissage adaptatif, convergence rapide - RMSprop : Adapté à la formation de la RNN - SGD+Momentum : option traditionnelle mais stable ## Optimisation et amélioration de CRNN ### Optimisation de l’architecture **Améliorations partielles de CNN** : - Connexions ResNet : Ajout de connexions résiduelles pour améliorer la stabilité de l’entraînement - DenseNet Fabric : Des connexions denses améliorent le multiplexage des caractéristiques - Mécanisme d’attention : Introduit l’attention spatiale dans les CNN **Améliorations partielles RNN** : - Remplacement de GRU : Utiliser GRU pour réduire la quantité de paramètres - Transformer : Remplace les RNN à l’aide de mécanismes d’auto-attention - Caractéristiques multi-échelles : Incorporent des caractéristiques de différentes échelles ### Optimisation de la performance **Accélération d’inférence** : - Quantification du modèle : la quantification INT8 réduit l’effort de calcul - Élagage modèle : Enlever les connexions sans importance - Distillation des connaissances : Apprenez les connaissances des grands modèles avec de petits modèles **Optimisation de la mémoire** : - Points de contrôle de gradient : Réduire l’empreinte mémoire pendant l’entraînement - Précision mixte : Train avec FP16 - Optimisation dynamique des graphes : Optimiser la structure du graphe calculé ## Cas d’application dans le monde réel ### Reconnaissance de texte manuscrit **Scénarios d’application** : - Numériser les notes manuscrites - Remplissage automatique des formulaires - Reconnaissance de documents historiques **Caractéristiques techniques** : - Grande variation de caractères : Nécessite de fortes capacités d’extraction de caractéristiques - Traitement de la course continue : Les avantages du mécanisme CTC sont évidents - Le contexte importe : Les capacités de modélisation de séquences des RNN sont cruciales ### Reconnaissance de texte imprimée **Scénarios d’application** : - Numériser les documents - Identification du billet - Reconnaissance de la signalisation **Caractéristiques techniques** : - Régularité des polices : l’extraction des caractéristiques CNN est relativement simple - Règles de typographie : l’information sur la mise en page peut être utilisée - Exigences de grande précision : nécessite un réglage fin du modèle ### Reconnaissance de texte de scène **Scénarios d’application** : - Reconnaissance de texte Street View - Identification de l’étiquette du produit - Reconnaissance des panneaux de signalisation **Caractéristiques techniques** : - Contexte complexe : Nécessite une extraction robuste de caractéristiques - Déformation sévère : Une architecture robuste est requise - Exigences en temps réel : Nécessite un raisonnement efficace ## Résumé En tant qu’architecture classique de l’OCR en apprentissage profond, le CRNN résout avec succès de nombreux problèmes des méthodes traditionnelles d’OCR. Sa méthode de formation de bout en bout, son concept de conception sans segmentation de caractères et l’introduction du mécanisme CTC fournissent tous une inspiration importante pour le développement ultérieur de la technologie OCR. **Contributions clés** : - Apprentissage de bout en bout : Simplifie la conception des systèmes OCR - Modélisation des séquences : Utilise efficacement les propriétés de séquence du texte - Alignement CTC : Inadéquation de longueur de séquence traitée - Architecture simple : facile à comprendre et à mettre en œuvre **Direction du développement** : - Mécanisme d’attention : Introduire l’attention pour améliorer la performance - Transformer : Remplace les RNN par l’auto-attention - Fusion multimodale : Combiner d’autres informations comme les modèles de langage - Conception légère : compression de modèles pour appareils mobiles Le succès du CRNN témoigne du grand potentiel de l’apprentissage profond dans le domaine de l’OCR et offre une expérience précieuse pour comprendre comment concevoir des systèmes d’apprentissage efficaces de bout en bout. Dans le prochain article, nous allons explorer les mathématiques et les détails d’implémentation de la fonction de perte CTC.