【Deep Learning OCR Series·8】Explicació detallada dels algoritmes de detecció de text

## Introducció La detecció de text és el primer i crucial pas en els sistemes OCR. La seva missió és localitzar amb precisió les àrees de text dins d'imatges, proporcionant una entrada precisa per al reconeixement de text posterior. Amb el desenvolupament de la tecnologia d'aprenentatge profund, els algorismes de detecció de text han experimentat una transformació significativa dels mètodes tradicionals als mètodes d'aprenentatge profund. Aquest article aprofundirà en els algoritmes de detecció de text convencionals, incloent-hi EAST, DBNet, PSENet, etc., i analitzarà els seus principis de disseny, característiques tècniques i escenaris d'aplicació. ## Reptes de la detecció de text ### Complexitat de l'escenari La detecció de text en el món real s'enfronta a molts reptes: **Deformació geomètrica**: - Distorsió de perspectiva: Distorsió geomètrica deguda als angles de dispar - Text corbat: Text sobre superfícies corbades com tanques i ampolles - Rotar el text: Disposar el text en qualsevol angle - Variació d'escala: Diferències en la mida del text degudes a diferents distàncies **Distraccions visuals**: - Fons complexos: El text i el fons són similars en color i textura - Canvis d'il·luminació: Influències com la llum intensa, les ombres, els reflexos, etc - Desenfocament i soroll: desenfocament de moviment, enfocament inexacte, soroll d'imatge - Problemes d'oclusió: Alguns textos estan ocults per altres objectes **Diversitat de text**: - Combinació multilingüe: xinès, anglès, àrab i altres llengües diferents - Variants de tipografies: tipografies impreses, cal·ligrafies i artístiques - Disposició densa: espaiat entre línies reduït i caràcters ajustats - Multidireccionalitat: horitzontal, vertical, inclinació, etc. en diferents direccions ### Requisits tècnics **Requisits d'exactitud**: - Alta recordació: no es pot perdre les àrees de text - Alta precisió: Evitar detectar erròniament àrees que no siguin de text - Precisió dels límits: Localitzar amb precisió els límits del text **Requisits d'eficiència**: - Processament en temps real: Les aplicacions mòbils han de ser sensibles - Limitacions de recursos: Limitacions de computació i memòria per a dispositius mòbils - Processament per lots: Processament eficient de documents a gran escala ## Mètodes tradicionals de detecció de text ### Enfocament basat en components connectats **MSER (Regions Extremals Maximalment Estables)**: - Principi: Buscar àrees extremes estables a la imatge - Avantatges: Resistent als canvis de llum, alta eficiència computacional - Inconvenients: Sensible a fons complexos, text de baix contrast difícil de manipular **SWT (Transformada d'amplada de traç)**: - Principi: text de detecció de consistència basat en l'amplada del traç - Avantatges: Adaptable als canvis de tipografia - Desavantatges: Sensible als paràmetres, sensible al soroll ### Enfocament basat en finestres corredisses **Detecció a múltiples escales**: - Utilitzar finestres corredisses de diferents mides - Combina característiques manuals com HOG i LBP - Utilitzar classificadors com les SVMs per determinar si és text o no **Anàlisi de pros i contres**: - Avantatges: Concepte senzill i fàcil d'implementar - Inconvenients: Alta complexitat computacional, text de forma arbitrària difícil de manejar ## Algoritmes de detecció de text d'aprenentatge profund ### Explicació detallada de l'algoritme EAST EAST (Efficient and Accurate Scene Text Detector) és un algorisme eficient de detecció de text proposat el 2017. **Idea bàsica**: - Predicció directa de les àrees de text: Evitar passos complexos de postprocessament - Fusió de característiques a escala mútua: Combinar diferents nivells d'informació de característiques - Predicció de geometria: Suporta la detecció rotativa de rectangles i quads **Arquitectura de Xarxa**: **1. Xarxa d'extracció de característiques**: - Xarxa troncal: PVANet o ResNet - Piràmide de Característiques: Incorpora característiques a escala múltiple - Upsampling: Restaurar la resolució del mapa de característiques **2. Branca de predicció**: - Gràfic de puntuació: Prediu la probabilitat que cada píxel pertanyi al text - Geometria: Prediu els paràmetres geomètrics de l'àrea de text **Predicció de paràmetres geomètrics**: **Mode rectangle giratori**: - 4 valors de distància: distància als quatre costats del rectangle - 1 valor d'angle: l'angle de rotació del rectangle **Quad Mode**: - 8 valors de coordenades: desplaçament de coordenades dels quatre vèrtexs del quadrant **Disseny de la Funció de Pèrdua**: **Pèrdues classificades**: Pèrdua d'entropia creuada utilitzant l'equilibri de classes: L_cls = -β * y * log(ŷ) - (1-β) * (1-y) * log(1-ŷ) **Pèrdua per regressió**: Utilitzant una combinació de pèrdua d'IoU i suavitzant la pèrdua de L1: L_geo = L_IoU + λ * L_smooth_L1 **Post-processament**: - Llindar: Generar regions candidates basant-se en el gràfic de puntuació - NMS: Inhibició no màxima de l'eliminació d'assaigs repetits - Restriccions geomètriques: Filtrar geometries irracionals ### Explicació detallada de l'algorisme DBNet DBNet (Xarxa de Binarització Diferenciable) és un algorisme de detecció de text en temps real proposat el 2020. **Innovació Central**: - Binarització diferenciable: Integra el procés de binarització a la xarxa - Llindars adaptatius: S'aprenen llindars òptims per a cada píxel - Postprocessament simplificat: Redueix la complexitat del postprocessament **Arquitectura de Xarxa**: **1. Xarxa Backbone**: - ResNet-18/50: Extracció de característiques - FPN: Xarxa de Piràmides de Característiques - Upsampling: Revertir a 1/4 de la resolució de la imatge original **2. Cap de predicció**: - Gràfic de probabilitat P: probabilitat d'àrea de text - Graf de llindar T: Llindar de binarització adaptativa - Figura binària B: El resultat final de la binarització **Binarització diferenciable**: **Binarització estàndard**: B = 1 si P > T sinó 0 **Aproximació diferenciable**: B = 1 / (1 + exp(-k*(P-T))) on k és el factor d'amplificació, fent que la funció s'acosti més a la funció de pas. **Funció de pèrdua**: **Pèrdues totals**: L = L_cls + α * L_dis + β * L_thresh - L_cls: Pèrdua de classificació (entropia creuada binària) - L_dis: Pèrdua de distància (pèrdua de daus) - L_thresh: Pèrdua llindar (pèrdua L1) **Estratègies d'entrenament**: - Mineria de mostres difícil: Enfocar-se en píxels difícils de classificar - Millora de dades: rotació, escalat, transformació de color - Entrenament multiescala: Millora l'adaptabilitat a diferents mides de text ### Explicació detallada de l'algorisme PSENet PSENet (Progressive Scale Expansion Network) està dissenyat específicament per detectar text de forma arbitrària. **Idea bàsica**: - Expansió progressiva: Expansió gradual des de petits nuclis fins a àrees de text complet - Nuclis multiescala: Generen nuclis de text de diferents mides - Agregació de píxels: Reconstruir instàncies de text mitjançant agregació a nivell de píxel **Arquitectura de Xarxa**: **1. Extracció de característiques**: - Xarxa troncal ResNet - Fusió de característiques FPN - Múltiples branques de previsió **2. Previsió multiescala**: Genera n gràfics de segmentació a diferents escales: - S1: Nucli mínim (àrea central de text) - S2, S3, ..., Sn: Nuclis que s'expandeixen gradualment - Sn: Àrea de text complet **Algorisme d'escalat progressiu**: **1. Inicialització**: - Començar amb el nucli més petit, S1 - Utilitzar l'Anàlisi de Components de Connectivitat per obtenir instàncies de text **2. Expansió iterativa**: per a i en rang(2, n+1): Per a cada instància de text: Busca píxels adjacents en Si Fusiona píxels adjacents a la instància actual Actualitzar límits d'instància **3. Condicions de terminació**: - Assolir l'escala màxima Sn - O no és possible continuar expandint-se **Funció de pèrdua**: **Pèrdua total**: L = Σ(i=1 a n) λi * L_seg(Si, Gi) Entre ells: - L_seg: Pèrdua dividida (pèrdua de daus + pèrdua d'entropia creuada) - Gi: L'etiqueta de veritat de l'escala i - λi: Pesos a diferents escales ### Algorisme PixelLink PixelLink detecta el text predient la connexió entre píxels. **Idea bàsica**: - Classificació de píxels: Determinar si cada píxel pertany al text - Predicció de connexió: Predir la connexió entre píxels adjacents - Segmentació d'instàncies: Agregar píxels per formar instàncies de text a través de relacions de connexió **Disseny de Xarxes**: **1. Prediccions de text/no text**: - Tasques de classificació binària - Probabilitat de text de sortida per píxel **2. Predicció de connexió**: - Predicció de connexions en 8 direccions - Probabilitat de connexió de sortida per a cada direcció **Algorismes de postprocessament**: **1. Filtratge de píxels**: - Filtrar píxels basant-se en la probabilitat del text - Conservar píxels de text d'alta confiança **2. Agregació de connexions**: - Ús i cerca d'algoritmes - Fusió de píxels basada en relacions de connexió - Formes d'instàncies de text connectades ## Avaluar mètriques i conjunts de dades de referència ### Avaluar mètriques **Indicadors de nivell de detecció**: - Precisió: Detecta la proporció correcta d'àrees de text - Record: La proporció d'àrees reals de text que es detecten correctament - F1 Score: La mitjana harmonitzada de precisió i record **Mètriques a nivell de píxel**: - Precisió de píxels: El percentatge de píxels que estan correctament classificats - Record de píxels: El percentatge de píxels de text que estan correctament classificats - IoU: La ràtio de l'àrea de predicció respecte a l'àrea real ### Conjunt de dades de referència **Sèrie ICDAR**: - ICDAR 2013: Detecció de text horitzontal enfocat - ICDAR 2015: Conté text multidireccional - ICDAR 2017: Detecció de text multilingüe **Altres conjunts de dades importants**: - MSRA-TD500: Línies de text llargues multidireccionals - COCO-Text: Text en escenes naturals - Text-Total: Detecció de text corbat - CTW1500: Text de forma arbitrària ## Consideracions d'aplicació pràctica ### Optimització del rendiment **Compressió de models**: - Destil·lació del coneixement: Aprèn models grans amb models petits - Poda de models: Eliminar connexions poc importants - Quantització: Redueix la precisió numèrica **Acceleració d'inferència**: - TensorRT: acceleració de la GPU Nvidia - OpenVINO: Optimització de maquinari Intel - Optimització mòbil: Optimitzada per a processadors ARM ### Estratègia de desplegament **Desplegament al núvol**: - Models d'alta precisió: Utilitzen estructures de xarxa complexes - Processament per lots: Augmenta el rendiment - Escalat elàstic: Escalat automàtic segons la càrrega **Desplegament a la vora**: - Models lleugers: equilibri precisió i eficiència - Processament en temps real: Requisits baixos de latència - Funciona fora de línia: No cal connexió a internet ## Tendències de desenvolupament futures ### Direcció de desenvolupament tecnològic **Fusió multimodal**: - Incorporació de models de llenguatge: Aprofitant la informació semàntica textual - Fusió multi-sensor: Combina informació com la profunditat, l'infraroig, etc. - Informació de temps: Utilitza relacions de temps en vídeos **Detecció Adaptativa**: - Adaptació de domini: S'adapta a diferents escenaris i distribucions de dades - Aprenentatge amb menys trets: Adaptar-se ràpidament a nous tipus de text - Aprenentatge en línia: Millora contínua basada en el feedback dels usuaris **Optimització d'extrem a extrem**: - Detecció i identificació femenina: Optimització unificada de la detecció i identificació - Aprenentatge multitarea: Realitzar múltiples tasques relacionades simultàniament - Cerca d'arquitectura neuronal: Dissenya automàticament l'estructura òptima de la xarxa ### Expansió d'aplicacions **Escenaris emergents**: - AR/VR: Detecció de text en realitat augmentada - Conducció autònoma: reconeixement de senyals de trànsit i senyals de trànsit - Proves Industrials: Etiquetatge de productes i control de qualitat **Aplicacions interdominàries**: - Imatge mèdica: Text de registres i informes mèdics - Imatges de Teledetecció: Identificació de topònims en imatges de satèl·lit - Documents històrics: Digitalització de llibres i manuscrits antics ## Resum La detecció de text, com a component clau dels sistemes OCR, ha fet un progrés significatiu en l'era de l'aprenentatge profund. Des de la detecció eficient d'EAST fins al processament en temps real de DBNet i la detecció arbitrària de formes de PSENet, cada algorisme té els seus propis avantatges únics i escenaris aplicables. **Punts tècnics clau**: - Multi-Scale Feature Fusion: Gestiona text de diferents mides - Modelització geomètrica: Suporta la detecció de text de formes arbitràries - Optimització d'extrem a extrem: Optimització del disseny i formació del sistema - Consideracions en temps real: equilibrar la necessitat de precisió i eficiència **Recomanacions de selecció**: - Prioritzar la precisió: optar per algorismes complexos com PSENet - Prioritzar la velocitat: Triar algorismes lleugers com DBNet - Versatilitat: Triar algorismes com EAST que equilibrin el rendiment Amb el desenvolupament continu de la tecnologia, els algorismes de detecció de text continuaran evolucionant en la direcció d'una major precisió, una velocitat més ràpida i capacitats de generalització més fortes, proporcionant una base tècnica sòlida per a l'aplicació generalitzada dels sistemes OCR.