FR2840093A1 - Procede de numerisation par camera avec correction de la deformation et amelioration de la resolution - Google Patents

Abstract

Procédé de sélection de zone de numérisation par caméra, de correction de la déformation projective, d'amélioration de la résolution, puis de binarisation, comprenant les phases opératoires suivantes : - réalisation d'un contour fermé dans le document à traiter ou autour du document à traiter, soit à l'aide d'un tracé (par exemple : quadrilatère rectangle) réalisé manuellement ou imprimé, soit à l'aide d'un cadre de matériau quelconque évidé, - présentation du document à traiter devant la caméra sous une incidence quelconque de manière que le susdit contour soit entièrement visible dans l'image présente sur l'écran de visualisation, - acquisition de l'image et recherche de contour dans l'image, - calcul des déformations projectives, extraction et fusion des contenus des images, - génération de l'image finale.

Description

doigt sous les mots inscrits a l'ecran entendre les mots ou syllabes les

uns apres les autres.

1 2840093

s s o La presente invention concerne un procede de numerisation par camera avec

correction de la deformation et amelioration de la resolution.

Wile a plus particulierement pour objet, mais non exclusivement, la numerisation d'un texte ou d'un graphique contenant une zone delimitee par un trait continu ou non, ou situe dans une zone delimitee par un trait continu

ou non.

Ce procede est particulierement adapte a la presentation, a ['exploitation, a la transmission et au stockage de textes et de graphiques numerises, o prealablement visionnes par une camera sous incidence quelconque puis traites par correction de la deformation projective et par amelioration de la resolution. D'une maniere generale, on salt que ['information est devenue aujourd'hui omnipresente et sa ma^trise est capitale; or cette information est constituee, en

quasi totalite, de donnees textuelles.

Les connaissances, qu'elles soient techniques, scientifiques, historiques, economiques, juridiques, medicales..., vent en majorite memorisees et so vehiculees par des textes; celles qui vent publiees recemment vent directement

2 2840093

accessibles sous forme electronique; par contre, la majorite du patrimoine des

connaissances n'est encore disponible que sous forme de document papier.

La societe est ainsi confrontee a un besoin enorme de retraitement, dit aussi << retroconversion >>, pour passer a un format electronique. Ce besoin a motive de nombreuses etudes dans le domaine de ['extraction de

donnees et notamment de la reconnaissance automatique de l'ecriture.

o La reconnaissance des documents s'apparente a de la reconnaissance d'image; elle concerne toutes les questions autour du langage ecrit et de sa transformation numerique: reconnaissance de caracteres, formatage du texte,

structuration du contenu et acces a ['information par son indexation.

s I1 s'agit done de retrouver une structure existante, de sorte que la reconnaissance soit guidee par un modele explicite ou implicite de la classe de document etudiee. Le modele decrit les elements qui composent le document

et leurs relations; cette description peut etre physique par exemple en donnant

le format de mise en page.

Par ailleurs, on salt que ['interpretation par une personne d'un texte ou d'un graphique, prealablement visionne par une camera, suppose une prise de vue quasi normale ou perpendiculaire au document supportant le texte ou le

graphique et une resolution suffisante pour distinguer les details.

On peut comprendre aisement que la lecture d'un texte par la personne recevant le message est grandement facilitee sous incidence normale ou quasi normale au plan du document; quant a ['interpretation d'un graphique, elle

necessite, presque obligatoirement, le respect des formes et des proportions.

3 2840093

Enfin, la reconnaissance de caracteres et de documents a considerablement progresse; les scanners fournissent une resolution suffisante pour les etapes ulterieures de reconnaissance; celles-ci vent les suivantes: acquisition ou numerisation, s - redressement, - binarisation, segmentation des pages, - reconnaissance des caracteres,

- reconnaissance de la structure logique.

Pour ameliorer la qualite de la segmentation et de la reconnaissance automatique de caracteres, il est souhaitable que ['image du document soit parfaitement droite et de resolution suffisante; cela facilite notamment la recherche des colonnes du texte dans le cas ou deux colonnes consecutives ts vent tres proches l'une de l'autre et la reconnaissance de caracteres si ceux-ci vent de taille particulierement reduite; il est done necessaire de detecter ['angle de deviation globale de la page et d'ameliorer la definition de ['image, notamment, celles issues de camera de qualite insuffisante permettant de distinguer les details d'un texte ou d'un graphique pris a une certaine distance ^'o et de garantir une resolution minimale pour la reconnaissance des caracteres; plusieurs algorithmes ont ete mis au point pour detecter ['angle dtinclinaison du texte, celui-ci ne peut neanmoins exceder 10 a 20 dans le plan de la .. scannersahon. ^75 La difficulte devient insurmontable quand le document a ete visionne par une camera sous une incidence quelconque, le document ayant subi une deformation projective, et a une distance de la camera entramant la disparition de details dans ['image qui vent necessaires a la reconnaissance des caracteres

et, par consequent, a la comprehension du document.

4 2840093

L'invention a done plus particulierement pour but de supprimer ces ,. nconvenents. A cet effet, elle propose un procede de selection de zone de numerisation par camera, de correction de la deformation projective, d'amelioration de la

resolution, puis de binarisation.

Selon ['invention, ce procede comprendra les phases operatoires suivantes: - la realisation d'un contour ferme dans le document a traiter ou o autour du document a traiter, soit a ['aide d'un trace (par exemple: quadrilatere rectangle) realise manuellement ou imprime, soit a ['aide d'un cadre de materiau quelconque evide, - la presentation du document a traiter devant la camera sous une incidence quelconque de maniere que le susdit contour soit entierement visible dans ['image presente sur l'ecran de vi suali s ati on, - l'acquisition de ['image et la recherche de contour dans ['image, - le calcul des deformations projectives, ['extraction et la fusion des contenus des images,

o - la generation de ['image fmale.

Avantageusement, ce procede permettra de: - faciliter ['interpretation du document re$u par la personne concernee,

- reconstituer la structure du document a partir de la description

physique de celui-ci, - effectuer la reconnaissance de caracteres a partir de logiciels connus de l'etat de ['art, - transferer le document par l'intermediaire d'un reseau de o communication, tel que Internet, d'un reseau cellulaire tel que GSM, GPRS ou UMTS, s 2840093 - stocker le document sur un support approprie connu de ltetat de ['art. Dans ce cas, le procede, selon ['invention, pourra faire intervenir: s - une unite centrale rassemblant des moyens de traitement et de memorisation, - une camera reliee a ['unite centrale, de preference fixee ou integree a celleci, - un ecran permettant de visualiser ['image prise par la camera, o des moyens de transmission et de stockage des informations numerisees. Ainsi la retroconversion du document, ctest-a-dire son passage sous format electronique, sera rendue possible, permettant de ce fait son exploitation, sa

s transmission et son stockage.

Un mode d'execution de ['invention sera decrit ci-apres, a titre d'exemple non limitatif, avec reference aux dessins annexes, dans lesquels: - la figure 1 represente un dispositif permettant de visionner un o document sous incidence quelconque, - la figure 2 represente un organigramme concernant ['acquisition de ['image et la recherche du contour dans ['image, - la figure 3 represente un organigramme concernant ltextraction, la fusion des contenus des images et la generation de ['image finale, s la figure 4 represente un organigramme detaille concernant la recherche de contour dans ['image, - la figure 5 represente un organigramme detaille concernant la selection du contour et le calcul de la deformation projective du contour trouve dans ['image,

6 2840093

- la figure 6 represente un organigramme detaille concernant la fusion des informations contenues dans le contour trouve et le rehaussement des contrastes des images, - la figure 7 represente un organigramme detaille concernant ltobtention de ['image finale, - la figure 8 represente un mode de selection du contour sous forme graphique. Dans ltexemple represente sur la figure 1, la camera C est axee sur le centre o d'un document rectangulaire D selon un angle d' incidence i. L' image de ce document, saisie par la camera C telle que visualisee sur un ecran E, a subi

une deformation projective et presente done une forme trapezodale D'.

L' invention propose de realiser prealablement un contour ferme dans le s document a traiter ou autour du document a traiter; ce contour constitue ainsi une zone de numerisation visionnee par la camera; les images successives

acquises par la camera, vent rendues visibles sur ltecran de visualisation.

Conformement a l'organigramme de la figure 2, pour chacune des images acquises, le procede comprend une premiere etape de recherche du contour (bloc 1), jusqu'a l'obtention du contour trouve (bloc 2); le contour etant detecte, ['image est sauvegardee (bloc 3) et ['acquisition est terminee; le processus se repete jusqu'a l'obtention de N images, N etant fixe a l'avance

(bloc 4).

Conformement a l'organigramme de la figure 3, a partir des images sauvegardees, le procede effectue un calcul des deformations projectives des contours (bloc 5), puis la fusion des informations contenues dans les images

(bloc 6) et enfin la generation de ['image finale (bloc 7).

7 2840093

Conformement a l'organigramme de la figure 4, le procede comprend la detection des frontieres presentes dans ['image (bloc 11), ['extraction des frontieres suffisamment longues (bloc 12) et la detection des zones delimitees par les frontieres trouvees dont l'aire est suffisante et ne touchant pas le bord de ['image (bloc 13). Conformement a l'organigramme de la figure 5, le procede propose, pour chaque zone trouvee dans la phase de recherche de contour, de calculer l'axe principal de la zone (bloc 51), puis de trouver un point externe a la zone sur o l'axe (bloc 52), puis de construire le cone externe issu du point externe (bloc 53), puis d'extraire les points de la frontiere dont la normale exterieure s'oppose au vecteur le joignant et partant du point externe (bloc 54), puis de calculer la droite portee par l'axe principal des points extraits (bloc 55), puts, quatre droites etant trouvees, de calculer les quatre sommets du quadrilatere s issu des quatre droites (bloc 56), puts, l'aire du quadrilatere etant proche de l'aire de la zone, de calculer l'homographie deformant le quadrilatere en

rectangle de proportion fixee a l'avance (bloc 57).

Si quatre droites ne vent pas trouvees, le procede propose de calculer l'axe o deduit par translation de l'axe principal des points extraits, dans la direction

perpendiculaire a celui-ci (bloc 58).

Si l'aire du quadrilatere rectangle n'est pas proche de l'aire de la zone non encore consideree, le procede propose d'effectuer a nouveau un calcul de l'axe

principal de la zone (bloc 51), suivi des operations definies ci-dessus.

Conformement a l'organigramme de la figure 6, le procede comprend, pour chaque image a traiter par la correction de deformation projective, la construction d'une image virtuelle rectangulaire par projection du contenu du so contour en utilisant l'homographie calculee (bloc 61), le rehaussement du contraste de l' image virtuelle par application d'un filtre dit de rehaussement

8 2840093

des bords (bloc 62), puis le calcul de ['image virtuelle moyenne dont les intensites de couleur vent les moyennes des intensites de couleur des images

virtuelles rehaussees (bloc 63).

s Conformement a l'organigramme de la figure 7, le procede propose, pour chaque pixel de ['image virtuelle moyenne, de calculer la moyenne des intensites de couleur, suivant la formule M = (R+V+B)/3 (bloc 71). Si le terme M est inferieur a un seuil predetermine, le pixel de ['image finale est considere comme noir (bloc 72); a contrario, si le terme M est superieur a ce meme

o seuil, le pixel de ['image finale est considere comme blanc (bloc 73).

Le contour recherche 1 est represente, sur la figure 8, par ses quatre segments de droite la, lb, lc et ld: - soit la droite 2, l'axe principal de la zone delimitee par le contour l, ts passant par le barycentre G. soit le point 3, situe a l'exterieur de la zone sur l' axe 2, - soit les demi-droites 31 et 32, issues du point 3, formant le cone externe au segment de droite la du contour 1, - soit les points 4 et 5, situes sur le segment 1 a, A7O - soit les normales exterieures au contour 41 et 51, les demi-droites perpendiculaires au segment de droite la, au niveau des points 4 et 5. Les points 4 et 5 vent deux points parmi les points extraits qui definissent la ^}5 frontiere de la zone materialisee par le segment de droite la, puisque les normales exterieures au contour 41 et 51 s'opposent aux demi-droites

rejoignant respectivement les points 3 et 4, 3 et 5.

La recherche des autres segments de droite lb, lc et ld est effectuee selon le o meme procede a partir de la droite 6, deduite par translation du segment de droite la, en s'eloignant de celui-ci par rapport au point 3, et du point 7, situe

9 2840093

sur la droite 6, a ltexterieur de la zone delimitee par le contour 1, et des demi droites 71 et 72 formant le cone externe au segment de droite lb. Dans cet exemple, le procede de selection de zone de numerisation par s camera, de correction de la deformation projective, d'amelioration de la resolution puis de binarisation comprend: - la realisation d'un contour ferme dans le document a traiter ou autour du document a traiter, soit a ['aide d'un trace (par exemple: quadrilatere rectangle) realise manuellement ou imprime, soit a o ['aide d'un cadre de materiau quelconque evide, - la presentation du document a traiter devant la camera sous une incidence quelconque de maniere que le susdit contour et le susdit document soient entierement visibles dans ['image presente sur l'ecran de visualisation, - la detection des frontieres presentes dans ['image, l'extraction des frontieres suffisamment longues, - la detection des zones delimitees par les frontieres trouvees dont l'aire est suffisante et ne touchant pas le bord de ['image, - la recherche de nouvelles frontieres et la pour-quite du processus si le contour ntest pas trouve, jusqu'a l'obtention d'un contour permettant la sauvegarde et ['acquisition de ['image, - la sauvegarde et ['acquisition de ['image si un contour est trouve, - le calcul des deformations projectives des contours consistent a calculer l'axe principal de la zone, puis a trouver un point externe a la zone sur ['axe, puis a construire le cone externe issu du point externe, puis a extraire les points de la frontiere dont la normale exterieure s'oppose au vecteur le joignant et partant du point externe, puis a calculer la droite portee par l'axe principal des points extraits, puts, quatre droites etant trouvees, a calculer les quatre sommets du quadrilatere issu des quatre droites, puts, l'aire du quadrilatere rectangle etant proche de l'aire de la zone non encore

2840093

consideree, a calculer l'homographie deformant le quadrilatere en rectangle de proportion fixee a l'avance, - le calcul de l'axe deduit par translation de l'axe principal des points extraits, dans la direction perpendiculaire a celui-ci, si quatre droites ne vent pas trouvees, - le calcul a nouveau de l'axe principal d'une zone non encore consideree, suivi des operations precedentes, si l'aire de quadrilatere rectangle n'est pas proche de l'aire de la zone, - la construction pour chaque image d'une image virtuelle o rectangulaire par projection du contenu du contour en utilisant lthomographie calculee, - l' amelioration du contraste de ['image virtuelle par application d'un filtre dit de rehaussement des bords, le calcul de ['image virtuelle moyenne dont les intensites de couleur vent des moyennes des intensites de couleur des images virtuelles rehaussees, - le calcul de ['image virtuelle moyenne dont les intensites de couleur vent les moyennes des intensites de couleur des images virtuelles rehaussees, - le calcul, pour chaque pixel de ['image virtuelle moyenne, de la moyenne M des intensites de couleur, - la designation comme pixel noir, tout pixel dont le terme M est

,.. ....

nfereur a un seu1 predetermne, - la designation comme pixel blanc, tout pixel dont le terme M est

superieur a un seuil predetermine.

Ainsi ce procede permet la presentation, ['exploitation, la transmission et le stockage de textes et de graphiques numerises, prealablement visionnes par une camera sous incidence quelconque puis traites par correction de la

deformation projective et par amelioration de la resolution.

11 2840093

Claims (5)

REVENDICATIONS

1. Procede pour l'optimisation de ['exploitation d'un document (D) visionne par une camera (C) sous incidence quelconque, caracterise en ce qu'il consiste a selectionner la zone de numerisation, a corriger la deformation projective a ['aide d'un contour ferme de geometric predeterminee prealablement associe au document, a ameliorer la resolution et

a binariser eventuellement ['image du susdit document visionne.

2. Procede selon la revendication 1,

caracterise en ce que le susdit document (D) est un texte ou un graphique.

3. Procede selon la revendication 2, caracterise en ce qutil comprend: s la realisation d'un contour ferme dans le document (D) a traiter ou autour du document (D) a traiter, soit a l' aide d'un trace (par exemple: quadrilatere rectangle) realise manuellement ou imprime, soit a ['aide d'un cadre de materiau quelconque evide, - la presentation du document (D) a traiter devant la camera (C) sous o une incidence quelconque de maniere que le susdit contour soit entierement visible dans ['image presente sur l'ecran de visualisation (E), - l'acquisition de ['image et la recherche de contour dans ['image, - le calcul des deformations projectives, ['extraction et la fusion des s contenus des images,

- la generation de ['image finale.

4. Procede selon la revendication 3, caracterise en ce que ['acquisition de ['image et la recherche de contour dans so l' image comprend:

12 2840093

la detection des frontieres presentes dans l' image (bloc 1 1), ['extraction des frontieres suffisamment longues (bloc 12), la detection des zones delimitees par les frontieres trouvees dont l'aire est suffisante et ne touchant pas le bord de ['image (bloc 13), - la recherche de nouvelles frontieres et la pour-quite du processus si le contour n' est pas trouve, jusqu'a l' obtention d'un contour permettant la sauvegarde et ['acquisition de ['image,

la sauvegarde et ['acquisition de ['image si un contour est trouve.

o

5. Procede selon la revendication 3, caracterise en ce que lt extraction de ['image et la generation de ['image finale comprend: - le calcul des deformations projectives des contours consistent a calculer l'axe principal de la zone (bloc 51), puis a trouver un point s externe a la zone sur l'axe (bloc 52), puis a construire le cone externe issu du point externe (bloc 53), puis a extraire les points de la frontiere dont la normale exterieure s'oppose au vecteur le joignant et partant du point externe (bloc 54), puis a calculer la droite portee par l'axe principal des points extraits (bloc 55), puts, quatre droites etant trouvees, a calculer les quatre sommets du quadrilatere issu des quatre droites (bloc 56), puts, l'aire du quadrilatere rectangle etant proche de l'aire de la zone non encore consideree, a calculer l'homographie deformant le quadrilatere en rectangle de proportion fixee a l'avance (bloc 57), s - le calcul de l'axe deduit par translation de l'axe principal des points extraits, dans la direction perpendiculaire a celui-ci, si quatre droites ne vent pas trouvees, - le calcul a nouveau de l'axe principal d'une zone non encore consideree (bloc 58), suivi des operations precedentes, si l'aire de o quadrilatere rectangle n'est pas proche de l'aire de la zone,

13 2840093

la construction pour chaque image d'une image virtuelle rectangulaire par projection du contenu du contour en utilisant l'homographie calculee (bloc 61), ['amelioration du contraste de ['image virtuelle par application d'un s filtre dit de rehaussement des bords (bloc 62), - le calcul de ['image virtuelle moyenne dont les intensites de couleur vent les moyennes des intensites de couleur des images virtuelles rehaussees (bloc 63), - le calcul, pour chaque pixel de ['image virtuelle moyenne, de la o moyenne M des intensites de couleur (bloc 71), la designation comme pixel noir, tout pixel dont le terme M est inferieur a un seuil predetermine (bloc 72), la designation comme pixel blanc, tout pixel dont le terme M est