[go: up one dir, main page]

WO2020011865A1 - Procede d'enrichissement d'une base d'apprentissage - Google Patents

Procede d'enrichissement d'une base d'apprentissage Download PDF

Info

Publication number
WO2020011865A1
WO2020011865A1 PCT/EP2019/068561 EP2019068561W WO2020011865A1 WO 2020011865 A1 WO2020011865 A1 WO 2020011865A1 EP 2019068561 W EP2019068561 W EP 2019068561W WO 2020011865 A1 WO2020011865 A1 WO 2020011865A1
Authority
WO
WIPO (PCT)
Prior art keywords
dental
photo
neural network
original
photos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/068561
Other languages
English (en)
Inventor
Philippe Salah
Laurent Debraux
Guillaume GHYSELINCK
Thomas PELLISSARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dental Monitoring SAS
Original Assignee
Dental Monitoring SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1856497A external-priority patent/FR3083900B1/fr
Priority claimed from FR1856498A external-priority patent/FR3083898B1/fr
Priority claimed from FR1873792A external-priority patent/FR3083899B1/fr
Application filed by Dental Monitoring SAS filed Critical Dental Monitoring SAS
Priority to US17/283,530 priority Critical patent/US12159398B2/en
Priority to ES19736742T priority patent/ES3008908T3/es
Priority to EP19736742.8A priority patent/EP3827406B1/fr
Publication of WO2020011865A1 publication Critical patent/WO2020011865A1/fr
Anticipated expiration legal-status Critical
Priority to US18/931,249 priority patent/US20250054148A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to the field of photo analysis of dental arches. It relates in particular to a method for creating a learning base intended for training a neural network intended to perform such an analysis.
  • the most recent techniques use neural networks to assess dental situations from images, conventionally radiographs, in particular for post-mortem identification.
  • neural network or “artificial neural network” is a set of algorithms well known to those skilled in the art.
  • the neural network can in particular be chosen from: networks specialized in the classification of images, called “CNN” (“Convolutional neural network”), for example
  • VGG CNN S VGG CNN M, VGG CNN M 2048, V GG CNN M 10 24, V GG_CNN_M_ 128, V GG CNN F, VGG ILSVRC-2014 l6-layer, VGG ILSVRC-2014 l9-layer, Network-in-Network (Imagenet & CIFAR-10)
  • the Object Detection Network for example:
  • a neural network To be operational, a neural network must be trained by a learning process called “deep learning”, from a learning base made up of a set of records each comprising an image and a description of the picture. By presenting the input recordings of the neural network, the latter gradually learns how to generate a description for an image that is presented to it.
  • each record in the learning base can include an image of a dental arch and a description identifying, in this image, the representations of the teeth, or "tooth zones", and the corresponding tooth numbers.
  • these descriptions are generated by an operator who delimits, by means of a computer, the tooth zones and who, after identifying the corresponding tooth, for example “right upper canine", assigns a number to them accordingly. This operation is called “labeling”.
  • labeling After being trained, the neural network will thus be able to identify, on a picture presented to it, the representations of the teeth and the corresponding tooth numbers.
  • the quality of the analysis performed by the neural network directly depends on the number of records in the learning base.
  • the learning base must contain more than 10,000 records. There is a need for the rapid establishment of such a learning base.
  • An object of the invention is to meet these needs.
  • the invention proposes a method for enriching a historical learning base, said method comprising the following steps: 1) training of a first neural network to transform first photos of first dental scenes into first hyperrealistic images to simulate the effect of a dental event on said first dental scenes;
  • an enrichment method makes it possible to obtain a historical learning base comprising numerous images representing, with the quality of photos, dental scenes in dental contexts for which few photos are available.
  • the quality of these images advantageously makes it possible to use them to train a second neural network so that it can search, in photos to be analyzed, for patterns specific to the dental context.
  • the dental event is chosen from an application of an orthodontic appliance, dental treatment, the occurrence of a pathology, a change in the shape, color or position of a tooth or more teeth and / or tongue and / or gum and / or arch and / or temporomandibular joint and / or face shape, and / or a relationship between the two arches , and a modification of the conditions of observation of a first dental scene;
  • the dental context is that of a dental pathology which affects less than 10% of the population and / or for which less than 10,000 photos representing a dental arch affected by said dental pathology exist and, preferably, are public;
  • the first neural network is trained to, in step 2), only add one or more elements to the original photo;
  • the first neural network is trained to, in step 2), only add an orthodontic appliance to the original photo;
  • step 1) several first neural networks are trained, preferably more than 2, more than 3, more than 5 or more than 10 first neural networks, to simulate the effect of different dental events, then, in step 2), the original photo is submitted to said first neural networks trained so as to generate several final images;
  • the first photos and / or the original photo are extra-oral views taken using a dental retractor.
  • the invention also relates to a method for analyzing a photo to be analyzed representing a dental scene to be analyzed, said method comprising the following steps:
  • the second neural network thus advantageously makes it possible to evaluate whether the dental scene on the photo to be analyzed to be analyzed corresponds to this pathology.
  • the photo to be analyzed is taken by the patient with his mobile phone
  • step C) is implemented by a computer, integrated into the mobile phone or with which the mobile phone can communicate,
  • the computer informs the patient, preferably via the mobile phone, of the result of the analysis.
  • the processes are carried out by computer.
  • the first and second neural networks are created, trained and implemented by computer.
  • Submitting a photo to a neural network the creation of a description and the addition of a recording are also operations carried out by means of a computer, possibly with the assistance of an operator, preferably without the assistance of a operator otherwise to launch a computer program.
  • the invention therefore also relates to:
  • a computer medium on which such a program is recorded for example a memory or a CD-ROM.
  • a "patient” is a person for whom a method according to the invention is implemented, regardless of whether this person is undergoing orthodontic treatment or not.
  • a “dental situation” defines a set of characteristics relating to a dental arch, for example the position of the teeth, their shape, the position of an orthodontic appliance, etc.
  • a “dental context” characterizes a set of dental situations, for example characterizes a pathology.
  • a dental context can be, for example, that of a malocclusion.
  • An “image” is a two-dimensional, pixel-shaped representation of a dental scene.
  • a “photo” is therefore a particular image, conventionally in color, taken with a camera.
  • Camera means any device for taking a photo, which includes a camera, mobile phone, tablet or computer.
  • a "hyperrealistic image” is an image that is not a photo but appears to be a photo.
  • a “scene” is made up of a set of elements that can be observed simultaneously.
  • a “dental scene” is a scene comprising at least part of a dental arch.
  • a “retractor” is a device which has an upper rim and a lower rim extending around a spreader opening. In the service position, the patient's upper and lower lips are supported on the upper and lower edges, respectively. The spacer is configured so as to elastically separate the upper and lower lips from one another, so as to release the visible teeth through the opening. A retractor allows you to observe the teeth without being bothered by the lips.
  • the teeth do not rest on the retractor, so that the patient can, by turning the head relative to the retractor, modify the teeth which are visible through the opening of the retractor. It can also modify the spacing between the arches.
  • the retractor has ears for spacing the cheeks, which makes it possible to observe the vestibular faces of the teeth at the bottom of the mouth, such as the molars.
  • a “learning base” is a database of computer records suitable for training a neural network.
  • Each record includes an object, for example an image, and information about that object, or "description".
  • a description includes values for attributes of the object.
  • an attribute of an image of a dental scene can be used to identify the numbers of the teeth represented. The attribute is then "tooth number" and for each tooth, the value of this attribute is the number of this tooth.
  • An attribute of an image of a dental scene can also define a pathology from which the patient suffers, a class of occlusion, a position of the mandible relative to the maxilla ("overbite” or "overjet”), an index of overall hygiene or a clutter index, for example.
  • FIG. 2 schematically represents the different stages of an analysis method according to the invention
  • FIG. 3 represents an original photo
  • FIG. 4 represents a final image obtained by means of a method according to the invention, from the original photo of FIG. 3.
  • a method for enriching a historical learning base comprises steps 1) to 3).
  • step 1) we can train a first neural network with a first learning base made up of a set of first records, each first record comprising:
  • a first description specifying a value for at least one attribute of the first photo relating to the occurrence of a dental event for the first dental scene
  • the first neural network can in particular be chosen from the list provided in the preamble to this description.
  • the first photos are preferably extra-oral views, for example photos taken facing the patient, preferably with a dental retractor.
  • the dental event can be for example the fitting of an orthodontic appliance.
  • the value of said attribute then indicates whether an orthodontic appliance is represented in the first photo.
  • the attribute can for example be "presence of an orthodontic appliance” and take the values "yes" or "no".
  • the dental event is preferably "common”, that is to say widespread.
  • the dental event can in particular be chosen from an application of an orthodontic appliance, dental treatment, in particular orthodontic, therapeutic or not, the occurrence of a pathology, and a modification
  • the first learning base preferably comprises more than 1,000, more than 5,000, preferably more than 10,000, preferably more than 30,000, preferably more than 50,000, preferably more than 100,000 first records.
  • the training of the first neural network by means of the first learning base is well known to those skilled in the art.
  • the first neural network learns how to modify, in a hyperrealistic way, a photo representing a dental scene to simulate the dental event, for example, to add the representation of an orthodontic appliance. It therefore makes it possible to virtually subject the dental event to the dental scene and to visualize the result.
  • the training can in particular be carried out by following the teachings of the article by Zhu, Jun-Yan, et al. "Unpaired image-to-image translation using cycle-consistent adversarial networks” (Open access Computer Vision Foundation).
  • step 2) we submit, to the first neural network, an original photo (Fig. 3A) so that it transforms it into a final hyperrealistic image (Fig. 3B), that is to say which seems to be a photo, the transformation simulating the dental event. For example, it adds a representation of an orthodontic appliance to the original photo.
  • the original photo is preferably an extra-oral view, for example a photo taken facing the patient, preferably with a dental retractor.
  • the original photo represents an original dental scene in a dental context, for example represents the dental arch of a patient suffering from a "P" pathology. Preferably, however, it does not represent a dental scene containing an arch having been subjected to the dental event. In the example considered, it does not represent a dental scene in which the arch carries an orthodontic appliance.
  • the dental context is rare.
  • the rare dental context is preferably that of a dental pathology, preferably a pathology which affects less than 10%, less than 5%, less than 2% or less than 1% of the population.
  • the dental context can be a context for which less than 10,000, less than 5,000 or less than 1,000 photos exist or are public, that is to say accessible by anyone, possibly against payment.
  • the difficulty of access can in particular result from regulatory constraints or practical constraints, for example to take photos illustrating the dental context.
  • the photos illustrating the dental context show the symptoms of a dental pathology, for example of a rare pathology, for example which affects less than 10%, less than 5%, less than 2% or less than 1% of population.
  • the original photo may show symptoms of this pathology identifiable by a dental professional, in particular an orthodontist, or not.
  • the pathology was diagnosed by other means, for example from tomographic images, preferably obtained by computerized tomography at conical beam, in English CBCT for “cone bearn computed tomography”.
  • tomographic images preferably obtained by computerized tomography at conical beam
  • English CBCT in English CBCT for “cone bearn computed tomography”.
  • the photos show arches of patients with rhizalysis.
  • Step 2 advantageously transforms the original photo into a final hyperrealistic image which represents the result of the dental event if it was applied to the original dental scene.
  • step 3 we create a "final" description for the final image resulting from step 2). It provides a value for at least one attribute of the final image relating to the occurrence of the dental event, and a value for at least one attribute of the final image relating to the occurrence of the dental event.
  • the description of the final image can be done by hand, at least partially. Preferably, it is performed, at least partially, by a computer program.
  • step 4 we create a historical record consisting of the final image and the final description, and we add it to the historical learning base.
  • the final image and the final description are then called historical image and historical description, respectively.
  • the historical learning base can be made up only of historical records generated according to an enrichment process according to the invention.
  • the historical learning base may include historical records generated according to an enrichment method according to the invention and other historical records, for example created according to conventional methods, in particular by labeling of photos, and in particular by labeling of original photos.
  • the cycle of steps 2) to 4) is repeated, preferably until the historical learning base comprises more than 5,000, preferably more than 10,000, preferably more than 30,000, preferably more than 50,000, preferably more than 100,000 historical records.
  • the photo to be analyzed is preferably in color, preferably in real color.
  • a historical learning base is created comprising historical records obtained according to an enrichment method according to the invention.
  • step B we train a second neural network using the historical learning base. Such training is well known to those skilled in the art.
  • the second neural network can in particular be chosen from the list provided in the preamble to this description.
  • the second neural network learns to determine, for the photos to be analyzed that are presented to it, values for the attributes evaluated in the historical descriptions. For example, each historical description can specify a value ("yes” or "no") for the attribute "presence of pathology P". The second neural network then learns to determine whether a photo to be analyzed that is submitted to it presents patterns indicating the presence of the pathology P.
  • step C the photo to be analyzed is presented to the second neural network, and an evaluation is thus obtained for the various attributes, for example “yes”, with a probability of more than 99%, for the presence of the pathology P.
  • the analysis process can be used for therapeutic purposes or not, for example for research purposes or for purely aesthetic purposes.
  • It can be used for example to assess a patient's dental situation during orthodontic treatment, or teeth whitening treatment. It can be used to monitor the displacement of teeth or the progress of a dental pathology.
  • the patient takes the photo to be analyzed, for example with his mobile telephone, and a computer, integrated in the mobile telephone or with which the mobile telephone can communicate, implements the method.
  • the patient can thus very easily request an analysis of his dental situation, without even having to move, by simply transmitting one or preferably several photos of his teeth.
  • the analysis of a photo to be analyzed is particularly useful for detecting a rare disease.
  • the invention makes it possible to transform original photos representing an original dental scene in a dental context, into final images representing the original dental scene differently, the difference between the final images and the original photos being the result of the simulation of the dental event. he It is thus possible to create a rich historical learning base, from few original photos, by adding these final images.
  • hyperrealistic final images thus makes it possible to quickly enrich the historical learning base.
  • steps 1) to 4) can be implemented to enrich a historical learning base in order to "rebalance" it.
  • the first neural network can be trained to provide first hyperrealistic images of a dental arch representing this arch in so-called “simulated” observation conditions, in particular in a direction of so-called “simulated” observation, from first photos of the dental arch taken under first observation conditions different from the simulated observation conditions, in particular in a first observation direction different from the simulated observation direction.
  • the first neural network can be trained to transform first photos of first dental scenes representing certain teeth, for example the incisors, into first hyperrealistic images representing other teeth, for example molars.
  • the dental event is then a modification of the observation conditions of the dental arch, from the first observation conditions implemented to acquire the first photos to the simulated observation conditions.
  • the first neural network is thus trained to simulate the effect of this modification on the first dental scenes.
  • step 2) an original photo representing an original dental scene in a dental context in which the original dental scene is observed under the first observation conditions is submitted to the first trained neural network, for example an original photo representing incisors, without the molars being visible.
  • the first neural network then generates a final image representing, in a hyperrealistic manner, the original dental scene after simulation of the dental event.
  • the final image represents, in a hyperrealistic manner, the original dental scene observed under the simulated observation conditions. For example, it represents molars of the dental arch.
  • Steps 3) and 4) allow you to create a description of the final image and associate it with the final image to constitute a historical recording.
  • the historical record is then added to the historical learning base.
  • the historical learning database initially contained an excessive proportion of records relating to images representing incisors, this addition contributes to increasing the number of records relating to images representing molars.
  • the learning base is advantageously better balanced.
  • the patient is not limited to a human being.
  • a method according to the invention can be used for another animal.
  • a learning base does not necessarily consist of recordings of "pairs".

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé d'enrichissement d'une base d'apprentissage historique, ledit procédé comportant les étapes suivantes : 1) entrainement d'un premier réseau de neurones à transformer des premières photos de premières scènes dentaires en premières images hyperréalistes pour simuler l'effet d'un évènement dentaire sur lesdites premières scènes dentaires; 2) soumission, au premier réseau de neurones entrainé, d'une photo d'origine représentant une scène dentaire d'origine dans un contexte dentaire, de manière à obtenir une image finale représentant, de manière hyperréaliste, la scène dentaire d'origine après simulation de l'évènement dentaire; 3) création d'un descriptif de ladite image finale, ou « descriptif final »; 4) création d'un enregistrement historique constitué de l'image finale et du descriptif final, et ajout de l'enregistrement historique dans la base d'apprentissage historique.

Description

PROCEDE D’ENRICHISSEMENT D’UNE BASE D’APPRENTISSAGE
Domaine technique
La présente invention concerne le domaine de l’analyse de photos d’arcades dentaires. Elle se rapporte en particulier à un procédé pour créer une base d'apprentissage destinée à l’entrainement d’un réseau de neurones destiné à effectuer une telle analyse.
Technique antérieure
Les techniques les plus récentes utilisent des réseaux de neurones pour évaluer des situations dentaires à partir d’images, classiquement des radiographies, notamment pour l’identification post mortem.
Un « réseau de neurones » ou « réseau neuronal artificiel » est un ensemble d’algorithmes bien connu de l’homme de l’art. Le réseau de neurones peut être en particulier choisi parmi : les réseaux spécialisés dans la classification d’images, appelés « CNN » (« Convolutional neural network »), par exemple
- AlexNet (2012)
- ZF Net (2013)
- VGG Net (2014)
- GoogleNet (2015)
- Microsoft ResNet (2015)
- Caffe: BAIR Reference CaffeNet, BAIR AlexNet
- T orch: VGG CNN S, V GG CNN M, VGG CNN M 2048 , V GG CNN M 10 24 ,V GG_CNN_M_ 128 , V GG CNN F , VGG ILSVRC-2014 l6-layer,VGG ILSVRC-2014 l9-layer,Network-in-Network (Imagenet & CIFAR-10)
- Google : Inception (V3, V4).
- les réseaux spécialisés dans la localisation, et détection d’objets dans une image, les Object Détection Network, par exemple:
- R-CNN (2013)
- SSD (Single Shot MultiBox Detector : Object Détection network), Faster R- CNN (Faster Region-based Convolutional Network method : Object Détection network)
- Faster R-CNN (2015)
- SSD (2015). La liste ci-dessus n’est pas limitative.
Pour être opérationnel, un réseau de neurones doit être entraîné par un processus d’apprentissage appelé « deep learning », à partir d’une base d'apprentissage constituée d’un ensemble d’enregistrements comportant chacun une image et un descriptif de l’image. En présentant les enregistrements en entrée du réseau de neurones, ce dernier apprend progressivement comment générer un descriptif pour une image qu’on lui présente.
Par exemple, chaque enregistrement de la base d'apprentissage peut comporter une image d’une arcade dentaire et un descriptif identifiant, dans cette image, les représentations des dents, ou « zones de dent », et les numéros de dent correspondant. Classiquement, ces descriptifs sont générés par un opérateur qui délimite, au moyen d’un ordinateur, les zones de dent et qui, après avoir identifié la dent correspondante, par exemple « canine supérieure droite », leur affecte un numéro en conséquence. Cette opération est appelée « labelling ». Après avoir été entraîné, le réseau de neurones pourra ainsi identifier, sur une image qu’on lui présente, les représentations des dents et les numéros de dent correspondant.
La qualité de l’analyse réalisée par le réseau de neurones dépend directement du nombre d’enregistrements de la base d'apprentissage. Classiquement, la base d’apprentissage doit comporter plus de 10 000 enregistrements. Il existe un besoin pour la constitution rapide d’une telle base d’apprentissage.
Dans certains contextes dentaires, notamment dans le contexte de pathologies rares, la création d’un grand nombre d’enregistrements est rendue difficile par le nombre limité de photos produites, en particulier par les orthodontistes et les dentistes, et par le caractère généralement confidentiel de ces photos. Il existe donc un besoin pour un procédé permettant une analyse d’un contexte dentaire, au moyen d’un réseau de neurones, à partir d’une base d’apprentissage limitée.
Un but de l’invention est de répondre à ces besoins.
Exposé de l’invention
Résumé de l’invention
L’invention propose un procédé d’enrichissement d’une base d'apprentissage historique, ledit procédé comportant les étapes suivantes : 1) entrainement d’un premier réseau de neurones à transformer des premières photos de premières scènes dentaires en premières images hyperréalistes pour simuler l’effet d’un évènement dentaire sur lesdites premières scènes dentaires ;
2) soumission, au premier réseau de neurones entraîné, d’une photo d’origine représentant une scène dentaire « d’origine » dans un contexte dentaire, par exemple dans un contexte dentaire rare, de manière à obtenir une image finale représentant, de manière hyperréaliste, la scène dentaire d’origine après simulation de l’évènement dentaire ;
3) création d’un descriptif de ladite image finale, ou « descriptif final » ;
4) création d’un enregistrement historique constitué de l’image finale et du descriptif final, et ajout de l’enregistrement historique dans la base d'apprentissage historique.
Comme on le verra plus en détail dans la suite de la description, un procédé d’enrichissement selon l’invention permet d’obtenir une base d’apprentissage historique comportant de nombreuses images représentant, avec la qualité de photos, des scènes dentaires dans des contextes dentaires pour lesquels peu de photos sont disponibles. La qualité de ces images permet avantageusement de les utiliser pour entraîner un deuxième réseau de neurones afin qu’il puisse rechercher, dans des photos à analyser, des motifs spécifiques au contexte dentaire.
Un procédé d’enrichissement selon l’invention peut encore comporter une ou plusieurs des caractéristiques optionnelles suivantes :
- l’évènement dentaire est choisi parmi une application d’un appareil orthodontique, un traitement dentaire, l’occurrence d’une pathologie, une modification d’une forme, d’une couleur ou d’une position d’une dent ou plusieurs dents et/ou de la langue et/ou de la gencive et/ou d’une arcade et/ou de l'articulation temporo-mandibulaire et/ou de la forme du visage, et/ou d’une relation entre les deux arcades, et une modification des conditions d’observations d’une première scène dentaire ;
- plus de 10 000 premières photos existent et, de préférence, sont publiques ;
- le contexte dentaire est celui d’une pathologie dentaire qui touche moins de 10% de la population et/ou pour lequel moins de 10 000 photos représentant un arcade dentaire victime de ladite pathologie dentaire existent et, de préférence, sont publiques ;
- la photo d’origine ne montre pas de symptômes de ladite pathologie ; - le premier réseau de neurones est entraîné pour, à l’étape 2), seulement ajouter un ou plusieurs éléments sur la photo d’origine ;
- le premier réseau de neurones est entraîné pour, à l’étape 2), seulement ajouter un appareil orthodontique sur la photo d’origine ;
- à l’étape 1), on entraîne plusieurs premiers réseaux de neurones, de préférence plus de 2, plus de 3, plus de 5 ou plus de 10 premiers réseaux de neurones, pour simuler l’effet de différents évènements dentaires, puis, à l’étape 2), on soumet la photo d’origine aux dits premiers réseaux de neurones entraînés de manière à générer plusieurs images finales ;
- les premières photos et/ou la photo d’origine sont des vues extra-orales prises au moyen d’un écarteur dentaire.
L’invention concerne également un procédé d’analyse d’une photo à analyser représentant une scène dentaire à analyser, ledit procédé comportant les étapes suivantes :
A) création d’une base d'apprentissage historique comportant plus de 1 000 enregistrements historiques, en mettant en œuvre un procédé d’enrichissement selon l’invention ;
B) entraînement d’un deuxième réseau de neurones, au moyen de la base d’apprentissage historique ;
C) soumission, au deuxième réseau de neurones entraîné, de la photo à analyser, de manière à obtenir un descriptif de la photo à analyser.
Lorsque le contexte dentaire est par exemple l’occurrence d’une pathologie rare, le deuxième réseau de neurones permet ainsi avantageusement d’évaluer si la scène dentaire sur la photo à analyser à analyser correspond à cette pathologie.
De préférence,
- avant l’étape C), la photo à analyser est prise par le patient avec son téléphone mobile,
- l’étape C) est mise en œuvre par un ordinateur, intégré dans le téléphone mobile ou avec lequel le téléphone mobile peut communiquer,
- après l’étape C), l’ordinateur informe le patient, de préférence par l’intermédiaire du téléphone mobile, du résultat de l’analyse.
Les procédés sont réalisés par ordinateur. En particulier, les premier et deuxième réseaux de neurones sont créés, entraînés et mis en œuvre par ordinateur. La soumission d’une photo à un réseau de neurones, la création d’un descriptif et l’ajout d’un enregistrement sont également des opérations réalisées au moyen d’un ordinateur, éventuellement avec l’assistance d’un opérateur, de préférence sans l’assistance d’un opérateur sinon pour lancer un programme d’ordinateur.
L’invention concerne donc également :
- un programme d’ordinateur comprenant des instructions de code de programme pour l'exécution d’une ou plusieurs étapes d’un procédé quelconque selon l’invention, lorsque ledit programme est exécuté par un ordinateur,
- un support informatique sur lequel est enregistré un tel programme, par exemple une mémoire ou un CD-ROM.
Définitions
Un « patient » est une personne pour laquelle un procédé selon l’invention est mis en œuvre, indépendamment du fait que cette personne suive un traitement orthodontique ou non.
Une « situation dentaire » définit un ensemble de caractéristiques relatives à une arcade dentaire, par exemple la position des dents, leur forme, la position d’un appareil orthodontique, etc. Un « contexte dentaire » caractérise un ensemble de situations dentaires, par exemple caractérise une pathologie. Un contexte dentaire peut être par exemple celui d’une malocclusion.
Une « image » est une représentation, en deux dimensions et formée de pixels, d’une scène dentaire. Une « photo » est donc une image particulière, classiquement en couleurs, prise avec un appareil photo. Par « appareil photo », on entend tout appareil permettant de prendre une photo, ce qui inclut une caméra, un téléphone mobile, une tablette ou un ordinateur.
Une « image hyperréaliste » est une image qui n’est pas une photo mais qui semble être une photo.
Une « scène » est constituée par un ensemble d’éléments qui peuvent être observés simultanément. Une « scène dentaire » est une scène comportant au moins une partie d’une arcade dentaire.
Par « image d’une arcade », « photo d’une arcade », « représentation d’une arcade », etc. on entend une image, une photo, une représentation, etc. de tout ou partie de ladite arcade dentaire. Un « écarteur » (« retractor » en anglais) est un dispositif qui comporte un rebord supérieur et un rebord inférieur s’étendant autour d’une ouverture d’écarteur. En position de service, les lèvres supérieure et inférieure du patient sont en appui sur les rebords supérieur et inférieur, respectivement. L’écarteur est configuré de manière à écarter élastiquement l’une de l’autre les lèvres supérieure et inférieure, de manière à dégager les dents visibles à travers l’ouverture. Un écarteur permet ainsi d’observer les dents sans être gêné par les lèvres. Les dents ne reposent cependant pas sur l’écarteur, de sorte que le patient peut, en tournant la tête par rapport à l’écarteur, modifier les dents qui sont visibles à travers l’ouverture de l’écarteur. Il peut aussi modifier l’écartement entre les arcades. De préférence, l’écarteur comporte des oreilles d’écartement des joues, ce qui permet d’observer les faces vestibulaires des dents au fond de la bouche, comme les molaires.
Une « base d'apprentissage » est une base d’enregistrements informatiques adaptée à l’entrainement d’un réseau de neurones. Chaque enregistrement comporte un objet, par exemple une image, et des informations sur cet objet, ou « descriptif ». Un descriptif comporte des valeurs pour des attributs de l’objet. Par exemple, un attribut d’une image d’une scène dentaire peut servir à identifier les numéros des dents représentées. L’attribut est alors « numéro de dent » et pour chaque dent, la valeur de cet attribut est le numéro de cette dent. Un attribut d’une image d’une scène dentaire peut aussi définir une pathologie dont souffre le patient, une classe d’occlusion, une position de la mandibule par rapport au maxillaire (« overbite » ou « overjet »), un indice d’hygiène globale ou un indice d’encombrement, par exemple.
Dans la présente description, les qualificatifs « historique », « premier », « deuxième », « courant », « rare », « d’origine », « final », et « d’analyse » sont utilisés à des fins de clarté.
Il faut interpréter "comprenant " ou "comportant " ou "présentant " de manière non restrictive, sauf indication contraire.
Brève description des dessins
D’autres caractéristiques et avantages de l’invention apparaîtront encore à la lecture de la description détaillée qui va suivre et à l'examen du dessin annexé dans lequel :
[Lig 1] représente schématiquement, les différentes étapes d’un procédé d’enrichissement selon l’invention ;
[Lig 2] représente schématiquement, les différentes étapes d’un procédé d’analyse selon l’invention ; [Fig 3] représente une photo d’origine ;
[Fig 4] représente une image finale obtenue au moyen d’un procédé selon l’invention, à partir de la photo d’origine de la figure 3.
Description détaillée
La description détaillée qui suit est celle de modes de réalisation préférés, mais n’est pas limitative.
Procédé d’enrichissement
Comme illustré sur la figure 1, un procédé d’enrichissement d’une base d'apprentissage historique selon l’invention comporte les étapes 1) à 3).
A l’étape 1), on peut entraîner un premier réseau de neurones avec une première base d'apprentissage constituée d’un ensemble de premiers enregistrements, chaque premier enregistrement comportant :
- une première photo représentant une première scène dentaire ; et
- un premier descriptif précisant une valeur pour au moins un attribut de la première photo relatif à l’occurrence d’un évènement dentaire pour la première scène dentaire ;
au moins une partie des premières photos représentant des premières scènes dentaires après qu’elles ont été soumises à l’évènement dentaire.
Le premier réseau de neurones peut être en particulier choisi dans la liste fournie en préambule de la présente description.
Les premières photos sont de préférence des vues extra-orales, par exemple des photos prises face au patient, de préférence avec un écarteur dentaire.
L’évènement dentaire peut être par exemple la pose d’un appareil orthodontique. La valeur dudit attribut indique alors si un appareil orthodontique est représenté sur la première photo. L’attribut peut être par exemple « présence d’un appareil orthodontique » et prendre les valeurs « oui » ou « non ».
L’évènement dentaire est de préférence « courant », c'est-à-dire largement répandu.
De préférence, plus de 500, plus de 1 000, plus de 5 000, de préférence plus de 10 000 photos représentant des scènes dentaires où une arcade dentaire a été soumise à l’évènement dentaire, par exemple à la pose d’un appareil orthodontique, existent, de préférence sont publiques.
L’évènement dentaire peut être en particulier choisi parmi une application d’un appareil orthodontique, un traitement dentaire, en particulier orthodontique, thérapeutique ou non, l’occurrence d’une pathologie, et une modification
- d’une forme, d’une couleur ou d’une position d’une dent ou plusieurs dents et/ou de la langue et/ou de la gencive et/ou d’une arcade et/ou de l'articulation temporo- mandibulaire (ATM) et/ou de la forme du visage, et/ou
- d’une relation entre les deux arcades (par exemple modification du plan d’occlusion ou de la classe d’occlusion).
La première base d'apprentissage comporte de préférence plus de 1 000, plus de 5 000, de préférence plus de 10 000, de préférence plus de 30 000, de préférence plus de 50 000, de préférence plus de 100 000 premiers enregistrements. Plus le nombre d’enregistrements est élevé, meilleure est la capacité du premier réseau de neurones à modifier une photo de manière hyperréaliste.
L’entrainement du premier réseau de neurones au moyen de la première base d’apprentissage est bien connu de l’homme de l’art.
Par cet entrainement, le premier réseau de neurones apprend comment modifier, de manière hyperréaliste, une photo représentant une scène dentaire pour simuler l’évènement dentaire, par exemple, pour y ajouter la représentation d’un appareil orthodontique. Il permet donc de faire subir virtuellement l’évènement dentaire à la scène dentaire et d’en visualiser le résultat.
L’entrainement peut en particulier être effectué en suivant les enseignements de l’article de Zhu, Jun-Yan, et al. "Unpaired image-to-image translation using cycle-consistent adversarial networks " (Open access Computer Vision Foundation).
A l’étape 2), on soumet, au premier réseau de neurones, une photo d’origine (Fig. 3A) pour qu’il la transforme en une image finale hyperréaliste (Fig. 3B), c'est-à-dire qui semble être une photo, la transformation simulant l’évènement dentaire. Par exemple, il ajoute à la photo d’origine la représentation d’un appareil orthodontique.
La photo d’origine est de préférence une vue extra-orale, par exemple une photo prise face au patient, de préférence avec un écarteur dentaire. La photo d’origine représente une scène dentaire d’origine dans un contexte dentaire, par exemple représente l’arcade dentaire d’un patient victime d’une pathologie « P ». De préférence, elle ne représente cependant pas une scène dentaire contenant une arcade ayant été soumise à l’évènement dentaire. Dans l’exemple considéré, elle ne représente pas une scène dentaire dans laquelle l’arcade porte un appareil orthodontique.
Dans un mode de réalisation préféré, le contexte dentaire est rare.
Le contexte dentaire rare est de préférence celui d’une pathologie dentaire, de préférence d’une pathologie qui touche moins de 10%, moins de 5%, moins de 2% ou moins de 1% de la population.
Le contexte dentaire peut être un contexte pour lequel moins de 10 000, moins de 5 000 ou moins de 1 000 photos existent ou sont publiques, c'est-à-dire accessibles par quiconque, éventuellement contre paiement. La difficulté d’accès peut notamment résulter de contraintes réglementaires ou de contraintes pratiques, par exemple pour prendre des photos illustrant le contexte dentaire.
De préférence, les photos illustrant le contexte dentaire montrent les symptômes d’une pathologie dentaire, par exemple d’une pathologie rare, par exemple qui touche moins de 10%, moins de 5%, moins de 2% ou moins de 1% de la population.
Lorsque le contexte dentaire est relatif à l’occurrence d’une pathologie, la photo d’origine peut montrer des symptômes de cette pathologie identifiables par un professionnel des soins dentaires, en particulier un orthodontiste, ou non.
Si elle ne représente pas de tels symptômes, elle représente cependant la scène dentaire d’origine dans ce contexte dentaire parce que la pathologie a été diagnostiquée avec d’autres moyens, par exemple à partir de clichés tomographiques, de préférence obtenus par tomographie informatisée à faisceau conique, en anglais CBCT pour“cône bearn computed tomography”. Par exemple, les photos montrent des arcades de patients victimes d’une rhizalyse.
Les photos illustrant le contexte dentaire étant peu nombreuses, il est difficile d’entraîner un réseau de neurones avec ces seules photos. L’étape 2) transforme avantageusement la photo d’origine en une image finale hyperréaliste qui représente le résultat de l’évènement dentaire s’il était appliqué à la scène dentaire d’origine. En entraînant plusieurs premiers réseaux de neurones pour simuler différents évènements dentaires, puis en soumettant la photo d’origine à ces réseaux, il est possible de multiplier les images finales.
Des essais (Fig. 3A et 3B) ont montré que les images finales sont de très bonne qualité, de sorte qu’il est très difficile de détecter qu’il ne s’agit pas de photos.
A l’étape 3), on crée un descriptif « final » pour l’image finale résultant de l’étape 2). Il fournit une valeur pour au moins un attribut de l’image finale relatif à l’occurrence de l’évènement dentaire, et une valeur pour au moins un attribut de l’image finale relatif à l’évènement dentaire.
Par exemple, il précise que l’attribut « présence d’un appareil orthodontique » a la valeur « oui » et que l’attribut « présence de la pathologie P » à la valeur « oui ».
Le descriptif de l’image finale peut être réalisé à la main, au moins partiellement. De préférence, il est réalisé, au moins partiellement, par un programme d’ordinateur.
A l’étape 4), on crée un enregistrement historique constitué de l’image finale et du descriptif final, et on l’ajoute dans la base d'apprentissage historique. L’image finale et le descriptif final sont alors qualifiés d’image historique et de descriptif historique, respectivement.
La base d’apprentissage historique peut n’être constituée que d’enregistrements historiques générés suivant un procédé d’enrichissement selon l’invention. Alternativement, la base d’apprentissage historique peut comporter des enregistrements historiques générés suivant un procédé d’enrichissement selon l’invention et d’autres enregistrements historiques, par exemple créés suivant des procédés conventionnels, notamment par labellisation de photos, et notamment par labellisation des photos d’origine.
De préférence, le cycle des étapes 2) à 4) est répété, de préférence jusqu’à ce que la base d'apprentissage historique comporte plus de 5 000, de préférence plus de 10 000, de préférence plus de 30 000, de préférence plus de 50 000, de préférence plus de 100 000 enregistrements historiques.
Analyse d’une photo d’analyse
Comme illustré sur la figure 2, pour analyser une photo à analyser, on procède suivant les étapes A) à C).
La photo à analyser est de préférence en couleurs, de préférence en couleurs réelles. A l’étape A), on crée une base d'apprentissage historique comportant des enregistrements historiques obtenus suivant un procédé d’enrichissement selon l’invention.
A l’étape B), on entraîne un deuxième réseau de neurones au moyen de la base d’apprentissage historique. Un tel entrainement est bien connu de l’homme de l’art.
Le deuxième réseau de neurones peut être en particulier choisi dans la liste fournie en préambule de la présente description.
Par cet entrainement, le deuxième réseau de neurones apprend à déterminer, pour les photos à analyser qu’on lui présente, des valeurs pour les attributs évalués dans les descriptifs historiques. Par exemple, chaque descriptif historique peut préciser une valeur (« oui » ou « non ») pour l’attribut « présence de la pathologie P ». Le deuxième réseau de neurones apprend alors à déterminer si une photo à analyser qu’on lui soumet présente des motifs indiquant la présence de la pathologie P.
A l’étape C), on présente la photo à analyser au deuxième réseau de neurones, et on obtient ainsi une évaluation pour les différents attributs, par exemple « oui », avec une probabilité de plus de 99%, pour la présence de la pathologie P.
Le procédé d’analyse peut être utilisé à des fins thérapeutiques ou non, par exemple à des fins de recherche ou à de fins purement esthétiques.
Il peut être utilisé par exemple pour évaluer une situation dentaire d’un patient au cours d’un traitement orthodontique, ou d’un traitement de blanchiment des dents. Il peut être utilisé pour surveiller le déplacement de dents ou l’évolution d’une pathologie dentaire.
Dans un mode de réalisation, le patient prend la photo à analyser, par exemple avec son téléphone mobile, et un ordinateur, intégré dans le téléphone mobile ou avec lequel le téléphone mobile peut communiquer, met en œuvre le procédé. Le patient peut ainsi demander très facilement une analyse de sa situation dentaire, sans même devoir se déplacer, en se contentant de transmettre une ou de préférence plusieurs photos de ses dents.
L’analyse d’une photo à analyser est notamment utile pour détecter une maladie rare.
Comme cela apparaît clairement à présent, l’invention permet de transformer des photos d’origine représentant une scène dentaire d’origine dans un contexte dentaire, en des images finales représentant différemment la scène dentaire d’origine, la différence entre les images finales et les photos d’origine étant le résultat de la simulation de l’évènement dentaire. Il est ainsi possible de créer une base d'apprentissage historique riche, à partir de peu de photos d’origine, en y ajoutant ces images finales.
L’ajout d’images finales hyperréalistes permet ainsi d’enrichir très rapidement la base d’apprentissage historique.
Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits ci-dessus et représentés.
Rééquilibrage d’une base d’apprentissage
En particulier, les étapes 1) à 4) peuvent être mises en œuvre pour enrichir une base d'apprentissage historique afin de la « rééquilibrer ».
Par exemple, à l’étape 1), le premier réseau de neurones peut être entraîné à fournir des premières images hyperréalistes d’une arcade dentaire représentant cette arcade dans des conditions d’observation dites « simulées », en particulier suivant une direction d’observation dite « simulée », à partir de premières photos de l’arcade dentaire prises dans des premières conditions d’observation différentes des conditions d’observation simulées, en particulier suivant une première direction d’observation différente de la direction d’observation simulée.
Notamment, le premier réseau de neurones peut être entraîné à transformer des premières photos de premières scènes dentaires représentant certaines dents, par exemple les incisives, en premières images hyperréalistes représentant d’autres dents, par exemple des molaires.
L’évènement dentaire est alors une modification des conditions d’observation de l’arcade dentaire, depuis les premières conditions d’observation mises en œuvre pour acquérir les premières photos jusqu’aux conditions d’observation simulées. Le premier réseau de neurones est ainsi entraîné pour simuler l’effet de cette modification sur les premières scènes dentaires.
A l’étape 2), on soumet au premier réseau de neurones entraîné, une photo d’origine représentant une scène dentaire d’origine dans un contexte dentaire dans lequel la scène dentaire d’origine est observée dans les premières conditions d’observation, par exemple une photo d’origine représentant des incisives, sans que les molaires ne soient visibles.
Le premier réseau de neurones génère alors une image finale représentant, de manière hyperréaliste, la scène dentaire d’origine après simulation de l’évènement dentaire. Autrement dit, l’image finale représente, de manière hyperréaliste, la scène dentaire d’origine observée dans les conditions d’observation simulées. Par exemple, elle représente des molaires de l’arcade dentaire.
Les étapes 3) et 4) permettent de créer un descriptif de l’image finale et de l’associer à l’image finale pour constituer un enregistrement historique. L’enregistrement historique est ensuite ajouté dans la base d'apprentissage historique.
Si la base d’apprentissage historique comportait initialement une proportion excessive d’enregistrements relatifs à des images représentant des incisives, cet ajout contribue à augmenter le nombre d’enregistrements relatifs à des images représentant des molaires. La base d’apprentissage en est avantageusement mieux équilibrée.
Le patient n’est pas limité à un être humain. Un procédé selon l’invention peut être utilisé pour un autre animal.
Une base d’apprentissage n’est pas nécessairement constituée par des enregistrements de « paires ».

Claims

REVENDICATIONS
1. Procédé d’enrichissement d’une base d'apprentissage historique, ledit procédé
comportant les étapes suivantes :
1) entrainement d’un premier réseau de neurones à transformer des premières photos de premières scènes dentaires en premières images hyperréalistes pour simuler l’effet d’un évènement dentaire sur lesdites premières scènes dentaires ;
2) soumission, au premier réseau de neurones entraîné, d’une photo d’origine représentant une scène dentaire d’origine dans un contexte dentaire, de manière à obtenir une image finale représentant, de manière hyperréaliste, la scène dentaire d’origine après simulation de l’évènement dentaire ;
3) création d’un descriptif de ladite image finale, ou « descriptif final » ;
4) création d’un enregistrement historique constitué de l’image finale et du descriptif final, et ajout de l’enregistrement historique dans la base d'apprentissage historique.
2. Procédé selon la revendication précédente, dans lequel l’évènement dentaire est choisi parmi une application d’un appareil orthodontique, un traitement dentaire, l’occurrence d’une pathologie, une modification d’une forme, d’une couleur ou d’une position d’une dent ou plusieurs dents et/ou de la langue et/ou de la gencive et/ou d’une arcade et/ou de l’articulation temporo-mandibulaire et/ou de la forme du visage, et/ou d’une relation entre les deux arcades, et une modification des conditions d’observations d’une première scène dentaire.
3. Procédé selon Tune quelconque des revendications précédentes, dans lequel plus de 10 000 premières photos sont publiques.
4. Procédé selon Tune quelconque des revendications précédentes, dans lequel le contexte dentaire est celui d’une pathologie dentaire qui touche moins de 10% de la population et/ou pour lequel moins de 10 000 photos représentant un arcade dentaire victime de ladite pathologie dentaire sont publiques.
5. Procédé selon la revendication précédente, dans lequel les photos publiques ne montrent pas les symptômes de ladite pathologie dentaire.
6. Procédé selon l’une quelconque des revendications précédentes, dans lequel le premier réseau de neurones est entraîné pour, à l’étape 2), seulement ajouter un ou plusieurs éléments sur la photo d’origine.
7. Procédé selon la revendication précédente, dans lequel le premier réseau de neurones est entraîné pour, à l’étape 2), seulement ajouter un appareil orthodontique sur la photo d’origine.
8. Procédé selon l’une quelconque des revendications précédentes, dans lequel, à l’étape 1), on entraîne plusieurs premiers réseaux de neurones pour simuler l’effet de différents évènements dentaires, puis, à l’étape 2), on soumet la photo d’origine aux dits premiers réseaux de neurones entraînés de manière à générer plusieurs images finales.
9. Procédé selon l’une quelconque des revendications précédentes, dans lequel les premières photos et/ou la photo d’origine sont des vues extra-orales prises au moyen d’un écarteur dentaire.
10. Procédé d’analyse d’une photo à analyser représentant une scène dentaire à analyser, ledit procédé comportant les étapes suivantes :
A) création d’une base d'apprentissage historique comportant plus de 1 000 enregistrements historiques, en mettant en œuvre un procédé d’enrichissement selon l’une quelconque des revendications précédentes ;
B) entraînement d’un deuxième réseau de neurones, au moyen de la base d’apprentissage historique ;
C) soumission, au deuxième réseau de neurones entraîné, de la photo à analyser, de manière à obtenir un descriptif de la photo à analyser.
11. Procédé selon la revendication précédente, dans lequel :
- avant l’étape C), la photo à analyser est prise par le patient avec son téléphone mobile,
- l’étape C) est mise en œuvre par un ordinateur, intégré dans le téléphone mobile ou avec lequel le téléphone mobile peut communiquer,
- après l’étape C), l’ordinateur informe le patient, de préférence par l’intermédiaire du téléphone mobile, du résultat de l’analyse.
PCT/EP2019/068561 2018-07-13 2019-07-10 Procede d'enrichissement d'une base d'apprentissage Ceased WO2020011865A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/283,530 US12159398B2 (en) 2018-07-13 2019-07-10 Method for enriching a learning base
ES19736742T ES3008908T3 (en) 2018-07-13 2019-07-10 Method for enriching a learning base
EP19736742.8A EP3827406B1 (fr) 2018-07-13 2019-07-10 Procede d'enrichissement d'une base d'apprentissage
US18/931,249 US20250054148A1 (en) 2018-07-13 2024-10-30 Method for enriching a learning base

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
FR1856497A FR3083900B1 (fr) 2018-07-13 2018-07-13 Procede d'analyse d'une photo d'une arcade dentaire
FR1856497 2018-07-13
FR1856498A FR3083898B1 (fr) 2018-07-13 2018-07-13 Procede de simulation d'une situation dentaire
FR1856498 2018-07-13
FR1873792 2018-12-21
FR1873792A FR3083899B1 (fr) 2018-07-13 2018-12-21 Procede d’enrichissement d’une base d’apprentissage

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/283,530 A-371-Of-International US12159398B2 (en) 2018-07-13 2019-07-10 Method for enriching a learning base
US18/931,249 Continuation US20250054148A1 (en) 2018-07-13 2024-10-30 Method for enriching a learning base

Publications (1)

Publication Number Publication Date
WO2020011865A1 true WO2020011865A1 (fr) 2020-01-16

Family

ID=67185052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/068561 Ceased WO2020011865A1 (fr) 2018-07-13 2019-07-10 Procede d'enrichissement d'une base d'apprentissage

Country Status (3)

Country Link
US (2) US12159398B2 (fr)
ES (1) ES3008908T3 (fr)
WO (1) WO2020011865A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN220089438U (zh) 2020-02-26 2023-11-28 盖特-格林公司 口内适配器
US12340510B2 (en) * 2020-06-04 2025-06-24 The Procter & Gamble Company Oral care based digital imaging systems and methods for analyzing attributes of a facial image portion
ES2903244A1 (es) * 2020-09-30 2022-03-31 Movum Tech S L Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones
EP4510905A1 (fr) 2022-04-22 2025-02-26 Get-Grin Inc. Systèmes et procédés d'imagerie intrabuccale

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929635B2 (en) * 2011-07-21 2015-01-06 Carestream Health, Inc. Method and system for tooth segmentation in dental images
WO2017207454A1 (fr) * 2016-05-30 2017-12-07 3Shape A/S Prédiction du développement d'un état dentaire
CN117257492A (zh) * 2016-11-04 2023-12-22 阿莱恩技术有限公司 用于牙齿图像的方法和装置
EP3462373A1 (fr) * 2017-10-02 2019-04-03 Promaton Holding B.V. Classification automatisée et taxonomie de données dentaires 3d à l'aide de procédés d'apprentissage profond
WO2019204520A1 (fr) * 2018-04-17 2019-10-24 VideaHealth, Inc. Détection de caractéristique d'image dentaire

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI YU ET AL: "Unsupervised Local Facial Attributes Transfer Using Dual Discriminative Adversarial Networks", 2018 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), IEEE, 23 July 2018 (2018-07-23), pages 1 - 6, XP033417638, DOI: 10.1109/ICME.2018.8486562 *
PAUL UPCHURCH ET AL: "Deep Feature Interpolation for Image Content Changes", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17 November 2016 (2016-11-17), XP080732363, DOI: 10.1109/CVPR.2017.645 *
ZHU, JUN-YAN ET AL.: "Unpaired image-to-image translation using cycle-consistent adversarial networks", OPEN ACCESS COMPUTER VISION FOUNDATION

Also Published As

Publication number Publication date
ES3008908T3 (en) 2025-03-25
US20210390687A1 (en) 2021-12-16
US20250054148A1 (en) 2025-02-13
US12159398B2 (en) 2024-12-03

Similar Documents

Publication Publication Date Title
EP3432218B1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3432312B1 (fr) Procédé d'analyse d'une image d'une arcade dentaire
EP4101418B1 (fr) Systeme de fabrication d'un appareil orthodontique
EP4647036A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3432217A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3518249B1 (fr) Procédé d'analyse d'une représentation d'une arcade dentaire
WO2020011865A1 (fr) Procede d'enrichissement d'une base d'apprentissage
EP3432267A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
FR3027504A1 (fr) Procede de controle du positionnement de dents
FR3027505A1 (fr) Procede de controle du positionnement de dents
US20250248790A1 (en) Method for simulating a dental situation
WO2021078778A1 (fr) Procede de generation d'une image dentaire
EP4406505A2 (fr) Programme d'ordinateur et dispositif pour l'analyse d'une situation dentaire
EP3821393B1 (fr) Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste
EP4161434A1 (fr) Procede de suivi d'un mouvement dentaire
EP3827406B1 (fr) Procede d'enrichissement d'une base d'apprentissage
Fitria et al. Development of intraoral clinical image dataset for deep learning caries detection
EP3821397B1 (fr) Procede de decoupage d'un modele d'une arcade dentaire
WO2022248513A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
EP4348572A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
FR3135891A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19736742

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019736742

Country of ref document: EP

Effective date: 20210215