WO2017187059A1 - Methode de reglage d'un appareil de prise de vue stereoscopique - Google Patents

Abstract

Méthode de réglage d'un appareil de prise de vue stéréoscopique, comprenant, pour chaque capteur, une étape de repérage, dans une image issue du capteur, d'un même objet de référence, puis une étape d'évaluation d'une grandeur représentative de la mise au point du système optique associé au capteur sur l'objet de référence, pour ajuster le réglage de chacun des systèmes optiques associés à un capteur respectif de l'appareil de prise de vue stéréoscopique.

Description

Méthode de réglage d'un appareil de prise de vue stéréoscopique.

Contexte technologique Le réglage de la mise au point (aussi appelée focalisation ou focus) sur un appareil de prise de vue comme une caméra numérique est essentiel afin d'obtenir une image nette à une distance voulue d'observation, et par extension, sur toute la profondeur de champ de vue recherché pour le système optique autour de cette distance voulue d'observation.

La profondeur de champ de vue dans l'espace observé peut aller jusqu'à l'infini et est la conjugaison par le système optique de la profondeur de champ dans l'espace image. Une mise au point réglée correspond à la superposition du plan image - qui est l'image via le système optique du plan de la scène pour lequel on souhaite obtenir une image nette - avec le plan du capteur.

Des techniques existent pour régler la mise au point d'un appareil de prise de vue à un seul capteur, que ce soit avant ou pendant la prise de vue. La plus courante consiste à calculer la netteté des images ou d'une zone d'intérêt (ROI : région of interest, en anglais) de ces images, généralement autour du centre ou une zone choisie par l'utilisateur, et de maximiser cette valeur.

Cependant, dans le cas d'un appareil de prise de vue à plusieurs capteurs, c'est-à- dire un appareil de prise de vue possédant plusieurs capteurs d'image et capturant simultanément plusieurs images d'une même scène sous différent points de vue, il est nécessaire que les images issues des différents capteurs soient obtenues avec des réglages optiques et électroniques équivalents afin de pouvoir ensuite réaliser des opérations de traitement d'image.

En particulier, les mises au point de chaque bloc de détection, constitué d'un système optique et d'un capteur, doivent être les mêmes pour garantir qu'un objet net sur une image issue d'un bloc de détection soit également nette sur une autre image réalisée au même instant et issue d'un autre bloc de détection.

Le fait que les blocs de détection de l'appareil de prise de vue à plusieurs capteurs aient des points de vue différents implique que les images d'une même scène sont différentes. En particulier un même objet de la scène peut se retrouver à des positions éloignées d'une image à l'autre. Pour cette raison, les mises au point des blocs de détection d'un appareil à plusieurs capteurs ne peuvent pas être réglés par les méthodes de réglage utilisées pour un appareil de prise de vue à capteur unique car les métriques représentatives de la mise au point calculées ne peuvent pas être comparées et chaque mise au point serait alors effectuée de manière indépendante.

Des variations de mise au point entre les différents blocs de détection seraient alors présentes et auraient pour conséquence l'impossibilité d'utiliser de nombreux algorithmes de traitement de l'image, comme par exemple le calcul de la profondeur des objets dans la scène (depth map) en utilisant les différents points de vue.

Les documents US2013307938A1 et US2014160245A1 divulguent une méthode de réglage de la mise au point pour un appareil de prise de vue stéréoscopique, en l'occurrence une caméra avec 2 blocs de détection, utilisant la profondeur des objets de la scène comme donnée supplémentaire.

Cela leur permet de choisir un plan objet pour le réglage du focus et de n'utiliser dans les deux images que les zones qui correspondent à ce plan, sans qu'elles soient nécessairement au même endroit sur les images.

L'inconvénient de cette méthode est qu'elle requière le calcul de la carte de profondeur des objets de la scène. Or ce calcul n'est possible que dans le cas où les réglages optiques et électroniques des blocs de détection sont sensiblement les mêmes, et l'un de ces réglages est justement la mise au point que l'on cherche à régler.

Il faut donc avoir une mise au point partiellement réglée pour que cette méthode fonctionne.

D'autre part, une différence de qualité entre les optiques des blocs de détection peut également créer des différences de netteté entre les images et empêcher l'utilisation de certains algorithmes de traitement d'image.

Définition de l'invention

Pour résoudre ces problèmes, l'invention présentée ici offre une méthode de réglage de la mise au point de chaque bloc de détection d'un appareil de prise de vue à plusieurs capteurs (au moins deux) ne nécessitant pas de calculer la carte de profondeur de la scène. La méthode de réglage d'un appareil de prise de vue stéréoscopique, selon l'invention, comprend, pour chaque capteur, une étape de repérage, dans une image issue du capteur, d'un même objet de référence, puis une étape d'évaluation d'une grandeur représentative de la mise au point du système optique associé au capteur sur l'objet de référence, pour ajuster le réglage de chacun des systèmes optiques associés à un capteur respectif de l'appareil de prise de vue stéréoscopique.

Pour chaque bloc de détection, la méthode peut comprendre la capture d'une ou de plusieurs images de la même scène, avant de procéder au repérage dans l'image ou dans un ensemble d'images issues du même capteur, de l'objet de référence.

La position de l'objet de référence dans la scène définit le plan de mise au point. La grandeur représentative de la mise au point est toujours calculée pour un même plan objet.

La méthode ne nécessite pas que les blocs de détection aient d'emblée des mises au point déjà proches de leurs valeurs finales.

Selon des caractéristiques optionnelles,

- on ajuste le réglage de chacun des systèmes optiques pour optimiser indépendamment les grandeurs représentatives de la mise au point ;

- on ajuste le réglage de chacun des systèmes optiques associés à un capteur respectif pour obtenir une même valeur pour les grandeurs représentatives de la mise au point associées respectivement aux systèmes optiques.

Ainsi, une différence de qualité optique entre les deux blocs de détection peut également être rattrapée par le réglage, ou à l'inverse, on peut viser à obtenir le meilleur de chacun des systèmes optiques.

Le repérage d'un objet de référence est effectué par recherche d'un cadre de couleur, d'une forme prédéterminée, ou de marqueurs spécifiques.

La comparaison des quantités représentatives de la mise au point préalablement calculées afin de rendre compte de la qualité du réglage de la mise au point globale de la caméra, c'est-à-dire, l'homogénéité des mises au point de l'ensemble des blocs de détection ainsi que la qualité de la mise au point individuelle de chaque bloc de détection. Un utilisateur ou un automate modifie la mise au point de chaque bloc de détection afin d'améliorer les mesures de mise au point et de les rendre homogènes.

Le processus est répété tant que le réglage n'est pas terminé afin d'actualiser les métriques.

À l'issue du réglage, la mise au point est identique pour chaque bloc de détection de la caméra. La mise au point est valable dans le plan de mise au point choisi via la position de l'objet de référence, mais également sur toute la profondeur de champ dans l'espace objet des systèmes optiques.

L'invention vise aussi un appareil de prise de vue stéréoscopique, comprenant, pour chaque capteur, des moyens de repérage, dans une image issue du capteur, d'un même objet de référence, et des moyens d'évaluation d'une grandeur représentative de la mise au point du système optique associé au capteur sur l'objet de référence, ainsi que des moyens d'ajustement du réglage de chacun des systèmes optiques associés à un capteur respectif de l'appareil de prise de vue stéréoscopique en fonction des grandeurs représentatives de mise au point.

L'invention va maintenant être décrite en relation avec les figures annexées.

Liste des figures

La figure 1 représente des variantes d'un aspect de l'invention.

La figure 2 représente une scène vue par un appareil de prise de vue à plusieurs capteurs (dans cet exemple, trois capteurs).

La figure 3 représente les trois images de la scène de la figure 2 avec ou sans mise en œuvre de l'invention.

Description détaillée de l'invention

La méthode de réglage de la mise au point d'un appareil de prise de vue stéréoscopique à plusieurs capteurs présentée est basée sur l'utilisation d'un objet de référence. Cet objet de référence est un objet dont l'identification et la délimitation dans une image peut se faire sans ambiguïté dans la plupart des environnements. La couleur est un moyen généralement fiable de faire ce genre de délimitation, mais une forme particulière ou encore des marqueurs spécifiques sont d'autres solutions d'identification et de délimitation d'un objet dans une image. La figure 1 donne plusieurs exemples d'objet de référence. Dans tous les cas, le principe est le même : l'objet de référence offre des caractéristiques visibles qui permettent à un système automatique d'identifier l'objet dans une image avec un haut taux de succès et de délimiter une zone d'intérêt dans l'image correspondant essentiellement à l'objet.

L'objet de référence peut avoir un contour coloré visible 1 . Il peut alternativement avoir une forme extérieure particulière visible 2, ou encore présenter vers l'extérieur des marqueurs spécifiques visibles 3.

On place cet objet dans un environnement dont on capture des images à l'aide d'un appareil de prise de vue à plusieurs capteurs dont on souhaite régler la mise au point. Les images ici sont rectangulaires, comme c'est souvent le cas en matière de prise de vue.

Chaque bloc de détection de l'appareil de prise de vue capture des images avec un point de vue unique légèrement décalé de ceux des autres blocs. On obtient donc autant d'images différentes que de blocs de détection, comme cela est représenté en figure 2. La scène, représentée en partie haute de la figure 2, contient trois objets 10, 1 1 , 12 dont l'un (référencé 1 1 ) est l'objet de référence servant au réglage de la mise au point. L'appareil de prise de vue est référencé 20, et comprend ici trois blocs de détection 21 , 22 et 23.

En partie basse de la figure 2 se trouvent les trois images issues des blocs de détection. Chacune de ces images a un point de vue différent de la scène, d'où la différence de position des objets dans les images, visible sur la figure.

Ces images présentent des similarités et en particulier chaque image contient l'objet de référence, mais à une position différente, vis-à-vis des coins (ou bords) de l'image.

On utilise alors un algorithme de détection de l'objet de référence sur les images. Cet algorithme est à adapter selon le type d'objet de référence utilisé. Il peut par exemple s'agir d'un algorithme comprenant une étape par laquelle on rend l'image binaire sur la base de la reconnaissance ou non d'une couleur, point par point, puis d'une étape détection de contour sur l'image binarisée.

Il peut aussi s'agir d'un algorithme par lequel on recherche un contour, on analyse la forme du contour et on la compare avec la forme attendue de l'objet de référence.

Il peut encore s'agir d'un algorithme par lequel on recherche des marqueurs de l'objet de référence dans l'image, puis on le délimite dans l'image en s'appuyant sur la position de ces marqueurs. Ce type d'algorithme est connu dans le domaine du traitement d'image.

À la fin de cette étape, on dispose d'une région d'intérêt délimitant l'objet de référence pour chaque image et ce même si l'objet de référence n'apparait pas à la même position dans les différentes images.

En partie haute de la figure 3, on a représenté une mise en œuvre d'un appareil de prise de vue ne mettant pas en œuvre l'invention. L'objet 1 1 a été retiré. On ne recherche pas d'objet de référence dans la scène. Le rectangle R indique dans chaque image la zone où se fait un réglage de mise au point. Comme il n'y a aucun objet de référence, ces zones sont par exemple choisies au même endroit sur chaque image, aux mêmes distances des coins de l'image.

En partie basse de la figure 3, on a représenté une mise en œuvre d'un appareil de prise de vue mettant en œuvre l'invention. Les trois objets apparaissent sur les images issues des blocs de détection. Le rectangle indique dans chaque image la zone d'intérêt où se fait un réglage de mise au point. Comme il y a un objet de référence 1 1 dans les images, les zones se situent sur l'objet de référence, même si la position de l'objet change dans chaque image, vis-à-vis des coins de l'image. Une fois l'objet de référence identifié dans chaque image et la région d'intérêt correspondante délimitée, on calcule dans cette région d'intérêt la quantité représentative de la mise au point. Généralement, cette quantité correspond à la netteté (sharpness en anglais) ou au flou (blur en anglais) de la zone considérée et est calculée par une méthode de calcul des gradients ou par analyse des fréquences spatiales.

Une quantité de netteté peut être rapportée comme une quantité de contraste sur la zone d'image où est présente l'objet.

Afin de calculer ce contraste, une méthode est de détecter tous les contours dans cette zone d'image et de les quantifier en termes d'intensité. En effet, si l'objet est flou (i.e. la mise au point n'est pas faite sur l'objet), les contours et bords détectables des objets présents dans cette zone d'image seront difficilement visibles ou détectables, ou leur intensité sera faible.

On utilise donc comme métrique un filtre de contour comme par exemple un filtre de Sobel ou bien un filtre de Prewitt ou bien encore un filtre de Canny qui donne une image en niveau de gris qui correspond au contraste de chaque pixel. En faisant la somme de l'image sur la zone d'image puis en divisant par l'aire de la zone d'image, on obtient une valeur moyenne de netteté de la zone d'image que l'on peut comparer sur les différentes zones équivalentes des caméras.

Sur un seul objet détecté dans la scène, on peut calculer une différence de mise au point (sans pour autant savoir comment ajuster la mise au point d'une caméra par rapport à l'autre). Dans le cas de plusieurs objets équivalents détectés dans la scène à différentes distances, l'évolution de la valeur de netteté pour chaque zone équivalente, couplée à la distance de l'objet identifiable dans cette zone, permet de savoir quel bloc de détection possède une distance de mise au point plus lointaine ou plus proche.

Les métriques ayant été calculées pour chaque image sur les régions d'intérêt délimitées par l'objet de référence, elles correspondent toutes à un même plan objet, à une même profondeur de la scène. On a donc une indication du réglage de la mise au point à une même profondeur d'observation pour chacun des blocs de détection.

Enfin, on analyse toutes les métriques calculées de deux façons différentes.

Une première méthode consiste à maximiser (ou minimiser selon la métrique choisie) la quantité représentative de la mise au point afin d'avoir le meilleur réglage possible. Ici chaque bloc de détection est réglé de manière indépendante par l'utilisateur ou un système mécanique automatisé ou non. Cette méthode garantit que le réglage de la mise au point sera optimal pour chaque bloc de détection à la profondeur à laquelle l'objet de référence a été placé, ainsi que dans toute la profondeur de champ dans l'espace objet des systèmes optiques des blocs de détection.

Une seconde méthode consiste en la comparaison des quantités calculées. En effet, la qualité des systèmes optiques peut varier légèrement et introduire des différences de netteté sur l'image, même si chaque bloc de détection est réglé de façon optimale via la première méthode.

Il est donc nécessaire de faire cette comparaison et d'ajuster tous les blocs de détection à une quantité égale pour obtenir des blocs de détection avec des réglages de mise au point identiques et compatibles.

Les étapes ci-dessus sont répétées afin d'actualiser les métriques au fur et à mesure du réglage. L'invention n'est pas limitée aux modes de réalisation décrits mais s'étend à toutes les variantes dans le cadre de la portée des revendications.

Claims

REVENDICATIONS

1 . Méthode de réglage d'un appareil de prise de vue stéréoscopique à plusieurs blocs de détection, constitués chacun d'un capteur et d'un système optique, la méthode comprenant, pour chaque capteur (21 -23) de l'appareil, une étape de repérage, dans une image issue du capteur, d'un même objet de référence (1 1 ), puis une étape d'évaluation d'une grandeur représentative de la mise au point du système optique associé au capteur sur l'objet de référence, pour ajuster le réglage de chacun des systèmes optiques associés au sein d'un bloc de détection à un capteur respectif (21 -23) de l'appareil de prise de vue stéréoscopique.

2. Méthode de réglage d'un appareil de prise de vue stéréoscopique selon la revendication 1 , dans laquelle on ajuste le réglage de chacun des systèmes optiques pour optimiser indépendamment les grandeurs représentatives de la mise au point.

3. Méthode de réglage d'un appareil de prise de vue stéréoscopique selon la revendication 1 , dans laquelle on ajuste le réglage de chacun des systèmes optiques associés à un capteur respectif pour obtenir une même valeur pour les grandeurs représentatives de la mise au point associées respectivement aux systèmes optiques.

4. Méthode de réglage d'un appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 3, dans laquelle le repérage d'un objet de référence est effectué par recherche d'un cadre de couleur (1 ), d'une forme prédéterminée (2), ou de marqueurs spécifiques (3).

5. Méthode de réglage d'un appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 4, dans laquelle l'évaluation de la grandeur représentative de la mise au point comprend un calcul de quantité de netteté/

6. Appareil de prise de vue stéréoscopique à plusieurs blocs de détection, constitués chacun d'un capteur et d'un système optique, l'appareil comprenant, pour chaque capteur (21 -23), des moyens de repérage, dans une image issue du capteur, d'un même objet de référence (1 1 ), et des moyens d'évaluation d'une grandeur représentative de la mise au point du système optique associé au capteur sur l'objet de référence, ainsi que des moyens d'ajustement du réglage de chacun des systèmes optiques associés au sein d'un bloc de détection à un capteur respectif de l'appareil de prise de vue stéréoscopique en fonction des grandeurs représentatives.