FR2976089A1 - Dispositif de realite augmentee. - Google Patents

Abstract

Le dispositif (100) selon l'invention comporte un casque (102) conçu pour être porté sur la tête d'un utilisateur et au moins un picoprojecteur (116), chaque picoprojecteur (116) étant fixé au casque (102) et configuré pour projeter des images devant l'utilisateur lorsque ce dernier porte le casque (102).

Description

10 La présente invention concerne un dispositif de réalité augmentée.

Un dispositif de réalité augmentée est un dispositif optronique destiné à permettre à un utilisateur de visualiser des informations, telles que du texte, des images ou de la vidéo, dans son champ de vision, sans avoir besoin de tourner 15 ou baisser la tête.

La présente invention s'intéresse plus particulièrement aux dispositifs de réalité augmentée destinés à être portés sur la tête de l'utilisateur, également appelés Head Mounted Display ou HMD en anglais. 20 Dans le cadre de la présente invention, l'expression « structure de tête » est utilisée pour désigner tout système destiné à être porté de manière stable sur la tête d'un utilisateur de façon à suivre les mouvements de la tête de l'utilisateur. Ainsi, cette expression regroupe notamment les casques de 25 protection, les chapeaux et casquettes, les casques audio et les paires de lunettes. En outre, le terme « picoprojecteur » est utilisé pour désigner un vidéoprojecteur miniaturisé dont chaque dimension n'excède pas quelques millimètres, par exemple moins de 20 millimètres, et de préférence entre 8 et 10 millimètres. En outre, le terme « micro caméra » est utilisé pour désigner une 30 caméra dont chaque dimension n'excède pas quelques millimètres, par exemple moins de 20 millimètres, et de préférence entre 8 et 10 millimètres. 1 La plupart des dispositifs HMD développés à ce jour utilisent une approche d'affichage arrière (« rear display » en anglais). Un affichage arrière déporte le système optique d'imagerie sur le côté ou le sommet de la tête de l'utilisateur de manière à dégager sa vue, et utiliser un miroir semi-réfléchissant (c'est-à-dire semi-transparent) devant l'oeil pour renvoyer l'image vers la rétine de l'utilisateur.

Ces dispositifs HMD sont en outre parfois couplés à des éléments optiques diffractifs (ou « Diffractive Optical Elements », DOE, en anglais) ou bien des éléments optiques holographiques (ou « Holographic Optical Element » en anglais).

Ces dispositifs présentent l'inconvénient d'être relativement encombrants car ils dépendent d'un micro-display placé sur le côté et d'une optique qui, 15 même réduite grâce à des DOE, possède un volume non négligeable.

Ainsi, l'invention a pour but de proposer un dispositif HMD à l'encombrement réduit.

20 A cet effet, il est proposé un dispositif de réalité augmentée comportant une structure conçue pour être portée sur la tête d'un utilisateur et au moins un picoprojecteur, chaque picoprojecteur étant fixé à la structure et configuré pour projeter des images devant l'utilisateur lorsque ce dernier porte la structure.

25 Dans un mode de réalisation, le dispositif de réalité augmentée comporte en outre au moins une micro-caméra, chaque micro-caméra étant fixée à la structure et configurée pour capturer les images projetées par le ou les picoprojecteurs sur un arrière plan.

30 Dans un mode de réalisation, le dispositif de réalité augmentée comporte en outre des moyens d'analyse conçus pour analyser les images capturées par la ou les micro-caméras et des moyens de commande conçus pour commander le ou les picoprojecteurs en fonction de l'analyse des moyens d'analyse.

Dans un mode de réalisation, les moyens d'analyse sont conçus pour 5 reconnaître un objet présent dans l'arrière plan.

Dans un mode de réalisation, les moyens d'analyse sont conçus pour déterminer la position du dispositif par rapport à un arrière plan sur lequel le ou les picoprojecteurs projettent des images Dans un mode de réalisation, les moyens d'analyse sont conçus pour déterminer la position d'une main et/ou de doigts de l'utilisateur présents dans l'arrière plan, ou bien de leur ombre.

15 Dans un mode de réalisation, les moyens d'analyse sont conçus pour déterminer la présence dans l'arrière plan d'un oeil d'une personne, et les moyens de commande sont conçus pour faire arrêter la projection d'images par le ou les picoprojecteurs en cas de présence d'un oeil.

20 Dans un mode de réalisation, la structure comporte une monture, comportant un pont destiné à reposer sur un nez de l'utilisateur et deux branches, chacune destinée à reposer sur une oreille respective de l'utilisateur.

Dans un mode de réalisation, la structure comporte une paire de lunettes 25 munie de la monture, et de deux verres fixés à la monture et destinés à se trouver respectivement devant les yeux de l'utilisateur lorsque ce dernier porte la paire de lunettes, et les deux branches s'étendent respectivement depuis les deux verres.

30 Dans un mode de réalisation, l'au moins un picoprojecteur comporte un picoprojecteur fixé sur le pont. 10 Dans un mode de réalisation, l'au moins un picoprojecteur comporte un picoprojecteur fixé à une des branches.

Dans un mode de réalisation, l'au moins une micro-caméra comporte 5 une micro-caméra fixée sur le pont.

Dans un mode de réalisation, l'au moins une micro-caméra comporte une micro-caméra fixée sur une des branches.

10 Dans un mode de réalisation, les moyens de commande sont en outre conçus pour régler le focus du ou des picoprojecteurs en fonction de la position déterminée par les moyens d'analyse.

L'invention sera mieux comprise à l'aide de la description qui va suivre, 15 donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés dans lesquels : La figure 1 est un schéma simplifié d'un premier dispositif HMD mettant en oeuvre l'invention ; La figure 2 est un schéma simplifié d'un deuxième dispositif HMD 20 mettant en oeuvre l'invention ; et La figure 3 est un schéma simplifié d'un troisième dispositif HMD mettant en oeuvre l'invention.

En référence à la figure 1, un premier dispositif HMD 100 comporte tout 25 d'abord une structure de tête conçue pour être portée sur la tête d'un utilisateur. Dans l'exemple décrit, la structure de tête est une paire de lunettes 102 munie d'une monture 104 et de deux verres 106, 108 fixés à la monture 104 et destinés à se trouver respectivement devant les yeux de l'utilisateur lorsque ce dernier porte la paire de lunettes. Les verres peuvent être des verres 30 ophtalmiques (fournissant une correction optique), des verres neutres (ne fournissant pas de correction optique), et/ou des verres de soleil. La monture 104 comporte un pont 110 reliant les deux verres entre eux et deux branches 112, 114 s'étendant respectivement depuis les deux verres et destinées à reposer chacune sur une oreille respective de l'utilisateur.

Le dispositif HMD 100 comporte en outre un picoprojecteur 116 fixé à la paire de lunettes 102. Plus précisément, dans l'exemple décrit, le picoprojecteur 116 est fixé sur le pont 110 de la paire de lunettes 102. Le picoprojecteur 116 est configuré pour projeter des images devant l'utilisateur lorsque ce dernier porte la paire de lunettes 102. Afin d'être visibles en particulier pour l'utilisateur, les images sont destinées à être projetées sur un arrière plan, c'est-à-dire un ou plusieurs objets sur lesquels les images sont formées (images « réelles » dans le sens optique du terme). L'arrière plan comprend par exemple un mur, un écran, une table, une feuille de papier, voire une partie d'un corps telle que la main de l'utilisateur. Les images projetées peuvent être fixes ou animées, monochromes ou en couleurs selon les capacités du picoprojecteur 116 et la manière dont sont configurés les moyens de commande qui seront détaillés plus loin.

Le dispositif HMD 100 comporte en outre une micro caméra 118 fixée à la paire de lunettes 102 et configurée pour capturer au moins une partie de l'arrière plan sur lequel le picoprojecteur 116 projette des images. Plus précisément, dans l'exemple décrit, la micro caméra 118 est fixée sur le pont 110 de la paire de lunettes, à côté du picoprojecteur 116.

Le dispositif HMD 100 comporte en outre un module de traitement de 25 données 120 connecté au picoprojecteur 116 et à la micro-caméra 118 par des moyens de connexions 122, pouvant être filaires ou bien sans fil.

Le module de traitement de données 120 comporte par exemple une unité de traitement, de la mémoire vive telle que de la mémoire à accès 30 fréquentiel (ou « Random Access Memory » en anglais), de la mémoire non volatile telle que de la mémoire morte (ou « Read Only Memory » en anglais), et un processeur graphique (ou « Graphics Processing Unit » en anglais).

Dans l'exemple décrit, le module de traitement de données 120 est un ordiphone (ou « smart phone » en anglais).

Le module de traitement de données 120 comporte par ailleurs les différents moyens décrits ci-après, par exemple sous forme de programmes d'ordinateur inscrits dans la mémoire non volatile et destinés à être chargés en mémoire vive afin d'être exécutés par l'unité de traitement et/ou le processeur graphique.

Ainsi, le module de traitement de données 120 comporte tout d'abord des moyens d'analyse 124 conçus pour analyser les images capturées par la micro-caméra. Dans l'exemple décrit, les moyens d'analyse 124 sont conçus pour reconnaître un objet présent dans l'arrière plan, c'est-à-dire associer une partie d'une image capturée avec un nom d'objet provenant par exemple d'une liste de noms d'objet prédéfinie. Les moyens d'analyse 124 sont en outre conçus pour déterminer la position d'une main et/ou de doigts de l'utilisateur présents dans l'arrière plan, ou bien de leur ombre. Les moyens d'analyse 124 sont en outre conçus pour déterminer la présence dans l'arrière plan d'yeux d'une personne. Les moyens d'analyse 124 sont en outre conçus pour déterminer l'inclinaison de l'arrière plan. Les moyens d'analyse sont en outre conçus pour déterminer la position du dispositif 102 par rapport à un arrière plan sur lequel le ou les picoprojecteurs projettent des images.

Le module de traitement de données 120 comporte en outre des moyens de commande 126 conçus pour commander le picoprojecteur en fonction de l'analyse faite par les moyens d'analyse 124.

Dans l'exemple décrit, les moyens de commande 126 sont conçus pour commander l'affichage d'informations sur l'objet reconnu, c'est-à-dire des informations associées dans une mémoire du module de traitement de données 120, par exemple dans sa mémoire non volatile, au nom de l'objet. Ainsi, les images projetées augmentent l'information perçue par l'utilisateur sur l'environnement réel de l'objet se trouvant directement face à lui.

Les moyens de commande 126 sont en outre conçus pour faire arrêter la projection d'images par le picoprojecteur en cas de présence d'yeux. Cela permet d'éviter que des personnes se trouvant en face de l'utilisateur soient éblouies et améliore de ce fait la sécurité du dispositif HMD 100.

Les moyens de commande 126 sont en outre conçus pour faire émettre 10 des images corrigées, par exemple par la correction dite de trapèze, en fonction de l'inclinaison de l'arrière plan déterminée par les moyens d'analyse.

Les moyens de commande 126 sont en outre conçus pour régler le focus du ou des picoprojecteurs en fonction de la position déterminée par les moyens 15 d'analyse. Les moyens de commande 126 forment ainsi des moyens d'autofocus.

Le module de traitement de données 120 comporte en outre des moyens de contrôle 128 conçus pour contrôler des fonctions de l'ordiphone en fonction 20 de la position de la main et/ou des doigts de l'utilisateur, ou bien de leur ombre. En particulier, lorsque le picoprojecteur projette l'image d'un clavier numérique, les moyens de contrôle 128 sont conçus pour corréler la position des doigts de l'utilisateur ou de leur ombre avec le clavier numérique, afin de déterminer une touche du clavier numérique actionnée par l'utilisateur et pour contrôler 25 l'ordiphone avec cette touche activée, par exemple d'une manière identique à ce que produirait l'activation d'une touche équivalente sur un clavier numérique de l'ordiphone. Les moyens de contrôle peuvent être utilisés pour contrôler d'autres dispositifs informatiques que l'ordiphone.

30 Un exemple de fonctionnement du dispositif HMD de la figure 1 va à présent être décrit.

Le dispositif HMD 100 peut servir de système d'entrée/sortie, c'est-à-dire d'interface homme/machine, d'un ordinateur portable en affichant, d'une part, les images normalement destinées à l'écran de l'ordinateur portable et, d'autre part, une image de clavier d'ordinateur portable. Ainsi, la position des doigts ou de leur ombre peut être utilisée comme expliqué précédemment pour déterminer les touches du clavier que l'utilisateur active et contrôler le fonctionnement de l'ordinateur portable, en particulier l'affichage de nouvelles images.

La présence de la micro-caméra au centre, c'est-à-dire sur le pont, permet un bon centrage de la caméra.

En référence à la figure 2, un deuxième dispositif HMD 200 est identique à celui de la figure 1, si ce n'est qu'il comporte, à la place du picoprojecteur 116, deux picoprojecteurs 202, 204 respectivement fixés sur les branches 112, 114 de la paire de lunettes 102. Cette configuration présente l'avantage, d'une part, de nécessiter peu de la place sur le pont 110 qui est souvent de taille limitée, et, d'autre part, de permettre de projeter des images stéréoscopiques, c'est-à-dire en trois dimensions, qui pourront être vues en trois dimensions par l'utilisateur moyennant par exemple la polarisation des verres 106, 108 ainsi que des picoprojecteurs 202, 204.

En référence à la figure 3, un troisième dispositif HMD 300 est identique à celui de la figure 1, si ce n'est qu'il comporte, à la place de la micro-caméra 118, deux micro-caméras 302, 304 respectivement fixées sur les branches 112, 114 de la paire de lunettes 102. Cette configuration présente l'avantage, d'une part, de nécessiter peu de la place sur le pont 110 qui est souvent de taille limitée, et, d'autre part, de permettre aux moyens d'analyse 124 d'estimer avec précision la profondeur, c'est-à-dire la distance jusqu'à l'arrière plan, ainsi que la forme des objets de l'arrière plan.

Il apparaît clairement qu'un dispositif HMD tel que ceux décrits précédemment, présente un encombrement et un poids faible et permet d'éviter les problèmes complexes de conception optique afin d'obtenir des boîtes de l'oeil (pupille de sortie la plus grande possible qui permette de bouger les yeux sans perdre les images projetées) suffisamment grande pour assurer une compatibilité avec un grand nombre de morphologies de tête.

Par ailleurs, l'invention n'est pas limitée aux modes de réalisation décrits précédemment, mais au contraire définie par les revendications qui suivent. II apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées aux modes de réalisation décrits ci-dessus, à la lumière de l'enseignement qui vient de lui être divulgué.

15 Par exemple, chaque branche de la paire de lunettes pourrait comporter un picoprojecteur et une micro-caméra afin de libérer la place sur le pont et afin de combiner les avantages des dispositifs des figures 2 et 3.

Dans les revendications qui suivent, les termes utilisés ne doivent pas 20 être interprétés comme limitant les revendications aux modes de réalisation exposés dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents que les revendications visent à couvrir du fait de leur formulation et dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en oeuvre de l'enseignement 25 qui vient de lui être divulgué.10

Claims (14)

1. REVENDICATIONS1. Dispositif de réalité augmentée (100 ; 200 ; 300), caractérisé en ce qu'il comporte : - une structure (102) conçue pour être portée sur la tête d'un utilisateur, et au moins un picoprojecteur (116 ; 202, 204), chaque picoprojecteur (116 ; 202, 204) étant fixé à la structure (102) et configuré pour projeter des images devant l'utilisateur lorsque ce dernier porte la structure (102).
2. 2. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 1, comportant en outre au moins une micro-caméra (118 ; 302, 304), chaque micro-caméra (118 ; 302, 304) étant fixée à la structure (102) et configurée pour capturer les images projetées par le ou les picoprojecteurs (116 ; 202, 204) sur un arrière plan.
3. 3. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 2, comportant en outre des moyens d'analyse (124) conçus pour analyser les images capturées par la ou les micro-caméras (118 ; 302, 304) et des moyens de commande (126) conçus pour commander le ou les picoprojecteurs (116 ; 202, 204) en fonction de l'analyse des moyens d'analyse (124).
4. 4. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 3, dans lequel les moyens d'analyse (124) sont conçus pour reconnaître un objet présent dans l'arrière plan.
5. 5. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 3 ou 4, dans lequel les moyens d'analyse (124) sont conçus pour déterminer la position du dispositif par rapport à un arrière plan sur lequel le ou les picoprojecteurs projettent des images. 10
6. 6. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 3, 4 ou 5, dans lequel les moyens d'analyse (124) sont conçus pour déterminer la position d'une main et/ou de doigts de l'utilisateur présents dans l'arrière plan, ou bien de leur ombre.
7. 7. Dispositif de réalité augmentée (100 ; 200 ; 300) selon l'une des revendications 3 à 6, dans lequel les moyens d'analyse (124) sont conçus pour déterminer la présence dans l'arrière plan d'un oeil d'une personne, et dans lequel les moyens de commande (126) sont conçus pour faire arrêter la projection d'images par le ou les picoprojecteurs (116 ; 202, 204) en cas de présence d'un oeil.
8. 8. Dispositif de réalité augmentée (100 ; 200 ; 300) selon l'une des revendications 1 à 7, dans lequel la structure (102) comporte une monture (104), comportant un pont (110) destiné à reposer sur un nez de l'utilisateur et deux branches (112, 114) destinée à reposer chacune sur une oreille respective de l'utilisateur.
9. 9. Dispositif de réalité augmentée (100 ; 200 ; 300) selon la revendication 8, dans lequel la structure (102) comporte une paire de lunettes munie : de la monture (104), et de deux verres (106, 108) fixés à la monture (104) et destinés à 25 se trouver respectivement devant les yeux de l'utilisateur lorsque ce dernier porte la paire de lunettes, et dans lequel les deux branches (112, 114) s'étendent respectivement depuis les deux verres (106, 108). 30
10. 10. Dispositif de réalité augmentée (100 ; 200) selon la revendication 8 ou 9, dans lequel le au moins un picoprojecteur (116 ; 202, 204) comporte un picoprojecteur fixé sur le pont (110).
11. 11. Dispositif de réalité augmentée (300) selon la revendication 8, 9 ou 10, dans lequel le au moins un picoprojecteur (302, 304) comporte un picoprojecteur fixé à une des branches (112, 114).
12. 12. Dispositif de réalité augmentée (100 ; 300) selon la revendication 2 et l'une des revendications 8 à 11, dans lequel la au moins une micro-caméra (118 ; 302, 304) comporte une micro-caméra fixée sur le pont (110). 10
13. 13. Dispositif de réalité augmentée (200) selon la revendication 2 et l'une des revendications 8 à 12, dans lequel la au moins une micro-caméra (118 ; 302, 304) comporte une micro-caméra fixée sur une des branches (112, 114).
14. 14. Dispositif de réalité augmentée selon la revendication 5 et l'une des 15 revendications 1 à 13, dans lequel les moyens de commande sont en outre conçus pour régler le focus du ou des picoprojecteurs en fonction de la position déterminée par les moyens d'analyse.5