ES2391112B2 - Sistema de proyeccion espacial de realidad aumentada fijado a la cabeza - Google Patents

Abstract

El sistema objeto de la invención es un dispositivo de proyección de realidad aumentada fijado a la cabeza, de tal forma que los movimientos que realice ésta son seguidos de forma solidaria. Además del sistema de fijación consta de una cámara de video que registra información del entorno, y de un proyector mediante el que se superpone información generada por un computador sobre él. Al ser solidario con el movimiento de la cabeza, se conoce la posición relativa entre sistema y usuario, lo que permite que los elementos proyectados mantengan la coherencia espacial con el entorno desde su punto de vista, de tal forma que la proyección puede simular objetos 3D situados en dicho entorno, mediante la variación de la proyección de acuerdo con los movimientos registrados; de esta forma, si el observador se desplaza en el entorno la proyección variará en correspondencia para simular la presencia de objetos estáticos.

Description

Sistema de proyección espacial de realidad aumentada fijado a la cabeza

SECTOR TÉCNICO La invención se encuadra dentro de los dispositivos de proyección de realidad aumentada, compaginando características de los dispositivos montados sobre la cabeza y los dispositivos de proyección espacial.

ANTECEDENTES DE LA INVENCIÓN La realidad aumentada es una disciplina cuyo objetivo es la integración de información generada mediante un computador en el entorno real que nos rodea, mediante la apropiada generación de gráficos que se superponen sobre dicho entorno atendiendo a criterios fijados por cada aplicación. Esta integración se puede realizar haciendo uso de diferentes estrategias, dependiendo de si se orientan a un observador o al enriquecimiento de un entorno, y dependienta también de las tecnologías implicadas en su desarrollo. Los factores comunes a la mayoría de todas las soluciones de integración son: presencia de uno o varios dispositivos sensores, que capturan información del entorno, un computador, que se encarga de la generación de los gráficos que luego serán superpuestos con el entorno, y un dispositivo de visualización, que realiza la integración final de los elementos generados por computador con el entorno. De las distintas combinaciones de estos factores han surgido propuestas para diferentes dispositivos de visualización de elementos de realidad aumentada. Una posible clasificación de estos es:

•

De visualización indirecta, en los que se utiliza un display para la visualización del resultado de la integración, como pueda ser un monitor de un computador o la pantalla de un dispositivo de mano (PDA, teléfono móvil, ... )

•

De visualización directa, en los que se utiliza algún tipo de solución que realiza la integración y genera dos vistas diferentes, una para cada ojo del observador, de forma que se muestra una imagen diferenciada para

cada uno de ellos con lo que se consigue un efecto estereoscópico. Este tipo de soluciones implica la utilización de algún dispositivo fijado a la cabeza, de forma que el resultado de la integración es sólo visible para su usuario. Dentro de estos dispositivos se pueden encontrar diferentes soluciones:

o Head Mounted Displays (HMD's), para los que la solución adoptada consiste en incorporar dos pequeños displays, montados a modo de cristales de unas gafas, en los que se reproduce la imagen que cada ojo debería ver. Estos displays pueden ser opacos (en los que se reproduce la imagen de los elementos reales y los generados por computador simultáneamente), o transparentes, en los que sólo se reproducen los elementos generados por computador al permitir el paso de la luz procedente del entorno.

o Virtual Retinal Displays (VRD's), para los que la solución consiste en proyectar directamente sobre la retina las imágenes generadas por el computador, de forma que se superponen directamente sobre el sistema visual del observador.

o Head Mounted Projective Displays (HMPD's), en los que se incorpora una pantalla transparente sobre la que se proyectan los elementos generados por el computador.

• De proyección espacial, en los que se proyectan los elementos generados por el computador sobre el propio entorno (como lo haría un proyector tradicional sobre una pantalla), cuidando de que ésta sea coherente con dicho entorno pero sin que esto implique coherencia con el punto de vista de ningún observador en concreto (el aspecto de la proyección no cambia cuando el observador modifica su posición).

Sería, por tanto, deseable contar con un dispositivo capaz de aunar las ventajas de cada una de las soluciones presentadas, conjugando la posición fija a la cabeza que permite simular una integración de objetos 3D generados por computador en el entorno, con la proyección espacial, que permite el enriquecimiento real del entorno mediante la integración directa sobre éste de los elementos generados por el computador. El resultado sería la posibilidad de contar con un dispositivo que proyectaría elementos generados por computador sobre el entorno guardando la coherencia espacial con él a los ojos del observador. Con este objetivo, la presente invención combina elementos de fijación solidaria del dispositivo a la cabeza del observador, la presencia de una cámara montada sobre dicho elemento de fijación, y de un picoproyector tambíen montado sobre éste, de manera que todos ellos mantengan su posición relativa y garanticen la posibilidad de cumplir con el objetivo de mantener la coherencia espacial entre los elementos proyectados sobre el entorno y éste a los ojos del observador.

DESCRIPCIÓN DE LA INVENCIÓN La presente invención consiste en un dispositivo de proyección espacial de realidad aumentada fijado a la cabeza y al procedimiento para su correcto funcionamiento tal y como describen las reivindicaciones. En particular, la invención cuenta con una cámara configurada para registrar información del entorno y acoplada a unos medios de procesamiento que están configurados para procesar la señal y extraer la información tridimensional del entorno. Además comprende un proyector configurado para recibir la información tridimensional y generar una proyección de acuerdo con dicha información tridimensional. También posee unos medios de fijación diseñados para fijar a la cabeza de un usuario la cámara y el proyector referido de manera que se muevan solidariamente y de manera conjunta sin variar sustancialmente la distancia relativa con los ojos del usuario.

BREVE DESCRIPCIÓN DE LOS DIBUJOS La figura 1 describe una posible realización del sistema, en la que se utiliza un casco (1) como elemento de soporte de cámara (2) y picoproyector (3) y de fijación solidaria del conjunto a la cabeza del usuario. En la figura 2 se aprecia cómo la configuración de la proyección que realiza el picoproyector puede verse modificada cuando el sistema se desplaza respecto al entorno: para conseguir que el elemento proyectado (5) aparezca inmóvil en el entorno, un desplazamiento del sistema puede ocasionar que la proyección cambie de una configuración como (4) a una configuración como (6), de tal forma que el mencionado elemento (5) permanezca aparentemente inmóvil. En las figuras 3 y 4 pueden verse detalles de sendas configuraciones de proyección. En la figura 6 puede verse en detalle cómo para simular la presencia de un objeto tridimensional (8) en el entorno para el observador (7) es necesario realizar una proyección adaptada a la superficie sobre la que se realiza. En este caso, la sensación de estar observando un objeto tridimensional cuando se proyecta sobre una superficie plana y horizontal requiere que el picoproyector genere una imagen como (9), que vista desde la perspectiva del observador (7) dará la sensación de estar contemplando el objeto tridimensional (8) sobre dicha superficie de proyección.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Un elemento de fijación del conjunto a la cabeza (1 ); a tal fin puede utilizarse un casco o gorro rígido firmemente sujeto, o unas gafas sujetas con patillas o con banda elástica, en el caso de que el peso y volumen de los demás componentes lo permitan. Su cometido fundamental no es sólo de sujección del conjunto, sino que debe garantizar que las posiciones relativas entre todos los elementos de la invención (cámara -picoproyector) y los ojos del observador permanecen sin variaciones. Esta última característica es imprescindible para permitir realizar los cálculos necesarios para el correcto funcionamiento del sistema de forma precisa. Si fuera necesario, la medición de dichas posiciones relativas debería realizarse mediante el adecuado proceso de calibración de todo el sistema.

• Una cámara de vídeo (2), fijada de forma solidaria al elemento de fijación descrito anteriormente. Su cometido es capturar imágenes del entorno de forma continua (de ahí que necesariamente sea una cámara de vídeo), imágenes que inmediatamente serán enviadas a un computador para su procesamiento. El resultado de este procesamiento debe ser la posición y orientación tridimensional del observador dentro del entorno circundante, o respecto a los elementos más representativos o necesarios para la aplicación que en cada caso se considere. En muchas aplicaciones, estos elementos representativos son las llamadas 'marcas fiduciarias' (5), cuya forma y tamaño son conocidos, de tal forma que mediante la perspectiva apreciada en la imagen la posición y orientación tridimensional del observador, necesaria para completar la aplicación, puede extraerse de forma sencilla. No obstante, no es necesario que la referencia para la extracción de esta información sean estas marcas, pudiendo ser cualquier otro objeto integrado en el entorno.

• Un picoproyector (3), fijada asimismos sobre el elemento de fijación descrito en primer lugar de forma solidaria, y garantizando una posición relativa fija respecto a la cámara, y de ambos respecto al usuario del sistema (7). Su cometido es proyectar sobre el entorno los gráficos generados por el computador (9) sobre la base de la información tridimensional extraída del análisis de las imágenes suministradas por la cámara. De esta forma, los gráficos proyectados sobre el entorno mantienen la coherencia espacial con éste (8), dando al observador la sensación de que los elementos representados por dichos gráficos realmente 'están ahí', integrados perfectamente.

El sistema tiene un funcionamiento continuo, de tal forma que los cambios de posición y/u orientación del usuario respecto al entorno, son inmediatamente capturados por la cámara montada en el sistema, analizados por el computador y utilizados para modificar la proyección.

Sirva como ejemplo la idea de que el sistema está integrando en el entorno una supuesta estatua, generada en este caso por el computador; si el usuario del sistema comenzase a rodear la posición donde dicha estatua está siendo proyectada, como haría con una real para apreciarla desde todos los ángulos, el sistema reaccionaría modificando la proyección, de tal forma que aparentemente se mantendría estática mientras el observador la rodea, como sucedería con una estatua real. Lógicamente dicha proyección no puede realizarse sobre el aire, luego se debe contar con una superficie que permita esta proyección desde todas las perspectivas (pantalla cilíndrica o giratoria).

La coherencia espacial se consigue mediante la detección y seguimiento de objetos conocidos en el entorno. Dado el conocimiento dimensional a priori de estos objetos, la imagen captada por la cámara presentará una cierta deformación respecto al patrón conocido, debido a la perspectiva con la que se observa la escena por el dispositivo; a partir de esta deformación, y haciendo uso de las herramientas matemáticas apropiadas (estimación de la transformación inversa de perspectiva a partir de la imagen) es posible determinar con precisión la posición relativa entre la cámara y el objeto de referencia, ubicando ambos en el espacio tridimensional. Con esta información, el computador recibe la información necesaria para generar los gráficos que luego serán proyectados sobre el entorno de tal forma que el usuario del sistema perciba que la posición aparente de los elementos proyectados es coherente con el entorno tridimensional, de forma que la sensación es que están perfectamente integrados en él, en posiciones espaciales fijas.

De la descripción de los componentes se deduce que los costes del dispositivo objeto de la invención respecto a otros dispositivos descritos en el estado de la técnica es claramente inferior, cumpliendo virtualmente con las mismas funciones, siempre que se disponga de una superficie adecuada para realizar la proyección. Dados los componentes descritos anteriormente y la forma en la que se ha descrito el cometido de cada uno, el funcionamiento lógico del sistema implica los siguientes pasos:

1. Captura de información del entorno: mediante la cámara (2) incorporada en el sistema, se recogen imágenes del entorno de forma continua.

Dado que está fijada solidariamente a la cabeza del usuario, se conoce la posición relativa respecto a éste, y respecto al sistema de proyección.

2.

Análisis de las imágenes capturadas: las imágenes capturadas por la cámara son enviadas a un computador donde se procede a su análisis mediante los algoritmos apropiados de procesamiento de imágenes y visión por computador. Como resultado de este análisis, se deduce la posición y orientación 3D de algún o algunos objetos clave (5) que se hayan reconocido en las imágenes suministradas por la cámara.

3.

Generación de los gráficos que se proyectarán sobre el entorno: de esta tarea también se encarga un computador, para lo cual ha de tener en cuenta dos factores:

•

En primer lugar, la información de posición y orientación tridimensional de los objetos clave obtenidas en la fase anterior, ya que servirán como base para conseguir la necesaria coherencia espacial entre los gráficos generados y la posición del observador respecto al entorno; se ha de conseguir el efecto de que los elementos proyectados se integren 'espacialmente' en él (8).

•

En segundo lugar, la posición y orientación del área sobre la que se debe realizar la proyección (5); dado que el usuario puede estar moviéndose o desplazándose respecto a su entorno, (4,6) se debe calcular dónde se debe realizar la proyección y con qué tamaño relativo, haciendo uso de algoritmos de control visual aplicados a su posición y escala, para así compensar cualquier movimiento del usuario en el espacio tridimensional. De esta forma, los gráficos generados deberán modificar dinámicamente su posición y tamaño dentro de la zona cubierta por el proyector (i.e. los gráficos proyectados no siempre han de cubrir el área completa de proyección ni permanecer estáticos en ésta).

4.

Finalmente, los gráficos generados por el computador, atendiendo a los criterios anteriormente expuestos, son enviados al proyector para ser enviados sobre el entorno.

El sistema consta de las siguientes partes fundamentales: un elemento de fijación a la cabeza, como pueda ser un casco o unas gafas (1 ), que garanticen que la posición relativa entre los distintos componentes del sistema y el observador se mantiene constante en todo momento; una cámara (2), que recoge las imágenes del entorno para ser analizadas; un picoproyector (3), que realiza la proyección de las imágenes generadas por el computador sobre el entorno. La posición concreta en la que estos dispositivos se fijan sobre el elemento de fijación no es relevante, siempre que se garantice la estacionareidad de sus posiciones relativas, como se ha mencionado. Dada la movilidad del usuario, la posición del área sobre la que se ha de proyectar la imagen generada por el computador (5) dentro del área cubierta por el proyector (4,6) puede variar, por lo que se ha de modificar la posición de la imagen generada por el computador dentro de ésta, para garantizar su correcta superposición sobre el área objetivo (5). Dado que el sistema está previsto para proyectar la ilusión en el observador (7) de que existen objetos tridimensionales (8) integrados en el entorno, se ha de realizar una proyección acorde con la superficie sobre la que se proyecta (9), de modo que a los ojos del observador el objeto aparente tener realmente volumen.

Ejemplo: Una posible realización del sistema (aunque no se limite a ella) constaría de los siguientes elementos físicos:

•

Un casco o gafas (1) como elemento de soporte y fijación a la cabeza,

•

Una cámara lápiz o sportcam (2) fijada al elemento anterior, como dispositivo de captura de imagen. Esta cámara se conecta al computador mediante los apropiados elementos de interfaz (usualmente un conector USB para la transmisión de las imágenes al computador) para suministrar a éste la información necesaria para que éste realice los cálculos asignados, es decir, estimación de la posición relativa del observador en el entorno y respecto de los objetos presentes en él, y la

posterior generación de los gráficos que serán proyectados, como se

describe en los siguientes puntos.

• Un computador para el análisis de las imágenes suministradas por la

cámara, cuyo resultado es la estimación de la posición tridimensional del

5

usuario del sistema dentro del entorno, así como su posición relativa

respecto a los elementos reales integrados de dicho entorno. Este

computador, a partir de esta estimación de la posición tridimensional del

observador, está también encargado de generar los gráficos que

posteriormente serán proyectados sobre el entorno, y que simularán la

1 O

presencia de objetos estáticos en él.

• Un picoproyector láser (3) fijado a los elementos de fijación y soporte,

que recibe las imágenes generadas por el computador mediante los

adecuados elementos de interfaz (normalmente un conector de señal de

vídeo, como pueda ser un conector VGA, DVI o similares) y las proyecta

15

sobre el entorno.

APLICACIÓN INDUSTRIAL

El dispositivo descrito en la presente invención puede ser utilizado en multitud

de entornos y aplicaciones dada su movilidad, versatilidad y bajo coste. Entre

20

(aunque no limitado a) ellas, se encuentran:

• Asistencia a personas con discapacidad: supóngase el caso de personas

con minusvalía intelectual a las que se quiere dotar de autonomía para

desarrollar una vida independiente en su propio hogar. El sistema

descrito se puede utilizar para proporcionar instrucciones al usuario

25

sobre labores domésticas, manejo de aparatos, agenda, etc, mediante la

proyección de las instrucciones pertinentes sobre cualquier superficie

cercana. Además, mediante la identificación de los aparatos de la casa

(lavadora, horno, lavavajillas, ... ) se puede instruirle sobre su manejo

proyectando sobre estos aparatos las instrucciones (pulsar un botón

30

resaltado mediante la proyección, proyección de flechas para indicar

movimientos o acciones, etc)

•

Enriquecimiento de publicaciones: mediante la disposición de áreas

marcadas en una publicación, ya sea física (libro, revista, cuento infantil,

etc) o electrónica (lector de e-books, iPad, notebook, etc), el sistema

puede proceder a su identificación y a la proyección sobre dichas áreas

5

de objetos virtuales 30, de tal forma que al mover el soporte (papel o

aparato), la proyección se modifica para dar la sensación de que dicho

objeto 30 permanece estático sobre el

soporte. La aplicación podría

servir tanto

en el ámbito del entretenimiento como en publicaciones

científicas, material docente, etc.

10

• Aplicaciones domóticas: el sistema puede utilizarse para realizar el

control

de múltiples aparatos, a modo de mando a distancia y

programador universal,

mediante su adecuada comunicación con la

central

computerizada. Puede servir también como teclado para el

teléfono,

de la alarma, añadiendo a las características descritas la

15

detección de movimientos del usuario (manos, dedos, etc)

•

Entretenimiento: el sistema se puede utilizar para proyectar juegos sobre

los que pueden interactuar varias personas, al realizarse esta proyección

sobre el entorno (un tablero, personajes de un juego, etc). También se

puede utilizar para la visualización de futuras emisiones tridimensionales

20

de TV.

Claims (1)

REIVINDICACIONES

1.- Sistema de proyección espacial de realidad aumentada que comprende: - una cámara (2) configurada para captar imágenes del entorno, dicha cámara (2) acoplada a unos medios de procesamiento (10) configurados para procesar 5 las imágenes y extraer información tridimensional, - un picoproyector (3) configurado para recibir la información tridimensional y generar una proyección de acuerdo con dicha información tridimensional, - unos medios de fijación (1) configurados para fijar a la cabeza de un usuario la cámara (2), el picoproyector (3) de manera que se muevan solidariamente de 10 manera conjunta sin variar sustancialmente la distancia relativa con los ojos del usuario, caracterizado por que los medios de procesamiento (10) están además configurados para estimar la posición tridimensional del usuario en el entorno observado mediante la identificación de marcas fiduciarias y de objetos conocidos en las imágenes capturadas. 15 2.- Sistema según reivindicación 1, caracterizado por que los medios de procesamiento (10) están configurados además para estimar la posición tridimensional entre la cámara (2) y el picoproyector (3) y para mantener en las 20 imágenes virtuales generadas (7) por el picoproyector la coherencia espacial de acuerdo con el punto de vista observado por el usuario. 3.- Sistema según la reivindicación 2, donde las imágenes virtuales generadas 25 (7) son objetos cuyas dimensiones están basadas en la información del entorno (8) capturada por la cámara (2) para simular su integración con él. 4.- Sistema según una cualquiera de las reivindicaciones 2 ó 3, donde los 30 medios de procesamiento (10) están configurados para detectar los movimientos del usuario mediante el análisis y la comparación de las imágenes (8) captadas por la cámara en diferentes momentos.