ES2983037T3 - Sistema y método de realidad aumentada de efecto correlativo - Google Patents

Abstract

Un sistema de realidad aumentada incluye una primera escena y una segunda escena. Además, el sistema de realidad aumentada incluye una superficie parcialmente reflectante situada en relación con la primera escena, la segunda escena y una audiencia para facilitar la visualización de una de la primera escena o la segunda escena a través de la superficie parcialmente reflectante y para facilitar el reflejo de la otra de la primera escena o la segunda escena hacia la audiencia como imágenes de realidad aumentada. Un sensor del sistema de realidad aumentada está diseñado para detectar y generar datos indicativos de una característica de la primera escena, y un sistema de efectos correlativos puede funcionar para recibir los datos y ajustar la segunda escena en función de ellos. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema y método de realidad aumentada de efecto correlativo

Antecedentes

Las atracciones de parques temáticos, tales como sistemas de atracciones, pueden proporcionar entretenimiento a los visitantes de numerosas maneras, incluyendo mostrar imágenes de realidad aumentada (AR) de manera que las imágenes AR sean visibles por un visitante. Por ejemplo, una atracción de feria puede incluir una pantalla colocada adyacente al visitante y operar, sola o en coordinación con otras características, para emitir las imágenes AR para su visualización por el visitante. Esto puede hacerse para crear un efecto especial, tal como la ilusión de que un fantasma translúcido está presente en una escena preparada.

Una técnica para proporcionar tales imágenes AR se denomina tradicionalmente ilusión de fantasma de Pepper. Se cree que esta técnica para proporcionar imágenes AR se ha desarrollado en el siglo XIX. La ilusión de fantasma de Pepper utiliza propiedades reflectantes de materiales translúcidos o transparentes (por ejemplo, lámina de vidrio, plástico o poliéster) para proyectar virtualmente imágenes en una escena para su visualización por una audiencia. Por ejemplo, puede colocarse un panel de vidrio en ángulo delante de un escenario y las imágenes pueden proyectarse hacia el vidrio desde fuera de una línea de visión de la audiencia y luego reflejarse parcialmente hacia la audiencia por el panel de vidrio. Así, la audiencia percibe las imágenes reflejadas en conjunción con la visualización de la escena presentada detrás del vidrio y en la línea de visión de la audiencia. Dependiendo de la iluminación, esto puede dar a las imágenes reflejadas una apariencia fantasmal porque la luz detrás del vidrio permanece observable a través de las imágenes reflejadas. Sin embargo, pueden utilizarse técnicas de iluminación para hacer que las imágenes reflejadas parezcan más sólidas limitando la luz concurrente del fondo. Este tipo de AR se ha utilizado durante muchos años y actualmente se utiliza en numerosas atracciones de parques temáticos. Sin embargo, se reconoce ahora que las audiencias se están haciendo más sofisticadas y son capaces de identificar la naturaleza de esta ilusión. Por consiguiente, ahora se reconoce que hay una necesidad de mejoras en la tecnología para hacer la ilusión más realista e inmersiva.

El documento US2010253700A1 se dirige hacia un sistema que crea una atracción de realidad mixta mediante el uso de la técnica de ilusión de "fantasma de Pepper". En particular, este documento se dirige hacia un sistema en el que se recopilan datos en tiempo real desde un intérprete en vivo visto por una audiencia. Estos datos se usan para crear dos conjuntos de imágenes que se transmiten al área de intérprete visible, y uno que se transmite a un área invisible, que se ve mediante el uso de la ilusión de fantasma de Pepper.

Esta sección está destinada a introducir al lector en diversos aspectos de la técnica que pueden estar relacionados con diversos aspectos de las presentes técnicas, que se describen y/o reivindican a continuación. Se cree que esta discusión es útil para proporcionar al lector información de antecedentes con el fin de facilitar una mejor comprensión de los diversos aspectos de la presente descripción. Por consiguiente, debe entenderse que estas afirmaciones deben leerse en este sentido, y no como admisiones de la técnica anterior.

Breve descripción

La presente invención se refiere a un sistema de realidad aumentada según la reivindicación 1. Los aspectos subsidiarios de la invención se proporcionan en las reivindicaciones dependientes.

Breve descripción de los dibujos

Las características, aspectos y ventajas de la presente descripción se entenderán mejor cuando la siguiente descripción detallada se lea con referencia a los dibujos adjuntos en los que caracteres similares representan partes similares a lo largo de los dibujos, en los que:

la figura 1 es una representación esquemática de un sistema de realidad aumentada (AR) dispuesto para ser visto por una audiencia, según un aspecto de la presente descripción;

la figura 2 es una vista esquemática en perspectiva de una realización del sistema AR en el que las fuentes de proyección funcionan para ajustar la iluminación de un escenario con respecto a un objeto luminoso virtual y ajustar el posicionamiento de presentación del objeto luminoso virtual con respecto a un objeto físico, según una realización de la presente descripción;

la figura 3 es una vista esquemática en perspectiva de una realización del sistema AR en el que un sistema de iluminación está dispuesto próximo a un borde de una superficie parcialmente reflectante y operable para ajustar la iluminación de un escenario con respecto al objeto luminoso virtual, según una realización de la presente descripción;

la figura 4 es una vista esquemática lateral del sistema AR en el que una fuente de imagen funciona para visualizar o imitar una reflexión de un objeto virtual sobre objetos en una escena de fondo, según una realización de la presente descripción;

la figura 5 es una vista esquemática lateral del sistema AR en el que las luces de escenario funcionan para imitar una reflexión de una imagen virtual sobre objetos en una escena de fondo, según una realización de la presente descripción;

la figura 6 es una vista esquemática lateral del sistema AR en el que una matriz de iluminación funciona para imitar una reflexión de una imagen virtual sobre objetos en una escena de fondo, según una realización de la presente descripción; y

la figura 7 es una vista esquemática en perspectiva del sistema AR en el que la iluminación de múltiples escenas tridimensionales involucradas en una pantalla de realidad aumentada se supervisa mediante detectores de iluminación para facilitar la iluminación ajustada de una o más de las múltiples escenas, según una realización de la presente descripción.

Descripción detallada

A continuación se describirán una o más realizaciones específicas. En un esfuerzo por proporcionar una descripción concisa de estas realizaciones, no todas las características de una implementación real se describen en la memoria. Debe apreciarse que, en el desarrollo de cualquiera de tales implementaciones reales, como en cualquier proyecto de ingeniería o diseño, deben tomarse numerosas decisiones específicas de implementación para lograr los objetivos específicos de los desarrolladores, tales como el cumplimiento de las restricciones relacionadas con el sistema y relacionadas con el negocio, que pueden variar de una implementación a otra. Además, debe apreciarse que dicho esfuerzo de desarrollo podría ser complejo y requerir mucho tiempo, pero sin embargo sería una empresa rutinaria de diseño, fabricación y fabricación para los expertos en la materia que tienen el beneficio de esta descripción.

Cuando se introducen elementos de diversas realizaciones de la presente descripción, los artículos "un", "una" y "el" pretenden significar que hay uno o más de los elementos. Los términos "que comprende", "que incluye" y "que tiene" pretenden ser inclusivos y significan que puede haber elementos adicionales distintos de los elementos enumerados. Adicionalmente, debe entenderse que las referencias a "realización" o "una realización" de la presente descripción no pretenden interpretarse como excluyentes de la existencia de realizaciones adicionales que también incorporan las características enumeradas.

Según las presentes realizaciones, un sistema de realidad aumentada (AR) puede incluir una fuente de imágenes AR (por ejemplo, un proyector o escena iluminada) que opera para proyectar imágenes AR sobre una superficie parcialmente reflectante (por ejemplo, lámina de vidrio, plástico o poliéster) colocada entre una audiencia (por ejemplo, un espectador) y una escena de fondo, tal como un escenario, pantalla electrónica, pantalla o configuración. La fuente de imágenes AR y el fondo pueden incluir combinaciones de las características referenciadas. Las imágenes AR pueden incluir cualquiera de las diversas imágenes proyectadas sobre una pantalla que la refleja hacia una audiencia para hacer que aparezca como si las imágenes AR estuvieran presentes con respecto a la escena de fondo. En algunas realizaciones, las imágenes AR pueden incluir un carácter (por ejemplo, una persona), un fantasma, un objeto (por ejemplo, un escritorio), texto, un objeto luminoso virtual (por ejemplo, una llama) o similares. En una realización, la superficie parcialmente reflectante puede incluir un espejo semitransparente que refleja parcialmente las imágenes AR desde la fuente hacia la audiencia. En otras palabras, la superficie parcialmente reflectante refleja la escena AR hacia la audiencia como la imagen AR. La audiencia puede ver las imágenes AR reflejadas desde el espejo semitransparente solapando la escena de fondo, que puede incluir atrezos físicos, una pantalla electrónica (por ejemplo, una pantalla de proyector, o una pantalla de cristal líquido) o ambas. De esta manera, se puede hacer que las imágenes AR aparezcan ante la audiencia como si ésta estuviera interactuando con y/o posicionando cerca de las características de la escena de fondo. Para reforzar este efecto, las imágenes A<r>pueden incluir imágenes tridimensionales (3D), que pueden describirse como imágenes bidimensionales que parecen ser tridimensionales cuando se observan a través de una lente apropiada (por ejemplo, lentes polarizadas o coloreadas de gafas 3D).

El espejo semitransparente, que es representativo de otras diversas superficies parcialmente reflectantes (por ejemplo, vidrio, malla), puede colocarse en un ángulo con respecto a la audiencia y la fuente de imágenes AR de manera que puede crearse lo que puede describirse como un efecto fantasma de Pepper. El efecto fantasma de Pepper incluye reflejar las imágenes AR de manera que un espectador pueda visualizar simultáneamente las imágenes AR en la superficie parcialmente reflectante junto con características ubicadas en un lado opuesto de la superficie parcialmente reflectante. Específicamente, el efecto fantasma de Pepper puede hacer que las imágenes AR aparezcan superpuestas sobre objetos o imágenes colocadas detrás de la superficie parcialmente reflectante. Por ejemplo, una figura humana presentada como la imagen AR y reflejada por la superficie parcialmente reflectante puede aparecer sentada en una silla real que se plantea en un escenario detrás de la superficie parcialmente reflectante con respecto al punto de vista de una audiencia.

La escena detrás de la superficie parcialmente reflectante, que es vista directamente por la audiencia puede denominarse escena de fondo. La escena que proporciona la visualización AR, que es vista por la audiencia después de la reflexión desde la superficie parcialmente reflectante, puede denominarse escena AR. La escena de fondo y la escena AR pueden incluir componentes físicos (por ejemplo, soportes de escenario, actores, estructuras) y/o pantallas electrónicas (por ejemplo, proyectores, pantallas de cristal líquido, paneles de iluminación). Por ejemplo, la pantalla de fondo puede incluir una pantalla sobre la que se proyecta vídeo (por ejemplo, una pantalla de película) mientras que la escena AR puede incluir atrezos y actores iluminados colocados para hacer que la luz se refleje en la superficie parcialmente reflectante. En este ejemplo, la escena AR puede estar configurada en una cámara debajo de la escenario que no es directamente visible por la audiencia, sino que está colocada para dirigir la luz hacia la superficie parcialmente reflectante para su reflexión hacia la audiencia.

En otro ejemplo, se puede usar una combinación opuesta o diferente de características para cada una de la escena de fondo y la escena AR. Debido a que las imágenes proporcionadas por la escena de fondo y la escena AR se combinan para proporcionar el efecto fantasma de Pepper, la iluminación relativa de cada escena afecta a la naturaleza del efecto con respecto a cómo es visto por la audiencia. Por ejemplo, si la escena de fondo es sustancialmente más brillante que la escena AR, la audiencia apenas puede percibir las imágenes AR reflejadas hacia ellas. Sin embargo, si la escena de fondo es sustancialmente más oscura que la escena AR, las imágenes AR pueden ser dominantes y la escena de fondo puede no ser visible para la audiencia. Además, debido a que las imágenes AR están siendo proporcionadas a la audiencia para su visualización por reflexión, las características de las imágenes AR que están siendo presentadas (por ejemplo, un personaje que se mueve alrededor) no iluminan la escena de fondo de la manera que una audiencia esperaría que lo hiciera una característica real. Por ejemplo, las imágenes AR de una característica particular (por ejemplo, una persona, una lámpara o un coche) no provocarían que un espejo real en la escena de fondo refleje adecuadamente esa característica. Asimismo, las imágenes AR de lo que típicamente sería una característica de emisión de luz (por ejemplo, una lámpara, linterna, llama u otro objeto luminoso) no provocarían que se generen luz y las correspondientes sombras en la escena de fondo.

Las presentes realizaciones incluyen sistemas de supervisión que rastrean la iluminación en una o ambas de la escena de fondo y la escena AR para coordinar los efectos de iluminación y lograr la percepción superpuesta deseada de las imágenes combinadas de las escenas de fondo y AR. Adicionalmente, las presentes realizaciones incluyen características de iluminación que emulan los efectos de iluminación esperados de características proporcionadas en imágenes AR de manera que la escena de fondo sea impactada de la manera esperada por la audiencia, lo que mejora la naturaleza inmersiva de la presentación. Las presentes realizaciones también incluyen sistemas de seguimiento que operan para rastrear características en la escena de fondo con el fin de proporcionar imágenes AR deseadas que se correlacionan con las mismas. Por ejemplo, una linterna física o similar puede ser desplazada en la escena de fondo y ser rastreada para proporcionar información de posicionamiento para la linterna. Esta información de posicionamiento puede usarse para proporcionar imágenes AR en posiciones sobre la superficie parcialmente reflectante con el fin de correlacionarse con la posición de la linterna de manera que la escena de fondo combinada y las imágenes AR hagan que la linterna aparezca ante la audiencia como si estuviera encendida y brillando. Específicamente, un objeto luminoso, tal como una llama, puede proyectarse sobre la superficie o pantalla parcialmente reflectante en una ubicación que hace que la audiencia vea el objeto luminoso como siguiendo la posición física de la linterna. Además, la iluminación de la escena de fondo puede ajustarse para emitir sombras como si fueran el resultado de la luz falsa de la linterna, por ejemplo.

La figura 1 es una representación esquemática de un sistema AR 10 según una realización de la presente descripción. El sistema AR 10 incluye una escena de fondo 12, una escena AR 14 y una superficie parcialmente reflectante 16 (que también puede denominarse capa parcialmente reflectante o pantalla 16) dispuesta entre las mismas. Una audiencia 18 está colocada de tal manera que las imágenes AR 20, que incluyen luz reflejada desde la escena AR 14, se reflejan desde la superficie parcialmente reflectante 16 hacia la audiencia 18 de una manera que hace que las imágenes AR 20 aparezcan como si estuvieran colocadas en la escena de fondo 12, como se ilustra por la imagen virtual 21 en líneas discontinuas. Además, la escena de fondo 12 está colocada de tal manera que la audiencia 18 puede verla directamente a través de la superficie parcialmente reflectante 16, que también es parcialmente transparente. La escena de fondo 12 y la escena AR 14 pueden definirse por cualquier combinación de atrezos físicos, actores en directo, imágenes generadas electrónicamente y similares. Por ejemplo, la escena de fondo 12 puede incluir un escenario con características físicas (por ejemplo, sillas, mesas y actores en directo), mientras que la escena AR 14 puede incluir un proyector que dirige las imágenes AR 20 hacia la superficie parcialmente reflectante 16. En otras realizaciones, se pueden usar diferentes combinaciones de características físicas e imágenes generadas electrónicamente, incluyendo tanto en la escena de fondo 12 como en la escena AR 14. La superficie parcialmente reflectante 16 puede incluir una lámina especial, vidrio, plástico, espejo parcial o similar que puede hacerse funcionar para permitir que la audiencia 18 vea tanto a través de ella como que observe imágenes reflejadas por ella en condiciones de iluminación apropiadas. El sistema AR 10 también incluye un sistema de efecto correlativo 22 que puede ser un controlador diseñado para operar con diversos sensores 24, 26 y sistemas de iluminación 28, 30 para proporcionar los efectos deseados según una realización. Además, en una realización según la presente descripción, el sistema de efecto correlativo 22 puede incluir realmente los sensores 24, 26 y los sistemas de iluminación 28, 30. En algunas realizaciones, solo se puede usar un sensor 24, 26 para supervisar una o ambas de la escena de fondo 12 y la escena AR 14.

Específicamente, el sistema AR 10 incluye el sistema de efecto correlativo 22 que tiene características que permiten que el sistema AR 10 correlacione aspectos de la escena AR 14 con aspectos de la escena de fondo 12 de una manera que aumente la inmersión de la audiencia 18 en la ilusión AR que se proporciona por el sistema AR 10. El sistema AR 10 también puede incluir características, tales como actuadores 19, que facilitan la manipulación (por ejemplo, el reposicionamiento) de la superficie parcialmente reflectante 16 para lograr ciertos resultados correlativos.

El sistema AR 10 y/o el sistema de efecto correlativo 22 pueden incluir uno o más controladores 32, procesadores 34 y/o memorias 36 para realizar diversas funciones (por ejemplo, dar instrucciones para el funcionamiento de otras características del sistema). La una o más memorias 36 pueden incluir memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), memoria no volátil regrabable tal como memoria flash, discos duros, discos ópticos y/u otros tipos de memoria. El uno o más procesadores 34 del sistema AR 10 pueden incluir uno o más microprocesadores de propósito general, uno o más circuitos integrados de aplicación específica (ASIC) y/o una o más matrices de puertas programables in situ (FPGA). El uno o más controladores 36 pueden incluir controladores lógicos programables (PLC) u otros controladores basados en ordenador. Estas características (por ejemplo, controladores 36, procesadores 34 y memorias 32) pueden ser componentes del sistema de efecto correlativo 22 o características separadas. Además, estas características pueden funcionar, como se entenderá, usando instrucciones almacenadas (por ejemplo, código) que, cuando se ejecutan, inician la acción (por ejemplo, atenuación de la iluminación o manipulación de actuadores).

En un ejemplo, el sistema AR 10 puede funcionar para correlacionar características de iluminación entre la escena AR 14 y la escena de fondo 12 con el fin de mejorar la coordinación entre las imágenes AR 20 y los aspectos directamente visibles de la escena de fondo 12. Por ejemplo, puede ser deseable realizar ajustes de modo que las imágenes AR 20 tengan una coloración similar a la de la escena de fondo 12. Esto puede lograrse observando las características de iluminación en la escena AR 14 o la escena de fondo 12 a través de los sensores 24, 26 y haciendo los cambios de iluminación correspondientes en la otra de la escena AR 14 o la escena de fondo 12 a través de los sistemas 28, 30 de iluminación. Uno o ambos sensores 24, 26 pueden incluirse y/o usarse en un sistema particular. Los ejemplos de características de iluminación que pueden detectarse y ajustarse incluyen intensidad, posición/dirección, brillo, color, temperatura, contraste y calidad. Una característica de una escena puede modificarse con base en una característica diferente de la otra escena. Por ejemplo, el sistema de efecto correlativo 22 puede funcionar para ajustar el brillo en la escena de fondo 12 con base en un contraste en la escena AR 14. Las presentes realizaciones pueden detectar y ajustar la iluminación en cualquiera (o en ambas) de una escena física (por ejemplo, una escenario de teatro) o virtual (por ejemplo, una escena proporcionada por una pantalla electrónica, tal como una pantalla de cristal líquido o un proyector). Por ejemplo, en una realización donde una o ambas de la escena de fondo 12 y la escena AR 14 incluyen pantallas electrónicas, los sensores 24, 26 pueden detectar ajustes de pantalla (por ejemplo, un ajuste de color), y los sistemas de iluminación 28, 30 pueden controlar ajustes de pantalla con base en la salida de los sensores 24, 26. Además de los cambios de iluminación, las presentes realizaciones ajustan el posicionamiento físico de la superficie parcialmente reflectante 16. Por ejemplo, un ángulo de la superficie parcialmente reflectante 16 con respecto a la escena de fondo 12, la escena AR 14 y la audiencia 18 puede ajustarse con los actuadores 19 basándose en instrucciones del sistema de efecto correlativo 22 para lograr un resultado de visualización deseado.

La figura 2 es una vista esquemática en perspectiva de una realización del sistema AR 10 en el que las fuentes de proyección 60 funcionan para ajustar la iluminación de un escenario 62 con respecto a un objeto luminoso virtual 64 y ajustar el posicionamiento del objeto luminoso virtual 64 con respecto a un objeto físico 66, según una realización de la presente descripción. En la realización ilustrada de la figura 2, la escena de fondo 12 incorporal escenario 62 y el objeto físico 66, que es un objeto de fondo en movimiento. Este objeto físico 66 podría ser cualquier número de objetos móviles. Por ejemplo, el objeto móvil podría ser una figura robótica, una antorcha, una espada, un actor o cualquier otro objeto rastreable. Sin embargo, en la realización ilustrada, el objeto físico es una linterna de atrezo que realmente no emite luz por sí sola.

Se incluye un sistema de seguimiento 70 para facilitar el seguimiento del movimiento físico en la escena de fondo 12. Por ejemplo, el sistema de seguimiento 70 ilustrado incluye un sensor 72 (por ejemplo, una cámara), un procesador 74 y una memoria 76 que se coordinan para seguir el objeto físico 66 y/o un actor 80 en el espacio. Al hacer seguimiento de estos aspectos físicos (por ejemplo, el objeto físico y el actor 80) en la escena 12 de segundo plano, se pueden realizar ajustes de iluminación apropiados en el sistema 60 de iluminación para hacer que sea más inmersiva la presentación de realidad aumentada del sistema 10 AR. Por ejemplo, las imágenes AR 20 pueden presentarse, a través de un proyector 82 del sistema de iluminación 60, en la superficie parcialmente reflectante 16 de manera que el posicionamiento de las imágenes AR 20 se correlacione con el posicionamiento del objeto físico 66 con respecto a una línea de visión 84 de la audiencia 18. El proyector ilustrado 82 es representativo de una amplia gama de dispositivos generadores de imagen que pueden emplearse para lograr los efectos deseados. Por ejemplo, el proyector 82 puede representar una televisión de pantalla plana que genera una imagen de una llama, que a su vez es reflejada por la superficie parcialmente reflectante 16 para crear la ilusión de que la llama está colocada realmente sobre, o dentro, del objeto físico 66. En otras realizaciones, el proyector 82 puede incluir una pantalla que recibe una imagen a través de la proyección frontal o la proyección posterior. Como con la televisión de pantalla plana, la imagen proporcionada en la pantalla puede ser reflejada por la superficie parcialmente reflectante 16 para crear la ilusión deseada. El proyector 82 puede ser representativo de cualquier dispositivo que funcione para proporcionar las imágenes deseadas. Además, en algunas realizaciones, el proyector 82 podría reemplazarse con una característica física (por ejemplo, una vela encendida) que podría manipularse alrededor de un espacio mediante actuadores para proporcionar una reflexión que se correlacione con el posicionamiento deseado de la imagen de ilusoria con respecto al escenario 62.

Teniendo en cuenta lo anterior, las acciones combinadas del sistema de seguimiento 77 y el sistema de iluminación 60 pueden permitir que el sistema AR 10 haga que el objeto físico 66, un atrezo de linterna no funcional en la realización ilustrada, aparezca como si estuviera encendido y emitiera una llama porque las imágenes AR 20 representan una llama y están colocadas de manera apropiada. Además, las luces de escenario 86 del sistema 60 de iluminación pueden hacerse funcionar para proyectar una sombra 88 que se correlaciona con un posicionamiento de las imágenes 20 AR. En la realización ilustrada, por ejemplo, la sombra 88 puede ser proyectada operando una o más lámparas específicas 90 de las luces 86 de escenario para hacer que aparezca como si la imagen AR 20 estuviera causando la sombra 88. El sistema de efecto correlativo 22 (por ejemplo, un controlador de automatización) puede emplearse para este propósito tomando entradas del sistema de seguimiento 70 y proporcionando salidas al sistema de iluminación 60. El sistema de efecto correlativo 22 también puede usar información de posicionamiento conocida (por ejemplo, una ruta definida para el objeto físico 66 y/o las imágenes AR 20) con el fin de controlar el sistema de iluminación 60 para proporcionar efectos correlativos e inmersivos. Por ejemplo, la linterna de atrezo puede ser maniobrada a través del escenario 62 utilizando automatización y el patrón de recorrido puede ser coordinado con el proyector 82 para proporcionar el efecto deseado. Tal realización mejoraría la eficiencia y eliminaría el tiempo y/o los costes de procesamiento asociados con el seguimiento de características físicas (por ejemplo, el objeto físico 66).

El objeto físico 66 y/o el actor 80 pueden ser rastreables por el sistema de seguimiento 70 debido a una o más características (por ejemplo, forma, color, características faciales o RFID) que permiten la detección o reconocimiento por el sistema de seguimiento 70. Por ejemplo, en una realización, el sistema de seguimiento 70 está programado para identificar una forma particular del objeto físico 66 y realizar un seguimiento del movimiento del objeto físico 66 de modo que los datos de ubicación (por ejemplo, una ubicación actual) puedan identificarse fácilmente en esencialmente tiempo real. Para lograr esto, la memoria 76 y el procesador 74 pueden ejecutar la programación (por ejemplo, programas de reconocimiento de objetos o de reconocimiento facial) para interpretar datos y/o extrapolar a partir de datos obtenidos del sensor 72. Usando los datos de ubicación obtenidos por el sistema de seguimiento se puede identificar una ubicación apropiada para su uso en el control del sistema de iluminación 60.

La figura 3 es una vista esquemática en perspectiva de una realización del sistema AR 10 en el que las luces de escenario 86 del sistema de iluminación 60 están dispuestas próximas a un borde 102 de la superficie parcialmente reflectante 16 y que puede hacerse funcionar para ajustar la iluminación del escenario 62 de la escena de fondo 12 con respecto a los generadores de imágenes AR 20, que se presenta en la realización ilustrada como un objeto luminoso virtual y, específicamente, una llama virtual. La audiencia 18 puede percibir la llama virtual como presente en el medio del escenario 62 y delante del objeto físico 66, como se indica generalmente por la imagen virtual 21 en líneas discontinuas. La realización ilustrada en la figura 3 está dispuesta para funcionar de una manera similar a la descrita anteriormente con respecto a la realización del sistema AR 10 descrito con respecto a la figura 2. Es decir, el proyector 82 proyecta las imágenes AR 20, que es un objeto luminoso virtual, sobre la superficie parcialmente reflectante 16, para aparecer posicionada dentro del espacio tridimensional de la escena de fondo 12 y para interactuar con un objeto de fondo 66 con el fin de generar la sombra 88. En esta realización, sin embargo, las luces de escenario 86 están montadas sobre o próximas a bordes de la superficie parcialmente reflectante 16. Este posicionamiento permite que diversas lámparas 90 (por ejemplo, luces LED) de las luces 86 de escenario se activen basándose en el posicionamiento de las imágenes AR 20 para provocar un impacto realista en la escena de fondo 12, que en la realización ilustrada es la sombra 88, que parece estar causada por la llama virtual representada como la imagen 21 virtual.

Como puede apreciarse, si las imágenes AR 20 representan una llama titilante que se mueve alrededor de la superficie parcialmente reflectante 16 para imitar la llama titilante que se mueve alrededor de la escena tridimensional, las luces de escenario 86 pueden moverse para emitir diferentes sombras basándose en el posicionamiento imitado y también titilar para provocar la formación apropiada de sombras. En algunas realizaciones, aunque las propias lámparas 90 no se mueven, se pueden activar diferentes lámparas posicionadas parcial o completamente alrededor de la superficie parcialmente reflectante 16 para lograr un efecto similar, tal como en la realización de la figura 3. Usando tales técnicas y sistemas, incluso los observadores en la audiencia 18 que han visto numerosas ilusiones de fantasma de Pepper estarán más sumergidos en el efecto. Debe observarse que la colocación de las diversas lámparas 90 también puede ajustarse en combinación con la activación de diferentes lámparas 90 en diferentes posiciones. Por ejemplo, cuando las diversas lámparas 90 están acopladas con el borde 102, las lámparas 90 pueden moverse al mover toda la superficie parcialmente reflectante 16 usando los actuadores 27 para lograr un resultado de visualización deseado. En otras realizaciones, se pueden usar actuadores separados para cada lámpara 90.

La figura 4 es una vista esquemática lateral del sistema AR 10 en el que una fuente de proyección 112 (por ejemplo, un proyector de películas, una pantalla de televisión, una pantalla de proyección) funciona para visualizar o imitar una reflexión al visualizar una imagen 116 de un objeto virtual 118 proporcionado por los reproductores de imágenes AR 20 sobre una superficie 124 en la escena de fondo 12, que en la realización ilustrada incluye un falso espejo posicionado en el escenario 62. En otras realizaciones, la superficie 124 puede ser representativa de otros objetos, tales como un mueble brillante, una ventana de vidrio, un conjunto de platos, un panel metálico o similares. Específicamente, en la realización ilustrada de la figura 4, la escena de fondo 12 del sistema AR 10 incluye el falso espejo como la superficie 124, en el que el falso espejo es realmente una superficie de proyección para presentar a la audiencia la imagen 116. Debido a que el objeto virtual 118 únicamente parecerá estar posicionado como la imagen virtual 21, no producirá realmente una reflexión en un espejo real (u otra superficie brillante) en la escena de fondo 12. Por consiguiente, las presentes realizaciones logran la aparición de tal reflexión y aumentan la inmersión de audiencia imitando una reflexión real.

El falso espejo es realmente un atrezo que imita las propiedades reflectantes de un espejo mostrando la imagen recibida desde la fuente 112 de proyección, que está colocada delante de la superficie 124 en la realización ilustrada. En otras realizaciones, se puede emplear una proyección trasera. En otras realizaciones adicionales, la fuente de proyección 112 y la superficie 124 pueden ser características combinadas, tales como una televisión de pantalla plana. Para que la escena de fondo 12 parezca realista e incremente la inmersión de la audiencia 18 en la presentación, el sistema de efecto correlativo 22 coordina el funcionamiento de la fuente de proyección 112 y el proyector 82. Por ejemplo, el movimiento del objeto virtual 118 proporcionado por el proyector 82 está coordinado con la imagen 116 proporcionada por la fuente de proyección para proporcionar la ilusión de que la superficie 124 está reflejando el objeto virtual 118. En algunas realizaciones, esto puede incluir modificar datos del objeto virtual 118 para proporcionar la imagen 116. Por ejemplo, dependiendo de la superficie que se imite (por ejemplo, una pintura ligeramente brillante en muebles), la imagen 116 puede necesitar aparecer borrosa. Debe observarse que la fuente 112 de proyección y el proyector 82 pueden ser representativos de cualquier número de características de provisión de imagen. Por ejemplo, cualquiera de estas características puede representar una pantalla de visualización, un escenario iluminado, un proyector tradicional, etc.

La figura 5 es una vista esquemática lateral del sistema AR 10 en el que las luces de escenario 86 operan para imitar una reflexión de la imagen virtual 21 sobre objetos en una escena de fondo 12, según una realización de la presente descripción. En la realización ilustrada, un objeto reflectante físico 152 (por ejemplo, una bola brillante, un reloj de arena, una pintura brillante, un mueble brillante) se coloca en la escena de fondo 12. En la escena AR 14, un objeto de iluminación física 154 (por ejemplo, un proyector, una pantalla de televisión, una vela, un objeto bajo iluminación) se coloca de tal manera que la imagen del objeto de iluminación física 154 se refleja desde la superficie parcialmente reflectante 16 hacia la audiencia 18 de una manera que crea la ilusión de que el objeto de iluminación física 154 está realmente presente en la escena de fondo 12 y colocado como la imagen virtual 21. El sensor 24 (por ejemplo, una cámara) funciona para detectar las condiciones de iluminación que existirían en la superficie del objeto reflectante físico 152 si el objeto de iluminación físico 154 estuviera posicionado realmente en la escena de fondo 12 como la imagen virtual 21. En una realización, esto puede basarse en que el sensor 24 visualice el objeto de iluminación físico 154 desde una posición que correspondería al objeto reflectante físico 152 si la imagen virtual 21 estuviera realmente presente en la escena de fondo 12. Por ejemplo, el sensor podría colocarse en un ángulo de 45 grados con respecto al objeto de iluminación físico 154 en la escena AR dado que una bola de caucho brillante está colocada en un ángulo de 45 grados con respecto a donde la imagen virtual 21 parece estar en la escena de fondo 12. Además, tal información puede calcularse usando técnicas de modelado y una aproximación puede ser suficiente para proporcionar la ilusión deseada. Tales técnicas pueden aplicarse cuando la imagen virtual 21 se basa en una imagen mostrada por una pantalla (por ejemplo, una pantalla de televisión). Los datos obtenidos de este modo del sensor 24 pueden usarse entonces para generar luz a partir de las luces de escenario 85 que se proyectarán o reflejarán en la escena de fondo 12 de una manera apropiada. Por ejemplo, en la realización ilustrada de la figura 6, se ha seleccionado un par central de las luces 85 de escenario para que estén activas basándose en los datos que crean el efecto reflectante deseado. Debido a que los efectos de iluminación resultantes coincidirán tanto con la posición como con la calidad de la luz que habría impactado en el objeto reflectante físico 152 si estuviera posicionado como se percibe con respecto a la imagen 21 virtual, el objeto reflectante físico 152 reaccionará a esa luz proyectada de una manera precisa y fácil.

La figura 6 es una vista esquemática lateral del sistema AR 10 en donde una matriz de iluminación 162 (por ejemplo, una matriz plana de luces colimadas, una pantalla de campo de luz, un panel de láseres) funciona para imitar una reflexión de la imagen virtual 21 sobre objetos en la escena de fondo 12, según una realización de la presente descripción. El sistema AR 10 de la figura 6 se configura de una manera que es similar a la realización expuesta en la figura 5. Sin embargo, las luces de escenario 86 en la realización ilustrada de la figura 6 incluyen una matriz de iluminación 162. La matriz de iluminación 162 puede incluir cualquiera de diversos sistemas de iluminación enfocados que pueden dirigir puntos de luz a ubicaciones específicas sin que un cono de luz asociado se expanda sustancialmente y provoque borrosidad o similar. Usando datos obtenidos del sensor 24, de una manera similar a la descrita con respecto a la figura 5, la matriz de iluminación 162 puede dirigir luz en patrones deseados hacia la parte posterior de la superficie parcialmente reflectante 1616 de manera que la luz se refleje apropiadamente en la escena de fondo 12. Por ejemplo, en una realización donde la matriz de iluminación 162 incluye una pantalla de campo de luz, los rayos de luz específicos pueden dirigirse para converger en la ubicación percibida de la imagen virtual 21 (con base en datos del sensor 24 indicativos de la ubicación percibida) y luego divergen de allí de una manera similar a lo que ocurriría si la imagen virtual 21 estuviera realmente presente. Esto puede facilitar una ilusión muy precisa de una reflexión especular de la imagen virtual 21 sobre el objeto reflectante físico 152.

La figura 7 es una vista esquemática en perspectiva del sistema AR 10 en el que la iluminación de múltiples escenas tridimensionales involucradas en una pantalla de realidad aumentada se supervisa por detectores de iluminación para facilitar la iluminación ajustada de una o más de las múltiples escenas, según una modalidad de la presente descripción. En la realización ilustrada, tanto la escena de fondo 12 como la escena AR 14 son áreas de escenificación tridimensionales. La escena de fondo 12 se ilumina mediante la iluminación de escena de fondo 202 y esta iluminación se supervisa mediante un sensor de escena de fondo 204 (por ejemplo, una cámara). La escena AR se ilumina mediante la iluminación de escena AR 212 y esta iluminación se supervisa mediante un sensor de escena AR 214. Un atrezo 218 en la escena AR 14 refleja luz desde la iluminación de escena AR 212 hacia la superficie parcialmente reflectante 16, que luego se dirige hacia la audiencia 18. La iluminación combinada de la escena de fondo 12 y la escena AR 14 puede controlarse por el sistema de efecto correlativo 22, que en la realización ilustrada se comunica de manera inalámbrica con el sistema de iluminación 60 y los sensores relacionados 204, 214.

En una realización, el sistema de efecto correlativo 22 puede controlar el sistema de iluminación 60 de manera que las imágenes AR 20 parezcan translúcidas a la audiencia 18, lo que puede proporcionar un efecto fantasma a las imágenes AR 20. Tal control por el sistema de efecto correlativo 22 puede basarse en datos de sensor del sensor de escena de fondo 204 y/o el sensor de escena AR 214. Los ajustes de iluminación a la iluminación de escena de fondo 202 y la iluminación de escena AR 212 también pueden ser realizados por el sistema de efecto correlativo 22, con base en datos de sensor del sensor de escena de fondo 204 y/o el sensor de escena AR 214, para realizar otros ajustes a la experiencia de visualización. Por ejemplo, se puede hacer que las imágenes AR 20 parezcan más sólidas o se pueden hacer diversos ajustes para correlacionar mejor (por ejemplo, coloración coordinada, contraste) la escena de fondo 12 y la escena AR 14. Debe observarse que, aunque la figura 5 ilustra una realización específica en la que la escena de fondo 12 y la escena AR 14 se proporcionan mediante ajustes de escenario tridimensionales, pueden combinarse múltiples características diferentes para formar la escena de fondo 12 y la escena AR 14. Por ejemplo, el proyector 82 puede ser parte del sistema de iluminación 60 y funcionar para facilitar la provisión de imágenes AR adicionales 20. Como otro ejemplo, una pantalla 222 (por ejemplo, pantalla LCD o pantalla de proyección) puede facilitar la provisión de la escena de fondo 12 junto con los objetos físicos 66 del escenario 62. Cada una de estas características (por ejemplo, la pantalla 222, el proyector 82, la iluminación 202, 212) puede coordinarse por el sistema de efecto correlativo 22 para proporcionar una presentación inmersiva de realidad aumentada a la audiencia coordinando efectos con el fin de proporcionar resultados de imagen esperados según las presentes realizaciones.

Diversos aspectos de la presente descripción se ilustran en las figuras 1-5 y sus descripciones correspondientes. Por ejemplo, la figura 4 proporciona un ejemplo del sistema AR 10 que proporciona reflexiones falsas de imágenes AR 20 en la escena de fondo 12, mientras que la figura 5 proporciona un ejemplo de una disposición particular de áreas de estadificación tridimensionales como la escena de fondo 12 y la escena AR 12 y esas escenas se usan para proporcionar iluminación coordinada en una presentación AR. Estos son aspectos particulares de realizaciones que se proporcionan para transmitir características más amplias que están cubiertas por la presente descripción y que pueden combinarse de diversas maneras para lograr resultados diferentes y combinados. Por ejemplo, las reflexiones falsas, tales como las descritas con respecto a la figura 5, pueden proporcionarse en coordinación con diversas implementaciones de la presente descripción, tal como junto con la disposición de iluminación de la figura 3. De hecho, la presente descripción cubre todas las combinaciones de las características descritas del sistema AR 10.

Aunque solo se han ilustrado y descrito en la presente memoria ciertas características de la descripción, a los expertos en la técnica se les ocurrirán muchas modificaciones y cambios. El alcance de la presente invención se define por las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES

1. Un sistema de realidad aumentada (10) que comprende:

una primera escena (12);

una segunda escena (14);

una superficie parcialmente reflectante (16) colocada con respecto a la primera escena (12), la segunda escena, y una audiencia (18) para facilitar la visualización de la primera escena (12) a través de la superficie parcialmente reflectante (16) y para facilitar la reflexión de la segunda escena (14) hacia la audiencia (18) como imágenes de realidad aumentada;

uno o más actuadores (19) acoplados con la superficie parcialmente reflectante (16);

un sensor (26) configurado para detectar una o más características de la primera escena (12) y generar datos indicativos de la una o más características, en el que una primera característica de la una o más características comprende un posicionamiento de un objeto físico (66) en la primera escena (12); y

un sistema de efecto correlativo (22) configurado para recibir los datos e indicar a uno o más actuadores (39) que reposicionen la superficie parcialmente reflectante (16) con base en los datos.

2. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la primera escena (12) comprende una primera iluminación, la segunda escena (14) comprende una segunda iluminación, una segunda característica de la una o más características comprende una característica de iluminación, y el sistema de efecto correlativo (22) está configurado para ajustar la segunda iluminación basándose en la característica de iluminación de la primera escena (12).

3. El sistema de realidad aumentada (10) de la reivindicación 2, en el que la primera escena (12) es una escena de fondo, la primera iluminación es iluminación de escena de fondo, la segunda escena (14) es una escena de realidad aumentada, y la segunda iluminación es iluminación de realidad aumentada.

4. El sistema de realidad aumentada de la reivindicación 2, en el que la segunda escena comprende una pantalla de visualización, y la segunda iluminación comprende iluminación de la pantalla de visualización.

5. El sistema de realidad aumentada (10) de la reivindicación 2, que comprende un sensor adicional configurado para detectar una característica de iluminación adicional de la segunda escena y generar datos adicionales indicativos de la característica de iluminación adicional, en el que el sistema de efecto correlativo (22) está configurado para recibir los datos adicionales y ajustar la primera iluminación basándose en los datos adicionales.

6. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la segunda escena (14) comprende un generador de imágenes y el sistema de efecto correlativo (22) está configurado para ajustar un color, un contraste o una combinación de los mismos de una imagen proporcionada por el generador de imágenes con base en los datos, en el que los datos son indicativos de iluminación de la primera escena (12).

7. El sistema de realidad aumentada (10) de la reivindicación 1, que comprende un generador de imágenes configurado para imitar una reflexión de las imágenes de realidad aumentada en la primera escena (12) basándose en los datos.

8. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la primera escena (12) comprende un ajuste de escenario tridimensional y el sensor (26) comprende una cámara configurada para detectar características de iluminación del ajuste de escenario tridimensional.

9. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la primera escena (12) comprende una pantalla electrónica.

10. El sistema de realidad aumentada (10) de la reivindicación 1, en el que el sensor (26) es uno de una pluralidad de sensores configurados para supervisar una o ambas de la primera escena (12) y la segunda escena (14) para características de movimiento e iluminación.

11. El sistema de realidad aumentada (10) de la reivindicación 1, en el que el sistema de efecto correlativo (22) está configurado para ajustar la iluminación de la primera escena (12) con el fin de crear sombras en la primera escena con base en una posición de un objeto luminoso virtual de las imágenes de realidad aumentada sobre la superficie parcialmente reflectante (16).

12. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la primera escena comprende una escenario de cine y la superficie parcialmente reflectante (16) comprende una lámina parcialmente reflejada.

13. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la primera escena comprende:

uno o más proyectores;

una o más pantallas de cristal líquido; o

uno o más paneles de iluminación, o cualquier combinación de los mismos.

14. El sistema de realidad aumentada (10) de la reivindicación 1, en el que la segunda escena comprende:

uno o más proyectores;

una o más pantallas de cristal líquido; o

uno o más paneles de iluminación, o cualquier combinación de los mismos.

15. El sistema de realidad aumentada (10) de la reivindicación 1, en el que las escenas primera y segunda comprenden cada una:

uno o más proyectores;

una o más pantallas de cristal líquido; o

uno o más paneles de iluminación, o cualquier combinación de los mismos.