ES2943719T3 - Dispositivo ponible que tiene una pantalla, lente, iluminador y sensor de imagen - Google Patents

Abstract

Se divulga un dispositivo portátil (100). El dispositivo portátil (100) puede incluir una pantalla (110), una lente (120), un iluminador (130), un sensor de imagen (140) y al menos un procesador (150). La pantalla (110) puede configurarse para presentar imágenes. la lente (120) puede configurarse para proporcionar una vista de la pantalla (110) a un ojo (101) de un usuario. el iluminador (130) puede configurarse para iluminar el ojo (101). El sensor de imagen (140) puede configurarse para detectar la iluminación reflejada por el ojo (101). El al menos un procesador (150) puede configurarse para hacer que la pantalla (110) presente una imagen, reciba datos del sensor de imagen (140), determine una dirección de la mirada del ojo (101) basándose al menos en parte en la datos del sensor de imagen (140), (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Dispositivo ponible que tiene una pantalla, lente, iluminador y sensor de imagen

Antecedentes de la invención

El documento US2013/050833 se refiere al ajuste de un dispositivo de visualización de realidad mixta, cercano al ojo, transparente para la alineación con una distancia interpupilar (IPD) de un usuario mediante diferentes ejemplos de mecanismos de ajuste de visualización. El sistema de realidad mixta transparente, cercano al ojo, incluye para cada ojo un sistema óptico de visualización que tiene un eje óptico. Cada sistema óptico de visualización está posicionado para ser visto a través por un ojo respectivo, y está soportado en una estructura de soporte móvil respectiva. Un mecanismo de ajuste de visualización unido al dispositivo de visualización también se conecta con cada estructura de soporte móvil para mover la estructura. Se realiza automáticamente una determinación de si el dispositivo de visualización está alineado con un IPD de un usuario. Si no está alineado, se determinan automáticamente uno o más valores de ajuste para una posición de al menos uno de los sistemas ópticos de visualización. El mecanismo de ajuste de visualización mueve el al menos un sistema óptico de visualización según los valores de ajuste.

Sin embargo, el documento US2013/050833 no se refiere a la corrección de la miopía ni de la hipermetropía, ya que la lente móvil y la micropantalla en el documento US2013/050833 tienen el propósito de compensar la distancia interpupilar y también para enfocar la imagen virtual cuando el usuario mira la imagen real.

Los dispositivos portátiles que contienen pantallas se conocen bien, de forma típica, se utilizan en sistemas de Realidad Virtual (RV) y Realidad Aumentada (RA). En estos sistemas, las pantallas se utilizan para proporcionar a un usuario una experiencia que simula una realidad distinta en el caso de RV, o una realidad mejorada en el caso de RA.

En algunos casos, el dispositivo ponible no necesita contener ninguna pantalla de tipo alguno, por ejemplo, un sistema el sujeto de la patente US-9.041.787 no requiere una pantalla.

Se ha propuesto previamente que el uso de dispositivos de seguimiento ocular y similares se puede incorporar con estos dispositivos ponibles con el fin de mejorar su rendimiento.

Los oculómetros ponibles también son bien conocidos, véase, por ejemplo, la publicación de solicitud de patente de Estados Unidos número 2015/0062322, que describe un dispositivo de seguimiento ocular ponible.

Una implementación del seguimiento ocular en un dispositivo de realidad virtual se describe en Using an Eye-Tracking System to Improve Camera Motions and Depth-of-Field BlurEffects in Virtual Environments, Hillaire et al, 2008, Virtual Reality Conference, mediante el cual se utiliza el seguimiento ocular para determinar el punto de enfoque de un usuario en una realización virtual. El punto de enfoque se utiliza a continuación cuando se representa el entorno virtual para mejorar la sensación del usuario cuando navega por el entorno virtual.

Además, se sabe que en una pantalla ponible tal como un auricular de realidad virtual, determinadas condiciones de visión pueden afectar a cómo de bien un usuario puede ver la pantalla o pantallas en el auricular. Condiciones tales como la hipermetropía y la miopía, que se relacionan con la forma en que la luz se enfoca en la retina a medida que ingresa al ojo y puede significar que un usuario vea las cosas más cerca del ojo y más borrosas más lejos (miopía), o vea las cosas más lejos del ojo y más borrosas cerca del ojo (hipermetropía). La miopía también se conoce como visión de cerca, mientras que la hipermetropía también se conoce como visión de lejos o hiperopía.

Para resolver este problema en el dispositivo ponible que contiene al menos una pantalla, se ha propuesto previamente proporcionar un mecanismo de ajuste manual, tal como una perilla que cuando se gira acerca o aleja la pantalla o pantallas con respecto a los ojos de un usuario. El problema con esta solución es que se basa en la entrada del usuario para mover físicamente la(s) pantalla(s), añadiendo así una etapa que puede apartarse de la experiencia de llevar puesto el dispositivo, así como proporcionar una corrección subóptima de la ubicación de la pantalla debido a un error del usuario.

Una solución adicional propuesta anteriormente es acomodar las lentes de corrección ocular existentes de un usuario, tales como gafas, dentro del dispositivo ponible. Esta es una solución subóptima, sin embargo, ya que afecta negativamente al ajuste del dispositivo ponible, y puede causar problemas de comodidad para algunos usuarios. Es deseable una solución que permita que un usuario use el dispositivo sin lentes de corrección ocular.

Breve descripción de la invención

La invención se define mediante las reivindicaciones independientes. Otros aspectos de la invención se describen en las reivindicaciones dependientes. Si el término realización se usa para describir combinaciones no reivindicadas de características, el término debe entenderse en referencia a ejemplos útiles para entender la presente invención.

Breve descripción de los dibujos

Junto con las figuras adjuntas se describen realizaciones de la presente invención:

la Figura 1 es un diagrama esquemático de un dispositivo ponible de una realización de la invención;

la Figura 2 es una imagen en rejilla ilustrativa útil en algunas realizaciones de la invención;

la Figura 3 es un diagrama de flujo de una realización de método de la invención; y

la Figura 4 es un diagrama en bloque de un sistema informático ilustrativo que puede utilizarse en al menos alguna parte de los aparatos o sistemas de la presente invención, o implementar al menos alguna parte de los métodos de la presente invención.

En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.

Descripción detallada de la invención

La descripción que sigue proporciona únicamente realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas. Debe entenderse que pueden realizarse diversos cambios en la función y disposición de los elementos sin apartarse del espíritu y alcance de la invención tal como se expone en las reivindicaciones adjuntas.

Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.

En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.

Además, cabe señalar que pueden describirse realizaciones individuales como un procedimiento que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.

La expresión “ medio legible por máquina” incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.

Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.

Por consiguiente, es ventajoso si se puede encontrar un método automático para corregir la ubicación de la pantalla para dar cuenta de la hipermetropía o de la miopía.

La presente invención busca proporcionar soluciones mejoradas para el seguimiento ocular en dispositivos ponibles, y usos mejorados de la información de seguimiento ocular en entornos de RV, RA u otros. Estas mejoras se refieren a soluciones de hardware para su uso en dispositivos ponibles, así como a soluciones de software para su uso con dispositivos ponibles.

La presente invención se refiere en general a un dispositivo ponible que comprende una pantalla y un sensor de imagen, el dispositivo ponible utiliza la información obtenida a través del sensor de imagen para alterar la información en la pantalla. En particular, la presente invención se refiere a sistemas y métodos para utilizar información relacionada con un ojo para alterar información en una pantalla.

Por lo tanto, un objeto de la presente invención es proporcionar sistemas de seguimiento ocular ponibles mejorados. Este y otros objetos de la presente invención resultarán evidentes a partir de la memoria descriptiva y las reivindicaciones junto con los dibujos adjuntos.

Varias realizaciones y aspectos de la presente invención se dispondrán usando encabezados, para facilitar una comprensión más sencilla de la presente invención.

Según un primer aspecto de la presente invención, se proporciona un dispositivo ponible que comprende una pantalla y un aparato de seguimiento ocular. La información del aparato de seguimiento ocular afecta a los elementos visualizados en la pantalla.

Preferiblemente, el aparato de seguimiento ocular comprende al menos un sensor de imagen y al menos una fuente de iluminación. En algunas realizaciones el aparato de seguimiento ocular puede incluir dos sensores de imagen y dos fuentes de iluminación. La fuente de iluminación proyecta iluminación en el ojo de un usuario del dispositivo ponible y el sensor de imagen captura imágenes del ojo. Dependiendo de la localización del reflejo de la iluminación en el ojo, puede determinarse una dirección de la mirada del usuario. A manera de ejemplo, un sistema adecuado para determinar la dirección de la mirada de un usuario con un aparato de seguimiento ocular ponible se describe en la solicitud de patente de Estados Unidos número 2015/0061996. Todo el contenido de la solicitud mencionada anteriormente se ha incorporado en la presente descripción como referencia, para todos los fines, como si se expusiera totalmente en el presente documento.

Una unidad informática está conectada directa o inalámbricamente al aparato de seguimiento ocular y a la pantalla. La unidad informática realiza cálculos basándose en la información procedente del aparato de seguimiento ocular y controla la información visualizada en la pantalla.

Compensación de condiciones oculares

En una realización de la presente invención, se proporciona un dispositivo ponible que tiene al menos una pantalla, al menos una lente asociada con la pantalla y al menos un dispositivo de medición de la mirada. El dispositivo contiene un medio automatizado para mover la posición de la pantalla y/o la lente, de modo que cuando el dispositivo es usado por un usuario, la pantalla y/o la lente pueden ubicarse más cerca o más lejos de los ojos de un usuario. En algunas realizaciones, la pantalla permanece estacionaria, mientras que la lente se mueve, o viceversa: la lente permanece estacionaria mientras que la pantalla se mueve. Se pretende que, según esta invención, sea posible cualquier movimiento de una pantalla o lente.

En algunas realizaciones, se puede utilizar una pantalla y una lente por ojo, en cuyo caso cada pantalla y/o lente se puede mover independientemente de la otra.

El dispositivo de medición de la mirada se utiliza para determinar la dirección de la mirada de un usuario, como se describe en cualquier otro sitio de este documento y sería bien conocido por una persona experta en la técnica.

Durante el uso, la pantalla muestra una secuencia de imágenes mientras que el medio automatizado acerca o aleja la pantalla y/o la lente con respecto a los ojos de un usuario.

A manera de ejemplo, el dispositivo de medición de mirada puede contener un sensor de imagen y una unidad de procesamiento, la unidad de procesamiento conectada al sensor de imagen procesa imágenes capturadas por el sensor de imagen para determinar si la mirada de un usuario está fijada en cualquier parte de las imágenes visualizadas en la pantalla. Para lograr esto, se muestra una serie de al menos una imagen al usuario, si la imagen es perceptible como fuera del foco por el usuario, el patrón de mirada del usuario no se fijará en la imagen. Si es perceptible como enfocado, el patrón de mirada del usuario se fijará en una parte de la imagen. De esta manera, cuando la mirada de un usuario se fija en una parte de una imagen visualizada, el medio automatizado puede dejar de mover la pantalla y la ubicación de la pantalla se fija.

Las imágenes visualizadas pueden ser cualquier forma de patrón o imagen, incluidas, aunque no de forma limitativa, líneas horizontales, líneas verticales, formas y similares. A manera de ejemplo, los patrones de las llamadas “tarjetas de agudeza visual de Teller” pueden ser adecuados para esta realización de la presente invención; estos patrones comprenden un patrón de rayas en blanco y negro de alto contraste conocido como “ rejilla” y comprenden patrones que tienen rayas de diversas anchuras. Estos patrones pueden conformarse para formar imágenes fácilmente reconocidas por un usuario, tales como perro, gato, casa, coche o similares, o como formas geométricas simples.

Para determinar si la mirada de un usuario está enfocada en una parte de una imagen, un posible método es aplicar un análisis de frente de onda a una imagen capturada por el sensor de imagen para detectar aberraciones en una superficie de la pupila. Otro método posible es analizar una serie de movimientos de la mirada de un usuario, para determinar cuándo cesan o permanecen sustancialmente quietos para determinar si un usuario se está enfocando en un área en particular.

Una vez que el dispositivo de medición de la mirada ha determinado dónde está mirando el usuario, el medio automatizado controla la ubicación de la pantalla y/o la lente para fijar la ubicación en su lugar.

Esta realización de la presente invención puede funcionar con cualquier forma de dispositivo de medición de la mirada, por ejemplo, incorporando múltiples sensores de imagen y una pluralidad de fuentes de iluminación infrarroja, como entendería un experto en la técnica, y algunos de los cuales se describen en este documento. Además, cualquier número de pantallas puede funcionar con esta realización, sin embargo, es preferible que sean dos pantallas (una por ojo). Cada una de las pantallas puede ser automatizada por separado o de forma conjunta.

En una mejora adicional, otros elementos en el dispositivo ponible pueden automatizarse, tal como la ubicación del sensor de imagen o las fuentes de iluminación infrarroja. Estos elementos pueden ajustarse en función de las mediciones obtenidas por la unidad de procesamiento, tales como la distancia interpupilar. Por lo tanto, la colocación de iluminadores y sensores de imagen se puede ajustar para acomodar mayores distancias interpupilares, proporcionando un campo de visión más grande para el sensor o sensores de imagen, y por lo tanto una porción más grande de la población puede tener su mirada rastreada con precisión.

El dispositivo de medición de la mirada, aunque se describe como un ejemplo en relación con el seguimiento ocular basado en imágenes, puede funcionar igualmente con cualquier otra forma de dispositivo de seguimiento ocular capaz de determinar una aproximación de una dirección de la mirada de un usuario. Esto incluye tecnología tal como electrooculograma (EOG), radar, sensor de campo magnético o cualquier otra forma de tecnología como entendería fácilmente una persona experta en la técnica.

Sensor de perfil

En una realización de la presente invención, se puede usar un denominado sensor de perfil para determinar la dirección de la mirada de un usuario. En esta realización, se proporciona un dispositivo ponible que contiene un sensor de perfil dirigido hacia al menos uno de los ojos de un usuario. Un ejemplo de un sensor de perfil adecuado es el fabricado por Hammamatsu con el número de modelo S9132. Un experto en la técnica entenderá fácilmente el método de función de un perfil, un sensor de perfil opera integrando los valores de todos los píxeles en una fila y/o una columna en un único valor.

Además, se proporciona al menos un emisor de luz infrarroja y se dirige hacia el al menos uno de los ojos del usuario. Se puede usar un sensor de perfil de esta manera para determinar la ubicación de un reflejo de la luz infrarroja de la córnea del usuario, denominado de cualquier otra manera “destello” . Por lo tanto, puede hacerse un seguimiento rudimentario de la mirada analizando la localización del destello en la córnea del usuario, como comprenderá fácilmente un experto en la técnica. En una mejora adicional, pueden utilizarse dos o más sensores de perfil. Esto ofrece varias ventajas:

En primer lugar, si se usa más de un sensor de perfil bidimensional, es posible determinar el centro de la córnea del ojo de un usuario en tres dimensiones, después de determinar el radio de la córnea y las posiciones de destello en tres dimensiones en lugar de dos dimensiones.

En segundo lugar, disponiendo al menos dos sensores de perfil de manera que los destellos resultantes no se solapen permitirá una detección de destello más precisa. Por ejemplo, considérese un caso con dos destellos A y B. Si se obtienen imágenes mediante un sensor de perfil 1D alineado en la misma dirección que los destellos, el sensor solo registraría una única respuesta causada por ambos destellos, por lo que sería difícil o imposible determinar si el destello es causado por el iluminador A, el iluminador B o ambos iluminadores. Por lo tanto, sería ventajoso alinear siempre los iluminadores y los sensores de perfil de tal manera que no hagan que los destellos se superpongan en ninguna lectura de ningún sensor de perfil.

Alternativamente, se pueden modular los iluminadores para garantizar que solo se encienda un iluminador en cualquier momento dado. Se puede diseñar un sensor de perfil para operar a velocidades de muestreo muy rápidas que permitan muchas muestras, capturando un destello de un iluminador en cada muestra, dentro de un corto marco de tiempo para garantizar solo un movimiento ocular mínimo entre las muestras.

En tercer lugar, se pueden usar múltiples sensores de perfil de una dimensión, para que dicho sistema funcione con precisión, cada sensor debe colocarse y girarse uno con respecto al otro. De este modo, la dimensión única para cada sensor podría alternarse entre estar en configuración horizontal y vertical, aunque la diferencia de orientación relativa no necesita limitarse a 90 grados. Además, es deseable añadir una lente de forma cilíndrica a cada sensor de perfil de una dimensión.

Según la presente invención, el sensor de perfil emite la suma de todas las filas y/o la suma de todas las columnas de la matriz de píxeles del sensor a un dispositivo de procesamiento. Un reflejo de la luz infrarroja del iluminador infrarrojo en la córnea de un usuario, conocido como destello, se encuentra utilizando una técnica conocida como detección de picos. La detección de picos se realiza tanto en la suma de las filas como en la suma de las columnas.

En una mejora opcional, con el fin de facilitar el seguimiento ocular a alta velocidad, si se conoce una posición de destello previamente calculada, solo se debe analizar un subconjunto de píxeles para un pico, por ejemplo, 10-20 píxeles cerca de la posición de destello previa conocida.

Una vez conocida la posición del destello, puede determinarse la dirección de la mirada utilizando, por ejemplo, un modelo polinómico de destello a punto de mirada:

miradax= c¹x+c² y+c³xy+c⁴ x ;+c⁵ y ²+c⁶

mirada w=c⁷ x+c⁸y+c⁹ xy+cm x²+cn y2+c 12

Donde la mirada^x y la mirada^y son las posiciones x e y del punto de mirada, x e y son las posiciones x e y del destello y c1...c12 son parámetros de modelo calibrados.

Preferiblemente, se proporciona más de un iluminador en combinación con el sensor de perfil. Estos iluminadores pueden activarse o modularse selectivamente, y el dispositivo de procesamiento puede determinar qué iluminador activar en función de métricas derivadas de datos de imágenes capturadas. Alternativamente, los iluminadores pueden encenderse en una secuencia predefinida asegurando que solo se encienda un iluminador en cualquier momento dado.

En una mejora adicional, el dispositivo ponible contiene además al menos un sensor de imagen del tipo de sensor de área convencional. Este sensor convencional también se dirige a al menos uno de los ojos del usuario. El sensor convencional puede capturar imágenes del ojo de un usuario y el sistema puede realizar el seguimiento ocular tradicional de la reflexión corneal central de la pupila (PCCR); el método de la PCCR es bien conocido y fácilmente entendido para determinar la mirada de un usuario. Se puede encontrar más información sobre este método en múltiples lugares, incluyendo Guestrin, E.D.; Eizenman, E., “ General theory of remote gaze estimation using the pupil center and corneal reflections” , Biomedical Engineering, IEEE Transactions on, vol. 53, n°.6, p.1124, 1133, junio de 2006. El contenido completo de la publicación mencionada anteriormente se ha incorporado en la presente descripción como referencia, para todos los fines, como si se expusiera totalmente en el presente documento.

Al combinar un sensor de perfil, habilitado para emitir la suma de todas las columnas y/o la suma de todas las filas, con un sensor de imagen convencional, el sistema puede realizar un seguimiento de destello utilizando el sensor de perfil y el seguimiento de PCCR utilizando el sensor convencional. Debido a la información del sensor de perfil, el sensor convencional solo necesita funcionar a 0,5-10 Hz. Por lo tanto, el sistema puede lograr un bajo consumo de energía, una baja latencia y una alta velocidad de trama (o muestreo).

Un sensor de perfil que rastrea el destello proporcionará buenos datos de mirada siempre que el sensor permanezca fijo con respecto a la cara del usuario. Las imágenes del sensor de imagen convencional permiten la compensación del deslizamiento siempre que el sensor se mueva con respecto a la cara. En general, los movimientos oculares son sustancialmente más rápidos que el posible deslizamiento de un dispositivo ponible en la cabeza del usuario. Por lo tanto, es de interés encontrar una manera de rastrear solo la posición de destello a baja potencia y baja latencia. Esta puede ser, por ejemplo, una tecnología habilitadora para la representación gráfica foveada en auriculares de RV donde una solución de seguimiento ocular de potencia relativamente baja puede permitir ahorros sustanciales en el consumo total de energía del sistema de RV, ya que la representación de gráficos se puede reducir significativamente.

Por ejemplo, puede ser posible configurar el sensor en un modo en el que realice un ciclo a través de dos o más iluminadores, que tengan solo una luz por exposición del sensor.

Por ejemplo, el sensor puede configurarse para ejecutar un ciclo en el que primero se enciende un primer iluminador durante una primera exposición del sensor y luego se calcula la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las filas del área sensible y la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las columnas del área sensible (y se detecta una posición de destello). Después de eso, se enciende un segundo iluminador durante una segunda exposición del sensor y, a continuación, se calcula la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las filas del área sensible y la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las columnas del área sensible. Después de eso, el sensor captura una imagen convencional de al menos una parte secundaria del área sensible del sensor mientras se ilumina al menos uno de los iluminadores.

En una implementación alternativa, el sensor puede configurarse para ejecutar un ciclo en el que primero se enciende un primer iluminador durante una primera exposición del sensor y luego se calcula la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las filas del área sensible. En segundo lugar, se enciende un primer iluminador durante una segunda exposición del sensor y se calcula la suma de al menos el 10 % de los elementos de píxel en al menos el 10 % de las columnas del área sensible. Después de eso, el sensor captura una imagen convencional de al menos una parte secundaria del área sensible del sensor mientras se ilumina al menos uno de los iluminadores.

Un sensor de imagen habilitado para funcionar como un sensor de imagen convencional, pero también habilitado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible puede incluir preferiblemente pasadores de salida para sincronizar la exposición de uno o múltiples iluminadores con la exposición del sensor.

Un sensor de imagen habilitado para funcionar como un sensor de imagen convencional, pero también habilitado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible puede soportar el encadenamiento en margarita, permitiendo así que dos o más sensores se conecten a una unidad de procesamiento a través del mismo bus de datos, tal como, por ejemplo, una interfaz MIPI CSI-2.

Un sensor de imagen habilitado para funcionar como un sensor de imagen convencional, pero también habilitado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible puede incluir medios para detectar la distancia a un objeto en su campo de visión. Esto se puede hacer a través del tiempo de vuelo

Para compensar los datos de perfil de luz ambiental y/o los datos de imagen convencionales, de vez en cuando se pueden muestrear sin iluminación activa, es decir, sin tener ninguno de los iluminadores encendido.

El sensor de imagen puede usarse preferiblemente para identificar también al usuario a través del reconocimiento del iris.

Un sensor de imagen habilitado para funcionar como un sensor de imagen convencional, pero también habilitado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible puede diseñarse de modo que cada píxel solo pueda incluirse en la suma de columnas o la suma de líneas cuando el sensor se opera en modo de perfil. Por ejemplo, los elementos de píxel se pueden disponer en un patrón de comprobación en el que solo se pueden sumar cada dos píxeles en un perfil de fila y los otros píxeles se pueden sumar en un perfil de columna.

Una implementación alternativa del sensor de imagen es que el área sensible sea dividida en un patrón de comprobación donde cada dos píxeles se leen en filas y cada dos píxeles se leen en columnas, teniendo esencialmente un convertidor AD al lado de cada fila y un convertidor AD al lado de cada columna. Esto significa que la imagen convencional para este sensor en realidad sería dos imágenes a la mitad de la resolución del sensor, una leída verticalmente y una leída horizontalmente. Esto añade un poco de complejidad computacional para el seguimiento ocular PCCR tradicional. La ventaja sería que el sensor podría diseñarse de tal manera que soporte la agrupación horizontal de píxeles para la imagen leída de cada línea y la agrupación vertical de píxeles para la imagen leída de cada columna, facilitando así la detección de destellos de baja potencia. Por ejemplo, el sensor podría diseñarse para sumar los valores de 8-16 elementos de píxel o incluso más en un valor, lo que significa que podría funcionar como un sensor de perfil que soporta la funcionalidad de subventana, lo que facilita la supresión de señales irrelevantes y reduce el ruido.

Un sensor habilitado para funcionar como un sensor de perfil, con o sin soporte para subventanas, puede incluir preferiblemente lógica de hardware para detectar el centro del destello, reduciendo de este modo adicionalmente el consumo de energía y la cantidad de datos requeridos para enviar a una unidad de procesamiento externa. En el caso de que el sensor soporte la subventana, se prefiere, además, después de la detección del centro de destello, que el sensor cambie la posición de la subventana para garantizar que una imagen de perfil siguiente incluya el destello.

Una implementación alternativa de un oculómetro que soporta tanto el seguimiento ocular PCCR tradicional como el seguimiento del destello para permitir el seguimiento ocular de baja potencia en latencia y velocidades de datos que soportan la representación gráfica foveada es tener un sensor regular para la formación de imágenes del ojo, pero incluir lógica de hardware para la detección del centro del destello cuando el sensor funciona en un determinado modo de subventana predefinido. Esto puede ser posible, por ejemplo, solo con una subventana de 24x24 píxeles, 32x32 píxeles, 48x24 píxeles o alguna otra resolución apropiada.

Mirando los recientes avances en los auriculares de RV, las pantallas OLED han comenzado a aparecer. Las pantallas OLED suelen ser transparentes y se coloca un espejo detrás de ellas para garantizar que toda la luz se envíe hacia adelante. Para fines de seguimiento ocular, puede ser preferible tener un espejo frío detrás de una pantalla OLED que refleje esencialmente toda la luz visible desde la pantalla hacia el ojo del usuario, pero que deje pasar la luz del infrarrojo cercano (NIR). De este modo, se puede colocar un sensor de seguimiento ocular que detecta la luz NIR detrás de la pantalla mirando a través de ella y, por lo tanto, obteniendo un ángulo de visión muy bueno hacia el ojo del usuario.

En los auriculares de RV también es común usar lentes de Fresnel para hacer que la pantalla aparezca a una distancia del usuario mayor de lo que en realidad es. El inconveniente de tener una lente como esta es que distorsiona la imagen de la pantalla y de igual modo distorsiona la imagen del ojo tal como se ve desde un sensor de seguimiento ocular que mira a través de la lente. Por lo tanto, es preferible compensar esta distorsión en los algoritmos de seguimiento ocular.

Un efecto adicional de la lente de Fresnel es que puede causar defectos circulares en la imagen del ojo como se ve desde el sensor de seguimiento del ojo. El patrón es similar al efecto de distorsión de las olas en el agua cuando se lanza una piedra pequeña y se trata de mirar algo debajo de la superficie. Por lo tanto, es preferible calibrar un sensor de seguimiento ocular que vea un ojo a través de una lente de Fresnel para garantizar que las imágenes del sensor queden compensadas por los defectos de la lente de Fresnel antes de que los algoritmos de visión artificial intenten detectar diferentes características o destellos oculares.

Un sensor de imagen habilitado para funcionar como un sensor de imagen convencional, pero también habilitado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible puede diseñarse para soportar la subventana. Esto es común en los sensores de imagen convencionales, pero al permitir la subventana cuando se opera en el modo de perfil, gran parte de las reflexiones o fuentes de luz potencialmente perturbadoras en el campo de visión del sensor pueden eliminarse ya antes de que los elementos de píxel se sumen a un perfil de fila y/o perfil de columna, asegurando así una mayor precisión en la determinación de la posición de destello y permitiendo el reenfoque de la subventana para la muestra posterior.

Luz de enmascaramiento

Otra realización de la presente invención permite el uso de hardware o software para realizar operaciones matemáticas a lo largo de líneas a través de un sensor de imagen 2D para proporcionar una salida similar a la de un sensor de perfil. Las líneas serían típicamente las filas y columnas de ese sensor, pero no necesariamente tendrán que limitarse a esas orientaciones. Esto permitiría otras operaciones además de solo calcular la media y/o suma de todos los valores de píxeles en una línea, así como hacer posible enmascarar la contribución de luz de partes de la imagen que se sabe que no contienen ningún destello. La contribución de la luz de enmascaramiento de las partes de la imagen que no contienen ningún destello aumenta la relación señal a ruido y, por lo tanto, ayuda a detectar el destello permitiendo examinar el perfil de intensidad de una respuesta de perfil. El área preferida para enmascarar en muchos casos sería todo lo que está fuera de la córnea, y la salida más reciente de los algoritmos de seguimiento ocular podría usarse para dar un área aproximada para enmascarar.

Simular un sensor de perfil 2D utilizando un sensor de imagen tradicional reduce la carga computacional requerida para el seguimiento ocular y, por lo tanto, el consumo de energía, sin embargo, la velocidad de fotogramas está limitada por la velocidad de fotogramas de los sensores de imágenes 2D.

Es posible enmascarar la contribución de luz de partes de la imagen que no contengan ningún destello incluso cuando se usa un sensor de perfil real.

Un método para enmascarar la luz de partes de la imagen que se sabe no contienen ningún destello es utilizando uno o varios iluminadores cuya luz puede controlarse espacialmente (tal como una matriz OLED de infrarrojos detrás de una lente, cualquier disposición con un proyector DLP o LCOS, o una multitud de otras soluciones fácilmente entendidas por un experto en la técnica).

Otra modo de enmascarar la luz de las partes de la imagen conocidas por no contener ningún destello es mediante el uso de elementos que bloquean las partes de la luz antes de entrar en el sensor de perfil. Esos elementos de bloqueo podrían ser basados en LCD, mecánicos o basados en una multitud de otras soluciones fácilmente entendidas por un experto en la técnica.

Simulación de un sensor de perfil utilizando un sensor de imagen tradicional

Es posible utilizar un sensor de imagen tradicional que comprende una matriz de píxeles para simular un sensor de perfil. Para lograr esto, el hardware o software puede realizar operaciones matemáticas (tales como calcular el nivel de intensidad promedio a lo largo de una línea en el sensor o la suma de todos los niveles de intensidad a lo largo de una línea en el sensor) para proporcionar una salida similar a la de un sensor de perfil, típicamente esto equivaldría a emitir filas o columnas desde el sensor tradicional, sin embargo, es posible emitir cualquier configuración de píxeles, por ejemplo, una línea diagonal. Mediante el uso de este sistema simulado, es posible realizar más operaciones que solo la media tradicional y la suma de todos los valores de píxel en una línea, tal como el enmascaramiento como se ha descrito anteriormente; además, sería posible enmascarar la luz detectada de áreas de una imagen capturada (píxeles en el sensor de imagen) que se sabe que no contienen ningún destello. Al realizar esta función de enmascaramiento, se aumentaría la relación de señal a ruido. Un ejemplo de un área a enmascarar es el área fuera de la córnea de un usuario, ya que esta área no puede contribuir con un destello.

Puede enmascararse la luz de las áreas de una imagen que no contribuyen a un destello utilizando un sensor de perfil tradicional. Otras opciones para enmascarar la luz incluyen utilizar iluminadores cuya luz puede controlarse espacialmente, tales como una matriz de OLED infrarrojo detrás de una lente, cualquier disposición con un proyector DLP o LCOS o cualquier otra solución fácilmente entendida por una persona experta en la técnica. Otra opción es bloquear la llegada al sensor de luz de las áreas no contribuyentes, esto se puede lograr mediante una solución mecánica, solución de LCD o cualquier otra solución entendida por una persona experta en la técnica. Una solución de LCD mecánica puede comprender colocar un LCD transparente frente a un sensor de perfil.

Rastreador ocular sincronizado con la pantalla

Para determinadas aplicaciones de seguimiento ocular es útil sincronizar el dispositivo de seguimiento ocular con la pantalla, especialmente en un dispositivo portátil. Según este aspecto de la presente invención, un dispositivo ponible está provisto de una pantalla, al menos una cámara y al menos un iluminador. La al menos una cámara y al menos un iluminador forman un dispositivo de seguimiento ocular. La cámara y/o el iluminador pueden estar sincronizados con la pantalla. La sincronización puede caracterizarse como: sincronización de la velocidad estroboscópica de la cámara con la sincronización vertical de la pantalla.

Además, es deseable sincronizar el dispositivo de seguimiento ocular con uno o más dispositivos de posición. Por ejemplo, el dispositivo de seguimiento ocular puede sincronizarse con una unidad de medición inercial o similar, o con un dispositivo de posición de uso en salas y recintos tal como un sistema que usa luz infrarroja u otra luz no visible, tal sistema ha sido propuesto por Valve® con el nombre de “ Faro” . Un experto en la técnica entenderá fácilmente cómo puede funcionar tal sincronización.

Rastreador ocular extraíble

Según otro aspecto de la presente invención, se proporciona un oculómetro extraíble mediante el cual el oculómetro puede insertarse en un dispositivo ponible. Preferiblemente, el oculómetro está integrado con otro dispositivo tal como un teléfono, tableta, reloj, pantalla o similar.

El oculómetro comprende al menos una cámara y al menos un iluminador, su función principal puede ser rastrear la mirada de un usuario en relación con el dispositivo en el que está integrado, por ejemplo, un teléfono, tableta o reloj. Como una función secundaria, el dispositivo en el que se integra el oculómetro se puede insertar en un dispositivo ponible. El dispositivo puede entonces proporcionar al dispositivo ponible una funcionalidad tal como una pantalla y el oculómetro puede usarse para determinar la dirección de la mirada de un usuario del dispositivo ponible. El método de funcionamiento del oculómetro puede ser cualquier método tradicional o cualquier método descrito en este documento.

Autenticación de sonrisa

Según un aspecto de la presente invención, un sensor de imagen en un dispositivo portátil utilizado para el seguimiento ocular puede utilizarse también para capturar imágenes de un área alrededor de los ojos de un usuario. Estas imágenes se pueden analizar para determinar si un usuario está sonriendo y si esa sonrisa es genuina o falsa. Se sabe que las características de las áreas alrededor del ojo de un usuario pueden usarse para determinar si una sonrisa es falsa o genuina, véase, por ejemplo, Littlewort-Ford, Gwen, Marian Stewart Bartlett y Javier R. Movellan. “Are your eyes smiling? detecting genuine smiles with support vector machines and gabor wavelets.” Proceedings of the 8th Joint Symposium on Neural Computation. 2001. El contenido completo de la publicación mencionada anteriormente se ha incorporado en la presente descripción como referencia, para todos los fines, como si se expusiera totalmente en el presente documento.

Según la presente invención, un sensor de imagen utilizado para el seguimiento ocular captura al menos una parte del área alrededor de los ojos cuando se capturan imágenes de los ojos; estas imágenes se pueden analizar a continuación utilizando algoritmos de detección de sonrisa conocidos para determinar si la sonrisa de un usuario es falsa o genuina.

Calibración basada en la identificación del iris

Según la presente invención, un sensor de imagen utilizado para el seguimiento ocular captura además información relacionada con el iris de un usuario. Este iris se puede usar para determinar la identidad del usuario para la entrada en un sistema conectado al oculómetro.

Por ejemplo, según la presente invención, se proporciona un dispositivo ponible en el que se proporciona al menos un sensor de imagen y al menos un iluminador de infrarrojos. El sensor de imagen e iluminador se orientan hacia un ojo u ojos de un usuario que lleva puesto el dispositivo. Opcionalmente, el dispositivo contiene además una pantalla tal como en un auricular de realidad virtual.

El sensor de imagen captura imágenes del iris del usuario y pasa dichas imágenes a un dispositivo de procesamiento, el dispositivo de procesamiento puede estar situado en el dispositivo portátil o puede estar situado lejos del dispositivo de procesamiento, en cuyo caso la comunicación puede llevarse a cabo mediante medios por cable o inalámbricos como comprenderá el experto en la técnica.

El reconocimiento del iris es una técnica conocida que utiliza técnicas matemáticas de reconocimiento de patrones para identificar de forma única un patrón en un iris o ambos de un iris de un usuario para la identificación o autenticación del usuario. En su forma más básica, el reconocimiento del iris comprende las etapas de:

Localización: Cálculo de los límites internos y externos del iris.

Normalización: Normalización de los datos capturados para mayor consistencia.

Extracción de características: Formar un vector de características de características extraídas de imágenes capturadas.

Emparejamiento: Clasificación del vector de características utilizando técnicas de umbral.

Se han propuesto muchos algoritmos que permiten el reconocimiento del iris, véase, por ejemplo, Daugman J. G, High confidence visual recognition of persons by a test of statistical independence, IEEE Transactions on Pattern Analysis and Machine Intelligence, volumen: 15, n°. 1 I, (1993), p. 1148-1 161. El contenido completo de la publicación mencionada anteriormente se ha incorporado en la presente descripción como referencia, para todos los fines, como si se expusiera totalmente en el presente documento.

Basándose en las imágenes del iris del usuario, la unidad de procesamiento conectada (por cable o de forma inalámbrica) con el dispositivo portátil, puede utilizar la identificación del usuario para influir en su función. Por ejemplo, cuando se utiliza un rastreador ocular, la unidad de procesamiento puede cargar un perfil de calibración que proporciona información específica a un usuario con respecto a una desviación entre su posición de mirada calculada y su posición de mirada real. A manera de otro ejemplo, la identificación puede usarse para autenticar al usuario como autorizado para operar el dispositivo ponible u operar la unidad de procesamiento conectada al mismo.

Compensación de la torsión ocular

Según otro aspecto de la presente invención, es posible rastrear la torsión ocular. A modo de explicación, el ojo humano está unido a los músculos de modo que el ojo, además de moverse a la izquierda/derecha y hacia arriba/abajo, puede rotar de modo que la parte superior del iris pueda rotar más cerca de la nariz al tiempo que la parte inferior del iris rota alejándose de la nariz. Por supuesto, también es posible la rotación opuesta. Este tipo de rotación se conoce, de forma general, como torsión ocular.

Cuando un ser humano gira ligeramente la cabeza hacia el lado, la mayoría de los seres humanos giran automáticamente los ojos ligeramente en la dirección opuesta, manteniendo los ojos cerca del nivel con el horizonte. Este efecto solo se produce durante rotaciones pequeñas, ya que no es posible rotar el ojo un gran número de grados de este modo.

Este fenómeno introduce una fuente adicional de errores en los sistemas de seguimiento ocular para todas las personas cuya fóvea no esté perfectamente centrada a lo largo del eje óptico del ojo.

La presente invención puede seguir la torsión ocular observando el iris y/u otras características del globo ocular y/o utilizando información de procedente del rastreador ocular. Esto proporcionaría al oculómetro una mejor estimación de la posición de la fóvea y, por lo tanto, proporcionaría una mejor estimación de la mirada del sujeto con seguimiento ocular cuando su cabeza está inclinada.

Curvatura de la córnea

Según una realización de la presente invención, el al menos un sensor de imagen captura imágenes del ojo de un usuario. La unidad informática utiliza esta información para determinar la forma de la córnea de un usuario. Dependiendo de la posición y orientación de los reflejos procedentes de una fuente de luz infrarroja, puede medirse la curvatura de una córnea. En algunas personas, su córnea tiene una curvatura anormal. Esto puede denominarse astigmatismo.

Con el uso de información obtenida de un sensor de imagen y de fuentes de luz infrarroja, puede modelizarse la curvatura de la córnea y, por lo tanto, puede identificarse a un usuario con una córnea con forma anormal. Con la determinación de la forma de la córnea, pueden tomarse medidas correctivas, tales como la prescripción de una lente adecuada.

Realizaciones ilustrativas

Volviendo a la Figura 1, se muestra un diagrama en bloque de un dispositivo ponible 100. El ojo de un usuario 101 también se muestra como referencia. El dispositivo ponible 100 incluye una pantalla 110, una lente 120, un iluminador 130, un sensor de imagen 140 y al menos un procesador 150. Los componentes mencionados anteriormente pueden proporcionarse en un alojamiento 160.

El procesador 150 puede ser capaz de controlar y/o aceptar retroalimentación/datos de cualquiera de los componentes mencionados anteriormente, u otros componentes mencionados en el presente documento. En esta realización, el procesador 150 se muestra como una parte integral del dispositivo ponible 100, sin embargo, en otras realizaciones, el procesador 150 podría ubicarse a distancia del resto del dispositivo ponible 100. Simplemente a manera de ejemplo, un teléfono o dispositivo móvil; un ordenador de tableta; un ordenador ponible, tal como un reloj inteligente; un ordenador portátil; un ordenador portátil de tipo notebook; un ordenador de sobremesa; un dispositivo de procesamiento en la nube; y/u otro dispositivo de procesamiento podría proporcionar en su lugar el procesador 150.

En algunas realizaciones, el procesador 150 puede ser solo un procesador utilizado para implementar los sistemas y métodos descritos en el presente documento, y una interfaz de comunicación 170 puede permitir procesadores adicionales para al menos ayudar a implementar los sistemas y métodos descritos en el presente documento. También se puede proporcionar una batería, una fuente de alimentación o una interfaz de alimentación para suministrar energía a los componentes del dispositivo ponible 100. En las realizaciones en las que el procesador 150 está incluido en el dispositivo ponible 100, la interfaz 170 todavía puede estar presente para permitir que las señales y/o los datos del procesador 150 y/u otros componentes sean transmitidos a, o recuperados por, los sistemas remotos, y/o para permitir que un sistema remoto controle los componentes del dispositivo ponible 100.

La pantalla 110 puede configurarse para presentar imágenes y, simplemente a manera de ejemplo, puede proporcionarse a través de una pantalla de diodo emisor de luz (LED), pantalla de cristal líquido (LCD) o similar. También se pueden usar otros tipos de pantallas, como reconocerán los expertos en la técnica.

La lente 120 está configurada para proporcionar una vista de la pantalla 100 al ojo 101 de un usuario. La lente 120 puede ser una lente de Fresnel en algunas realizaciones, por ejemplo, auriculares de realidad virtual o de pantalla personal. En otras realizaciones, tales como auriculares de realidad aumentada, pueden emplearse diferentes tipos de lentes dependiendo de la función o propósito particular del dispositivo ponible 100.

En algunas realizaciones, la disposición mostrada en la Figura 1 puede duplicarse sustancialmente para el otro ojo del usuario. Algunos componentes, por ejemplo, el procesador 150 y la interfaz 170, pueden dar servicio a ambas disposiciones. Otros componentes, por ejemplo, la pantalla 110, la lente 120, el iluminador 130 y el sensor de imagen 140 pueden proporcionarse por duplicado, con uno o más de cada componente atendiendo a un solo ojo. Cualquier realización analizada en el presente documento puede aplicarse a uno o ambos ojos de un usuario.

El iluminador 130 está configurado para iluminar el ojo 101. En algunas realizaciones, múltiples iluminadores 130 pueden dar servicio a cada ojo, o a ambos ojos del usuario. El sensor de imagen 140 está configurado para detectar la iluminación reflejada por el ojo 101. En algunas realizaciones, múltiples sensores de imagen 140 pueden dar servicio a cada ojo, o a ambos ojos del usuario. El procesador 150 puede ser capaz de controlar y/o recibir retroalimentación/datos desde el iluminador 130 y el sensor de imagen 140 con el fin de determinar una dirección de la mirada del ojo 101. De la misma manera, en realizaciones que dan servicio a ambos ojos del usuario, una dirección de la mirada global del usuario puede determinarse por el procesador 150. Cualquiera de los componentes del dispositivo ponible 100 puede estar ubicado en diferentes posiciones que las mostradas en la Figura 1, ya que el posicionamiento de estos componentes en el mismo es meramente para fines ilustrativos.

Como se ha indicado anteriormente, si una imagen en la pantalla 110 está a una distancia del usuario a la que el usuario no puede enfocar a través de la lente 120, el procesador 150 puede determinar que una dirección de la mirada del ojo 101 no se dirige hacia la imagen. Esto se debe a que el usuario no puede discernir claramente la imagen y, por lo tanto, la dirección de la mirada del usuario se moverá en un patrón no indicativo de un enfoque previsto en la imagen. Por lo tanto, este fallo para mantener una dirección de la mirada hacia la imagen puede indicar que la imagen en la pantalla 110 está desenfocada del ojo 101.

Por lo tanto, el procesador 150 está configurado para hacer que la pantalla 110 presente una imagen al ojo 101, hacer que el iluminador 130 ilumine el ojo 101, recibir datos del sensor de imagen 140 indicativos de la iluminación reflejada por el ojo 101, determinar una dirección de la mirada a partir de los datos, determinar que la dirección de la mirada del ojo no está dirigida hacia la imagen (es decir, debido a la incapacidad del usuario para enfocar la imagen), y hacer que al menos una de la pantalla 110 o la lente 120 se mueva hasta que el procesador 150 determine que la dirección de la mirada se dirige a la imagen, indicando de este modo que el usuario ha logrado enfocarse en la imagen.

En algunas realizaciones, se requiere que la dirección de la mirada del usuario se dirija hacia la imagen durante una cantidad mínima de tiempo antes de que se realice una determinación de que el usuario se está enfocando realmente en la imagen. Simplemente a manera de ejemplo, dicha cantidad mínima de tiempo puede ser de aproximadamente 0,1 segundos, aproximadamente 0,5 segundos, aproximadamente 1,0 segundos, aproximadamente 1,5 segundos, aproximadamente 2,0 segundos, o aproximadamente cualquier incremento de 0,1 segundos entre los valores anteriores. El movimiento de la pantalla 110 y/o la lente 120 puede realizarse en etapas incrementales que permiten que estos períodos de tiempo, o periodos de tiempo mayores, transcurran antes de otro movimiento incremental de la pantalla 110 y/o la lente 120. De esta manera, se puede permitir tiempo para que el usuario enfoque la imagen durante la cantidad de tiempo requerida cuando el usuario pueda hacerlo, antes de otro movimiento de la pantalla 110 y/o la lente 120.

En algunas realizaciones, la imagen visualizada puede ser una imagen en rejilla. La Figura 2 muestra un ejemplo de una imagen en rejilla 200 donde una forma geométrica, un triángulo, es definida por la imagen. También se pueden usar otras formas, incluidas formas geométricas tales como círculos y cuadrados, y formas no geométricas tales como siluetas de animales o artículos de consumo comunes tales como teléfonos, etc. Puede emplearse cualquier imagen que probablemente invoque un enfoque del ojo 101. La rejilla horizontal, a diferencia de la rejilla vertical como se muestra en la Figura 2, también puede emplearse en algunas realizaciones.

En algunas realizaciones, se podría visualizar una forma u objeto 3D donde una realización proporciona servicio a ambos ojos del usuario. De esta manera, la distancia apropiada tanto para la pantalla 110 como para la lente 120 en cada ojo podría determinarse independientemente.

En algunas realizaciones, la imagen en rejilla solo puede aparecer en una parte de la pantalla 110, como se muestra en la Figura 2. En otras realizaciones, la imagen en rejilla puede aparecer en toda, o sustancialmente toda, la pantalla 110. En algunas realizaciones, las partes restantes de la pantalla 110 pueden presentarse en determinado nivel de escala de grises.

En algunas realizaciones, las imágenes en rejilla podrían proporcionarse a diferentes resoluciones de rejilla, tal vez a medida que la lente se mueve continuamente, o por etapas, acercándose y/o alejándose del ojo 101 mientras se monitoriza la capacidad del usuario para enfocar (es decir, si la dirección de la mirada del usuario es hacia la imagen). Simplemente a manera de ejemplo, mientras que el triángulo de la Figura 2 puede mostrarse de una manera tal que cada “ rejilla” sólida vertical en blanco y negro tenga 10 píxeles de anchura, esta resolución podría aumentarse o reducirse en imágenes secuenciales. Por ejemplo, la resolución podría aumentarse a “ rejillas” de 5 píxeles de anchura, donde el número de “ rejillas” verticales sólidas en blanco y negro se duplicaría, y cada una sería la mitad de ancha que las “ rejillas” de 10 píxeles de anchura. La resolución podría aumentarse aún más a “ rejillas” de 3 píxeles de anchura, e incluso a “ rejillas” de 1 píxel de anchura. Cualquier resolución de rejilla es posible.

En algunas realizaciones, la resolución más alta de la rejilla (por ejemplo, rejilla de 1 píxel), puede visualizarse primero en un intento de determinar si el usuario puede enfocarse en dicha rejilla a cualquier combinación de distancia de la pantalla 120 y la lente 110. Si el ojo 101 no logra el enfoque, la resolución de la rejilla puede reducirse (por ejemplo, rejilla de 2 píxeles), y todas las combinaciones de distancia de la pantalla 120 y la lente 110 pueden intentarse nuevamente para ver si el usuario logra el enfoque. Puede intentarse la reducción continua de la resolución de la rejilla hasta que se logre el enfoque.

En algunas realizaciones, el procesador 150 puede no terminar el proceso de mover la pantalla 110 y/o la lente 120 inmediatamente después de una determinación de que la dirección de la mirada es hacia la imagen (es decir, se ha logrado el enfoque). En algunas realizaciones, los “ bordes” de enfoque pueden determinarse mediante el siguiente proceso. Puede visualizarse una imagen con una rejilla de una determinada resolución (por ejemplo, rejilla de 5 píxeles de anchura), y el procesador 150 puede mover la pantalla 110 y/o la lente 120 para determinar la distancia focal efectiva más larga y más corta a la que la dirección de la mirada es hacia la imagen (es decir, el usuario ha enfocado en la imagen visualizada). El procesador 150 puede entonces aumentar la resolución de la imagen (por ejemplo, rejilla de 3 píxeles de anchura) en la pantalla 120, y luego mover la pantalla 110 y/o la lente 120 para determinar la distancia focal efectiva más larga y más corta a la que la dirección de la mirada está hacia la imagen (es decir, el usuario ha enfocado en la imagen visualizada). El mismo proceso se puede llevar a cabo para una rejilla de resolución más y más alta (por ejemplo, rejilla de anchura de 1 píxel), hasta que se pueda determinar una distancia focal efectiva de punto medio óptima para la resolución más alta para la cual se puede determinar el rango de distancia focal efectiva.

La pantalla 110 y la lente 120 pueden moverse posiblemente como se muestra por las flechas en la Figura 1 para enfocar la imagen visualizada para el usuario. En otras realizaciones, el movimiento de la pantalla 110 y la lente 120 también puede tener lugar en los otros ejes primarios, o alguna combinación de estos. Por ejemplo, si se supone que las flechas mostradas en la Figura 1 están en el eje Y, el movimiento también podría tener lugar en el eje X (de izquierda a derecha para el usuario) y el eje Z (de arriba a abajo para el usuario).

Algunas realizaciones pueden permitir que tanto la pantalla 110 como la lente 120 se muevan, mientras que en otras realizaciones solo se puede mover una u otra de la pantalla 110 o la lente 120. En algunas realizaciones, la pantalla 110 o la lente 120 pueden moverse primero en un intento de lograr el enfoque del usuario, mientras que la otra pantalla 110 o la lente 120 solo pueden moverse después de que el primer componente se mueva sin lograr el enfoque del usuario. En otras realizaciones, ambos componentes se pueden mover al mismo tiempo en un intento de lograr el enfoque.

El movimiento de la pantalla 110 y/o la lente 120 podría lograrse a través de cualquier medio conocido en la técnica. Simplemente a manera de ejemplo, uno o más motores de velocidad gradual ubicados de manera fija en el alojamiento 160 que tienen un engranaje de piñón en el mismo podrían accionar los engranajes de cremallera acoplados de manera fija con la pantalla 110 y/o la lente 120. También podrían emplearse otros medios de movimiento conocidos en la técnica. La Figura 1 muestra líneas de puntos en la proximidad de la pantalla 110 y la lente 120 que son indicativas de posibles rangos de movimiento ilustrativos para estos componentes.

En algunas realizaciones, el procesador 150 puede implementar aprendizaje u otros procesos programados que identifican determinados datos del sensor de imagen 140 como indicativos de determinadas acciones correctivas necesarias con respecto al movimiento de la pantalla 110 y la lente 120. Por ejemplo, determinados patrones de movimiento de ojo/mirada, aprendidos a lo largo del tiempo por el procesador, o preprogramados, pueden indicar que la pantalla 110 o la lente 120 deben alejarse del ojo 101, mientras que otros patrones de movimiento de ojo/mirada, aprendidos con el tiempo por el procesador, o preprogramados, pueden indicar que la pantalla 110 o la lente 120 deben moverse hacia el ojo 101.

En algunas realizaciones, el iluminador 130 y el sensor de imagen 140 también pueden ser móviles por el procesador 150, junto con cualquier lente secundaria asociada con el mismo. El movimiento del iluminador 130 y/o el sensor de imagen 140 podría lograrse a través de cualquier medio conocido en la técnica. Simplemente a manera de ejemplo, uno o más motores de velocidad gradual ubicados de manera fija en el alojamiento 160 que tienen un engranaje de piñón en el mismo podrían accionar los engranajes de cremallera acoplados de manera fija con el iluminador 130 y/o el sensor de imagen 140. También podrían emplearse otros medios de movimiento conocidos en la técnica. La Figura 1 muestra líneas de puntos en la proximidad del iluminador 130 y el sensor de imagen 140 que son indicativos de posibles rangos de movimiento ilustrativos para estos componentes. En algunas realizaciones, el funcionamiento de las lentes secundarias proporcionadas para el iluminador 130 y/o el sensor de imagen 140 puede ser proporcionado por la lente (primaria) 120 y/o los componentes integrados con la misma. La solicitud de patente de Estados Unidos n°. 15/651.976, presentada el 17 de julio de 2017, analiza tales disposiciones. El contenido completo de la solicitud mencionada anteriormente se ha incorporado en la presente descripción como referencia, como si se expusiera totalmente en el presente documento.

En algunas realizaciones, el procesador 150 puede mover el iluminador 130 y/o el sensor de imagen 140 para aumentar la eficiencia o la capacidad del iluminador 130 y/o el sensor de imagen 140 para proporcionar datos de calidad suficientes necesarios para la determinación de la dirección de la mirada del ojo 101. El movimiento del iluminador 130 y/o el sensor de imagen 140 puede producirse en cualquiera de los ejes primarios o alguna combinación de estos. En algunas realizaciones, el procesador 150 puede determinar si y cómo mover el iluminador 130 y/o el sensor de imagen 140 basándose al menos en parte en los datos recibidos del sensor de imagen 140. Por ejemplo, y especialmente en las realizaciones en las que ambos ojos están atendidos, los datos recibidos del sensor de imagen 140 pueden permitir que el procesador 150 determine una distancia interpupilar que, una vez determinada, indica al procesador que el iluminador 130 y/o el sensor de imagen 140 deben reubicarse para aumentar la disponibilidad o la calidad de la detección de la dirección de la mirada para el usuario particular.

Volviendo a la Figura 3 , se muestra un método 300 para mostrar imágenes a un usuario como se describe. En el bloque 310, el método 300 puede incluir hacer que una pantalla presente una imagen a través de una lente a un ojo de un usuario. En el bloque 320, el método 300 puede incluir hacer que un iluminador ilumine el ojo del usuario. En el bloque 330, el método 300 puede incluir recibir datos de un sensor de imagen que detecta la iluminación reflejada por el ojo. En el bloque 340, el método 300 puede incluir determinar que una dirección de la mirada del ojo se basa, al menos en parte, en los datos del sensor de imagen. En el bloque 350, el método 300 puede incluir hacer que al menos uno del iluminador o el sensor de imagen se mueva. Al igual que otras etapas del método 300, el bloque 350 puede ocurrir en cualquier otro punto en el tiempo durante la ejecución del método 300. En el bloque 360, el método 300 puede incluir hacer que al menos uno de la pantalla o la lente se mueva hasta que la dirección de la mirada se dirija hacia la imagen (es decir, se haya logrado el enfoque).

En otra realización, se proporciona un medio legible por máquina no transitorio que tiene instrucciones almacenadas en el mismo para mostrar imágenes a un usuario. Las instrucciones pueden ser ejecutables por uno o más procesadores para hacer que el uno o más procesadores realicen un método como se analiza en el presente documento. El método puede incluir hacer que una pantalla en un dispositivo ponible presente una imagen a través de una lente a un ojo de un usuario. El método también puede incluir hacer que un iluminador ilumine el ojo del usuario.

El método puede incluir además recibir datos de un sensor de imagen que detecta la iluminación reflejada por el ojo. El método puede incluir de forma adicional determinar una dirección de la mirada del ojo basándose al menos en parte en los datos del sensor de imagen. El método puede incluir además hacer que al menos una de la pantalla o la lente se mueva hasta que la dirección de la mirada se dirija hacia la imagen. Cualquier otra etapa analizada en el presente documento también puede incluirse en el método ejecutado por las instrucciones almacenadas en el medio legible por máquina no transitorio.

Sistema informático ilustrativo

La Figura 4 es un diagrama en bloque que ilustra un sistema informático 400 ilustrativo en el que puede implementarse cualquiera de las realizaciones de la presente invención. Este ejemplo ilustra un sistema informático 400 tal como se puede usar, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los sistemas y métodos descritos anteriormente.

El sistema informático 400 mostrado comprende elementos de hardware que pueden acoplarse eléctricamente a través de un bus 490. Los elementos de hardware pueden incluir uno o más procesadores centrales 410, uno o más dispositivos de entrada 420 (por ejemplo, un dispositivo de seguimiento ocular, un ratón, un teclado, un panel táctil, un micrófono, etc.) y uno o más dispositivos de salida 430 (por ejemplo, un dispositivo de visualización, una impresora, etc.). El sistema informático 400 también puede incluir uno o más dispositivos de almacenamiento 440. A manera de ejemplo, el o los dispositivos de almacenamiento 440 pueden ser unidades de disco transitorias y/o no transitorias, dispositivos de almacenamiento óptico, dispositivo de almacenamiento de estado sólido tal como una memoria de acceso aleatorio (“ RAM” ) y/o una memoria de solo lectura (“ ROM” ), que puede ser programable, actualizable con flash y/o similares.

El sistema informático 400 puede incluir de forma adicional un lector 450 de medios de almacenamiento legible por ordenador, un sistema de comunicaciones 460 (por ejemplo, un módem, una tarjeta de red (inalámbrica o cableada), un dispositivo de comunicación por infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria de trabajo 480, que puede incluir dispositivos RAM y ROM como se ha descrito anteriormente. En algunas realizaciones, el sistema informático 400 también puede incluir una unidad de aceleración de procesamiento 470, que puede incluir un procesador de señal digital, un procesador de propósito especial y/o similares.

El lector 450 de medios de almacenamiento legible por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con el(los) dispositivo(s) de almacenamiento 440) de manera exhaustiva dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener temporalmente y/o de manera más permanente información legible por ordenador. El sistema de comunicaciones 460 puede permitir que los datos se intercambien con una red, sistema, ordenador y/u otro componente descrito anteriormente.

El sistema informático 400 también puede comprender elementos de software, que se muestran como ubicados actualmente dentro de una memoria de trabajo 480 , que incluyen un sistema operativo 484 y/u otro código 488. Debe apreciarse que las realizaciones alternativas de un sistema informático 400 pueden tener numerosas variaciones de las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.

El software del sistema informático 400 puede incluir código 488 para implementar cualquiera o todas las funciones de los diversos elementos de la arquitectura como se describe en el presente documento. Por ejemplo, el software, almacenado y/o ejecutado por un sistema informático tal como el sistema 400, puede proporcionar las funciones de los métodos y sistemas discutidos anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.

Ahora, la invención se ha descrito en detalle con fines de claridad y comprensión. Sin embargo, se apreciará que pueden hacerse determinados cambios y modificaciones dentro del ámbito de las reivindicaciones adjuntas.

Claims (9)

REIVINDICACIONES

1. Un dispositivo ponible (100), en donde el dispositivo ponible (100) comprende:

una pantalla (110) configurada para presentar imágenes;

una lente (120) configurada para proporcionar una vista de la pantalla (110) a un ojo (101) de un usuario;

un iluminador (130) configurado para iluminar el ojo (101);

un sensor de imagen (140) configurado para detectar la iluminación reflejada por el ojo (101); y al menos un procesador (150) configurado para:

hagan que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva; hacer que la pantalla (110) presente una imagen;

recibir datos del sensor de imagen;

determinar una dirección de la mirada del ojo (101) basándose al menos en parte en los datos del sensor de imagen (140); y

hagan que al menos una de la pantalla (110) o la lente (120) se mueva hasta que la dirección de la mirada se dirija hacia la imagen durante una cantidad mínima de tiempo, en donde hacer que la al menos una de la pantalla (110) o la lente (120) se mueva comprende acercar o alejar al menos una de la pantalla (110) o la lente (120) con respecto al ojo (101).

2. El dispositivo ponible (100) de la reivindicación 1, en donde:

hacer que al menos una de la pantalla (110) o la lente (120) se mueva comprende hacer que la pantalla (110) se mueva.

3. El dispositivo ponible (100) de la reivindicación 1, en donde:

hacer que al menos una de la pantalla (110) o la lente (120) se mueva comprende hacer que la lente (120) se mueva.

4. El dispositivo ponible (100) de la reivindicación 1, en donde:

hacer que la pantalla (110) presente una imagen comprende hacer que la pantalla (110) presente una imagen en rejilla (200).

5. El dispositivo ponible (100) de la reivindicación 1, en donde:

hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva comprende hacer que el iluminador (130) se mueva.

6. El dispositivo ponible (100) de la reivindicación 1, en donde:

hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva comprende hacer que el sensor de imagen (140) se mueva.

7. El dispositivo ponible (100) de la reivindicación 1, en donde:

el al menos un procesador (150) hace que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva basándose al menos en parte en los datos recibidos del sensor de imagen (140).

8. El dispositivo ponible (100) de la reivindicación 7, en donde:

el al menos un procesador (150) está configurado además para determinar una distancia interpupilar basándose al menos en parte en los datos recibidos desde el sensor de imagen (140); y hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva basándose al menos en parte en datos recibidos del sensor de imagen (140) comprende hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva basándose al menos en parte en la distancia interpupilar.

9. Un método para mostrar imágenes a un usuario, en donde el método comprende: hacer que una pantalla (110) presente una imagen a través de una lente (120) a un ojo (101) de un usuario;

hacer que un iluminador (130) ilumine el ojo (101) del usuario;

hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva;

recibir datos de un sensor de imagen (140) que detecta la iluminación reflejada por el ojo (101); determinar una dirección de la mirada del ojo (101) basándose al menos en parte en los datos del sensor de imagen (140);

hacer que al menos una de la pantalla (110) o la lente (120) se mueva hasta que la dirección de la mirada se dirija hacia la imagen durante una cantidad mínima de tiempo,

en donde hacer que la al menos una de la pantalla (110) o la lente (120) se mueva comprende acercar o alejar al menos una de la pantalla (110) o la lente (120) con respecto al ojo (101).

El método para mostrar imágenes a un usuario de la reivindicación 9, en donde:

hacer que la pantalla (110) presente una imagen comprende hacer que la pantalla (110) presente una imagen en rejilla (200).

El método para mostrar imágenes a un usuario de la reivindicación 9, en donde:

hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva se basa al menos en parte en los datos recibidos del sensor de imagen (140).

Un medio legible por máquina no transitorio que tiene instrucciones almacenadas en el mismo que, cuando se ejecutan por uno o más procesadores, hacen que el uno o más procesadores (150) al menos:

hagan que una pantalla (110) en un dispositivo ponible (100) presente una imagen a través de una lente (120) a un ojo (101) de un usuario;

hagan que un iluminador (130) ilumine el ojo (101) del usuario; hagan que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva;

reciban datos de un sensor de imagen (140) que detecta la iluminación reflejada por el ojo (101); determinen una dirección de la mirada del ojo (101) basándose al menos en parte en los datos del sensor de imagen (140);

hagan que al menos una de la pantalla (110) o la lente (120) se mueva hasta que la dirección de la mirada se dirija hacia la imagen durante una cantidad mínima de tiempo,

en donde

hacer que al menos una de la pantalla (110) o la lente (120) se mueva comprende acercar o alejar al menos una de la pantalla (110) o la lente (120) con respecto al ojo (101).

El medio legible por máquina no transitorio de la reivindicación 12, en donde:

hacer que la pantalla (110) presente una imagen comprende hacer que la pantalla (110) presente una imagen en rejilla (200).

El medio legible por máquina no transitorio de la reivindicación 12, en donde:

hacer que al menos uno del iluminador (130) o el sensor de imagen (140) se mueva basándose al menos en parte en los datos recibidos desde el sensor de imagen (140).