ES2372515B2

ES2372515B2 - Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.

Info

Publication number: ES2372515B2
Application number: ES200800126A
Authority: ES
Inventors: José Manuel Rodríguez Ramos; José Gil Marichal-Hernández; Fernando Rosa-González; Fernando Pérez Nava
Original assignee: Universidad de La Laguna
Current assignee: Universidad de La Laguna
Priority date: 2008-01-15
Filing date: 2008-01-15
Publication date: 2012-10-16
Anticipated expiration: 2028-01-15
Also published as: RU2010133943A; BRPI0907392A2; AU2009204788B2; HK1153297A1; CN101952855A; US8471897B2; JP5269099B2; KR20100136448A; AU2009204788A1; EG26176A; CA2711727C; RU2502104C2; EP2239706B1; IL206807A; WO2009090291A1; NZ586721A; EP2239706A4; US20110032337A1; MX2010007697A; MA32069B1

Abstract

Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales, caracterizados por una matriz de microlentes que forma imagen sobre una superficie detectora de suficiente resolución que es colocada en una posición del espacio imagen de una lente convergente, y por un procesador de cómputo paralelo para realizar el tratamiento de la imagen calculando el ?focal stack? asociado al volumen objeto medido por la cámara, y sobre éste, la amplitud compleja del campo electromagnético (módulo y fase) y la distancia en cualquier posición del espacio objeto medido.#Siguiendo este procedimiento, y con las técnicas aquí propuestas, es posible recuperar tanto profundidades como módulos y fases de la amplitud compleja del frente de onda en cada posición de las superficies de la escena, lo que permite escanear tridimensionalmente al completo y en tiempo real la escena.

Description

Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.

Objeto de la invención

El sistema aquí propuesto consiste en una cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales en un amplio rango de volúmenes, caracterizada por la utilización de una lente objetivo y una matriz de microlentes situada en el espacio imagen de la lente objetivo, un sensor colocado en la focal de las microlentes (que recoge la imagen formada por éstas), por el hardware de cómputo masivamente paralelo (GPU, FPGA o ambos) mediante el que se calcula el “focal stack” (conjunto de imágenes fotográﬁcas bidimensionales diferentemente enfocadas) asociado al volumen objeto medido por la cámara, y sobre éste, se calcula la amplitud compleja del campo electromagnético (módulo y fase) y la posición tridimensional de las superﬁcies irradiantes en cualquier punto del espacio objeto medido.

Esta invención puede ser útil en cualquier área o aplicación en que se requiera conocer el frente de onda: observación astronómica terrestre, oftalmología, holografía, etc., así como en las que se precise metrología: escenas reales, 3D televisión, pulido de CCDs, mecánica de automóvil, etc.

Sector de la técnica

Óptica. Procesamiento de imágenes.

Antecedentes de la invención

La presente invención está relacionada tanto con la necesidad de lograr una medida tridimensional de la amplitud compleja del frente de onda asociado a todo problema óptico en que la calidad de imagen sea fundamental (p. ej. para diagnosticar), así como con la necesidad de obtener un mapa de profundidades suﬁcientemente ﬁable y preciso en un amplio rango de volúmenes, desde pocas micras hasta varios kilómetros, y también con la generación en tiempo real de información tridimensional para televisión 3D, cine 3D, medicina, etc.

Estado de la técnica

La Óptica Adaptativa, para los presentes telescopios de gran diámetro (GRANTECAN, Keck, ...) y futuros telescopios gigantes (50 ó 100 metros de diámetro), ha tomado el rumbo de medir la distribución tridimensional de la fase atmosférica utilizando una forma de tomografía llamada óptica multiconjugada. La ausencia en el cielo de suﬁciente número de fuentes puntuales naturales, tal que haya siempre alguna presente dentro del campo de visión del objeto observado por el telescopio, obliga a utilizar fuentes puntuales artiﬁciales: estrellas de Na (90 km. de altura).

Para poder corregir, evitando el anisoplamiento de foco, toda la atmósfera que afecta al haz de luz proveniente del objeto en el cielo es necesario utilizar varias de estas estrellas artiﬁciales (al menos 5). Cada una de ellas, para ser generada, necesita un láser de muy alta resolución, pulsado, y de gran potencia, lo que se traduce en una tecnología enormemente cara. Por otra parte, después de tanto coste, la óptica multiconjugada sólo es capaz de medir la fase atmosférica asociada a, como mucho, tres capas horizontales de turbulencia (con tres sensores de fase midiendo simultáneamente), es decir, barre una proporción diminuta del cilindro tridimensional que afecta a la imagen, además recuperan una estimación de la fase con cálculos tan complicados que comprometen seriamente la corrección adaptativa del haz óptico dentro del tiempo de estabilidad de la atmósfera en el visible (10 ms).

La técnica que aquí se propone permite:

-: Ceñirse a una sola medida y a un sólo sensor, dentro de cada tiempo de estabilidad atmosférico.

-: Una recuperación del módulo y fase asociados a cada capa horizontal turbulenta, es decir, tomografía de toda la atmósfera mediante una técnica original que hemos denominado “transformada SCPH” (“Summation of Constrained Planes in an Hypercube”, Suma de Planos Conﬁnados en un Hipercubo), ya de por sí rápida en atención al número y tipo de operaciones (sumas) que utiliza, pero que puede ser acelerada con una adaptación inteligente de la misma a Unidades de Procesamiento Gráﬁco (GPU) o a unidades de hardware reconﬁgurable como son las FPGA (“Field Programable Gate Arrays”, matriz de puertas programables de campo).

-: Evitar la necesidad de utilizar estrellas láser artiﬁciales, pues puede recuperar en tiempo real la imagen del objeto a su llegada a la atmósfera terrestre, ya que esta nueva técnica no necesita de calibración con señal puntual para luego deconvolucionar.

Sin embargo, los antecedentes de la invención no se centran exclusivamente en el campo de la Astrofísica. En el sector de la óptica, o la oftalmología, el interés principal en realizar tomografía de ojo humano estriba esencialmente en obtener y disponer, por parte de los especialistas médicos, de una imagen nítida del fondo de retina del paciente, para poder realizar los diagnósticos con mayor ﬁabilidad. El humor acuoso, el humor vítreo y el cristalino, se comportan en el ojo como medios que aberran la imagen que se puede obtener del fondo de retina.

Aunque para este caso no es necesario realizar medidas tan frecuentemente como en la atmósfera terrestre (una cada 10 ms), pues se trata de una deformación estable, sí que se exige suﬁciente resolución tridimensional para no sólo obtener una buena imagen de fondo de retina, sino también detectar la situación espacial de posibles lesiones oculares.

Por último, y en otro sector como es el de la imagen televisiva o cinematográﬁca, se tienen los retos relativos a la televisión tridimensional, donde uno de los problemas fundamentales es la generación de contenidos en tiempo real, dado que las técnicas son tan complejas y laboriosas que necesitan intervención humana durante el proceso de generación de contenidos 3D que puedan ser mostrados por los “displays 3D” ya existentes. En este sentido, la implementación optimizada sobre hardware de cómputo paralelo (GPUs y FPGAs) de las técnicas que aquí se proponen permite generar contenidos tridimensionales en tiempo real.

Se conocen aproximaciones en el estado de la técnica dentro los campos citados, donde se han colocado microlentes en el plano imagen de una lente convergente dando lugar a dispositivos y métodos para la medida de parámetros de imágenes, no obstante, los mismos no utilizan dicho montaje ni para realizar la medida tomográﬁca de la aberración óptica, ni para obtener las distancias en la escena.

Por ejemplo, Adelson y Wang (“Single lens stereo with a plenoptic camera”) utilizan el dispositivo para obtener distancias con una técnica totalmente diferente a la presentada en este documento.

Los autores Ren Ng et al. (“Light ﬁeld photography with a hand-held plenoptic camera”) utilizan la técnica de “Slice” de Fourier asociada a microlentes en el plano imagen sólo para obtener fotografías enfocadas de escenas reales en rangos de unos pocos metros cúbicos de volumen, con calidad aparentemente superior a la habitual técnica de profundidad de campo. En este caso, la técnica propuesta permite calcular el “focal stack” si se aplica repetidamente para las distancias que cubran el volumen requerido, incurriendo en unos requisitos computacionales que imposibilitarían el procesado en tiempo real. Sin embargo, el “focal stack” es sólo un paso intermedio en nuestra técnica, ya que con el procedimiento aquí propuesto es posible su cómputo para todo un volumen y con menor número de operaciones de las que Ren Ng emplea para el cómputo de un solo plano. Lo que en deﬁnitiva proporciona nuestro procedimiento es conocer la distancia y la amplitud compleja del campo electromagnético en las posiciones de las superﬁcies de la escena.

En cuanto a los procedimientos de extracción de información, se conoce que obtener imagen fotográﬁca a partir del “light-ﬁeld” (función plenóptica cuatridimensional), f(u, v, x, y), es posible integrando todos los rayos que alcanzan cada punto (x, y) del sensor, provenientes de cada punto del plano de la lente (u, v).

La imagen obtenida por el operador

reimagina la imagen fotográﬁca

que se hubiera obtenido con un sensor convencional enfocado en el plano a distancia F, conjugado respecto de la lente objetivo del conjunto microlentes-sensor. Si se deseara reimaginar en un plano a distancia F’ = α · x, anterior o posterior a F, Ren Ng demuestra, por semejanza de triángulos que hay que evaluar:

La evaluación de ese operador para cada posible distancia α · F requiere O(N4) operaciones, y, por lo tanto, para N planos requeriría O(N5) operaciones.

Ren Ng demuestra también que si se calcula la transformada de Fourier 4D de la función plenóptica cuatridimensional, lo que conlleva O(N4 log2 N) operaciones de suma y multiplicación compleja, los distintos planos de reenfoque se pueden obtener realizando una rotación, truncado a 2D y antitransformada de Fourier en 2D de la función transformada 4D de la función plenóptica cuatridimensional, cada uno de ellos con una complejidad computacional de O(N2)+ O(N2 log2 N) a añadir al coste inicial de la transformada de Fourier de la función 4D medida.

Con el objeto de reducir el coste computacional del cálculo del “focal stack”, en nuestro caso se propone el uso de una transformada de suma a lo largo de planos restringidos en hipercubos discretizados. Se ha de notar que la integral de formación fotográﬁca equivale geométricamente a evaluar la integral a lo largo de planos en una función cuyo dominio es un hipercubo de dimensión 4. Así entendida, la integral de formación fotográﬁca, es un caso particular de

añadiendo la restricción de que las pendientes r1y

r2 que deﬁnen los planos de integración son iguales para el caso que nos ocupa, lo cual permite reducir el número de operaciones a realizar.

El antecedente más cercano al método propuesto para realizar este cómputo es la transformada rápida (o aproximada, según el autor) discreta de Radon, propuesta por Götz y Druckmüller, y Brady independientemente, que evalúa simultáneamente el sumatorio de los valores a lo largo de una serie de líneas discretas, caracterizadas cada una por una pendiente y un desplazamiento respecto del origen, dispuestas sobre una rejilla bidimensional de datos, por medio de O(N2 log2 N) sumas donde la evaluación directa del sumatorio sobre cada línea requería O(N) operaciones, y por lo tanto, la evaluación para N pendientes y N desplazamientos requería O(N3) sumas. Nosotros extendemos ese procedimiento para computar la suma a lo largo de planos en una hipercubo 4D, y aplicamos la misma premisa de minimizar el número de sumas a realizar mediante la reutilización de las sumas parciales de valores contenidos por más de un plano discreto, lo cual permite reducir el número de sumas a O(N4). La descripción formal del método se expondrá más adelante.

Finalmente, dejando a un lado los procedimientos para la obtención de la información y continuando con el montaje del dispositivo, autores como Richard M. Clare and Richard G. Lañe (“Wave-front sensing from subdivision of the focal plane with the lenslet array”) colocan una matriz de microlentes justo en el foco de la lente convergente, no en cualquier posición del plano imagen, y obtienen la fase del frente de onda sólo en la pupila de la lente, no topográﬁcamente como es nuestro caso, pues con nuestro procedimiento se puede determinar la fase del frente de onda a cualquier distancia dentro del volumen tridimensional del espacio objeto. Además, como se ha dicho anteriormente, nuestros resultados permiten caracterizar el campo electromagnético no sólo por la fase del frente de onda en un plano, sino por la amplitud compleja del campo electromagnético asociado al frente de onda en todo el volumen.

En deﬁnitiva, los procedimientos y resultados descritos en este documento suponen una mejora apreciable de lo establecido en el estado de la técnica.

Descripción de la invención

La invención deﬁne un método para la adquisición en tiempo real de información visual de escenas tridimensionales según la reivindicación 1 y un sistema según la reivindicación 4.

Nuestra técnica consiste esencialmente en la colocación de microlentes en el plano imagen de una lente convergente para, a partir de la imagen registrada en la superﬁcie detectora, obtener las distancias de la escena mediante el siguiente procedimiento: en primer lugar, cálculo del “focal stack” por medio de una técnica nueva que se ha denominado SCPH (“Summation of Constrained Planes in an Hypercube”, descrita más abajo); en segundo lugar, aplicación de un operador de medida de calidad de enfoque en el “focal stack” (varianza, laplaciano, gradiente) y en tercer lugar, la aplicación del algoritmo de cálculo del estado óptimo sobre un campo aleatorio de Markov (por ejemplo: propagación de la creencia basada en el re-ponderado de árboles V. Kolmogorov).

Asimismo, nuestra técnica consiste también en la colocación de microlentes en el plano imagen de una lente convergente para que a partir de la imagen registrada en la superﬁcie detectora obtener la amplitud compleja del campo electromagnético asociado al frente de onda de la escena mediante el siguiente procedimiento: en primer lugar, cálculo del “focal stack” por medio de la transformada SCPH, que proporciona la tomografía del módulo cuadrado de la amplitud compleja del frente de onda, en segundo lugar, la aplicación del operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen de la escena (Clarke and Lañe, etc.), y por último la recuperación de la fase del frente de onda del campo electromagnético asociado (Hudgin, etc.).

El montaje estaría constituido por una única matriz de microlentes, formando imagen sobre una superﬁcie detectora de suﬁciente resolución (por ejemplo un dispositivo CCD), estando situada la matriz de microlentes en una posición del espacio imagen de una lente convergente, lo que permite realizar medidas tomográﬁcas del espacio tridimensional objeto.

El tratamiento de la imagen se realiza con un procesador de cómputo paralelo, tal como una tarjeta de procesamiento gráﬁco GPU, o una placa dotada de un chip FPGA, etc., que implementan las técnicas descritas anteriormente según la siguiente secuencia:

Para la medida de distancias se realizan los siguientes pasos:

1) Cálculo del “focal stack” por medio de la transformada SCPH desarrollada para la implementación óptima sobre hardware de cómputo paralelo: GPUs y FPGAs.

2) Aplicación del operador de medida de calidad de enfoque en el “focal stack”, adaptado de manera óptima al mismo hardware de cómputo paralelo: GPUs y FPGAs.

3) Cálculo del estado óptimo sobre un campo aleatorio de Markov, implementado de manera optimizada sobre hardware de cómputo paralelo: GPUs y FPGAs.

Para la medida tomográﬁca de la amplitud compleja del campo electromagnético asociado al frente de onda se realizan los siguientes pasos:

1) Cálculo del “focal stack” por medio de la transformada SCPH, cuya raíz cuadrada suministra directamente el módulo de la amplitud compleja del campo electromagnético en cualquier punto del volumen de la escena, desarrollado para la implementación óptima sobre hardware de cómputo paralelo: GPUs y FPGAs.

2) Aplicación del operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen de la escena, optimizado para hardware de cómputo paralelo: GPUs y FPGAs.

3) Recuperación de la fase del frente de onda del campo electromagnético asociado, optimizado para hardware de cómputo paralelo: GPUs y FPGAs.

Las medidas se realizan una sola vez, es decir, una única imagen contiene la información suﬁciente para recuperar el entorno tridimensional. Tal imagen puede ser entendida como compuesta de 4 dimensiones: dos coordenadas sobre el detector asociadas al interior de cada micro lente y otras dos coordenadas asociadas a la matriz de microlentes.

La transformada SCPH que proponemos consiste en computar simultáneamente la suma de los valores posicionados en la función 4D discreta, f(u, v, x, y), sobre planos tales que las coordinadas de los puntos ubicados en ellos cumplen simultáneamente que x=u · r+j e y=v · r+k, bajo ciertas condiciones de discretización, reutilizando las sumas parciales de puntos contenidos por más de un plano discreto, siendo u y v las dimensiones horizontal y vertical sobre el plano de la lente y x e y las dimensiones horizontal y vertical sobre el plano sensor, y j, k y r, las dimensiones en horizontal, vertical y profundidad del “focal stack” que se desea obtener.

Se deﬁne la transformación parcial de los datos, hasta la etapa m, como:

donde se considera que la función tiene dimensiones NxNxNxN, con n = log2 N, la función

describe la forma discreta en que la sucesión de puntos (u, lns(u)+ d), con u ∈ (0, N), une los puntos (0, d)y

(N -1,s + d) formando una línea discreta de pendiente s/(N -1), y la función

devuelve el valor

correspondiente a la nupla binaria

Si

entonces

que aproxima a la integral de formación fotográﬁca

pa

ra un volumen de N planos de profundidad.

La fórmula recurrente que mapea dos etapas parciales m y m + 1, describe completamente el método, y requiere ser aplicada n veces:

Nótese que el dominio para el que está descrita la transformación parcial ˜f m+1 es la mitad que el que requiere ˜f m, transformándose progresivamente de un dominio 4D a un dominio 3D, en un proceso que requiere O(N4) sumas, lo que se traduce en un ahorro de tiempo de cómputo superior al ochenta por ciento respecto a los procesos actuales.

Siguiendo este procedimiento, y con las técnicas aquí propuestas, es posible recuperar tanto profundidades como módulos y fases de la amplitud compleja del frente de onda en cada posición de las superﬁcies de la escena, lo que permite escanear tridimensionalmente al completo y en tiempo real la escena, resultando por lo tanto, de gran aplicación en los campos citados anteriormente.

Descripción de las ﬁguras

Figura 1: Esquema de la disposición de la lente de apertura (1), de las lentillas (2), y de superﬁcie detectora (3) que forman nuestra cámara de fase. (5) es la distancia desde la lente convergente a la que enfoca un determinado objeto del espacio objeto. (6) es la focal de cada microlente de la matriz de lentillas. (7) es el ángulo de inclinación local del frente de onda. (4) es el desplazamiento en camino óptico que sufre el frente de onda turbulento respecto a otro sin aberrar.

Figura 2: Esquema conceptual de la invención aplicada a un telescopio con un gran espejo principal (1). Realización de tomografía de atmósfera en observación astrofísica de una estrella (8) con óptica adaptativa. Las capas de turbulencia individuales dentro de la atmósfera corresponden a (9) y (10). La cámara de fase permite barrer el cilindro completo de turbulencia atmosférica (13) que afecta a la imagen ﬁnal del telescopio.

Figura 3: Esquema conceptual de una clásica observación astrofísica de una estrella (8) que utilice óptica adaptativa multiconjugada a dos capas de turbulencia en la atmósfera (9) y (10). Sólo es capaz de recuperar un número muy pequeño de capas de turbulencia individuales (tres capas a lo sumo). (11) y (12) indican los sensores de frente de onda asociados conjugadamente a cada capa turbulenta. (1) se corresponde con el telescopio.

Ejemplo de un modo de realización de la invención

Ejemplo 1

Medida de distancias a la que se encuentran objetos de una escena

Se considera el caso particular de la observación desde nuestra invención de una escena consistente en el interior de una habitación amueblada, donde se distinguen, como componentes, varios objetos situados en un rango de profundidades desde los 0,5 hasta los 4 metros respecto de la posición de la cámara.

Para conformar nuestra cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales se utiliza un sensor CCD de resolución máxima 4000x2672 modelo IPX-11M5 de Imperx. Siguiendo el montaje de la Figura 1, previo al CCD se coloca una lente objetivo de igual relación focal que la posterior matriz de microlentes (16x16 y en montura F-Nikon) que enfocan sobre el CCD abarcando 1024x1024 píxeles. La cámara presenta en esta dispoción una apertura angular de 30º en horizontal, y se enfoca en la región central de la escena, a aproximadamente 2 metros.

La imagen detectada es tratada con una tarjeta gráﬁca GPU nVidia 8800 GTX programada con los siguientes procedimientos:

1.-Cálculo del “focal stack” mediante la transformada SCPH.

2.-Aplicación del operador “Varianza” para estimación de la calidad del enfoque.

3.-Recuperación de las distancias mediante el método de “propagación de la creencia basada en el re-ponderado de árboles V. Kolmogorov”.

Con esta cámara y este procedimiento el mapa de profundidades de la escena es obtenido.

Ejemplo 2

Medida de la amplitud compleja del campo electromagnético

Se considera el caso particular de una observación astrofísica con un telescopio de diámetro superior al diámetro de coherencia r0 de la atmósfera (aproximadamente 20 cm. en el visible). La turbulencia de la atmósfera provoca pérdida de resolución en la imagen obtenida con el telescopio, es decir, pérdida de la información de altas frecuencias espaciales. Para evitarlo, debe conocerse la forma en que la turbulencia atmosférica degrada el frente de onda de la luz proveniente de la estrella en estudio. Para ello, puede usarse como referencia estrellas puntuales naturales o artiﬁciales que permitan caracterizar la deformación que la atmósfera introduce en el frente de onda.

Con óptica adaptativa multiconjugada clásica (Figura 3), un sensor de fase de frente de onda debe ser usado por cada espejo deformable conjugado a una capa de turbulencia individual, es decir dos sensores de fase (WFS) diferentes que deben ser alineados y puestos en funcionamiento paralelamente y en diferentes posiciones del eje óptico. La complejidad de los cálculos y la necesidad de velocidad, pues la atmósfera cambia cada 10 milisegundos en el visible, hace actualmente imposible superar la corrección a sólo tres capas de turbulencia atmosférica.

Con nuestra invención, siguiendo el diseño mostrado en la Figura 1, y cuyo funcionamiento en este supuesto se muestra en la Figura 2, sólo un sensor es utilizado, colocado en una única posición del eje óptico.

En este caso, como lente objetivo actúa el propio telescopio descrito anteriormente. En su espacio imagen se coloca una matriz de microlentes (32x32, montura C) que enfoca sobre una cámara ANDOR modelo IXON 512x512 píxeles y luego los datos son recogidos y tratados mediante una FPGA modelo ML501 de Virtex previamente programada mediante el siguiente procedimiento:

1.-Cálculo del “focal stack” mediante la transformada SCPH.

2.-Aplicación del operador para la obtención de gradientes de la fase (Clarke and Lañe).

3.-Recuperación de la fase del frente de onda mediante el método con desarrollo en exponenciales complejas.

Una sola medida, procesada posteriormente como se ha descrito, permite obtener el mapa tridimensional de turbulencias (amplitud compleja del frente de onda) asociado a toda la columna de atmósfera que afecta a la observación con nuestro telescopio y la altura a la que estas capas de turbulencia se encuentran, así como la distancia y perﬁl tridimensional si una estrella láser artiﬁcial fuese utilizada.

Claims

REIVINDICACIONES

1. Método para la adquisición en tiempo real de información visual de escenas tridimensionales que comprende:

(a)

registrar una imagen mediante una cámara de fase que comprende una lente objetivo, una matriz de microlentes situada en el espacio imagen de la lente objetivo y un sensor colocado en la focal de las microlentes, y

(b)

calcular un “focal stack” asociado a un espacio objeto medido por la cámara, a partir de su función plenóptica discreta, f(s, t,j, k),

caracterizado porque comprende evaluar la integral de formación fotográﬁca

como una suma a lo largo de planos en un hipercu

bo 4D, siendo u, v las dimensiones horizontal y vertical en el plano de la lente, y j, k, r las dimensiones horizontal, vertical y profundidad del focal stack a obtener,

comprendiendo a su vez dicha evaluación de la integral de formación fotográﬁca las siguientes etapas:

(b1) hacer equivaler los datos capturados, f(s, t, j, k), con los datos transformados hasta la etapa 0, ˜f 0(r, s, t, j, k), es decir:

(b2) aplicar a continuación n = log2 N veces la siguiente transformación parcial:

hasta la obtención de

que aproxima a la integral de formación

fotográﬁca Er(j, k) para un volumen de N planos de profundidad.
2. Método para la adquisición en tiempo real de información visual de escenas tridimensionales según la reivindicación 1, aplicado a la medida de distancias en tiempo real en escenas tridimensionales, caracterizado porque comprende las siguientes etapas adicionales:

aplicar un operador de medida de calidad de enfoque en el “focal stack” calculado, y

calcular el estado óptimo sobre un campo aleatorio de Markov.
3. Método para la adquisición en tiempo real de información visual de escenas tridimensionales según la reivindicación 1, aplicado a la medida tomográﬁca en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda, caracterizado porque comprende las siguientes etapas adicionales:

obtener el módulo de la amplitud compleja del campo electromagnético en cualquier punto del volumen del espacio objeto a partir de la raíz cuadrada del “focal stack” calculado,

aplicar un operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen del espacio objeto, y

recuperar la fase del frente de onda del campo electromagnético asociado.
4. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales que comprende

una lente convergente, una matriz de microlentes colocada en una posición del espacio imagen de la lente convergente y que forma imagen sobre una superﬁcie detectora de suﬁciente resolución, y

medios de procesamiento de cómputo paralelo adaptados para -calcular el “focal stack” asociado al espacio objeto medido por la cámara mediante la etapa b) del método

de la reivindicación 1, -obtener la amplitud compleja del campo electromagnético (módulo y fase) y -obtener la distancia en cualquier posición del espacio objeto medido.
5.

Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 4, en la que los medios de procesamiento están adaptados para obtener la distancia en cualquier posición del espacio objeto mediante el método de la reivindicación 2.
6.

Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 4, en la que los medios de procesamiento están adaptados para obtener la amplitud compleja del campo electromagnético mediante el método de la reivindicación 3.

OFICINA ESPANOLA DE PATENTES Y MARCAS ESPANA

INFORME SOBRE EL ESTADO DE LA TECNICA

51 Int. Cl. G06T7100 (2006.01)

21 N.o solicitud: 200800126 22 Fecha de presentaci6n de la solicitud: 15.01.2008 32 Fecha de prioridad:

DOCUMENTOS RELEVANTES

Categoria

Documentos citados Reivindicaciones afectadas

A

WO 2007082975 A1 (UNIVERSIDAD DE LA LAGUNA) 26.07.2007, 1-6

todo el documento.

A

NG, R. et al.: "Light Field Photography with a Hand-held Plenoptic Camera". Stanford Tech. 1-6

Report, febrero de 2005, paginas 1-11.

A

CLARE, R. & LANE, R.: "Wavefront sensing from spatial filtering at the focal plane". Astronomical 1-6

Adaptive Optics Systems and Applications, Proceedings of the SPIE, 2003, Vol. 5169,

paginas 43-54.

A

CLARE, R. & LANE, R.: "Wave-front sensing from subdivision of the focal plane with lenslet array". 1-6

Optical Society of America Journal, 2005, Vol. 22, Issue 1, paginas 117-125.

A

CLARE, R. & ELLERBROEK, B.: "Sky coverage for adaptive optics systems from computations in

Zernike space". J. Opt. Soc. Am. A, febrero de 2006, Vol. 23, No 2, paginas 418-426.

Categoria de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoria A: refleja el estado de la tecnica O: referido a divulgaci6n no escrita P: publicado entre la fecha de prioridad y la de presentaci6n de la solicitud E: documento anterior, pero publicado despues de la fecha de presentaci6n de la solicitud

El presente informe ha sido realizado � para todas las reivindicaciones � para las reivindicaciones no:

Fecha de realizaci6n del informe 20.12.2011

Examinador O. Gonzalez Penalba Pagina 1/4

INFORME DEL ESTADO DE LA TECNICA

No de solicitud: 200800126

Documentaci6n minima buscada (sistema de clasificaci6n seguido de los simbolos de clasificaci6n) G06T, G01J Bases de datos electr6nicas consultadas durante la busqueda (nombre de la base de datos y, si es posible, terminos de

busqueda utilizados) INVENES, EPODOC, WPI, INSPEC

Informe del Estado de la Tecnica Pagina 2/4

OPINION ESCRITA

No de solicitud: 200800126

Fecha de Realizaci6n de la Opini6n Escrita: 20.12.2011

Declaraci6n

Novedad (Art. 6.1 LP 11/1986)

Reivindicaciones 1-6 SI

Reivindicaciones

NO

Actividad inventiva (Art. 8.1 LP11/1986)

Reivindicaciones 1-6 SI

Reivindicaciones

NO

Se considera que la solicitud cumple con el requisito de aplicaci6n industrial. Este requisito fue evaluado durante la fase de examen formal y tecnico de la solicitud (Articulo 31.2 Ley 11/1986).

Base de la Opini6n.-

La presente opini6n se ha realizado sobre la base de la solicitud de patente tal y como se publica.

Consideraciones

La presente invenci6n se refiere, respectivamente en sus reivindicaciones 1 y 4, a un metodo y una camara de fase para la adquisici6n entiempo real de escenas tridimensionales,en los que se registra una imagen mediante la camara de fase, para calcular un "focal stack" asociado al espacio objeto medido por la camara, a partir de su funci6n plen6ptica discreta, y donde, de manera adicional, la integral de formaci6n fotografica se aproxima iterativamente para un volumen de N planos de profundidad utilizando una determinada transformaci6n parcial en iteraciones sucesivas. Las restantes reivindicaciones 2 y 3, dependientes de la primera, concretan el metodo, respectivamente, para la medida de distancias en tiempo real en escenas tridimensionales y para la medida tomografica en tiempo real de la amplitud compleja del campo electromagnetico asociado a un frente de onda; y las reivindicaciones 5 y 6, dependientes de la 4,particularizan los medios de procesamiento necesarios para la realizaci6n de los metodos concretos respectivos recogidos las reivindicaciones 2 y 3.

Informe del Estado de la Tecnica Pagina 3/4

OPINION ESCRITA

No de solicitud: 200800126

1. Documentos considerados.-

A continuaci6n se relacionanlos documentos pertenecientes al estado de la tecnica tomados en consideraci6n para la realizaci6n de esta opini6n.

Documento

Numero Publicaci6n o Identificaci6n Fecha Publicaci6n

D01

WO 2007082975 A1 (UNIVERSIDAD DE LA LAGUNA) 26.07.2007
2. Declaraci6n motivada segun los articulos 29.6 y 29.7 del Reglamento de ejecuci6n de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaraci6n

Se consideraque lainvenci6n definida enlas reivindicaciones 1 a 6 tiene novedadyactividad inventiva por no estar comprendida en el estado de la tecnica ni poder ser deducida de este de un modo evidente por un experto en la materia. Se han encontrado en el estado de la tecnica documentos que buscan la captaci6n de escenas en tres dimensiones con vistas al analisis de diversos parametros inherentes a la escena, tomografia, metrologia, etc. Asi, por ejemplo el documento D01, citado en el Informe sobre el Estado de la Tecnica (IET) con la categoria A y considerado la anterioridad mas pr6xima al objeto de la presente invenci6n, describe una camara de fase similar a la definida en la reivindicaci6n 4, formada por microlentes colocadas en el foco de una lente convergente, cuyos datos permiten obtener tanto el mapa tridimensional del frente de onda como el mapa de profundidades en escenas reales dentro de amplio alcance volumetrico. Sin embargo, a diferencia de la invenci6n, el tratamiento de los datos obtenidos en la captaci6n se realiza con tecnicas ("Slice" de Fourier, con detecci6n de bordes por Transformada Rapida de Fourier) esencialmente distintas de la transformaci6n iterativa parcial recogida en la reivindicaci6n primera, por lo que cabe concluir que la invenci6n, tanto en esta primera reivindicaci6n como en todas las demas en tanto en cuanto dependen de ella, tiene novedad y actividad inventiva de acuerdo con los Articulos 6 y 8 de la LP.

Informe del Estado de la Tecnica Pagina 4/4