[go: up one dir, main page]

ES2602091T3 - Intercambio combinado de datos de imagen y relacionados - Google Patents

Intercambio combinado de datos de imagen y relacionados Download PDF

Info

Publication number
ES2602091T3
ES2602091T3 ES06765780.9T ES06765780T ES2602091T3 ES 2602091 T3 ES2602091 T3 ES 2602091T3 ES 06765780 T ES06765780 T ES 06765780T ES 2602091 T3 ES2602091 T3 ES 2602091T3
Authority
ES
Spain
Prior art keywords
dimensional matrix
combined
dimensional
image data
data elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES06765780.9T
Other languages
English (en)
Inventor
Pieter W. T. De Jong
Patric Theune
Mauritius H. J. Van Der Pot
Johannes H. P. Wouters
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Application granted granted Critical
Publication of ES2602091T3 publication Critical patent/ES2602091T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Un procedimiento de intercambio combinado de datos de imagen y datos adicionales, que son valores de profundidad o de disparidad relacionados con los datos de imagen entre una unidad de transmisión (104) y un dispositivo de visualización de múltiples vistas (406) sobre un enlace RGB, estando los datos de imagen representados por una primera matriz bidimensional de elementos de datos de imagen y estando los datos adicionales representados por una segunda matriz bidimensional de elementos de datos adicionales, comprendiendo el procedimiento - proporcionar la primera matriz bidimensional y la segunda matriz bidimensional a la unidad de transmisión, - combinar la primera matriz bidimensional, la segunda matriz bidimensional, y los metadatos en una matriz bidimensional combinada de elementos de datos, siendo los metadatos datos descriptivos de la matriz bidimensional combinada, - transmitir la matriz bidimensional combinada por el enlace RGB hacia el dispositivo de visualización de múltiples vistas (406), - en el que las filas de la matriz bidimensional combinada se llenan mediante el intercalado de filas de las matrices del conjunto de matrices bidimensionales, que comprende la primera y la segunda matriz bidimensional, de manera que un proceso de reproducción, para el cual se necesitan tanto datos de imagen como datos relacionados de profundidad, puede comenzar tan pronto como solo una porción de la matriz bidimensional combinada se intercambie.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Intercambio combinado de datos de imagen y relacionados
La invencion se refiere a procedimientos de intercambio combinado de datos de imagen y datos adicionales relacionados con los datos de imagen, estando los datos de imagen representados por una primera matriz bidimensional de elementos de datos de imagen y estando los datos adicionales representados por una segunda matriz bidimensional de elementos de datos adicionales.
La invencion se refiere ademas a una unidad de transmision para el intercambio combinado de datos de imagen y datos adicionales que estan relacionados con los datos de imagen.
La invencion se refiere ademas a un aparato de procesamiento de imagenes que comprende tal unidad de transmision.
La invencion se refiere ademas a una unidad de recepcion para el intercambio combinado de datos de imagen y datos adicionales relacionados con los datos de imagen.
La invencion se refiere ademas a un dispositivo de visualizacion de multiples vistas que comprende una unidad de recepcion de este tipo.
Desde la introduccion de dispositivos de visualizacion, un dispositivo de visualizacion en 3-D realista ha sido un sueno para muchos. Muchos de los principios que debenan conducir a un dispositivo de visualizacion de este tipo se han investigado. Algunos principios intentan crear un objetivo en 3-D realista en un cierto volumen. Por ejemplo, en el dispositivo de visualizacion divulgado en el artfculo "Solid-state Multi-planar Volumetric Display", de A. Sullivan en los procedimientos de SID'03, 1531-1533, 2003, los datos visuales se desplazan en un conjunto de planos mediante un proyector rapido. Cada plano es un difusor conmutable. Si el numero de planos es lo suficientemente alto, el cerebro humano integra la imagen y observa un objetivo en 3-D realista. Este principio permite a un espectador mirar alrededor del objetivo en cierta medida. En este dispositivo de visualizacion todos los objetivos son (semi)transparentes.
Muchos otros tratan de crear un dispositivo de visualizacion en 3-D basado solamente en disparidad binocular. En estos sistemas, el ojo izquierdo y derecho del espectador percibe otra imagen y, en consecuencia, el espectador percibe una imagen en 3-D. Una vision general de estos conceptos se puede encontrar en el libro "Stereo Computer Graphics and Other True 3-D Technologies", de DFMcAllister (Ed.), Princeton University Press, 1993. Un primer principio usa gafas obturadoras en combinacion con, por ejemplo, un tubo de rayos catodicos. Si se visualiza la trama impar, se bloquea la luz para el ojo izquierdo y si se visualiza la trama par, se bloquea la luz para el ojo derecho.
Los dispositivos de visualizacion que muestran 3-D sin necesidad de aparatos adicionales se denominan dispositivos de visualizacion auto-estereoscopicos.
Un primer dispositivo de visualizacion sin gafas comprende una barrera para crear conos de luz dirigida a los ojos izquierdo y derecho del espectador. Los conos se corresponden, por ejemplo, a las columnas de subpfxeles impares y pares. Al abordar estas columnas con la informacion apropiada, el espectador obtiene diferentes imagenes en el ojo izquierdo y derecho si se coloca en el lugar correcto, y es capaz de percibir una imagen en 3-D.
Un segundo dispositivo de visualizacion sin gafas comprende un conjunto de lentes para enviar la luz de las columnas de subpfxles pares e impares a los ojos izquierdo y derecho del espectador.
La desventaja de los dispositivos de visualizacion sin gafas mencionados anteriormente es que el espectador tiene que permanecer en una posicion fija. Para guiar al espectador, se han propuesto indicadores para mostrar al espectador que esta en la posicion correcta. Vease por ejemplo la patente de los Estados Unidos US5986804, donde una placa de barrera se combina con un LED rojo y verde. En caso de que el espectador este bien posicionado, ve una luz verde, y en caso contrario una luz roja.
Para que el espectador no tenga que sentarse en una posicion fija, se han propuesto varios dispositivos de visualizacion auto-estereoscopica de multiples vistas. Veanse por ejemplo las patentes de los Estados Unidos US60064424 y US20000912. En los dispositivos de visualizacion divulgados en los documentos US60064424 y US20000912 se usa una lente lenticular inclinada, en la que el ancho de la lente lenticular es mayor que dos subpfxeles. De este modo, hay varias imagenes una al lado de otra y el espectador tiene cierta libertad para moverse hacia la izquierda y la derecha.
Con el fin de generar una impresion en 3-D en un dispositivo de visualizacion de multiples vistas, hay que reproducir imagenes desde diferentes puntos de vista virtuales. Esto requiere disponer de multiples vistas de entrada o alguna informacion de 3-D o profundidad. Esta informacion de profundidad puede registrarse, generarse a partir de sistemas
5
10
15
20
25
30
35
40
45
50
55
60
de camaras de multiples vistas o generarse a partir de material de v^deo en 2D convencional. Para la generacion de la informacion de profundidad a partir de v^deo en 2-D, pueden aplicarse varios tipos de senales de profundidad: tales como estructura a partir del movimiento, informacion de enfoque, formas geometricas y oclusion dinamica. El objetivo es generar un mapa de profundidad denso, es decir, un valor de profundidad por pixel. Este mapa de profundidad se usa posteriormente para reproducir una imagen de multiples vistas para dar al espectador una impresion de profundidad. En el artfculo "Synthesis of multi viewpoint images at non-intermediate positions", de P.A. Redert, E.A. Hendriks, y J. Biemond, en Actas de la Conferencia Internacional sobre Acustica, Habla y Procesamiento de Senales, vol. IV, ISBN 0-8186-7919-0, paginas 2749-2752, IEEE Computer Society, Los Alamitos, California, 1997, se divulga un procedimiento de extraccion de informacion de profundidad y de reproduccion de una imagen de multiples vistas en base a la imagen de entrada y el mapa de profundidad. La imagen de multiples vistas es un conjunto de imagenes, que se mostrara mediante un dispositivo de visualizacion de multiples vistas para crear una impresion en 3-D. Normalmente, las imagenes del conjunto se crean en base a una imagen de entrada. La creacion de una de estas imagenes se realiza desplazando los pfxeles de la imagen de entrada con cantidades respectivas de desplazamiento. Estas cantidades de desplazamiento se denominan disparidades. Por lo tanto, normalmente para cada pixel hay un valor de disparidad correspondiente, formando en su conjunto un mapa de disparidad. Los valores de disparidad y los valores de profundidad estan normalmente inversamente relacionados, es decir:
imagen1
con S siendo la disparidad, a un valor constante y siendo D la profundidad. La creacion de un mapa de profundidad se considera que es equivalente a la creacion de un mapa de disparidad. En esta memoria descriptiva, los valores de disparidad y los valores de profundidad estan cubiertos ambos por el termino elementos de datos relacionados con la profundidad.
Los datos de video, es decir, la senal de imagen y los datos de profundidad correspondientes tienen que ser intercambiados entre varias unidades de procesamiento de imagenes y, finalmente, a un dispositivo de visualizacion, en particular, un dispositivo de visualizacion de multiples vistas.
Las conexiones de video existentes estan disenadas para intercambiar secuencias de imagenes. Normalmente, las imagenes se representan mediante matrices bidimensionales de valores de pfxeles a ambos lados de la conexion, es decir, el transmisor y el receptor. Los valores de los pfxeles corresponden a valores de luminancia y/o color. Tanto el transmisor como el receptor tienen conocimiento acerca de la semantica de los datos, es decir, comparten el mismo modelo de informacion. Normalmente, la conexion entre el transmisor y el receptor esta adaptada para el modelo de informacion. Un ejemplo de este intercambio de datos es un enlace RGB. Los datos de imagen en el contexto del transmisor y el receptor se almacenan y procesan en un formato de datos que comprende tripletes de valores: R (rojo), G (verde) y B (azul), formando conjuntamente los diferentes valores de los pfxeles. El intercambio de los datos de imagen se lleva a cabo por medio de tres flujos de datos correlacionados, pero separados. Estos flujos de datos son transferidos a traves de tres canales. Un primer canal intercambia los valores de rojo, es decir, secuencias de bits que representan los valores rojos, el segundo canal intercambia los valores azules y el tercer canal intercambia los valores verdes. Aunque los tripletes de valores se intercambian normalmente en serie, el modelo de informacion es tal que un numero predeterminado de tripletes juntos forman una imagen, lo cual significa que los tripletes tienen coordenadas espaciales respectivas. Estas coordenadas espaciales corresponden a la posicion de los tripletes en la matriz bidimensional que representa la imagen.
Ejemplos de normas, que se basan en un enlace RGB de este tipo, son DVI (interfaz visual digital), HDMI (interfaz multimedia de alta definicion) y LVDS (senal diferencial de bajo voltaje). Sin embargo, en el caso de 3-D, junto con los datos de video, los datos relacionados con la profundidad tambien tienen que intercambiarse.
Un objetivo de la invencion es proporcionar un procedimiento del tipo descrito en el parrafo inicial, que esta adaptado a las interfaces de video existentes.
Este objetivo de la invencion se consigue mediante un procedimiento segun la reivindicacion 1. El procedimiento comprende la combinacion de la primera matriz bidimensional, la segunda matriz bidimensional y los metadatos en una matriz bidimensional de elementos de datos combinada. La invencion se basa en la suposicion de que el modelo de informacion en los lados de transmisor y de recepcion de una conexion es compartido. Los elementos de datos de imagen de la primera matriz bidimensional y los elementos de datos adicionales se combinan en una matriz bidimensional combinada mas grande de elementos de datos para el intercambio de la matriz bidimensional combinada en una conexion que esta dispuesta para intercambiar elementos de datos que tengan una correlacion espacial mutua. Para la conexion, es decir, el canal de transmision, la semantica de los diversos elementos de datos no es relevante.
Una ventaja adicional de la combinacion de los elementos de datos de multiples matrices bidimensionales en una matriz bidimensional combinada mas grande es que muchos tipos de operaciones de procesamiento de imagenes
5
10
15
20
25
30
35
40
45
50
55
60
65
conocidas pueden realizarse mediante los componentes de procesamiento estandar, por ejemplo, una unidad de compresion y/o una unidad de descompresion.
Los datos adicionales pueden ser uno de los siguientes:
- Datos relacionados con la profundidad, es decir, cualquiera de los valores de profundidad o valores de disparidad, como se explico anteriormente;
- Otros datos de imagen, lo que significa que la matriz bidimensional combinada comprende valores de pfxeles de multiples imagenes; y
- Datos de desoclusion; ver la explicacion de este tipo de datos en el artfculo "High-Quality Images from 2.5D Video", de R.P. Berretty y F. Ernst, en Actas de EUROGRAPHICS '03, septiembre de 2003, y el artfculo "High-quality video view interpolation using a layered representation", de C. Lawrence Zitnick, Sing Bing Kang, Mateo Uyttendaele, Simon Winder, Richard Szeliski, en Actas de Siggraph 2004.
Se conoce un gran numero de aplicaciones en la tecnica anterior que implican el intercambio y/o procesamiento de datos de imagen adecuados, junto con otros datos relacionados con la imagen. El documento US2002/0071616 divulga la combinacion de dos o mas sub-matrices de imagen, con cada submatriz representando una imagen monocular en una matriz mas grande a la cual se anade una cabecera (la cabecera describe, entre otras cosas, el numero de imagenes monoculares que forman la imagen estereo y sus respectivas ubicaciones en de memoria) . Dicha matriz mas grande puede a continuacion almacenarse y transmitirse para su visualizacion.
El documento EP 1 501 317 A1 se refiere a la creacion, el almacenamiento, la extraccion y la reproduccion de imagenes en 3-D multi-oculares y menciona que los datos de audio, los datos de imagen de la izquierda y los datos de imagen de la derecha estan multiplexados en forma de paquete para ser registrados, con la cabecera del paquete indicando el tipo de datos.
N. Grammalidis et al.: "Disparity and Occlusion Estimation in Multiocular Systems and Their Coding for the Communication of Multiview Image Sequences" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 8, n.° 3, paginas 328-344, 01.06.1998 divulga el uso de mapas de oclusion en el contexto de la vision multi-ocular.
La matriz bidimensional combinada puede basarse en la primera y la segunda matrices bidimensionales. Pero preferiblemente la matriz bidimensional comprende tambien datos correspondientes a mas de dos matrices bidimensionales.
Un modo de realizacion del procedimiento segun la invencion, comprende ademas la combinacion de datos de la segunda imagen representados por una tercera matriz bidimensional en la matriz bidimensional combinada.
Otro modo de realizacion del procedimiento segun la invencion, comprende ademas la combinacion de segundos datos adicionales representados por una cuarta matriz bidimensional en la matriz bidimensional combinada.
Basicamente, la matriz bidimensional combinada comprende elementos de datos que representan informacion de imagen, profundidad, disparidad o desoclusion. Los elementos de datos de entrada, es decir, los elementos de la primera, la segunda, la tercera opcional y la cuarta opcional matrices bidimensionales se copian en los elementos de datos de salida para ser colocados en la matriz bidimensional combinada. La ubicacion en la matriz bidimensional combinada puede elegirse arbitrariamente siempre que coincida con el modelo de informacion compartida. Sin embargo, se prefiere colocar los elementos de datos de salida en la matriz bidimensional combinada de tal manera que los elementos de datos de salida se correspondan con los respectivos elementos de datos de entrada, formando en conjunto una entidad logica en una de las matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales, en una configuracion similar. Por ejemplo:
- Un bloque de elementos de datos de entrada se copia para formar un bloque de elementos de datos de salida en la matriz bidimensional combinada;
- Una fila de elementos de datos de entrada se copia para formar una fila de elementos de datos de salida en la matriz bidimensional combinada; o
- Una columna de elementos de datos de entrada se copia para formar una columna de elementos de datos de salida en la matriz bidimensional combinada.
- Se aplica un "modelo de tablero de ajedrez". Eso significa que cuatro elementos de datos de entrada procedentes de cuatro matrices bidimensionales de entrada se combinan en bloques.
5
10
15
20
25
30
35
40
45
50
55
60
65
En un modo de realizacion del procedimiento segun la invencion, la matriz bidimensional combinada se crea poniendo dos matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales adyacentes entre sf en direccion horizontal y dos del conjunto de las matrices bidimensionales adyacentes entre sf en direccion vertical.
En otro modo de realizacion del procedimiento segun la invencion, las filas de la matriz bidimensional combinada se llenan mediante el intercalado de filas de las matrices del conjunto de matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales. Preferentemente, una primera de las filas de la matriz bidimensional combinada comprende elementos de datos de imagen de la primera fila de la primera matriz bidimensional y elementos de datos adicionales de la primera fila de la segunda matriz bidimensional. Una ventaja de esta configuracion es un facil acceso a datos. Por ejemplo, un proceso de reproduccion, para el cual se necesitan tanto los datos de imagen como los datos relacionados con profundidad, pueden empezar tan pronto como se intercambia solo una parte de la matriz bidimensional combinada. Esto significa que no es necesario iniciar la reproduccion hasta que se reciban todos los elementos de datos.
El procedimiento segun la invencion comprende ademas la escritura de metadatos en la matriz bidimensional combinada. Meta-datos, tambien llamado cabecera, significa datos descriptivos de la matriz bidimensional combinada. Por ejemplo, el nombre, la fecha de creacion, el tamano horizontal, el tamano vertical y el numero de bits por elemento de datos de salida de la matriz bidimensional combinada estan representados por los metadatos.
El intercambio de informacion comprende enviar y recibir. El procedimiento como se describe y explica anteriormente esta relacionado con la parte envfo del intercambio de datos. Otro objetivo de la invencion es proporcionar un procedimiento correspondiente que este relacionado con la parte de recepcion del intercambio de datos y que tambien este adaptado a interfaces de video existentes.
Este objetivo de la invencion se consigue porque el procedimiento correspondiente segun la reivindicacion 7 comprende la extraccion de la primera matriz bidimensional, la segunda matriz bidimensional y meta-datos de una matriz bidimensional combinada de elementos de datos.
Un objetivo adicional de la invencion es proporcionar una unidad de transmision del tipo descrito en el parrafo inicial, que esta adaptada a las interfaces de video existentes.
Este objetivo de la invencion se consigue utilizando una unidad de transmision segun la reivindicacion 8, en el que la unidad de transmision comprende medios de combinacion para combinar la primera matriz bidimensional, la segunda matriz bidimensional y meta-datos en una matriz bidimensional combinada de elementos de datos.
Un objetivo adicional de la invencion es proporcionar una unidad de recepcion segun la reivindicacion 9, que este adaptada a las interfaces de video existentes.
Este objetivo de la invencion se consigue porque la unidad de recepcion comprende medios de extraccion para la extraccion de la primera matriz bidimensional, la segunda matriz bidimensional y metadatos de una matriz bidimensional de elementos de datos combinada.
Un objetivo adicional de la invencion es proporcionar un aparato de procesamiento de imagenes del tipo descrito en el parrafo inicial, que este adaptado a interfaces de video existentes.
Este objetivo de la invencion se consigue porque el aparato de procesamiento de imagenes comprende la unidad de transmision como se describio anteriormente.
Un objetivo adicional de la invencion es proporcionar un dispositivo de visualizacion de multiples vistas del tipo descrito en el parrafo inicial, que este adaptado a las interfaces de video existentes.
Este objetivo de la invencion se consigue porque el dispositivo de visualizacion de multiples vistas comprende la unidad de recepcion como se describio anteriormente.
Modificaciones de la unidad de transmision, la unidad de recepcion, y las variaciones de las mismas pueden corresponder a modificaciones y variaciones de las mismas del aparato de procesamiento de imagenes, el dispositivo de visualizacion de multiples vistas y los procedimientos descritos.
Estos y otros aspectos de la unidad de transmision, la unidad de recepcion, el aparato de procesamiento de imagenes, el dispositivo de visualizacion de multiples vistas y los procedimientos segun la invencion se haran evidentes a partir de y se aclararan con respecto a las implementaciones y los modos de realizacion descritos a continuacion y con referencia a los dibujos adjuntos, en los que:
La fig. 1 muestra esquematicamente un primer dispositivo de procesamiento conectado a un segundo dispositivo de procesamiento;
5
10
15
20
25
30
35
40
45
50
55
60
65
La fig. 2A muestra esquematicamente una matriz combinada basada en 4 matrices de entrada dispuestas adyacentes entre s^
La fig. 2B muestra esquematicamente la matriz combinada de la fig. 2A, que comprende una cabecera;
La fig. 3A muestra esquematicamente una matriz combinada basada en cuatro matrices de entrada mediante la cual las filas de las matrices de entrada se intercalan para formar la matriz combinada;
La fig. 3B muestra esquematicamente la matriz combinada de la fig. 3A que comprende una cabecera; y
La fig. 4 muestra esquematicamente un aparato de procesamiento de imagenes que comprende un dispositivo de visualizacion de multiples vistas, ambos segun la invencion.
Los mismos numeros de referencia se utilizan para indicar partes similares en todas las figuras.
La fig. 1 muestra esquematicamente un primer dispositivo de procesamiento 100 conectado a un segundo dispositivo de procesamiento 102. El primer dispositivo de procesamiento 100 y el segundo dispositivo de procesamiento pueden ser circuitos integrados (IC) como un procesador de imagenes y un controlador de pantalla, respectivamente. Alternativamente, el primer dispositivo de procesamiento 100 es un aparato mas complejo como un PC y el segundo dispositivo de procesamiento 102 es un dispositivo de visualizacion de multiples vistas, por ejemplo, un monitor. El primer y el segundo dispositivo de procesamiento 102 estan conectados por medio de conexiones ffsicas 116. Las conexiones ffsicas, por ejemplo, se basan en par trenzado o en par trenzado mas tierra para el transporte de datos en serie.
En la parte superior de las conexiones ffsicas se realizan conexiones logicas. Cada conexion logica se corresponde con un canal para el transporte de datos entre el primer dispositivo de procesamiento 100 y el segundo dispositivo de procesamiento 102. Por ejemplo, hay tres conexiones logicas para el transporte de datos, por ejemplo, DVI. La cuarta conexion logica, para el intercambio de informacion de temporizacion, es decir, la senal de reloj, no se tiene en cuenta.
El formato de datos que se aplica en el contexto del segundo dispositivo de procesamiento 102 es igual al formato de datos que se aplica en el contexto del primer dispositivo de procesamiento 100.
Con el fin de intercambiar datos de imagen en combinacion con los datos de profundidad correspondientes, el primer dispositivo de procesamiento 100 comprende una unidad de transmision 104 segun la invencion y el segundo dispositivo de procesamiento 102 comprende una unidad de recepcion 106 segun la invencion. La combinacion de la unidad de transmision 104, la conexion entre el primer 100 y el segundo 102 dispositivo de procesamiento y la unidad de recepcion 106 hace que el intercambio de datos entre el primer 100 y el segundo 102 dispositivo de procesamiento sea posible.
La unidad de transmision 104 comprende una serie de interfaces de entrada 108-114, de las cuales algunas son opcionales. La primera interfaz de entrada 108 es para proporcionar una primera matriz bidimensional. La segunda interfaz de entrada 110 es para proporcionar una segunda matriz bidimensional. La tercera interfaz de entrada 112 es para proporcionar una tercera matriz bidimensional. La cuarta interfaz de entrada 114 es para proporcionar una cuarta matriz bidimensional. La unidad de transmision 104 comprende un procesador para la combinacion de elementos de datos de entrada de al menos dos matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales en la matriz bidimensional combinada .
La matriz bidimensional combinada puede almacenarse temporalmente en la unidad de transmision 104 o el primer dispositivo de procesamiento 100. Tambien puede ser que los elementos de datos, que en conjunto forman la matriz bidimensional combinada, se transmitan a una unidad de recepcion 106, de forma smcrona con la combinacion de elementos de datos de entrada.
Preferiblemente, la unidad de transmision 104 comprende un serializador. Normalmente, los elementos de datos se representan con un numero de bits, que oscila entre 8 y 12. Los datos de la conexion ffsica se intercambian preferentemente por medio de transporte en serie. Por esa razon, los bits que representan los elementos de datos consecutivos se ponen en una serie secuencial de tiempo.
En relacion con las figs. 2A, 2B, 3A y 3B, se divulgan ejemplos de formatos de datos de la matriz bidimensional combinada que pueden ser proporcionados por la unidad de transmision 104 segun la invencion.
El procesador para combinacion y el serializador pueden implementarse usando un procesador. Normalmente, estas funciones se realizan bajo el control de un producto de programa de software. Durante la ejecucion, normalmente el producto de programa de software se carga en una memoria, como una RAM, y se ejecuta desde allf El programa puede cargarse desde una memoria de fondo, como una ROM, disco duro, o almacenamiento magnetico y/u optico,
5
10
15
20
25
30
35
40
45
50
55
60
65
o puede cargarse a traves de una red como Internet. Opcionalmente, un circuito integrado espedfico de aplicacion proporciona la funcionalidad descrita.
La unidad de recepcion 106 comprende un numero de interfaces de salida 116-122, de las cuales algunas son opcionales. La primera interfaz de salida 116 es para proporcionar una primera matriz bidimensional. La segunda interfaz de salida 118 es para proporcionar una segunda matriz bidimensional. La tercera interfaz de salida 120 es para proporcionar una tercera matriz bidimensional. La cuarta interfaz de salida 122 es para proporcionar una cuarta matriz bidimensional.
La unidad de recepcion 106 comprende un procesador para la extraccion de elementos de datos de entrada correspondientes a al menos dos matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales de la matriz bidimensional combinada de los elementos de datos de salida. En relacion con las figs. 2A, 2B, 3A y 3B, se divulgan ejemplos de formatos de datos de la matriz bidimensional combinada que pueden ser recibidos y extrafdos por la unidad de recepcion 106 segun la invencion.
Normalmente, estas funciones se realizan bajo el control de un producto de programa de software. Durante la ejecucion, normalmente el producto de programa de software se carga en una memoria, como una RAM, y se ejecuta desde allt El programa puede cargarse desde una memoria de fondo, como una ROM, disco duro, o almacenamiento magnetico y/u optico, o puede cargarse a traves de una red como Internet. Opcionalmente, un circuito integrado espedfico de aplicacion proporciona la funcionalidad descrita.
La fig. 2A muestra esquematicamente una matriz bidimensional combinada 200 en base a un numero de matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales. Los elementos de datos de salida que se basan en elementos de datos de entrada de la primera matriz bidimensional se indican con el caracter A. Los elementos de datos de salida que se basan en elementos de datos de entrada de la segunda matriz bidimensional se indican con el caracter B. Los elementos de datos de salida que se basan en elementos de datos de entrada de la tercera matriz bidimensional se indican con el caracter C. Los elementos de datos de salida que se basan en elementos de datos de entrada de la cuarta matriz bidimensional se indican con el caracter D.
La matriz bidimensional combinada tiene un tamano horizontal que es igual a H, lo cual significa que el numero de elementos de datos de salida que son adyacentes en la direccion horizontal es igual a H. La matriz bidimensional combinada tiene un tamano vertical que es igual a V, lo que significa que el numero de elementos de datos de salida que son adyacentes en direccion vertical es igual a V. Cada uno de los conjuntos de matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales tiene un tamano horizontal que es igual a H/2 y tiene un tamano vertical que es igual a V/2.
En la fig. 2A se indica que todos los elementos de datos de entrada de la primera matriz bidimensional se asignan a una sub-matriz 202 de la matriz bidimensional combinada 200. En otras palabras, los elementos de datos de salida que se basan en elementos de datos de entrada de la primera matriz bidimensional, logicamente, forman un bloque de elementos de datos de salida.
En la fig. 2A se indica que todos los elementos de datos de entrada de la segunda matriz bidimensional se asignan a una sub-matriz 204 de la matriz bidimensional combinada 200. En otras palabras, los elementos de datos de salida que se basan en elementos de datos de entrada de la segunda matriz bidimensional, logicamente, forman un bloque de elementos de datos de salida.
En la fig. 2A se indica que todos los elementos de datos de entrada de la tercera matriz bidimensional se asignan a una sub-matriz 206 de la matriz bidimensional combinada 200. En otras palabras, los elementos de datos de salida que se basan en elementos de datos de entrada de la tercera matriz bidimensional, logicamente, forman un bloque de elementos de datos de salida.
En la fig. 2A se indica que todos los elementos de datos de entrada de la cuarta matriz bidimensional se asignan a una sub-matriz 208 de la matriz bidimensional combinada 200. En otras palabras, los elementos de datos de salida que se basan en elementos de datos de entrada de la matriz bidimensional cuarta logicamente forman un bloque de elementos de datos de salida.
Las diferentes filas de la tabla 1 siguiente son ejemplos de posibles fuentes para los elementos de datos de salida de la matriz bidimensional. En otras palabras, la fila indica los diferentes tipos de datos que se encuentran en la matriz bidimensional diferente del conjunto de matrices bidimensionales. Por ejemplo, la segunda fila de la tabla 1 especifica que la primera matriz bidimensional comprende datos de imagen, la segunda matriz bidimensional comprende datos de profundidad, la tercera matriz bidimensional comprende datos de oclusion y la cuarta matriz bidimensional estaba vada.
Tabla 1: Ejemplos de posible contenido de la matriz bidimensional combinada
A
B C D
Imagen
Profundidad Oclusion Vacfo
Imagen
Profundidad Imagen Profundidad
Imagen
Imagen
Imagen
Imagen
Profundidad
Imagen Profundidad Imagen
Imagen
Profundidad Oclusion Profundidad
Imagen
Profundidad Oclusion
Imagen
La fig. 2B muestra esquematicamente la matriz bidimensional combinada 200 de la fig. 2A que comprende una cabecera 210. Preferiblemente, los elementos de datos que representan la cabecera se incluyen en la matriz 5 bidimensional combinada 200. Esto puede resultar en la sobrescritura de otros elementos de datos, por ejemplo, datos que representan imagen o relacionados con la profundidad. Sin embargo, preferiblemente la cabecera se almacena en la matriz bidimensional combinada sin sobrescribir otros elementos de datos. Alternativamente, la informacion de cabecera se almacena en un numero de bits menos significativos, mientras que los correspondientes bits mas significativos se utilizan para almacenar otros elementos de datos, por ejemplo, datos que representan 10 imagen o relacionados con la profundidad. La tabla 2 siguiente especifica un numero de atributos que, preferiblemente, estan comprendidos en la cabecera.
Tabla 2: Atributos de datos de la cabecera de la matriz bidimensional combinada
Atributo
Descripcion Representacion
Nombre
Nombre
Secuencia
Fecha
Fecha de creacion Secuencia
Tamano horizontal
Numero de elementos de datos adyacentes en direccion horizontal Entero
Tamano horizontal
Numero de elementos de datos adyacentes en direccion vertical Entero
Tamano de la palabra
Numero de bits por elemento de datos Entero
Tipo de indicador de primera matriz bidimensional
Tipo de datos de la primera matriz bidimensional Tipo enumerado, por ejemplo [imagen, profundidad, desigualdad, oclusion, vacfo]
Tipo de indicador segunda matriz bidimensional
Tipo de datos de la segunda matriz bidimensional Tipo enumerado, por ejemplo [imagen, profundidad, desigualdad, oclusion, vacfo]
Tipo de indicador tercera matriz bidimensional
Tipo de datos de la tercera matriz bidimensional Tipo enumerado, por ejemplo [imagen, profundidad, desigualdad, oclusion, vacfo]
Tipo de indicador cuarta matriz bidimensional
Tipo de datos de la cuarta matriz bidimensional Tipo enumerado, por ejemplo [imagen, profundidad, desigualdad, oclusion, vacfo]
Entrada de tamanos horizontales
Numero de elementos de datos adyacentes en la direccion horizontal de matrices bidimensionales originales Conjunto de enteros, por ejemplo [500,700,400,600]
Entrada de tamanos verticales
Numero de elementos de datos adyacentes en direccion vertical de matrices bidimensionales originales Conjunto de enteros, por ejemplo [500,700,400,600]
Modo de mezcla
Configuracion de elementos de datos Tipo enumerado, por ejemplo, [bloque, intercalados por fila, intercalados por columna, intercalados por dos filas, intercalados por dos columnas, intercalados por fila y columna]
5
10
15
20
25
30
35
40
45
50
55
60
imagen2
Opcionalmente, la imagen de tipo tiene varios subtipos, por ejemplo, imagen de la izquierda e imagen de la derecha. Opcionalmente, parametros de reproduccion de profundidad se incluyen en la cabecera, por ejemplo:
- un parametro de intervalo que corresponde al intervalo total de profundidad, calculada desde la profundidad maxima detras de la pantalla hasta la profundidad maxima delante de la pantalla;
- un parametro de desviacion correspondiente a la desviacion del intervalo de profundidad para el dispositivo de visualizacion;
- un parametro de la parte de delante de la pantalla correspondiente a la profundidad maxima delante de la pantalla;
- un parametro de la parte de detras de la pantalla correspondiente a la profundidad maxima detras de la pantalla;
- la posicion del espectador con respecto a la pantalla.
La fig. 3A muestra esquematicamente una matriz bidimensional combinada basada en cuatro matrices de entrada mediante la cual las filas de las matrices de entrada se intercalan para formar la matriz bidimensional combinada 300.
Los elementos de datos de salida que se basan en elementos de datos de entrada de la primera matriz bidimensional se indican con el caracter A. Los elementos de datos de salida que se basan en elementos de datos de entrada de la segunda matriz bidimensional se indican con el caracter B. Los elementos de datos de salida que se basan en elementos de datos de entrada de la tercera matriz bidimensional se indican con el caracter C. Los elementos de datos de salida que se basan en elementos de datos de entrada de la cuarta matriz bidimensional se indican con el caracter D.
La matriz bidimensional combinada tiene un tamano horizontal que es igual a H, lo cual significa que el numero de elementos de datos de salida que son adyacentes en la direccion horizontal es igual a H. La matriz bidimensional combinada tiene un tamano vertical que es igual a V, lo que significa que el numero de elementos de datos de salida que son adyacentes en direccion vertical es igual a V. Cada uno de los conjuntos de matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales tiene un tamano horizontal que es igual a H/2 y tiene un tamano vertical que es igual a V/2.
Las filas 0-6 de la matriz bidimensional combinada 300 se llenan intercalando filas de las matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales. Se puede observar que la primera fila 0 de la matriz bidimensional combinada 300 comprende elementos de datos de salida que se basan en elementos de datos de entrada de la primera matriz bidimensional y de la segunda matriz bidimensional. Ver las indicaciones A y B. La primera mitad de la primera fila 0 comprende elementos de datos de salida correspondientes a la primera matriz bidimensional y la segunda mitad de la primera fila 0 comprende elementos de datos de salida correspondientes a la segunda matriz bidimensional.
Se puede observar que la segunda fila 1 de la matriz bidimensional combinada 300 comprende elementos de datos de salida que se basan en elementos de datos de entrada de la tercera matriz bidimensional y de la cuarta matriz bidimensional. Ver las indicaciones C y D. La primera mitad de la segunda fila 1 comprende elementos de datos de salida correspondientes a la tercera matriz bidimensional y la segunda mitad de la segunda fila 1 comprende elementos de datos de salida correspondientes a la cuarta matriz bidimensional.
La tabla 1 tambien es aplicable para la matriz bidimensional combinada tal como se representa en la fig. 3A
La fig. 3B muestra esquematicamente la matriz bidimensional combinada 300 de la fig. 3A que comprende una cabecera. La tabla 2 tambien es aplicable para la matriz bidimensional combinada tal como se representa en la fig. 3B.
Cabe senalar que tambien son posibles formas alternativas de intercalacion de elementos de datos. Por ejemplo, un numero de elementos de datos de la matriz bidimensional de entrada respectiva se puede combinar en grupos. A continuacion se proporcionan multiples alternativas, mediante las cuales los caracteres A, B, C, B tienen el significado indicado anteriormente.
5
10
15
20
25
30
35
40
45
50
55
Primera alternativa:
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD
Segunda alternativa:
ABABABABABABABABABABABABABABABABABABABABABABABAB
CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD
ABABABABABABABABABABABABABABABABABABABABABABABAB
CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD
La fig. 4 muestra esquematicamente un aparato de procesamiento de imagenes 400 que comprende un dispositivo de visualizacion de multiples vistas 406, ambos segun la invencion. El aparato de procesamiento de imagenes 400 comprende:
- Un receptor 402 para recibir una senal de video que representa imagenes de entrada;
- Una unidad de analisis de imagenes 404 para extraer datos relacionados con la profundidad de las imagenes de entrada; y
- Un dispositivo de visualizacion de multiples vistas 406 para la visualizacion de imagenes de multiples vistas, que se reproducen mediante un dispositivo de visualizacion de multiples vistas en base a los datos de imagen proporcionados y los datos de profundidad relacionados.
Los datos de imagen y datos de profundidad relacionados se intercambian entre la unidad de analisis de imagen 404 y el dispositivo de visualizacion de multiples vistas 406, por medio de una senal combinada que representa la matriz bidimensional combinada como se describe en relacion con las figs. 2A, 2B, 3A y 3B. La unidad de analisis de imagenes 404 comprende una unidad de transmision 104 como se describe en relacion con la fig. 1. El dispositivo de visualizacion de multiples vistas 406 comprende una unidad de recepcion 106 como se describe en relacion con la fig. 1.
La senal de video puede ser una senal de emision recibida a traves de una antena o cable, pero tambien puede ser una senal de un dispositivo de almacenamiento como un VCR (grabadora de videocasete) o disco versatil digital (DVD). La senal se proporciona en el conector de entrada 410. El aparato de procesamiento de imagenes 400 podna ser, por ejemplo, un televisor. Alternativamente, el aparato de procesamiento de imagenes 400 no comprende el dispositivo de visualizacion opcional sino que proporciona las imagenes de salida a un aparato que no comprende un dispositivo de visualizacion 406. A continuacion, el aparato de procesamiento de imagenes 400 puede ser, por ejemplo un decodificador, un sintonizador de satelite, un reproductor de VCR, un reproductor de DVD o una grabadora. Opcionalmente, el aparato de procesamiento de imagenes 400 comprende medios de almacenamiento, como un disco duro o medios para el almacenamiento en medios extrafbles, por ejemplo, discos opticos. El aparato de procesamiento de imagenes 500 tambien puede ser un sistema que este siendo aplicado por un estudio de cine o una emisora.
El dispositivo de visualizacion de multiples vistas 406 comprende una unidad de reproduccion 408, que esta dispuesto para generar una secuencia de imagenes de multiples vistas en base a la senal combinada recibida. La unidad de reproduccion 408 esta dispuesta para proporcionar (al menos) dos flujos correlacionados de imagenes de video al dispositivo de visualizacion de multiples vistas que esta dispuesto para visualizar una primera serie de vistas en base al primero de los flujos correlacionadas de imagenes de video y para visualizar una segunda serie de vistas en base al segunda flujo correlacionado de imagenes de video. Si un usuario, es decir, el espectador, observa la primera serie de vistas por el ojo izquierdo y la segunda serie de vistas por el ojo derecho, recibe una impresion en 3-D. Podna ser que el primero de los flujos correlacionados de imagenes de video corresponda a la secuencia de imagenes de video recibidas por medio de la senal combinada y que el segundo de los flujos correlacionados de imagenes de video se reproduzca mediante desplazamiento apropiado en base de la los datos de profundidad proporcionados. Preferiblemente, ambos flujos de imagenes de video se reproducen en base a la secuencia de imagenes de video recibidas.
En el artfculo "Synthesis of multi viewpoint images at non-intermediate positions", de P.A. Redert, E.A. Hendriks, y J. Biemond, en Actas de la Conferencia Internacional sobre Acustica, Habla y Procesamiento de Senales, vol. IV, ISBN 0-8186-7919-0, paginas 2749-2752, IEEE Computer Society, Los Alamitos, California, 1997, se divulga un
procedimiento de extraccion de informacion de profundidad y de reproduccion de una imagen de multiples vistas en base a la imagen de entrada y el mapa de profundidad. La unidad de analisis de imagenes 404 es una implementacion para el procedimiento de extraccion de informacion de profundidad divulgado. La unidad de reproduccion 408 es una implementacion del procedimiento de reproduccion divulgado en el artfculo.
5
Debe observarse que los modos de realizacion mencionados anteriormente ilustran, en lugar de limitar, la invencion, y que los expertos en la tecnica podran disenar muchos modos de realizacion alternativos sin apartarse del alcance de las reivindicaciones adjuntas. En las reivindicaciones, no debe considerarse que un signo de referencia colocado entre parentesis limita la reivindicacion. La expresion "que comprende" no excluye la presencia de elementos o 10 pasos no enumerados en un modo de realizacion. El artfculo "un" o "una" delante de un elemento no excluye la presencia de una pluralidad de tales elementos. La invencion puede implementarse mediante hardware que comprende varios elementos diferentes, y mediante un ordenador programado de manera adecuada. Si la unidad reivindica la enumeracion de varios medios, varios de estos medios pueden realizase mediante uno y el mismo elemento de hardware o software. El uso de las palabras primero, segundo y tercero, etcetera no indica ningun 15 orden. Estas palabras deben interpretarse como nombres.

Claims (10)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un procedimiento de intercambio combinado de datos de imagen y datos adicionales, que son valores de profundidad o de disparidad relacionados con los datos de imagen entre una unidad de transmision (104) y un dispositivo de visualizacion de multiples vistas (406) sobre un enlace RGB, estando los datos de imagen representados por una primera matriz bidimensional de elementos de datos de imagen y estando los datos adicionales representados por una segunda matriz bidimensional de elementos de datos adicionales, comprendiendo el procedimiento
    - proporcionar la primera matriz bidimensional y la segunda matriz bidimensional a la unidad de transmision,
    - combinar la primera matriz bidimensional, la segunda matriz bidimensional, y los metadatos en una matriz bidimensional combinada de elementos de datos, siendo los metadatos datos descriptivos de la matriz bidimensional combinada,
    - transmitir la matriz bidimensional combinada por el enlace RGB hacia el dispositivo de visualizacion de multiples vistas (406),
    - en el que las filas de la matriz bidimensional combinada se llenan mediante el intercalado de filas de las matrices del conjunto de matrices bidimensionales, que comprende la primera y la segunda matriz bidimensional, de manera que un proceso de reproduccion, para el cual se necesitan tanto datos de imagen como datos relacionados de profundidad, puede comenzar tan pronto como solo una porcion de la matriz bidimensional combinada se intercambie.
  2. 2. Un procedimiento segun la reivindicacion 1, que comprende ademas
    - proporcionar una tercera matriz bidimensional, y una cuarta matriz bidimensional a la unidad de transmision, y
    - combinar la tercera matriz bidimensional, y la cuarta matriz bidimensional en la matriz bidimensional combinada de elementos de datos.
  3. 3. Un procedimiento segun la reivindicacion 1, en el que los metadatos comprenden al menos un indicador de tipo de la primera y la segunda matrices bidimensionales, estando el indicador del tipo seleccionado entre al menos imagen, y profundidad o disparidad.
  4. 4. Un procedimiento segun la reivindicacion 2 o 3, en el que la matriz bidimensional combinada se crea poniendo dos matrices del conjunto de las matrices bidimensionales, que comprende la primera, la segunda, la tercera y la cuarta matrices bidimensionales adyacentes entre sf en direccion horizontal y dos del conjunto de las matrices bidimensionales adyacentes entre sf en direccion vertical.
  5. 5. Un procedimiento segun la reivindicacion 1, en el que una primera de las filas de la matriz bidimensional combinada comprende elementos de datos de imagen de la primera fila de la primera matriz bidimensional y otros elementos de datos de la primera fila de la segunda matriz bidimensional.
  6. 6. Un procedimiento segun cualquiera de las reivindicaciones anteriores, en el que los metadatos se combinan en dicha matriz bidimensional de elementos de datos mediante
    - sobrescribir los elementos de datos de imagen o sobrescribir los valores de profundidad o disparidad, o
    - sobrescribir un numero de bits menos significativos de elementos de datos de imagen o sobrescribir un numero de bits menos significativos de valores de profundidad o disparidad.
  7. 7. Un procedimiento de intercambio combinado de datos de imagen y datos adicionales, que son valores de profundidad o de disparidad relacionados con los datos de imagen entre una unidad de transmision (104) y un dispositivo de visualizacion de multiples vistas (406) sobre un enlace RGB, con los datos de imagen representados por una primera matriz bidimensional de elementos de datos de imagen y los datos adicionales representados por una segunda matriz bidimensional de elementos de datos adicionales, comprendiendo el procedimiento
    - recibir una matriz bidimensional combinada a traves del enlace RGB en el dispositivo de visualizacion de multiples vistas (406), y
    - extraer la primera matriz bidimensional, la segunda matriz bidimensional y metadatos de la matriz bidimensional combinada de elementos de datos, siendo los metadatos datos descriptivos de la matriz bidimensional combinada,
    - en el que las filas de la matriz bidimensional combinada se llenan mediante el intercalado de filas de las matrices del conjunto de las matrices bidimensionales, que comprende la primera y la segunda matriz bidimensional, de
    5
    10
    15
    20
    25
    30
    35
    40
    manera que un proceso de reproduccion, para el cual se necesitan tanto datos de imagen como datos relacionados de profundidad, puede comenzar tan pronto como solo una porcion de la matriz bidimensional combinada se intercambie.
  8. 8. Una unidad de transmision para el intercambio combinado de datos de imagen y datos adicionales que son valores de profundidad o de disparidad relacionados con los datos de imagen entre la unidad de transmision y un dispositivo de visualizacion de multiples vistas (406) sobre un enlace RGB, estando los datos de imagen representados por una primera matriz dimensional de elementos de datos de imagen y estando los datos adicionales representados por una segunda matriz bidimensional de elementos de datos adicionales, comprendiendo la unidad de transmision
    - una primera interfaz de entrada (108) para proporcionar la primera matriz bidimensional, una segunda interfaz de entrada (110) para proporcionar la segunda matriz bidimensional, y
    - medios de combinacion para combinar la primera matriz bidimensional, la segunda matriz bidimensional y metadatos en una matriz bidimensional combinada de elementos de datos, siendo los metadatos datos descriptivos de la matriz bidimensional combinada, en los que la unidad de transmision transmite la matriz bidimensional combinada por el enlace RGB hacia el dispositivo de visualizacion de multiples vistas (406),
    - en el que las filas de la matriz bidimensional combinada se llenan mediante el intercalado de filas de las matrices del conjunto de las matrices bidimensionales, que comprende la primera y la segunda matriz bidimensional, de manera que un proceso de reproduccion, para el cual se necesitan tanto datos de imagen como datos relacionados de profundidad, puede comenzar tan pronto como solo una porcion de la matriz bidimensional combinada se intercambie.
  9. 9. Un dispositivo de visualizacion de multiples vistas que comprende una unidad de recepcion para el intercambio combinado de datos de imagen y datos adicionales que son valores de profundidad o de disparidad relacionados con los datos de imagen entre una unidad de transmision y el dispositivo de visualizacion de multiples vistas (406) por un enlace RGB, recibiendo la unidad de recepcion una matriz bidimensional combinada por el enlace RGB en el dispositivo de visualizacion de multiples vistas (406), estando los datos de imagen representados por una primera matriz bidimensional de elementos de datos de imagen y estando los datos adicionales representados por una segunda matriz dimensional de nuevos elementos de datos, en el que las filas de la matriz bidimensional combinada comprenden filas intercaladas de las matrices del conjunto de matrices bidimensionales, que comprenden la primera y la segunda matrices bidimensionales, comprendiendo la unidad de recepcion medios de extraccion para la extraccion de la primera matriz bidimensional, la segunda matriz bidimensional y metadatos de la matriz bidimensional combinada de elementos de datos, siendo los metadatos datos descriptivos de la matriz bidimensional combinada, estando el dispositivo de visualizacion de multiples vistas dispuesto para iniciar la reproduccion tan pronto como se intercambie solo una porcion de la matriz bidimensional combinada.
  10. 10. Un aparato de procesamiento de imagenes que comprende la unidad de transmision segun la reivindicacion 8.
ES06765780.9T 2005-06-23 2006-06-19 Intercambio combinado de datos de imagen y relacionados Active ES2602091T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05105616 2005-06-23
EP05105616 2005-06-23
PCT/IB2006/051960 WO2006137000A1 (en) 2005-06-23 2006-06-19 Combined exchange of image and related data

Publications (1)

Publication Number Publication Date
ES2602091T3 true ES2602091T3 (es) 2017-02-17

Family

ID=37232893

Family Applications (1)

Application Number Title Priority Date Filing Date
ES06765780.9T Active ES2602091T3 (es) 2005-06-23 2006-06-19 Intercambio combinado de datos de imagen y relacionados

Country Status (7)

Country Link
US (1) US8879823B2 (es)
EP (1) EP1897056B1 (es)
JP (1) JP5431726B2 (es)
CN (1) CN101203881B (es)
ES (1) ES2602091T3 (es)
PL (1) PL1897056T3 (es)
WO (1) WO2006137000A1 (es)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447096B2 (en) 2007-10-11 2013-05-21 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
US9036010B2 (en) * 2007-12-18 2015-05-19 Koninklijke Philips N.V. Transport of stereoscopic image data over a display interface
WO2009081335A1 (en) * 2007-12-20 2009-07-02 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
JP5697989B2 (ja) * 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
JP2011523743A (ja) 2008-06-02 2011-08-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ情報を有するビデオ信号
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
AU2009273297B8 (en) * 2008-07-21 2013-03-07 Interdigital Madison Patent Holdings Coding device for 3D video signals
EP2308241B1 (en) 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
JP5792064B2 (ja) 2008-07-25 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 字幕の三次元表示処理
EP2327226B1 (en) 2008-09-23 2016-08-10 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
CN102232293B (zh) * 2008-11-24 2016-11-09 皇家飞利浦电子股份有限公司 传输三维视频信息的方法和重放三维视频信息的重放设备
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
JP5694952B2 (ja) * 2009-01-20 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ ３ｄ画像データの転送
BRPI1005134B1 (pt) * 2009-01-20 2021-07-20 Koninklijke Philips N.V. Método de transferência de dados de imagem tridimensional [3d], dispositivo de geração de 3d para transferência de dados de imagem tridimensional [3d] para um dispositivo de exibição em 3d e sinal de exibição em 3d
RU2536388C2 (ru) * 2009-01-20 2014-12-20 Конинклейке Филипс Электроникс Н.В. Передача данных 3d изображения
US10742953B2 (en) 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
CN105357509B (zh) 2009-01-29 2017-09-15 杜比实验室特许公司 视频编码方法、视频信号解码方法及视频装置
EP2399399A1 (en) * 2009-02-18 2011-12-28 Koninklijke Philips Electronics N.V. Transferring of 3d viewer metadata
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
KR101716636B1 (ko) 2009-07-27 2017-03-15 코닌클리케 필립스 엔.브이. ３ｄ 비디오 및 보조 데이터의 결합
IT1397591B1 (it) * 2009-12-21 2013-01-16 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
TWI459796B (zh) * 2009-12-29 2014-11-01 Ind Tech Res Inst 產生多視角三維立體影像的方法及其裝置
IT1401731B1 (it) * 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
BR112013006006A2 (pt) 2010-09-14 2017-07-18 Thomson Licensing método de compressão e aparelho para dados de oclusão
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치
ITTO20121073A1 (it) * 2012-12-13 2014-06-14 Rai Radiotelevisione Italiana Apparato e metodo per la generazione e la ricostruzione di un flusso video
RU2640357C2 (ru) 2013-02-06 2017-12-28 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения
RU2667605C2 (ru) 2013-05-10 2018-09-21 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2000912A (en) * 1932-10-22 1935-05-14 United Shoe Machinery Corp Machine for shaping shoe uppers
JPH0759458B2 (ja) 1990-05-21 1995-06-28 東レ株式会社 開繊性の優れた無撚炭素繊維パッケージ
US5519449A (en) * 1991-09-17 1996-05-21 Hitachi, Ltd. Image composing and displaying method and apparatus for displaying a composite image of video signals and computer graphics
US5461712A (en) * 1994-04-18 1995-10-24 International Business Machines Corporation Quadrant-based two-dimensional memory manager
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
GB9518984D0 (en) * 1995-09-16 1995-11-15 Univ Montfort Storing and/or transmitting 3d images
JPH09224264A (ja) * 1996-02-16 1997-08-26 Hitachi Ltd 撮像装置
US6064424A (en) * 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
JP3443272B2 (ja) * 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
FR2767404B1 (fr) * 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
JP2000244810A (ja) * 1999-02-19 2000-09-08 Sony Corp 画像編成装置および画像編成方法および画像記録装置および画像再生装置および画像記録再生装置および撮像装置並びにデータが記録されたコンピュータが読み取り可能な記録媒体
US6362822B1 (en) * 1999-03-12 2002-03-26 Terminal Reality, Inc. Lighting and shadowing methods and arrangements for use in computer graphic simulations
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US20020171743A1 (en) * 2001-05-16 2002-11-21 Konica Corporation Electronic device and digital still camera
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
EP1501317A4 (en) * 2002-04-25 2006-06-21 Sharp Kk Image data generation device, image data reproduction device and image data recording medium
JP4258236B2 (ja) * 2003-03-10 2009-04-30 株式会社セガ 立体視画像生成装置
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
ITRM20030345A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
WO2005060640A2 (en) * 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
JP4212485B2 (ja) * 2004-01-19 2009-01-21 オリンパス株式会社 立体撮像が可能な電子カメラ
FR2868168B1 (fr) * 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming

Also Published As

Publication number Publication date
JP2008544679A (ja) 2008-12-04
CN101203881A (zh) 2008-06-18
CN101203881B (zh) 2015-04-22
US8879823B2 (en) 2014-11-04
EP1897056B1 (en) 2016-08-10
US20100158351A1 (en) 2010-06-24
PL1897056T3 (pl) 2017-01-31
JP5431726B2 (ja) 2014-03-05
EP1897056A1 (en) 2008-03-12
WO2006137000A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
ES2602091T3 (es) Intercambio combinado de datos de imagen y relacionados
CN101390131B (zh) 呈现输出图像
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
CN100576251C (zh) 呈现单元、呈现方法以及图像处理设备
US8189034B2 (en) Combined exchange of image and related depth data
TWI644559B (zh) 用於多視角成像裝置的編碼視頻資料信號之方法
ES2420156T3 (es) Multiplexación estereoscópica para aplicaciones de vídeo y película
US8884952B2 (en) 3D display apparatus and method for processing image using the same
ES2676055T5 (es) Receptor de imagen eficaz para múltiples vistas
JP5544361B2 (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
US20100104219A1 (en) Image processing method and apparatus
ES2306198T3 (es) Deteccion de modo de vista.
JP6231125B2 (ja) マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法
WO2007026444A1 (en) Structure of stereoscopic image data, stereoscopic image data recording method, reproducing method, recording program, and reproducing program
ES2446165A2 (es) Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes
JP5252917B2 (ja) ビューモードの検出
EP2469867A2 (en) Image processing apparatus and image processing method
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법