MX2013004362A - Codificacion de video utilizando mapeo de rango dinamico temporalmente coherente. - Google Patents
Codificacion de video utilizando mapeo de rango dinamico temporalmente coherente.Info
- Publication number
- MX2013004362A MX2013004362A MX2013004362A MX2013004362A MX2013004362A MX 2013004362 A MX2013004362 A MX 2013004362A MX 2013004362 A MX2013004362 A MX 2013004362A MX 2013004362 A MX2013004362 A MX 2013004362A MX 2013004362 A MX2013004362 A MX 2013004362A
- Authority
- MX
- Mexico
- Prior art keywords
- sequence
- parameter
- frame
- dynamic range
- mapping
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Un uso conjunto más eficiente del mapeo de rango dinámico, por un lado, y la predicción temporal, por otro lado tal como, por ejemplo, para codificar secuencias de cuadro de HDR, se puede lograr aprovechando el concepto de predicción ponderada con el fin de cambiar el parámetro del mapeo desde el cuadro de referencia hacia el cuadro previsto actualmente temporal. Con esta medida, la predicción temporal no falla y a pesar de la variación por cuadros en el mapeo de rango dinámico, la eficiencia de la codificación, por lo tanto, se mantiene. Como un aspecto secundario favorable, la predicción ponderada temporal ya está dentro de las capacidades de las etapas de codificación de video existentes tales como, por ejemplo, el H.264/AVC.
Description
CODIFICACION DE VIDEO UTILIZANDO MAPEO DE RANGO DINÁMICO
TEMPORALMENTE COHERENTE
DESCRIPCIÓN
La presente solicitud se refiere a la codificación de video para utilizar, pbr ejemplo, con secuencias de Rango Dinámico Elevado (HDR, según sus siglas en inglés). J
Hasta ahora, la mayoría de las aplicaciones de codificación de imágenes| y video sólo puede cubrir un rango de luminancia de alrededor de 2 órdenes de magnitud (rango dinámico bajo (LDR, según sus siglas en inglés)) [1]. sjn embargo, el sistema visual humano (HVS, según sus siglas en inglés), nos permite adaptarnos a las condiciones de luz que pueden cubrir una gama de más de diez órdenes de magnitud y percibir alrededor de cinco órdenes de magnitud al mismo tiempo [2]. Con un creciente número de aplicaciones que pueden beneficiarse de
Debido a que la representación más natural de los datos HDR, números de punto flotante, no tiene como resultado una buena compresión y también es
costosa de manejar, varios autores propusieron un mapeo adecuado de los valores de luminancia de punto flotante a valores enteros de luminancia [3, 4, 5 , 6]. Estos mapeos de luminancia a brillo tienen en común que la pérdida asociada
de precisión es inferior a la tolerancia del HVS y por lo tanto no se percibe distorsión. Asimismo, tienen en común que aplican una conversión de los datos de
imagen HDR al espacio de color ClelUV [1] antes de continuar con i el
i procesamiento. Es decir, los datos se representan mediante un componente de
luminancia Y y los componentes de cromaticidad (u ', v'). La ventaja de la
I
representación del color (u ', v') es que es perceptualmente uniforme. Es decir, las compensaciones iguales en esta representación representan la igualdad de las
I
diferencias de color de percepción y por lo tanto se pueden asignar linealmente a valores enteros con una profundidad de bits de, por ejemplo, 8 bits. Dicho mapep
I
del intervalo perceptible (u ', v') [0, 0.62] para valores enteros en el rango [0, 255] introduce un error máximo de cuantificacion absoluta de 0,00172, que está muy por debajo del umbral visible.
Dado que el HVS obedece a la ley de Weber-Fechner, para un rango dé luminancia grande, en la mayoría de los trabajos se lleva a cabo un mapep
I
logarítmico de la luminancia Y a los valores de código de brillo [3, 5, 6]. Esto resulta en un error de cuantificacion relativa constante que conduce a
representación perceptualmente uniforme de la luminancia. Por ejemplo, en [3]
I
Larson propuso el siguiente mapeo de luminancia a brillo (transformada LogLuv): < Z15 = L256(log2(F) + 64)] Y = 2 256
Asigna las luminancias de valor real en el intervalo [5,44 ? 10~20, 1 ,84} ? 1019] a valores enteros de brillo de 15 bits en el rango [0, 215 - 1], y viceversa. Es decir, aproximadamente 38 órdenes de magnitud de luminancia se representan con un tamaño de paso relativo de 0,27%. Esto está muy por debajo del umbral de cuantificación visible de alrededor del 1 % [1].
Sin embargo, el rango dinámico cubierto por dicho mapeo está mucho más allá del rango de lo que el HVS puede percibir simultáneamente. Además, no existen datos de la imagen natural que extiende dichos rangos dinámicos altos.
ejemplo, en la codificación de imagen fija de HDR con la biblioteca TIFF [3], un factor de escala se puede utilizar para ajustar a escala la imagen de origen en un rango apropiado antes de la transformada LogLuv. En un enfoque similar LogLuy [6], el ajuste a escala ha sido aplicado a cada cuadro individual de una secuencia de video con el fin de explotar todo el rango de valores posibles de código de brillo de una profundidad determinada de bits. I
I
Sin embargo, al igual que muchos métodos de codificación de video HDR,
esta última es sólo una extensión directa de la codificación de imagen HDR| a cuadros de video individuales. Por lo tanto, el enfoque carece de algunos aspectos específicos de video lo que degrada en forma significativa la eficiencia de compresión. Más notablemente, el mapeo de los valores de luminancia de cuadros sucesivos a valores de códigos distintos, con un ajuste a escala individual perjudica significativamente la coherencia temporal de la secuencia. En consecuencia, la predicción compensada de movimiento temporal en el codificador de video H.264/AVC en su mayoría falla. j
Naturalmente, esto también es válido para otros codificadores de predicción temporal y también para los valores de la muestra que no sean los valores dje luminancia. ¡ Por lo tanto, un objetivo de la presente invención consiste en
un concepto de codificación que permita un uso conjunto más eficiente del mapeó de rango dinámico, por un lado y la predicción temporal por otro lado.
Este objetivo se logra por el tema de las reivindicaciones independientes.
Una idea básica que subyace la presente invención es que un uso conjunto más eficiente del mapeo de rango dinámico, por un lado y la predicción temporajl
la Fig. 3 muestra un diagrama de bloques de un decodificador de video de acuerdo con una forma de realización; | la Fig. 4 muestra un diagrama de bloques de una etapa de decodificación de video de acuerdo con una forma de realización;
la Fig. 5 muestra un diagrama esquemático que ilustra una porción de una
i corriente de datos generada por el codificador de video de la Fig. 1 y decodificada por el decodificador de video de la Fig. 3, de acuerdo con una forma dé realización; ¡ la Fig. 6 muestra un gráfico con un ejemplo de
logarítmico de luminancia a brillo con distintos rangos para
las Figs. 7a -7f muestran los resultados de codificación de tres casos, !es decir, mediante el mapeo temporal coherente de acuerdo con la forma de realización descripta con respecto a las figuras, utilizando la adaptación por cuadros sin obedecer la coherencia temporal, y utilizando el mapeo constanje, para piezas de video distintos (izquierda, centro, derecha), y utilizando distintos
elementos iguales que ocurren dentro de elementos distintos de estas figuras se indican con signos de igual referencia, y, en consecuencia, una descripción de estos elementos respecto a una figura también es aplicable con respecto a otra
figura, siempre y cuando los detalles específicos descriptos con respecto a es' última no divulguen lo contrario.
La Fig. 1 muestra un codificador de video 10 de acuerdo con una forma de realización de la presente invención. El codificador de video 10 está configurado para codificar una primera secuencia 12 de cuadros 14 cuyos valores de muestra 16 están representados en un primer formato que abarca un primer rango dinámico. Por ejemplo, la secuencia de cuadros 12 puede ser un video tal como un video HDR, y los valores de muestra 16 pueden representar un muestreo espacial de la distribución de la luminancia de los cuadros individuales 14. El primer formato en el que los valores de muestra 16 están representados puede se'r un formato de punto flotante. A continuación se describirán ejemplos detallados.
Sin embargo, debe tenerse en cuenta que el tipo de información espacial
muestreada por los valores de muestra 16 no se limita a la luminancia. Por) el contrario, otros tipos de información podrían ser objeto de los valores de muestra 16. Por ejemplo, los cuadros 14 podrían representar mapas de profundidad, y por lo tanto, la secuencia 12 podría representar un muestreo temporal de un mapa de profundidad de una determinada escena o similar. i j El codificador de video 10 comprende un cónversor de valores de muestra 18, una etapa de codificación de video 20 y un regulador de parámetros 22. EI conversor de valor de muestra 18 y la etapa de codificación de video 20 están conectados entre una entrada 24 y una salida 26 del codificador de video 10 en leí que la entrada 24 está configurada para recibir una secuencia de cuadros 12 mientras que la salida 26 es para emitir la corriente de los datos resultante de |la secuencia de codificación 12 por el codificador de video 10. El regulador†e
discontinua 28, el regulador de parámetros 22 también puede emitir información lateral que contribuye a la corriente de datos 26 como se describe más detalladamente a continuación. J El conversor de valor de muestra 18 está configurado para convertir lós valores de muestra 16 de los cuadros 14 de la primera secuencia 12 desde el primer formato de 12 por primera vez en un segundo formato que tiene un segundo rango dinámico más bajo que el primer rango dinámico. Por lo tanto, el conversor de valor de muestra 18 envía a la etapa de codificación de video 20 una segunda secuencia 30 de cuadros 32, que corresponde completamente a la secuencia 12, excepto para los valores de muestra 6 que han sido convertidps desde el primer formato en el segundo formato. En consecuencia, cada cuadro corresponde a un cuadro respectivo 14 de la secuencia 12, con los cuadros ubicados dentro de la secuencia 30 en el mismo orden que los cuadros correspondientes dentro de la secuencia 12.
El segundo formato puede ser, por ejemplo, un formato de número entero
también podría ser un formato de entero con el uso, sin embargo, de más bits que el segundo formato. j
A fin de convertir los valores de muestra de los cuadros 14 de la primera secuencia 12 desde el primer formato en el segundo formato, el convertidor 'de
una función de mapeo lineal entre el primer rango dinámico 40 en el dominio logarítmico y el segundo rango dinámico en el dominio lineal. Sin embargo también se pueden utilizar otras funciones estrictamente monótonas en lugar de este tipo de función. Como se apreciará más claramente a partir de la siguiente descripción, la porción 38 está fijada por el regulador de parámetros 22 en una base por cuadros a fin de capturar sustancialmente toda la información contenida dentro del cuadro respectivo 14 en el primer formato. En resumen, el regulador de parámetros 22 intenta ubicar y dimensionar - o ajusfar a escala - la porción 38 dentro del primer rango dinámico 40 de modo tal que todas las muestras perceptiblemente relevantes dentro del cuadro respectivo 14 tengan su valor de muestra 16 dentro de dicha porción 38 a fin de que todos estos valores de muestra estén correctamente asignados - sin estar sujetos
del segundo formato 42. Una distribución ejemplar
dentro de un cuadro actual se muestra a modo de ejemplo en la Fig. 1. En | el ejemplo de la Fig. 1 , esta distribución está contenida completamente dentro dej la porción 38. Como se describe en mayor detalle a continuación, la distribución 44 sólo puede representar la distribución de los valores de muestra 16, dentro de una cierta parte del cuadro 14 tal como una porción central del mismo, ya que dicjia porción central es más probable que contenga la porción más importante en ¡la escena de un contenido de video.
Obviamente, la distribución de los valores de muestra 16 dentro del primer
Por lo tanto, la secuencia 30 corresponde sustancialmente a la secuencia 12 con los valores de muestra, sin embargo, está representada en otro formato. A observar la secuencia 30, sin embargo, se obtendría como resultado una impresión desagradable ya que los valores de muestra 34 de un cuadro dentro ele la secuencia 30 estarían definidos con respecto a otra porción de luminancia que los valores de muestra 34 dentro de otro cuadro de la misma secuencia. Pjor ejemplo, los cuadros antes mencionados de la secuencia 12 tendrían los valores de muestra 16 asignados a los valores de muestra 34 que residen dentro de las porciones 38 y 48, respectivamente. Por lo tanto, un valor de muestra 34, pLr ejemplo, uno en un cuadro muy probablemente correspondería a otro valor ele luminancia real que un valor de muestra de uno dentro de un cuadro distinto de la secuencia 30. Sin medidas adicionales, la etapa de codificación de video 20, por lo tanto, no sería capaz de llevar a cabo una predicción temporal habitual utilizando, por ejemplo, la predicción compensada por el movimiento ya que la búsqueda necesaria de vectores de movimiento probablemente no tendría éxito. j En particular, la etapa de codificación de video 20 está configurada para codificar la segunda secuencia 30 de cuadros 32 por predicción ponderada temporal de un primer cuadro de la segunda secuencia 30 utilizando un segundo cuadro de la segunda secuencia 30 o una versión reconstruida del segundo
I
cuadro de la segunda secuencia 30, ponderado por un parámetro de ponderación y compensado por un parámetro de compensación, como referencia. En otras palabras, la etapa de codificación de video 20 puede predecir temporalmente un cuadro actual 32 de la secuencia 30 por la predicción compensada por el movimiento y con el uso de otro cuadro codificado previamente 32 de la secuenciá 30 como referencia. La predicción compensada por el movimiento se puede llevar a cabo sobre una base de bloque a bloque. Los datos de predicción jde
movimiento tales como los vectores de movimiento y el índice de cuadro jde
referencia se insertan en la corriente de datos como información lateral, junto con
los parámetros de ponderación/compensación que se mencionan a continuación.
Cada bloque previsto temporalmente puede tener asociado al mismo un vector de
movimiento cuya etapa de codificación de video 20 determina mediante la
determinación de una mejor adaptación del contenido del bloque actual del cuadro
actual 32 dentro de la referencia, es decir, el cuadro de referencia ponderado yj el
valor de muestra compensado por los parámetros 50, intentando varios
desplazamientos (vectores de movimiento) con respecto a la posición
correspondiente a la posición del bloque en el cuadro actual. Con el fin
restringir la sobrecarga de búsqueda, la etapa de codificación de video restringe la búsqueda a un cierto rango de búsqueda.
Como se apreciará más claramente a continuación, debido al hecho de que
la etapa de codificación de video 20 utiliza la predicción ponderada temporal, es
posible que el regulador de parámetros 22 adapte el cuadro de referencia jal
cuadro actual con respecto a la diferencia en la porción de mapeo asociada 48) y
38, , respectivamente. j
En particular, el regulador de parámetros 22 establece el parámetro de
ponderación y el parámetro de compensación, que se ilustran juntos en la Fig. |l
por la flecha 50, en función del parámetro de mapeo 45 para el cuadro de
referencia, con el parámetro de mapeo para el cuadro de referencia
con el parámetro de mapeo para el cuadro actual a través del parámetro d¡e
ponderación y el parámetro de compensación 50 como se describirá en mayor detalle a continuación. En otras palabras, el regulador de parámetros 22 jse encarga de establecer tanto, el parámetro de ponderación como el parámetro de compensación 50 para el cuadro actual por un lado, y el parámetro de mapeo j45 para el cuadro actual por otro lado. Sin embargo, el regulador de parámetros 22 no es libre de establecer los parámetros de ponderación y compensación 50 independientemente de establecer el parámetro de mapeo 45 para el cuadro actual. Más bien, ambas configuraciones están relacionadas entre sí, por ejemplo, en una forma definida exclusivamente. En consecuencia, de hecho, el regulador de parámetros 22 establece los parámetros de ponderación y compensación 5?| y el parámetro de mapeo 45 al mismo tiempo y, en particular, de tal manera que los parámetros de ponderación/compensación 50 desplazan y ajustan a escala la
ponderación/compensación 50 desplazan y ajustan a escala la dimensión de la porción 48 del cuadro de referencia a través de su aplicación al cuadro de referencia: Los parámetros de ponderación/compensación 50 asignan todos los valores posibles dentro de la porción 48 en los valores, abarcando también un rango que define la porción 38.
Antes de describir la funcionalidad del codificador de video de la Fig. 1 , de acuerdo con las formas de realización específicas más detalladamente a
continuación se describe una forma de realización para una implementación del la etapa de codificación de video 20 con respecto a la Fig. 2. De acuerdo con J la forma de realización de la Fig. 2, la etapa de codificación de video 20 cuenta con un codificador residual 60, un codificador de entropía 62, un reconstructor residual 64, un predictor temporal 66, un sustractor 68, un sumador 70, un sumador adicional 72, y un ponderador o multiplicador 74. El sustractor 68, el codificador residual 60 y el codificador de entropía 62 están conectados, en el orden mencionado, entre una entrada 76 de la etapa de codificación de video 20, que, ja su vez, está conectada a una salida del conversor de valor de muestra 18, y una salida 78 de la etapa de codificación de video 20, que, a su vez, está conectada ja la salida 26 del codificador de video 10. El reconstructor residual 64 tiene un'a entrada conectada a la salida del codificador residual 60. Una primera entrada del sumador 70 está conectada a una salida del reconstructor residual 64. El multiplicador 74, el sumador 72 y el predictor temporal 66 forman
están conectados en serie, en el orden mencionado, entre una salida
70 y una entrada adicional del mismo. Al mismo tiempo, la conexión
multiplicador 74, el sumador 72 y el predictor temporal 66 está conectada a una entrada adicional de sustracción del sustractor 68. Los valores aplicados a las entradas adicionales del sumador 72 y del multiplicador 74, respectivamente, se determinan mediante los parámetros de ponderación y compensación 50 ingresando a una entrada de parámetro 80 de la etapa de codificación de video
20.
Durante el funcionamiento, un cuadro actual ingresa en la entrada 76, mientras que una predicción temporal del cuadro actual es aplicada a la entrajda de sustracción del sustractor 68. El residuo de predicción 82 que resulta de restar
la predicción temporal 84 del cuadro actual es codificado por el codificador residual 60. El codificador residual 60, por ejemplo, puede someter la señal
residual 82 a una transformada, tal como una transformada de descomposición espectral, en el cual el codificador residual 60 puede llevar a cabo esta
transformada en una base de bloque a bloque. Adicional o alternativamente, jel codificador residual 60 puede aplicar una cuantificación en la señal residual ¿2 para reducir el contenido de la información contenida en el residuo de
82 a codificar en la corriente de datos. El codificador residual 60 puede
j parámetro cuantificador de tamaño del paso como parámetro para la cuantificación que, además, puede ser modificable de cuadro a cuadro como se muestra ele forma ilustrativa por la flecha discontinua 86. A la salida del codificador residujal 60, por lo tanto, se obtiene una versión codificada con pérdidas 88 del residuo de predicción. La misma está codificada en la corriente de datos en la salida 78 por 1 codificador de entropía 62 en una forma sin pérdidas.
El reconstructor residual 64 recupera una versión reconstruida 90 dél residuo de predicción en su salida conectada a una primera entrada del sumador 70. En la otra entrada del sumador 70 ingresa el resultado de la predicciójn temporal 84 para el cuadro actual, y en consecuencia, el sumador 70 combina el residuo reconstruido 90 y la predicción temporal 84 para producir una versión reconstruida del cuadro actual que forma la base de la predicción temporal para él siguiente cuadro. Como se describe en mayor detalle más adelante, I el multiplicador 74 multiplica o ajusta a escala cada valor de muestra de la versjón reconstruida 70 en función de un parámetro de ponderación ( w , LogWD), y j el sumador 72 agrega una compensación en función del parámetro de compensación ó para cada valor de muestra ajustado a escala de este modo. Con esta medida, los valores de muestra de la versión reconstruida 70 son desplazados a una posición de luminancia correspondiente dentro de la porción 38 del cuadro actual a predecir temporalmente a continuación. En consecuencia, a la salida del sumador 72 se obtiene un cuadro de referencia ponderado y compensado, en base al cual el predictor temporal 66 lleva a cabo la predicción temporal, utilizando, por ejemplo, la predicción de movimiento. Por ejemplo, el predictor temporal 66 utiliza para un determinado bloque del cuadro actual, una porción potencialmente interpolada y desplazada (de acuerdo con un vector de movimiento) del cuadro d Ie referencia 92 como una predicción para este bloque del cuadro actual que actualmente ingresa en la entrada 76.
Por lo tanto, como la etapa de codificación de video 20 utiliza la predicción
Incluso en otras palabras, el equilibrio está garantizado por el regulador de parámetros 22 que, a su vez, establece los parámetros de ponderación compensación 50 que ingresan en la entrada 80 adecuadamente.
Por lo tanto, volviendo a la Fig. 1 nuevamente, el regulador de parámetros
22 puede estar configurado para determinar una porción ocupada del primer rango
dinámico 40 dentro del cual se distribuyen los valores de muestra 16 del actual
cuadro de la primera secuencia 12, luego estableciendo los parámetros |e ponderación y compensación 50 de modo tal que la porción 38 establecida por jel
representa una reconstrucción, para obtener una porción 38 que se aproxima a la porción ocupada definida por la distribución 44.
En este sentido, cabe señalar que internamente, la etapa de codificación dé video 20 puede utilizar un rango dinámico más alto, tal como un mayor número de i bits, con el fin de representar el cuadro de referencia con valor de muestra ajustado a escala y compensado resultante de la aplicación de los parámetros de, ponderación y compensación en la entrada 80 sobre la reconstrucción 70 delj cuadro de referencia, es decir, para el cuadro de referencia 92, en comparación con el rango dinámico de la secuencia 30, por lo que la aplicación de estos parámetros no lleva a ningún problema de recorte. El número de bits de la representación se puede aumentar en dos, por ejemplo.
Por lo tanto, incluso en mayor detalle, el regulador de parámetros 22 puede estar configurado para establecer el parámetro de compensación ó de acuerclo con una desviación entre un límite superior, o una desviación entre un límite inferior, de las porciones 38, 48 establecidas por los parámetros de mapeo para los cuadros actual y de referencia, respectivamente, y establecer el parámetro de ponderación (logWD, w ) de acuerdo con una desviación entre la longitud de las porciones 38, 48, respectivamente. En las formas de realización específicas descriptas más adelante, por ejemplo, el convertidor de valor de muestra 18 esjtá configurado para convertir los valores de muestra Y de los cuadros 14 de la primera secuencia 12 desde el primer formato en el segundo formato de acuerdo con
b-(logm(Y) - a)
en donde b y están compuestos por el parámetro de mapeo 45 y están relacionados con un límite inferior Fm¡n y el límite superior ymax de la porción 3,8 del primer rango dinámico 40, Y mm a ymax, de acuerdo con
T -\
b= ,a = log„,(ymin)
log„,(i ax / 7min)
en donde logm es una función logarítmica a una base m y n es un entero que
indica un número entero de bits de representación del segundo formato. En ese í caso, el regulador de parámetros puede estar configurado para determinar u†a porción ocupada del primer rango dinámico dentro del cual se distribuyen los
valores de muestra 16 del primer cuadro 14 de la primera secuencia 12, j y establecer el parámetro de ponderación y el parámetro de compensación de modo
tal que
de acuerdo con las
en donde Ymin es un límite inferior, e Ymax es un límite superior de la porción ocupada.
La precisión y el rango del parámetro de ponderación y compensación podrían estar limitados, por ejemplo, por la etapa de codificación de video 20, que opera, por ejemplo, de acuerdo con H.264/AVC. En ese caso, el regulador lie parámetros puede estar configurado para determinar una porción ocupada del primer rango dinámico dentro del cual se distribuyen los valores de muestra 16 del primer cuadro 14 de la primera secuencia 12, y establecer el parámetro †e ponderación y el parámetro
logm ( i,* / ,n./)
! de acuerdo con las limitaciones que
Y max./ >— Y max,/ v J Y min,/ < Y min,/
en donde Ym¡n es un límite inferior, e Ymax es un límite superior de la porción ocupada, n0 es un número entero en relación con un rango de definición de ó, el índice 1 indexa el cuadro actual de la secuencia de cuadros, el índice k el cuadro de referencia de la secuencia de cuadros, w y logWD están compuestos por el parámetro de ponderación, y ó está compuesto por el parámetro jde
i compensación. La precisión admisible para w y ó pueden ser números enteros] el rango de vv puede estar, por ejemplo, limitado a - 128=w= 127. j Además, como también se analizará con respecto a las formas ele realización detalladas que se describen a continuación, la etapa de codificación ele video 20 y los codificadores residuales 60 pueden estar configurados para utilizar un parámetro cuantificador de tamaño del paso al codificar la segunda secuencia 30 de los cuadros 32 y regulador de parámetros 22 puede estar configurado para establecer el parámetro cuantificador de tamaño del paso para los cuadros 32 ele la secuencia 30 en función de la longitud de la porción respectiva 38, 48, fijada para el cuadro respectivo. Con esta medida, es posible armonizar el ruido ele cuantificación en su variación temporal como ocurriría de otro modo si se utilízala un parámetro cuantificador estático de tamaño del paso debido a la variación temporal de la longitud de las porciones 38 y 48, respectivamente. El regulador de parámetros 22 puede estar configurado para codificar el parámetro cuantificador de tamaño del paso en la corriente de datos diferencialmente a un parámetro cuantificado de tamaño del paso para un cuadro de inicio de la segunda secuencia, tal como el cuadro de una secuencia ...IPPPPP. Después de haber descripto una forma de realización para un codificador de video, con respecto a la Fig. 3, a continuación se describe un decodificador de video 100 de acuerdo con una forma de realización. El decodificador de video jes para reconstruir una secuencia 102 de cuadros 104 cuyos valores de muestra 106 están representados en un primer formato que abarca un primer rango dinámico! a partir de una corriente de datos, tal como el generado por el codificador de video de la Fig. 1. El formato en el que están representados los valores 106 puede serjel formato subyacente a los valores de muestra 16. Sin embargo, esto no es obligatorio. j
El decodificador de video 100 comprende una etapa de decodificación de video 108, un regulador de parámetros 10 y un reconversor de valor de muestra
estar conectados en serie entre una entrada 128 de la etapa de decodificación de video 108 que, a su vez, está conectada a la entrada 114, y una salida 130 de¡ la etapa de decodificación de video que, a su vez, está conectada al reconversor jde valor de muestra 112. En forma de un circuito, el multiplicador 124, el sumador 126 y el predictor temporal 122 están conectados en serie, en el ord n mencionado, entre una salida del sumador 120 y una entrada adicional del mismo. Los valores aplicados a las entradas adicionales del multiplicador 124 y del sumador 126 son controlados de acuerdo con los parámetros de ponderación y compensación que la etapa de decodificación de video 108 obtiene de la corriente de datos que ingresa en la entrada 128.
De este modo, después de haber descripto la estructura interna del decodificador de video 100 y la etapa de decodificación de video 10 , respectivamente, de acuerdo con una forma de realización, el modo de funcionamiento de los mismos se describe con más detalle a continuación.
Como ya se mencionó anteriormente, el decodificador de video 100 es para decodificar la corriente de datos generada, por ejemplo, por el codificador de video de la Fig. 1. La corriente de datos se ha obtenido a partir de la secuencia 30 en el formato de rango dinámico inferior y utilizando los parámetros de ponderación y compensación 50, que la etapa de codificación de video 20 insertó en la corriente de datos como información lateral. En consecuencia, el decodificador de video tiene acceso a los parámetros de ponderación y compensación 50 utilizados en el lado de la codificación y es capaz de emular la reconstrucción en el lado de la codificación utilizando los parámetros finalmente elegidos en el lado de la
codificación por medio de, por ejemplo, alguna optimización de velocidad/distorsión. j
En particular, la etapa de decodificación de video 108 está configurada para reconstruir, a partir de la corriente de datos que ingresa en la entrada 114, la segunda secuencia 30' de los cuadros 32' que corresponde a la secuencia 30 de la Fig. 1 aparte de la pérdida de codificación, tal como la pérdida de cuantificacion introducida por la etapa de codificación de video 20. Los valores de muestra 34' de los cuadros 32', en consecuencia, también están representados en el segundo formato que abarca el segundo rango dinámico 42 que es menor que el rango dinámico de la secuencia final reconstruida 102. Así como fue el
de codificación de video 20, la etapa de decodificación de video
la reconstrucción de una predicción ponderada temporal de un cuadro actual de la segunda secuencia 30' utilizando un cuadro de referencia de la segunda secuencia 30', ponderado por un parámetro de ponderación y compensado por un parámetro de compensación, ambos compuestos por la corriente de datos que ingresa en la entrada 114, como referencia. El regulador de parámetros 110, a su vez, está configurado para establecer el parámetro de mapeo 132 para el cuadro actual de la segunda secuencia 30' en función de un parámetro de mapeo para el cuadro de referencia de la segunda secuencia 30', y el parámetro de ponderación y el parámetro de compensación 50 del cuadro actual. El reconversor del valor de muestra 112, a su vez, está configurado para convertir los valores de muestra 34' de los cuadros 32' de la segunda secuencia 30' desde el segundo formato al primer formato utilizando una función de mapeo, que es inversa a la función de
mapeo utilizada por el conversor del valor de
rango dinámico 42 sobre la porción del primer
fijado por el parámetro de mapeo para el cuadro respectivo de la segunda secuencia.
Imagine, por ejemplo, que el reconstructor residual 1 8 de la etapa de decodificación de video 108 actualmente reconstruye un residuo para un cuadro actual 32', cuya reconstrucción se indica como 134 en la Fig. 4. Obviamente, ¡el
cuadro 32'. Imagínese, además, que esta versión reconstruida 138 sirve com cuadro de referencia para un cuadro posteriormente decodificado de la secuencia de cuadros 30'. Entonces, el parámetro de ponderación (logWD, w ) y el parámetro de compensación ó estarían contenidos en la corriente de datos para dicho decodificado posteriormente y, en consecuencia, los valores de muestra cuadro de referencia 32' se compensarían y ajustarían a escala en las etapas 124 y 126 antes de ser utilizados como la referencia 140 en la predicción temporal llevada a cabo por el predictor 122. Esto refleja la funcionalidad en el lado de codificación. El predictor temporal 122 utiliza vectores de movimiento contenidos en la corriente de datos para obtener la predicción temporal 136 de la referencia 140. Ya que el rango dinámico o el número de bits utilizado para representar la referencia 140 es mayor que el rango dinámico de la secuencia reivindicada
original 30, cuya reconstrucción será emitida en 130 de la etapa de decodificacipn de video 108, los efectos potenciales de recorte, que de otro modo podrían ocurrir debido a la aplicación de los parámetros de ponderación y compensación 50 'en
la posición y dimensión de la porción previamente determinada para el cuadro de referencia del cuadro actual. Con esta medida, el reconversor del valor de muestra 112 recupera las porciones 38 y 48 ilustradas en la Fig. 1 secuencialmente.
Por lo tanto, incluso en otras palabras, el parámetro de mapeo mencionado
anteriormente puede definir una longitud YMM K - YMIN K de la porción 38 del primer
rango dinámico 40 y un límite inferior ymin k , o un límite superior ?^ , de la porción
38 del primer
parámetros 1 10
para el cuadro
Y^J - Y^J de
parámetro de mapeo para el cuadro de referencia / de la secuencia 30', en función
del parámetro de ponderación (logWD, w ) para el cuadro actual k para obtener ta
longitud Ymax k - Ymin k de la porción 38 definida por el parámetro de movimiento 132
para el cuadro actual k, y modificando un límite inferior o superior de ja
porción 48 del primer rango dinámico 40, definido por el parámetro de mapeo par
el cuadro de referencia / en función del parámetro de compensación ó para el
¡ cuadro actual k, para obtener el límite inferior o superior YMMMAXJ¡ definido por el
parámetro de mapeo 132 del cuadro actual. En consecuencia, el regulador de
parámetros 1 10 está dirigido por los parámetros de ponderación y compensación
50 contenidos en la corriente de datos que ingresa en la entrada 1 14 para actuar
como regulador de parámetros 22 controlando la etapa de codificación de video 20
y el conversor de valor de muestra 18. j
En este momento, cabe señalar que el regulador de parámetros 1 10 de la
Fig. 3 está simplemente conectado al reconversor del valor de muestra 1 12, por
cuanto el regulador de parámetros controla tanto al conversor del valor de muestra como a la etapa de codificación de video 20, respectivamente. La aparente discrepancia entre la codificación y decodificación del sitio proviene del hecho antes mencionado de que la etapa de codificación de video del codificador 20 no es capaz de elegir libremente los parámetros de ponderación/compensación. Más bien, lo mismo se prescribe desde el exterior, es decir, por el regulador de parámetros 22 que, a su vez, tiene que tener en cuenta la señal original y su distribución 44 y 46, respectivamente, a la hora de establecer estos parámetros de ponderación/compensación. El regulador de parámetros 110, sin embargo, es dirigido por el resultado de esta elección a través de la información lateral contenida en la corriente de datos que llega a través de la entrada 110 y, por lo tanto, la etapa de decodificación de video 108 puede utilizar la información de los parámetros de ponderación/compensación contenida en la corriente de datds independientemente de la evaluación de la misma información por el regulador de parámetro, es decir la información de los parámetros de ponderación/compensación y, en consecuencia, no es necesario una vía de control que conduzca desde el regulador de parámetros 110 hacia la etapa de decodificación de video 108. Sin embargo, de acuerdo con una forma de realización alternativa, el regulador de parámetros 110 asume la responsabilidad de los ajustes y controles de la etapa de decodificación de video 108 de acuerdo con el exterior. En este último caso, una vía de control podría conducir desde el regulador de parámetros 1 10 hacia la etapa de decodificación de video 108.
Como ya se ha señalado anteriormente, la descripción más detallada ¡de una forma de realización indicada continuación utilizará una función
mapeo entre ambos formatos, es decir, una función de mapeo
primer formato un dominio logarítmico y un segundo formato un domirjiio logarítmico. En consecuencia, el reconversor del valor de muestra 112 puede estar configurado para convertir los valores de muestra Ln 34' de los cuadros 32' dejla segunda secuencia 30' del segundo formato en el primer formato de acuerdo
m<W«
en donde b y a están compuestos por el parámetro de mapeo y relacionados con un límite inferior Ym¡n y el límite superior Ymax de la porción primer rango dinámico, Ym¡n a Ymax, de acuerdo con
en donde logm es una función logarítmica a una base m y n es un entero j que indica un número enter
Si es así, el regula
computar a y b de modo tal
logm(Í,x, i„, ) 2"""· °'
n° es un número entero en relación con un rango de definición de
índice 1 indexa el primer cuadro de la segunda secuencia, el índice m indexa jel
segundo cuadro de la segunda secuencia, wy logWD están compuestos por el
parámetro de ponderación, y ó está compuesto por el parámetro <jle
compensación.
Además, en forma similar a la descripción anterior, la etapa de
decodificación de video 108 puede estar configurada para utilizar un parámetro cuantificador de tamaño del paso al reconstruir la segunda secuencia de cuadros,
y el regulador de parámetros puede estar configurado para establecer el
I
parámetro cuantificador de tamaño del paso para los cuadros de la segunda
secuencia en función de la longitud de la porción del primer rango dinámico, fijad la
para los cuadros respectivos de la segunda secuencia. En este aspecto, el
regulador de parámetro 1 10 puede estar configurado para decodificar el parámetro
cuantificado de tamaño del paso desde la corriente de datos diferencialmente a un
parámetro cuantificado de tamaño del paso para un cuadro de inicio de la segunda
secuencia.
Como también se ha descripto anteriormente, aunque se supone que los
valores de muestra de los cuadros de la primera secuencia son valores de
luminancia de punto flotante, y se supone que los valores de muestra de los
cuadros de la segunda secuencia de brillo son valores enteros, también existen otras posibilidades. !
La Fig. 5 muestra una porción de ejemplo de una corriente de datos que se transmite desde el lado dé codificación al lado de decodificación de acuerdo con las formas de realización descriptas anteriormente con relación a las Figs. 1 a j4. Se deduce de lo expuesto anteriormente, que la corriente de datos 150 tiene jla primera secuencia 102 de cuadros, cuyos valores de muestra están representados en un primer formato que abarca un primer rango dinámico, codificado en |el mismo en una forma reconstruible. En particular, la primera secuencia se codifica en la corriente de datos 150 indirectamente a través de una segunda secuencia 30
parámetro de ponderación y compensado por un parámetro de compensación, como referencia, en donde el parámetro de ponderación y el parámetro de compensación están compuestos por la corriente de datos de tal manera que un parámetro de mapeo 132 para el primer cuadro de la secuencia 30' depende de un parámetro de mapeo para el segundo cuadro de la segunda secuencia 30', el parámetro de ponderación y el parámetro de compensación , y los valores de muestra 34' de los cuadros 32' de la segunda secuencia se convierten desde el segundo formato en el primer formato utilizando una función de mapeo que asigna el segundo rango dinámico 42 sobre una porción del primer rango dinámico 40 i que está fijado por el parámetro de mapeo para el cuadro respectivo de ¡ la segunda secuencia que reconstruye la primera secuencia. En otras palabras, la
corriente de datos puede tener una estructura de porciones de cuadro 152,
una asociada a una porción respectiva de los cuadros 30' y 104, respectivamente.
I
Cada cuadro 30' puede estar codificado en la corriente de datos 150 en unidad de i bloques. Cada porción de cuadro 152 puede incluir datos de predicción de
movimiento 154 que incluyen, por ejemplo, un vector de movimiento. Además, cada porción de cuadro 152, los datos pueden incluir los parámetros de ponderación y compensación 50 para la reivindicación respectiva. La corriente de
I
datos se puede codificar de manera tal que los datos de predicción de movimiento
154 de cada porción de cuadro remite 156 a la porción de cuadro inmediatamente anterior en el tiempo t, es decir, cuando se ordenan las porciones de cuadro 152 va lo largo del eje del tiempo de presentación. Es decir, cada cuadro puede ser un
I
cuadro P que utiliza el cuadro inmediatamente anterior como cuadro de referencia, i y la porción del rango dinámico común 40 puede ser actualizada con esta cadena de dependencia. Simplemente, el primer cuadro general 158, es decir de inicio, de
I
la secuencia de cuadros, puede ser un cuadro I, o los cuadros de inicio de cada
GOP, es decir, grupo imágenes (inmediatamente anteriores). Este cuadro inicial 158 puede tener incorporado en el mismo una codificación explícita 160 de los parámetros de mapeo para este primer cuadro 158. Por otra parte, incluso esta codificación explícita 160 puede ser innecesaria. Asimismo, cada cuadro 152, cada cuadro 152 excepto el cuadro inicial 158, puede tener codificado en el mismo
I
I
un parámetro cuantificador de tamaño del paso 162, que prescribe el tamaño del paso de cuantificación a utilizar en la descuantificación en el reconstructor residual
118 y que está fijado en función de la longitud de la porción 38. En particular, el
parámetro cuantificador de tamaño del paso 162 puede haber sido codificado en la corriente de datos en forma diferencial utilizando el parámetro cuantificador ele tamaño del paso (determinado explícitamente o implícitamente) de la porción del cuadro inicial 158 como referencia.
Después de haber descripto en términos más bien generales las formas de realización de un aparato codificador y decodificador, a continuación se
describirán formas de realización más detalladas que representan implementaciones concretas de las formas de realización anteriores. De acuerdo con las implementaciones concretas que se describen a continuación se utiliza un mapeo de luminancia a brillo adaptativo por cuadros para llevar a cabo la transición entre la etapa de/codificadora de video y la re/conversión del valor de muestra, respectivamente. De acuerdo con las formas de realización que se describen a continuación, la herramienta de predicción ponderada de H.264/AVC se aprovecha para mantener la coherencia temporal. En otras palabras, dé acuerdo con las formas de realización descriptas a continuación, la etapa codificadora de video y la etapa decodificadora de video de las formas de realización anteriores actúan como entidades que se adaptan a H.264, es decir,
etapa codificadora de video 20 genera un corriente de datos que se adapta an
I
H.264 y se implementa una etapa decodificadora de video 108 de conformidad con el estándar H.264/AVC. La corriente de datos de la Fig. 5, incluso puede actuar
completamente de conformidad con H.264/AVC. Por lo tanto, la herramienta de
predicción ponderada de acuerdo con las siguientes formas de realización no sólo
se aprovecha para mantener la coherencia temporal sino que, al mismo tiempo, se
aprovecha para transmitir los parámetros de mapeo adaptativos utilizados para j la
conversión del valor de muestra. Asimismo se proporcionará un ejemplo que
ilustrará la forma de adaptar el parámetro de cuantificación (QP) para cada cuadro
dependiente del mapeo adaptativo.
Por lo tanto, en los detalles de implementación siguientes, con respecto
las formas de realización descriptas anteriormente de las Figs. 1-5, las mismas se
presentan utilizando las ecuaciones matemáticas con más detalle. Posteriormente, en la Sección 2 se presentan los resultados experimentales que utilizan los
detalles de implementación.
1.1. Mapeo de Luminancia Adaptativa de Rango Dinámico
A continuación se analizará nuevamente el mapeo de luminancia a brill
para las aplicaciones de codificación de video. La compensación entre el rango dé
luminancia representable [Ym¡„, Ymax], la profundidad
precisión relativa asociada se pueden observar en las
más generales de las funciones de mapeo de luminancia a brillo:
Esta relación lineal entre el logaritmo de la luminancia Y, y el espacio de brillo L también se describe en la Fig. 6. La Fig. 6 muestra un mapeo logarítmico adaptativo de luminancia a brillo: los distintos rangos para los distintos cuadros k dan como resultado las distintas funciones de mapeo. Por lo tanto, distintos valores de brillo pueden representar el mismo valor de luminancia.
Obviamente, el mapeo alcanza la más alta fidelidad cuando Ym¡n e Yma †s igual a la luminancia mínima y máxima de cuadro de video actual, respectivamente. Es decir, si los valores de luminancia existentes en un cuadro de video son asignados al rango completo de brillo por la función de mapeo con I la pendiente más pronunciada posible. Sin embargo, debido a que los rangos dinámicos pueden variar de un cuadro a otro (incluso en una escena estática,
Ln, y Ln,i, respectivamente, como se ejemplifica en la Fig. 1. Al conectar (3) en (2) utilizando un mapeo distinto para el cuadro k y I, respectivamente, se obtiene:
2 maX!¿ minj
(Ln,fc + 0.5) · w + o.
Aparentemente, la relación de dos valores de brillo Ln¡ k y Ln¡ ¡ derivados del mismo valor de luminancia Y está totalmente definida por una escala w y una compensación o. w y o se pueden obtener fácilmente de los rangos [Ym¡n,k, ß [Ymin.l, Y A'
H.264/AVC es el primer estándar internacional de codificación de video que define la sintaxis de una herramienta [7] de predicción ponderada (WP). La intención original de WP es mejorar la eficiencia de codificación de las secuenciJs de aparición gradual de la imagen y desaparición gradual de la imagen en donde la predicción compensada de movimiento por lo general falla. Éste permite señalar explícitamente un parámetro de ponderación vv y un parámetro de compensación ó por porción. Los parámetros se pueden utilizar para ponderar y cambiar el cuadro de referencia para mejorar la predicción temporal. La ecuación (4) muestra que un cambio del rango dinámico de cuadros sucesivos simplemente da como
resultado una ponderación w y cambio o de valores idénticos de luminancia enj el espacio de brillo. Por lo tanto, la sintaxis WP de H.264/AVC está perfectamente adaptada para permitir una predicción temporal eficiente a pesar de los cambios en el rango de luminancia. Considere, por ejemplo, el caso en el que un escenario casi estático es grabado por una cámara con capacidad de HDR de cara al sol brillante. Cuando el sol está siendo cubierto repentinamente por una nube, el rango dinámico cambiará por varios órdenes de magnitud, mientras que los valores de luminancia de todos los objetos en primer plano se mantendrán aproximadamente constantes. Si podemos utilizar las herramientas de WP para adaptar los valores de brillo del cuadro de referencia, esto permite una predicción temporal perfecta de los pixeles de primer plano que se original en los mismos valores de luminancia. Además, la información de parámetros WP es suficiente para transmitir toda la información lateral necesaria para una adaptación por cuadros del mapeo de luminancia a brillo, tal como se ilustra a continuación. I En H.264/AVC, la precisión y el rango dinámico de w y ó están limitados.
Ambos parámetros pueden tomar valores enteros entre -128 y 127. La precisiójn de w está limitada por un intervalo de cuantificación de i/2logWD, en donde se señala explícitamente logWD y puede tomar valores enteros entre 0 y 7. En consecuencia, un valor más alto de logWD conduce a una representación de grano más fino del parámetro w . Esto también significa que se requieren más bits para la codificación de los factores de ponderación y una reducción del rango dé ajuste a escala efectivo [7]. El tamaño del paso del parámetro de compensación está definido por 2 a fin de tener en cuenta la profundidad de bits n de ¡la
de mapeo del cuadro de k, [7m¡n,k. Fmax.k], tenemos que encontrar el 7 max,i mínimo y el ymax,i máximo que cumplan ¡
y
de acuerdo con las limitaciones
Las dos últimas desigualdades aseguran que el rango de luminancia
comprendido por el mapeo adaptativo comprendan por lo menos el rango je
luminancia presente en el cuadro actual, [ Y min, ¡ , Y maXi . !
En la práctica, el regulador de parámetros 22 puede encontrar la solución a
este problema resolviendo (5) y (6), fijando YmaxJ = YmmJ e YmiaJ = YmiBj y
redondeando a cero. Esto produce los valores iniciales de w y ó y (5) y (6) w.rlt. i mn e Ymatj · respectivamente, se pueden resolver: I
^ _ 2logWD 2" 8
lOgaí^nin.fc) 2 - 1 1°g2(^">ax»fc / í niin.fc)
^niin.¿ — 2
Si los resultados no cumplen una de las condiciones en (7), el regulador de
parámetros 22 puede disminuir w o aumentar ó por 1 , respectivamente, y i recalcular (8) y (9). I
suficientes para recuperar exactamente el rango de luminancia en el cuadro actual 38 dado el rango del cuadro anterior 48. No es necesario tener información lateral adicional para el mapeo adaptativo cuando el mapeo del primer cuadro j(y posiblemente los cuadros IDR) comprende el rango dinámico máximo visible. De lo contrario, el rango para el primer cuadro debe ser indicado explícitamente 'al decodificador tal como se ilustra en la línea discontinua 28. En general, sin embargo, el esquema de acuerdo con la Sección 1 evita que la información de ajuste a escala de valor flotante tenga que ser transmitida como información lateral para cada cuadro, complicando de otro modo la codificación conforme al estándar y aumentando la tasa de bits. j 1.3. Cuantificación Temporalmente Coherente |
De acuerdo con las medidas anteriores, para cada cuadro, distintos rangos de luminancia se asignan a los valores del código de brillo. Por lo tanto, el uso de un QP idéntico durante el proceso de codificación H.264/AVC conduciría a urla cuantificación variable del espacio de luminancia, en función del mapeo. En otras palabras, a pesar de que el codificador podría utilizar una cuantificación constante, la cuantificación efectiva podrá variar en gran parte a través del tiempo, dand > lugar a fuertes variaciones en la calidad y la tasa de bits. Por lo tanto, de acuerdjo con una forma de realización, las etapas de codificación 20 y 108 toman en cuenta el rango de mapeo de luminancia y, por consiguiente, encuentran una ??? adecuada para cada cuadro. Aquí, ??.? denota una compensación QP para el cuadro actual w.r.t., el QP de referencia que se utiliza para codificar el primejr cuadro. Se puede observar fácilmente en la Fig. 1 que, a fin de introducir la misma cuantificación efectiva a los valores de luminancia, los tamaños del paso cuantificador Qstep, i y Qstep,k del cuadro actual I y un cuadro arbitrario de referencia k tienen que estar relacionados de acuerdo con
Qre] _ Qstep, 1 _
¿ 'fc Qstep.k
(10)
Teniendo en cuenta el hecho de que, por definición Qstep se duplica aproximadamente cuando el valor de QP aumenta en 6 unidades, podemos afirmar que: I
Qrel,.fc « 2 QP'-*/6 AQP,., = round(61og2(QrelU:)). ¡
secuencia de prueba del panorama se generó por un paneo de 8000 * 4000 píxeles de la imagen panorámica HDR. Se muestran zonas interiores oscuras así
como también reflejos muy brillantes del sol desde el exterior de una ventana. Su
i rango dinámico total es del orden de 1010:1. Tanto, el Túnel y el Sol fueron
I
tomados desde el interior de un auto con una cámara de video HDR y están i disponibles gratuitamente en Max-Planck Institute [8]. El primero muestra un recorrido a través de un túnel oscuro, el último muestra un recorrido en
carretera de cara al sol brillante. El rango dinámico total representado en estas secuencias es de 105:1 y 107:1 , respectivamente. En nuestros experimentos
I
hemos utilizado dos sistemas métricos para evaluar la calidad de los videos HDR í decodificados: el predictor de diferencias visibles (VDP, según sus siglas en inglés) de HDR [9] y la relación máxima de señal-ruido perceptualmente uniform'e (PSNR PU, según sus siglas en inglés) [10]. El primero estima el porcentaje de píxeles en un par de imágenes que el observador notará diferentes con una probabilidad de más del 75%. El último sistema métrico es una extensión directa del sistema métrico común de PSNR para HDR. Para las imágenes LDR se supone que los valores de código de píxeles con corrección gama soh perceptualmente uniformes, es decir, amplitudes iguales de error son
visibles en las regiones brillantes y oscuras de una imagen. Sin embargo, esta hipótesis no se aplica a imágenes HDR y, por lo tanto, los valores de código deben ajustarse a escala en un espacio perceptualmente uniforme antes de poder calcular los valores PSNR significativos [10]. j Para codificar las secuencias, primero se las transforma de valores RGB dé punto flotante al espacio LogLuv y luego se las codifica con el software de'
i referencia H.264/AVC JM 17.2. El componente de brillo se codifica con una
profundidad de bits de 12 bits/muestra, los componentes u' y v' son submuestreados por un factor de dos verticalmente y horizontalmente j y codificados con 8 bits/muestra. Utilizamos la misma configuración del perfil alto H.264/AVC con una transformada de 8 * 8, estructura IPPP GOP, período intra cuadro de 15 y CABAC habilitado para todos los experimentos. Se selecciona un QP establecido de referencia para cada ejecución del codificador y el control de tasa no está activado. Sin embargo, el QP por cuadros puede desviarse de esjte QP de referencia tal como se describe en la Sección 1.3. Luego de decodificar las secuencias, se asignan nuevamente a los valores de punto flotante RGB y su calidad se evalúa de acuerdo con los sistemas métricos descriptos anteriormente!
En particular, la Fig. 7 muestra los resultados de codificación para tres casos: el mapeo temporalmente coherente de acuerdo con la Sección 1 ("propuesta"), la adaptación por cuadros para cada cuadro sin coherencia temporal ("por cuadros") [6] y el mapeo constante del rango de luminancia total rango [1CT , 108] ("rango visual"). Fila superior: predictor de diferencias visibles (VDP). Fila inferior: relación máxima de señal-ruido perceptualmente uniforme (PU PSNR). | La Fig. 7 muestra los resultados de codificación para todas las secuencias de prueba en términos del VDP promedio entre todos los cuadros decodificados (fila superior) y en términos de PSNR PU promedio del componente de luminancia (fila inferior). En particular, la Fig. 7 muestra los resultados de codificación para tres casos: el mapeo temporalmente coherente ("propuesto"), la adaptación por cuadros para cada cuadro sin coherencia temporal ("por cuadros") [6] y el mapeo constante del rango de luminancia total rango [10-4, 108] ("rango visual"). Fila superior: predictor de diferencias visibles (VDP). Fila inferior: relación máxima ele señal-ruido perceptualmente uniforme (PU PSNR). I El método propuesto ("propuesto") se compara con dos métodos ele
referencia para todas las secuencias de prueba. Vale la pena señalar aquí que el sistema métrico VDP es un sistema métrico de umbral que sólo ofrece una estimación sobre si un píxel se percibe como erróneo o no. No indica lo molestjo que es este error para un observador. Así, por ejemplo, los resultados de la Fig. 7(a) se pueden interpretar de la siguiente manera: si permitimos que aproximadamente el 1% de los pixeles se perciban en forma errónea, con el mapeo propuesto sólo se necesita una tasa de bits de menos de 2500 kbits/s. Esta es una reducción de alrededor del 50% (25%) en comparación con 5000 kbits/s (3250 kbits s) que tenemos que utilizar para alcanzar el mismo valor de VDP
mismo en el escenario de "rango visual" ("por cuadros"). Del mismo modo pueden observar grandes recortes de tasas para las secuencias de prueba
Túnel y Sol en las Fig. 7(b) y (c).
Como era de esperar, los resultados de PU PSNR en las Figs. 7(d) - muestran características de rendimiento similares a los resultados de VDP para todas las secuencias. Además, permiten una conclusión cuantitativa de la ganancia en cuanto a calidad que se puede lograr con el método propuesto pa'ra un rango amplio de tasas de bits. Por ejemplo, para la secuencia de Panorama, jel valor de PU PSNR del método propuesto es superior al valor de PU PSNR del mapeo de "rango visual" en 3 dB a 3250 kbits/s (ver la Fig. 7(d)). Esto significa qie el error cuadrático medio en el espacio de luminancia perceptualmente unifornjie se divide por la mitad a la misma tasa de bits y la calidad visual aumenta significativamente. j Vale la pena señalar que para la secuencia de Panorama, el mapéo adaptativo por cuadros tiene un efecto muy negativo en la eficiencia de codificación en comparación con el mapeo no adaptativo de "rango visual". Es secuencia muestra variaciones muy grandes y rápidas de su rango dinámico y, por lo tanto, en el caso del mapeo adaptativo por cuadros, la predicción temporal (ver las Figs. 7(a),(d)). Por otro lado, se puede observar en las Figs. 7(b) y (e) que el método propuesto lleva a cabo un mapeo casi idéntico al mapeo "por cuadros". En esta secuencia, los cambios temporales del rango dinámica son muy leves. En nuestros experimentos hemos observado además que para el mapeo "por cuadros" existen fuertes variaciones temporales de la tasa de bits y la calidad cada vez que el rango dinámico cambia de manera significativa. Este efecto negativo podría evitarse por la cuantificación temporalmente coherente y el mapeo del método propuesto.
3. CONCLUSIONES
En la Sección 1 , por lo tanto, se ha propuesto un mapeo de luminancia adaptativo de luminancia a brillo que permite la compresión del rango dinámico alto de punto flotante de datos de video con el estándar de codificación de video H.264/AVC de última generación. A diferencia de otros métodos, el mapeo se adapta al rango dinámico de cada cuadro. Sin embargo, la coherencia temporal se sustenta aprovechando las herramientas de predicción ponderada de H.264/AVG y aplicando una adaptación por cuadros del parámetro de cuantificación de acuerclo con la función de mapeo. No es necesario tener información lateral adicional y se puede observar una disminución importante de tasa de bits de hasta un 50% en comparación con los métodos no adaptativos en la misma calidad.
Por último, cabe señalar que todos los datos presentados en las Seccionés
1-3 también podrían variar en algún sentido. Por ejemplo, ni los parámetros de ponderación/compensación mencionados con respecto a las Figs. 1-5, ni los parámetros de ponderación/compensación mencionados en las Secciones 1-3, se limitan a aquellos del estándar H.264/AVC, es decir, logWD, * y ó. Lós parámetros de ponderación/compensación se podrían transmitir en forma ele distintos elementos de sintaxis. En particular, no es necesario dividir la transmisión del parámetro de ponderación en dos entidades de elementos de sintaxis de
I logWD, w Del mismo modo, cabe señalar que la secuencia 30 y 30',
respectivamente, podrían ser codificadas en forma de una secuencia ... IPPPP 4 o en forma de IPPPP ... GOPs - utilizando el cuadro respectivo inmediatamente
I
anterior como cuadro de referencia. El primer cuadro I podría representar un
cuadro de inicio como se mencionó en la Sección 1.3 que se refiere a que jel parámetro de cuantificacion se puede reajustar. Sin embargo, todas las formas de realización descriptas anteriormente no se limitan a dicho tipo de secuencia.
Incluso los cuadros B se podrían utilizar dentro del esquema de codificación en lia etapa de codificación de video 20 y en la etapa de decodificación de video 108 cuando se toman medidas adicionales en el regulador de parámetros 22 a fin de i satisfacer las limitaciones que plantean ambos parámetros de i ponderación/compensación para el cuadro actual con respecto a los dos cuadros de referencia, es decir, teniendo en cuenta los parámetros de ponderación/compensación del cuadro de referencia y los parámetros de ponderación/compensación del otro cuadro de referencia del cuadro actual con ambos pares de parámetros que se transmiten dentro de la corriente de datos.
Además, como ya se señaló anteriormente, en lugar de un mapeo luminancia a brillo, otro mapeo podría ser el tema de las formas de realización
i descriptas anteriormente. En otras palabras, los valores de muestra podrían pertenecer a otra información distinta a la luminancia. Asimismo, la implementación de la etapa de codificación de video 20 y la etapa dé decodificación de video 108 de las Figs. 2 y 4 han de entenderse únicamente
!
como ilustrativas. Por ejemplo, el codificador de entropía 62 responsable de la codificación de entropía de la señal residual 88 podría interrumpirse. En forma similar, un decodificador de entropía 129 podría conectarlo opcionalmente entre la entrada 128 y el reconstructor residual 118 de la etapa de decodificación de video 108 de la Fig. 4.
Aunque algunos aspectos han sido descriptos en el contexto de un aparato, es evidente que estos aspectos representan también una descripción del método correspondiente, en donde un bloque o dispositivo corresponde a un paso del método o una característica de un paso del método. En forma análoga, los aspectos descriptos en el contexto de un paso del método también representan una descripción de un bloque o elemento o característica correspondiente de un aparato respectivo. Algunos o todos los pasos del método se pueden llevar a cabo por (o con) un aparato de hardware tal como, por ejemplo, un microprocesador, una computadora programable o un circuito electrónico. En algunas formas de realización, alguno o más de la mayoría de los pasos importantes del método se pueden llevar a cabo por dicho aparato.
La corriente de datos de la invención se puede almacenar en un medio de almacenamiento digital o se puede transmitir en un medio de transmisión tal como un medio de transmisión inalámbrico o un medio de transmisión por cable tal como Internet.
Dependiendo de determinados requisitos de implementación, las formas c e realización de la invención se pueden implementar en hardware o en software. L Ia implementación se puede llevar a cabo utilizando un medio de almacenamiento
digital, por ejemplo un disco flexible, un DVD, un Blu-Ray, un CD, una memoria ROM, una memoria PROM, una memoria EPROM, una memoria EEPROM o una memoria FLASH, que tienen señales de control de lectura electrónica almacenadas en los mismos, cuyas señales cooperan (o son capaces de cooperar) con un sistema de computación programable de forma tal que el métoclo respectivo se realice. Por lo tanto, el medio de almacenamiento digital puede Jer legible por computadora.
Algunas formas de realización de acuerdo con la invención comprenden portador de datos que tiene señales de control de lectura electrónica, las cuales son capaces de cooperar con un sistema de computadora programable, de tal manera que uno de los métodos descriptos aquí se realice. |
En general, las formas de realización de la presente invención se pueden implementar como un producto de programa informático con un código de programa, cuyo código de programa es operativo para llevar a cabo uno de los métodos cuando el producto de programa informático se ejecuta en una computadora. El código del programa se puede almacenar, por ejemplo, en ún portador legible por computadora.
Otras formas de realización comprenden los programas informáticos para llevar a cabo uno de los métodos descriptos en la presente, almacenados en un portador legible por computadora.
En otras palabras, una forma de realización del método de la invención es, por lo tanto, un programa informático que tiene un código de programa para llevar a cabo uno de los métodos descriptos en la presente, cuando el programa informático se ejecuta en una computadora. j
Otra forma de realización de los métodos de la invención es, por lo tanto, un
portador de datos (o un medio de almacenamiento digital, o un medio legible por computadora) que comprende, grabado en el mismo, el programa informático pJra
llevar a cabo uno de los métodos descriptos en la presente. El portador de datos, el medio de almacenamiento digital o el medio grabado son generalmente tangibles y/o no transitorios.
Otra forma de realización del método de la invención es, por lo tanto, una corriente de datos o una secuencia de señales que representan el programa informático para llevar a cabo uno de los métodos descriptos en la presente. La
corriente de datos o la secuencia de señales, por ejemplo, pueden estar configuradas para ser transferidas a través de una conexión de comunicación de datos, por ejemplo, a través de Internet.
Una forma de realización adicional comprende un medio de procesamiento, por ejemplo, una computadora, o un dispositivo lógico programable, configurado adaptado para llevar a cabo uno de los métodos descriptos en la presente.
I
I
Otra forma de realización comprende una computadora que tiene instalado
en la presente a un receptor. El receptor puede ser, por ejemplo, una computadora, un dispositivo móvil, un dispositivo de memoria o similar. El aparato o sistema puede comprender, por ejemplo, un servidor de archivos para transferir el programa informático al receptor.
En algunas formas de realización, un dispositivo lógico programable (por ejemplo, un arreglo de puerta programable de campo) se puede utilizar para llevar a cabo algunas o todas las funcionalidades de los métodos descriptos en la presente. En algunas formas de realización, un arreglo de puerta programable de campo puede cooperar con un microprocesador para llevar a cabo uno de los métodos descriptos en la presente. En general, los métodos se llevarán a cabo, preferentemente, por cualquier aparato de hardware.
Las formas de realización anteriormente descriptas son simplemente
presentados a modo de descripción y explicación de las formas de realización ele la presente. i
Incluso en otras palabras se han descripto formas de realización
para una compresión eficiente de las secuencias de video de alto rango dinámico (HDR). Con el fin de obtener una representación codificada que sea compatible con el estándar de codificación de video H.264/AVC, los valores de HDR de va or flotante son asignados a una representación adecuada de número entero. El mapeo utilizado se adapta al rango dinámico de cada cuadro de video. Además, para compensar la variación de contraste dinámico asociado a través de los cuadros se introduce un método de predicción ponderada y adaptación de cuantificación.
Desde otro punto de vista, las formas de realización anteriores son una mejora de la transformada Adaptativa-LogLuv también descripta en el documento EP10151074.1 , cuya descripción se incorpora a la presente para ampliar la información. Básicamente se ha utilizado un mapeo adaptativo logarítmico†e valores flotantes a números enteros similar al documento EP10151074.1. Los parámetros de este mapeo, sin embargo, ya no son totalmente libres. En cambio, de acuerdo con las formas de realización anteriores, ellos están restringidos para adaptarse a las características de los codee de video H.264/AVC y, especialmente, la herramienta de predicción ponderada (WP) de H.264/AVC. Con estas restricciones, se obtienen los siguientes beneficios: (1) La herramienta de WP se puede utilizar para garantizar la coherencia temporal. (2) La sintaxis H.264/AVC para WP se puede utilizar para indicar los parámetros de mapeo de LogLuv, eliminando así la necesidad de información lateral adicional. En jla descripción anterior se ha demostrado la manera de adaptar el parámetro de cuantificación del codificador H.264/AVC en función del mapeo adaptativo.
REFERENCIAS
[1] Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High
Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2005.
[2] J. A. Ferwerda, "Elemente of early visión for computer graphics," IEEE
Comp. Graph. and Appl., vol. 21 , no. 5, pp. 22-33, 2001.
[3] Gregory Ward Larson, "The LogLuv encoding for full gamut, highdynanjiic range images," Journal of Graph. Tools, vol. 3, no. 1 , pp. 15-31 , 1998.
[4] Rafal Mantiuk, Grzegorz Krawczyk, Karol Myszkowski, and Hans-I Seidel, "Perception-motivated high dynamic range video encoding," ACM Traris
Graph., vol. 23, no. 3, pp. 733-741 , 2004.
[5] Masahiro Okuda and Nicola Adami, "Effective color space representation for wavelet based compression of HDR images," in International Conference on
Image Analysis and Processing, 2007, pp. 388-392. j
[6] Ajit Motra and Herbert Thoma, "An adaptive LogLuv transform for high dynamic range video compression," in Proc. Intl. Conf. on Image Processing
(ICIP), Hong Kong, China, Sept. 2010.
[7] J.M. Boyce, "Weighted prediction in the H.264/MPEG AVC video codihg standard," in Proc. Intl. Symposium on Circuits and Systems (ISCAS), May 2004, pp. 789-792.
[8] Grzegorz Krawczy, "HDR video environment maps samples," http://www.mpi-inf.mpg.de/resources/hdr/video/, MPI
?
[9] Rafat Mantiuk, Scott Daly, Karol Myszkowski, and Hans-Peter Seidel, "Predicting visible differences in high dynamic range images - model and its calibration," in SPIE Human Vision and Electronic Imaging X, 2005.
[10] TunC, Ozan Aydin, Rafat Mantiuk, and Hans-Peter Seidel, "Extending quality metrics to full dynamic range images," in SPIE Human Vision and Electronic Imaging XIII, San José, USA, Jan. 2008.
Claims (1)
- REIVINDICACIONES 1. El codificador de video para codificar una primera secuencia (12) de cuadros (14) cuyos valores de muestra (16) están representados en un primer formato que abarca un primer rango dinámico, el cual comprende: J un convertidor de valor de muestra (18) configurado para convertir Ips valores de muestra (16) de los cuadros (14) de la primera secuencia (16) desdej el primer formato en un segundo formato que tiene un segundo rango dinámico más bajo que el primer rango dinámico, utilizando una función de mapeo (36) que asigna una porción (38) del primer rango dinámico (40), que se puede establecer por un parámetro de mapeo (45), al segundo rango dinámico (42), a fin de obtener una segunda secuencia (30) de cuadros (32); una etapa de codificación de video (26) configurada para codificar | la segunda secuencia (30) de cuadros (32) por la predicción ponderada temporal ele j un primer cuadro de la segunda secuencia (30) utilizando un segundo cuadro de la segunda secuencia (30) de una versión reconstruida del segundo cuadro de la segunda secuencia (36), ponderado por un parámetro de ponderación y 2. El codificador de video de acuerdo con la reivindicación 1 , en donde el regulador de parámetros (22) está configurado para determinar una porción ocupada del primer rango dinámico (40) dentro del cual se distribuyen los valores de muestra (16) del primer cuadro de la primera secuencia (12), y establecer el parámetro de ponderación (50) y el parámetro de compensación (38) y. dependiendo del parámetro de ponderación (50) y el parámetro de compensación (38), el parámetro de mapeo para el primer cuadro de la primera secuencia de modo tal que la porción establecida por el parámetro de mapeo para el prinrjer cuadro de la primera secuencia (12) se aproxime a la porción ocupada. j 3. El codificador de video de acuerdo con la reivindicación 1 o 2, en donde jel regulador de parámetros (22) está configurado para establecer el parámetro de acuerdo con una desviación entre la longitud de las porciones (38, 48) establecidas por los parámetros de mapeo (logWD, w ) para el primer y segundo cuadro de la primera secuencia, respectivamente. 4. El codificador de video de acuerdo con cualquiera de las reivindicaciones 1 a 3, en donde el convertidor de valores de muestra (18) está configurado para convertir el valor de muestra Y de los cuadros (14) de la primera secuencia (12) desde el primer formato en el segundo formato de acuerdo con b-(\ogm(Y) - a) en donde b y a están compuestos por el parámetro de mapeo y están relacionados con un límite inferior Ym¡n y el límite superior Ymax de la porción (38) del primer rango dinámico (40), Ym¡n a Ymax, de acuerdo con ¡ en donde logm es indica un número entero de bits de representación del segundo formato. 5. El codificador de video de acuerdo con la reivindicación 4, en donde el regulador de parámetros (22) está configurado para determinar una porción ocupada del primer rango dinámico (40) dentro del cual se distribuyen los valores de muestra (16) del primer cuadro de la primera secuencia (12), y establecer jel parámetro de ponderac de acuerdo con las limi Y max ./ >— en donde Ym¡n es un límite inferior, e Ymax es un límite superior de la porción ocupada, n» es un número entero en relación con un rango de definición de ó, el índice 1 indexa el primer cuadro de la primera secuencia de cuadros, el índicej k indexa el segundo cuadro de la primera secuencia de cuadros, w . y logwD están compuestos por el parámetro de ponderación, y ó está compuesto por jel parámetro de compensación. j 6. El codificador de video de acuerdo con cualquiera de las reivindicaciones anteriores, en el cual la etapa de codificación de video (20) está configurada para utilizar un parámetro cuantificador de tamaño del paso al codificar la segunda 7. El codificador de video de acuerdo con la reivindicación 6, en el cual el regulador de parámetros (22) está configurado para codificar el parámetro cuantificado de tamaño del paso en una corriente de datos diferencialmente a un parámetro cuantificado de tamaño del paso para un cuadro de inicio de la segunda secuencia. I 8. El codificador de video de acuerdo con cualquiera de las reivindicaciones anteriores, en el cual los valores de muestra de los cuadros de la primera secuencia son valores de luminancia de punto flotante, y los valores de muestra de los cuadros de la segunda secuencia de valores enteros de brillo. j 9. Codificador de video de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el regulador de parámetros se configura para i Determinar una porción ocupada del primer rango dinámico en el cual se distribuyen los valores muestra (16) del primer cuadro de la primera secuencia, y! Establecer el parámetro de ponderación y el parámetro de compensación (50), y, con base en el parámetro de ponderación y el parámetro de compensación (50), el parámetro de mapeo para el primer cuadro de la primera secuencia, de tal moclo que el parámetro de ponderación y el parámetro de compensación se desplacen y escalen la porción fuera del primer rango dinámico (40) como lo haya establecido el parámetro de mapeo para el segundo cuadro de la primera secuencia, para dar como resultado un intervalo que captura la porción ocupada, en donde el intervalo es la porción fuera del primer rango dinámico (40) establecido por el parámetro de mapeo para el primer cuadro de la primera secuencia. I un segundo cuadro de la segunda secuencia (30'), ponderado por un parámetro de ponderación y compensado por un parámetro de compensación compuesto por la corriente de datos, como referencia; I un regulador de parámetros (1 10) configurado para establecer un parámetro de mapeo (132) para el primer cuadro de la segunda secuencia (30') en función dé un parámetro de mapeo para el segundo cuadro de la segunda secuencia (30'),¡ el parámetro de ponderación y el parámetro de compensación, y un reconversor de valor de muestra (112) configurado para convertir los valores de muestra (34') de los cuadros (32') de la segunda secuencia desde el segundo formato al primer formato utilizando una función de mapeo que asignaj el segundo rango dinámico (42) sobre una porción del primer rango dinámico (40) que es fijada por el parámetro de mapeo para el cuadro respectivo de la segunda secuencia. 11. El decodificador de video de acuerdo con la reivindicación 10, en el cual el parámetro de mapeo define una longitud de la porción (38) del primer rango dinámico (40) y un límite inferior y superior de la porción (38) del primer rango dinámico, y en el cual el regulador de parámetros está configurado para establecer el parámetro de mapeo para el primer modificando una longitud de la porción definido por el parámetro de movimiento secuencia (30'), en función del parámetro de ponderación para obtener la longitud de la porción (38) definida por el parámetro de movimiento para el primer cuadro de la segunda secuencia, y modificando un límite inferior o superior de la porción (48) del primer rango dinámico (40), definida por el parámetro de movimiento para el segundo cuadro de la segunda secuencia en función del parámetro Le compensación, para obtener el primer cuadro de la segunda secuencia. 12. El decodificador de video de acuerdo con cualquiera de las reivindicaciones 10 a 11 , en el cual el reconversor de valores de muestra (112) está configurado para convertir el valor de muestra Ln(34') de los cuadros (32') de la segunLa secuencia (30') desde el primer formato en el segundo formato de acuerdo con en donde b y a están compuestos por el parámetro de mapeo y están relacionados con un límite inferior Ym¡n y el límite superior Ymax de la porción (38) del primer rango dinámico, Ym¡n a YmaX) de acuerdo con en donde logm es una función logarítmica a una base m y n es un entero que indica un número entero de bits de representación del segundo formato. 13. El codificador de video de acuerdo con la reivindicación 12, en el cual! el regulador de parámetros (110) está configurado para calcular a y b de modo ]tal n° es un número entero en relación con un rango de definición de ó, el índice 1 indexa el primer cuadro de la segunda secuencia, el índice k indexa el segundo cuadro de la segunda secuencia, w y iogwD están compuestos por el parámetro de ponderación, y ó está compuesto por el parámetro de compensación. 14. El decodificador de video de acuerdo con cualquiera de las reivindicaciones 10 a 13, en el cual la etapa de decodificación de video (108) está configurada para utilizar un parámetro cuantificador de tamaño del paso al reconstruir la segunda secuencia de cuadros, y el regulador de parámetros está configurado para establecer el parámetro cuantificador de tamaño del paso para los cuadros de la i I segunda secuencia en función de la longitud de la porción del primer rango dinámico, fijada para los cuadros respectivos de la segunda secuencia. ' 15. El decodificador de video de acuerdo con la reivindicación 14, en el cual el regulador de parámetro (110) está configurado para decodificar el parámetro pasótamaño del cuantificador desde la corriente de datos diferencialmente a un parámetro de paso-tamaño cuantificado para un cuadro de inicio de la secuencia. 16. El decodificador de video de acuerdo con cualquiera de las reivindicaciones 10 a 15, en el cual los valores de muestra de los cuadros de la primera secuencia son valores de luminancia de punto flotante, y los valores de muestra de los i cuadros de la segunda secuencia de valores enteros de brillo. 17. El método para codificar una primera secuencia (12) de cuadros (14) cuyos valores de muestra (16) están representados en un primer formato que abarca un primer rango dinámico, el cual comprende: j convertir los valores de muestra (16) de los cuadros (14) de la primera secuencia (16) desde el primer formato en un segundo formato que tiene un segundo rango dinámico más bajo que el primer rango dinámico, utilizando una función de mapeo (36) que asigna una porción (38) del primer rango dinámico (40), que se puede establecer por un parámetro de mapeo (45), al segundo rango dinámico (42), a fin de obtener una segunda secuencia (30) de cuadros (32); J codificar la segunda secuencia (30) de cuadros (32) por la predicción ponderada temporal de un primer cuadro de la segunda secuencia (30) utilizando un segundo cuadro de la segunda secuencia (30) de una versión reconstruida del segundo cuadro de la segunda secuencia (36), ponderado por un parámetro ele ponderación y compensado por un parámetro de compensación, como referencia; y establecer el parámetro de ponderación y el parámetro de compensación (50) en función del parámetro de mapeo (45) para el segundo cuadro de la primera secuencia correspondiente al segundo cuadro de la segunda secuencia, y establecer el parámetro de mapeo para un primer cuadro de la primera secuencia correspondiente al primer cuadro de la segunda secuencia, dependiendo del parámetro de mapeo para el segundo cuadro de la primera secuencia, el parámetro de ponderación y el parámetro de compensación. 18. El método para reconstruir una primera secuencia (102) de cuadros, cuyos valores de muestra están representados en un primer formato que abarca un primer rango dinámico, a partir de una corriente de datos, el cual comprende: reconstruir, a partir de la corriente de datos, una segunda secuencia (30) de cuadros (32), cuyos valores de muestra están representados en un segundo formato que abarca un segundo rango dinámico (42) inferior al primer rango dinámico, por una predicción ponderada temporal de un primer cuadro de ja segunda secuencia (30') utilizando un segundo cuadro de la segunda secuencia (30'), ponderado por un parámetro de ponderación y compensado por un parámetro de compensación compuesto por la corriente de datos, como referencia; establecer un parámetro de mapeo (132) para el primer cuadro de la segunda secuencia (30') en función de un parámetro de mapeo para el segundo cuadro de la segunda secuencia (30'); el parámetro de ponderación y el de compensación, y convertir los valores de muestra (34') de los cuadros (32') de la segunda secuencia desde el segundo formato al primer formato utilizando una función de mapeo que asigna el segundo rango dinámico (42) sobre una porción del primer rango dinámico (40) que es fijada por el parámetro de mapeo para el cuadro i respectivo de la segunda secuencia. ! 19. La corriente de datos de una primera secuencia (102) de cuadros, cuyos valores de muestra están representados en un primer formato que abarca primer rango dinámico, se puede reconstruir, en la cual la primera secuencia codifica en la corriente de datos indirectamente mediante una segunda secuencia i (30) de cuadros (32), cuyos valores de muestra están representados en un segundo formato que abarca un segundo rango dinámico (42) inferior al primer rango dinámico, en donde la segunda secuencia se codifica en la corriente de datos por una predicción ponderada temporal de un primer cuadro de la segunda secuencia (30') utilizando un segundo cuadro de la segunda secuencia (30'), (30') depende de un parámetro de mapeo para el segundo cuadro de la segunda secuencia (30'), el parámetro de ponderación y el parámetro de compensación j y los valores de muestra (34') de los cuadros (32') de la segunda secuencia se convierten desde el segundo formato en el primer formato utilizando una función de mapeo que asigna el segundo rango (42) sobre una porción del primer rango dinámico (40) que está fijada por el parámetro de mapeo para el cuadro respectivo de la segunda secuencia, reconstruyendo la primera secuencia. 20. Medio de almacenamiento digital legible por computadora que almacena en el mismo un programa informático que tiene un código de programa para llevarja cabo, cuando se ejecuta en una computadora, un método de acuerdo con la reivindicación 17 o 18.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US39440510P | 2010-10-19 | 2010-10-19 | |
| EP11166909A EP2445214A1 (en) | 2010-10-19 | 2011-05-20 | Video coding using temporally coherent dynamic range mapping |
| PCT/EP2011/067840 WO2012052338A1 (en) | 2010-10-19 | 2011-10-12 | Video coding using temporally coherent dynamic range mapping |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| MX2013004362A true MX2013004362A (es) | 2013-06-05 |
Family
ID=44117856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| MX2013004362A MX2013004362A (es) | 2010-10-19 | 2011-10-12 | Codificacion de video utilizando mapeo de rango dinamico temporalmente coherente. |
Country Status (14)
| Country | Link |
|---|---|
| US (2) | US9532047B2 (es) |
| EP (2) | EP2445214A1 (es) |
| JP (2) | JP6121331B2 (es) |
| KR (1) | KR101531119B1 (es) |
| CN (1) | CN103262535B (es) |
| AR (1) | AR083481A1 (es) |
| AU (1) | AU2011319562B2 (es) |
| CA (1) | CA2815158C (es) |
| ES (1) | ES2663213T3 (es) |
| MX (1) | MX2013004362A (es) |
| RU (1) | RU2550533C2 (es) |
| TR (1) | TR201802251T4 (es) |
| TW (1) | TWI539822B (es) |
| WO (1) | WO2012052338A1 (es) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9420302B2 (en) | 2012-01-24 | 2016-08-16 | Dolby Laboratories Licensing Corporation | Weighted multi-band cross color channel predictor |
| KR20150020568A (ko) | 2012-05-14 | 2015-02-26 | 루카 로사토 | 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩 |
| GB2513111A (en) * | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
| US20170264911A1 (en) * | 2013-10-31 | 2017-09-14 | Thomson Licensing | Method and device for predictive coding/decoding of a group of pictures of a sequence of images with conversion of the dynamic of the values of the pixels |
| CN105723711B (zh) * | 2013-11-12 | 2019-05-07 | 杜比实验室特许公司 | 高动态范围视频编码中的预抖动方法、装置及存储介质 |
| US10045024B2 (en) | 2013-11-27 | 2018-08-07 | Thomson Licensing | Method and device for quantising the floating value of a pixel in an image |
| DE112015000950T5 (de) | 2014-02-25 | 2016-12-08 | Apple Inc. | Abwärtskompatible Einrichtung und abwärtskompatibles Verfahren zum Bereitstellen von Video mit sowohl Standard- als auch hohem Dynamikbereich |
| US10104388B2 (en) * | 2014-06-30 | 2018-10-16 | Sony Corporation | Video processing system with high dynamic range sensor mechanism and method of operation thereof |
| RU2686642C2 (ru) * | 2014-08-08 | 2019-04-29 | Конинклейке Филипс Н.В. | Способы и устройства для кодирования hdr-изображений |
| FR3018149A1 (fr) * | 2014-09-02 | 2015-09-04 | Thomson Licensing | Procede et dispositif de selection d'un operateur de conversion de dynamique d'image, programme d'ordinateur et support de stockage correspondant |
| WO2016123001A1 (en) | 2015-01-27 | 2016-08-04 | Dolby International Ab | Predictive image encoding and decoding with pixel group based quantization |
| US10735755B2 (en) * | 2015-04-21 | 2020-08-04 | Arris Enterprises Llc | Adaptive perceptual mapping and signaling for video coding |
| KR102658290B1 (ko) | 2015-06-08 | 2024-04-16 | 브이아이디 스케일, 인크. | 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드 |
| EP3107300A1 (en) * | 2015-06-15 | 2016-12-21 | Thomson Licensing | Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame |
| KR102403360B1 (ko) * | 2015-06-16 | 2022-05-30 | 광운대학교 산학협력단 | 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치 |
| US10244249B2 (en) * | 2015-09-21 | 2019-03-26 | Qualcomm Incorporated | Fixed point implementation of range adjustment of components in video coding |
| ITUB20155949A1 (it) * | 2015-11-26 | 2017-05-26 | Trellis Europe S R L | Metodo per la codifica e decodifica di immagini hdr |
| RU2720446C2 (ru) * | 2015-12-17 | 2020-04-29 | Конинклейке Филипс Н.В. | Простое, но гибкое кодирование динамического диапазона |
| CN107027027B (zh) * | 2016-01-31 | 2021-02-12 | 西安电子科技大学 | 图像的编码、解码方法及装置、以及图像的编解码系统 |
| RU2728516C2 (ru) * | 2016-03-18 | 2020-07-30 | Конинклейке Филипс Н.В. | Кодирование и декодирование hdr видео |
| ITUA20163652A1 (it) | 2016-05-20 | 2017-11-20 | Trellis Europe S R L | Metodo per la codifica e decodifica di immagini hdr |
| US10810970B1 (en) * | 2017-03-29 | 2020-10-20 | Sharp Kabushiki Kaisha | Display device |
| WO2019057846A1 (en) * | 2017-09-21 | 2019-03-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | CONCEPT FOR VARYING A CODING QUANTIFICATION PARAMETER IN AN IMAGE, ADJUSTING A CODING QUANTIFICATION PARAMETER AND ADAPTING A CODING QUANTITY PARAMETER OF A MULTI-CHANNEL IMAGE |
| WO2019205117A1 (en) * | 2018-04-28 | 2019-10-31 | Intel Corporation | Weighted prediction mechanism |
| EP4058976B1 (en) * | 2019-11-15 | 2025-05-07 | Huawei Technologies Co., Ltd. | Device and method for pre-processing image data for a computer vision application |
| US12394444B2 (en) | 2020-06-03 | 2025-08-19 | Dolby Laboratories Licensing Corporation | Computing dynamic metadata for editing HDR content |
| US20240169708A1 (en) * | 2022-11-10 | 2024-05-23 | Qualcomm Incorporated | Processing video data using delta quantization |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5440344A (en) * | 1992-04-28 | 1995-08-08 | Mitsubishi Denki Kabushiki Kaisha | Video encoder using adjacent pixel difference for quantizer control |
| US6028608A (en) * | 1997-05-09 | 2000-02-22 | Jenkins; Barry | System and method of perception-based image generation and encoding |
| US6560285B1 (en) | 1998-03-30 | 2003-05-06 | Sarnoff Corporation | Region-based information compaction as for digital images |
| JP4186470B2 (ja) * | 2002-02-05 | 2008-11-26 | ソニー株式会社 | 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム |
| RU2287909C2 (ru) * | 2004-12-15 | 2006-11-20 | Московский технический университет связи и информатики | Способ преобразования цифрового сигнала изображения и устройство для его реализации |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| WO2007116551A1 (ja) * | 2006-03-30 | 2007-10-18 | Kabushiki Kaisha Toshiba | 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 |
| GB2444992A (en) * | 2006-12-21 | 2008-06-25 | Tandberg Television Asa | Video encoding using picture division and weighting by luminance difference data |
| JP2008227702A (ja) * | 2007-03-09 | 2008-09-25 | Oki Electric Ind Co Ltd | 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム |
| US7983496B2 (en) * | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
| CN101796841B (zh) * | 2007-06-27 | 2012-07-18 | 汤姆逊许可公司 | 用增强层残差预测对视频数据编码/解码的方法和设备 |
| WO2010105036A1 (en) * | 2009-03-13 | 2010-09-16 | Dolby Laboratories Licensing Corporation | Layered compression of high dynamic range, visual dynamic range, and wide color gamut video |
-
2011
- 2011-05-20 EP EP11166909A patent/EP2445214A1/en not_active Withdrawn
- 2011-10-12 ES ES11767737.7T patent/ES2663213T3/es active Active
- 2011-10-12 RU RU2013122852/08A patent/RU2550533C2/ru active
- 2011-10-12 WO PCT/EP2011/067840 patent/WO2012052338A1/en not_active Ceased
- 2011-10-12 TR TR2018/02251T patent/TR201802251T4/tr unknown
- 2011-10-12 KR KR1020137012694A patent/KR101531119B1/ko active Active
- 2011-10-12 CA CA2815158A patent/CA2815158C/en active Active
- 2011-10-12 MX MX2013004362A patent/MX2013004362A/es active IP Right Grant
- 2011-10-12 CN CN201180061241.1A patent/CN103262535B/zh active Active
- 2011-10-12 EP EP11767737.7A patent/EP2630794B1/en active Active
- 2011-10-12 JP JP2013534258A patent/JP6121331B2/ja active Active
- 2011-10-12 AU AU2011319562A patent/AU2011319562B2/en active Active
- 2011-10-18 TW TW100137700A patent/TWI539822B/zh active
- 2011-10-19 AR ARP110103867A patent/AR083481A1/es active IP Right Grant
-
2013
- 2013-04-12 US US13/861,512 patent/US9532047B2/en active Active
-
2016
- 2016-11-07 JP JP2016217593A patent/JP6453832B2/ja active Active
- 2016-11-16 US US15/352,682 patent/US10205958B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CA2815158A1 (en) | 2012-04-26 |
| TR201802251T4 (tr) | 2018-03-21 |
| KR20130084670A (ko) | 2013-07-25 |
| EP2445214A1 (en) | 2012-04-25 |
| EP2630794A1 (en) | 2013-08-28 |
| EP2630794B1 (en) | 2017-12-13 |
| JP2013545371A (ja) | 2013-12-19 |
| KR101531119B1 (ko) | 2015-06-23 |
| RU2550533C2 (ru) | 2015-05-10 |
| AU2011319562B2 (en) | 2015-08-06 |
| CA2815158C (en) | 2016-08-16 |
| TWI539822B (zh) | 2016-06-21 |
| AU2011319562A1 (en) | 2013-05-02 |
| ES2663213T3 (es) | 2018-04-11 |
| CN103262535B (zh) | 2016-08-31 |
| CN103262535A (zh) | 2013-08-21 |
| TW201234860A (en) | 2012-08-16 |
| JP2017073792A (ja) | 2017-04-13 |
| US9532047B2 (en) | 2016-12-27 |
| JP6453832B2 (ja) | 2019-01-16 |
| US10205958B2 (en) | 2019-02-12 |
| BR112013009596A2 (pt) | 2016-07-12 |
| WO2012052338A1 (en) | 2012-04-26 |
| AR083481A1 (es) | 2013-02-27 |
| RU2013122852A (ru) | 2014-11-27 |
| US20170064324A1 (en) | 2017-03-02 |
| US20130223531A1 (en) | 2013-08-29 |
| JP6121331B2 (ja) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| MX2013004362A (es) | Codificacion de video utilizando mapeo de rango dinamico temporalmente coherente. | |
| US20250159172A1 (en) | Use of chroma quantization parameter offsets in deblocking | |
| RU2586837C2 (ru) | Интер-уровневое предсказание между уровнями с разным динамическим диапазоном значения отсчетов | |
| US10536731B2 (en) | Techniques for HDR/WCR video coding | |
| US9554145B2 (en) | Re-encoding image sets using frequency-domain differences | |
| TWI610574B (zh) | 於解塊中色度量化參數偏移之使用 | |
| US10873763B2 (en) | Video compression techniques for high dynamic range data | |
| CN107079154B (zh) | 向后兼容的hdr视频多层压缩技术 | |
| Garbas et al. | Temporally coherent luminance-to-luma mapping for high dynamic range video coding with H. 264/AVC | |
| Le Pendu et al. | Local inverse tone curve learning for high dynamic range image scalable compression | |
| EP2863629A1 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, and program | |
| HK1189109B (en) | Video coding using temporally coherent dynamic range mapping | |
| BR112013009596B1 (pt) | Codificação de vídeo utilizando mapeamento de variação dinâmica temporalmente coerente |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Grant or registration |