MXPA06002339A

MXPA06002339A - Metodo y aparato para modelar patrones de grano de pelicula en el dominio de frecuencia.

Info

Publication number: MXPA06002339A
Application number: MXPA06002339A
Authority: MX
Inventors: Joan Llach
Original assignee: Thomson Licensing
Priority date: 2003-08-29
Filing date: 2004-04-07
Publication date: 2006-05-19
Also published as: EP1661089A1; CA2537000C; CA2537000A1; PL1661089T3; MY136026A; JP2007504709A; ATE381076T1; AU2004273405A1; RU2332715C2; JP2012227951A; KR101001086B1; CN100389437C; ES2297531T3; US7738721B2; RU2006110037A; BRPI0413904A; US20060292837A1; HK1094071A1; JP2011004437A; DE602004010683D1

Abstract

Se pueden modelar patrones de grano de pelicula en el dominio de frecuencia estimando las frecuencias de corte que definen un filtro de paso de banda 2D. Los parametros de grano de pelicula pueden ser transportados de acuerdo con el estandar ITU-H.264 ??MPEG-4 AVC en el mensaje de SEI permitiendo la re-insercion del grano de pelicula en un descodificador.

Description

METODO Y APARATO PARA MODELAR PATRONES DE GRANO DE PELICULA EN EL DOMINIO DE FRECUENCIA REFERENCIA A LAS SOLICITUDES RELACIONADAS Esta solicitud reclama prioridad de acuerdo con 35 U.S.C. 119(c) para la Solicitud de Patente Provisional de E.U.A. Serie No. 60/498,945, presentada el 29 de Agosto del 2003, las enseñanzas de la cual se incorporan aquí por referencia.

CAMPO TECNICO Esta invención se refiere a una técnica para modelar patrones de grano de película en el dominio de frecuencia.

ANTECEDENTES DE LA INVENCION La película de imagen en movimiento típicamente contiene ruido dependiente de señal, por lo regular denominado como gramo de película, que resulta del proceso de exposición y revelado de la película fotográfica. Dicho ruido produce un patrón o textura casi aleatorio característico, causado por la granularidad física de la emulsión fotográfica. Alternativamente, el ruido dependiente de señal puede ocurrir como resultado de la subsecuente edición de las imágenes. El patrón de grano puede ser simulado para propósitos de compresión de video. El estándar de compresión de video ITU-H.264 | MPEG-4 AVC ha aceptado, en su Enmienda de Extensiones de Escala de Fidelidad, la inclusión de un mensaje de SEI (Información de Mejoramiento Suplemental) de grano de película. El mensaje de SEI de grano de película transporta una serie de parámetros que permiten la simulación de grano de película en el receptor. Para el estándar de compresión ITU-H.264 I MPEG-4 AVC, los parámetros en el mensaje de SEI pueden ser especificados de acuerdo con dos diferentes modelos: el modelo auto-regresivo y el modelo de filtración de frecuencia. Ambos modelos permiten caracterizar el patrón de grano de película (tamaño y forma), intensidad y correlación de color a través de diferentes grupos de parámetros para niveles de diferente intensidad. En particular, el modelo de filtración de frecuencia caracteriza el patrón de grano de película especificando un grupo de frecuencias de corte que definen un filtro de paso de banda 2D en el dominio de frecuencia. Observar que ITU-H.264 | MPEG-4 AVC sólo estandariza la sintaxis necesaria para transmitir las frecuencias de corte, pero no proporciona un método para calcularla para una secuencia de video con grano de película. De esta manera, existe la necesidad de una técnica que permita el modelado automático del patrón de grano de película en el dominio de frecuencia según especificado por el modelo de filtración de frecuencia en el estándar de compresión ITU-H.264 I MPEG-4 AVC. Los resultados de esta técnica pueden ser utilizados ya sea para aplicaciones de modelado de grano de película automático o como el paso de inicio para un procedimiento remodelado ayudado por grano de película.

COMPENDIO DE LA INVENCION En resumen, de acuerdo con una modalidad preferida, se proporciona un método para modelar (es decir, caracterizar) patrones de grano de película en el dominio de frecuencia. El método comprende los pasos de (1) transformar un grupo de muestras de grano de película homogéneas recibidas como una entrada para el procedimiento al dominio de frecuencia, produciendo así un grupo de coeficientes de transformación que tienen un patrón particular; (2) analizar el patrón creado por los coeficientes transformados; y (3) estimar las frecuencias de corte de un filtro de frecuencia 2D que puede efectivamente simular el patrón de coeficientes de transformación filtrando el ruido aleatorio. Las frecuencias de corte establecidas a través de este método pueden ser transportadas en un mensaje de SEI de acuerdo con el estándar ITU-H.264 | MPEG-4 AVC que permite la simulación de grano de película y la re-inserción en un descodificador.

BREVE DESCRIPCION DE LOS DIBUJOS La Figura 1 ilustra un diagrama de flujo de los pasos de un método para caracterizar patrones de grano de película de acuerdo con los principios de la presente; y La Figura 2 es un diagrama de flujo de una variación del método de caracterización de grano de película de la Figura 1.

DESCRIPCION DETALLADA La Figura 1 ilustra un diagrama de flujo de los pasos de un método de acuerdo con los principios de la presente para modelar un patrón de grano de película en el dominio de frecuencia después de recibir una serie de muestras de grano de película representando un patrón de grano de película homogéneo. Como se discute con mayor detalle más adelante, el método de los principios de la presente proporciona parámetros al patrón de las muestras de entrada analizando el tamaño y forma de las estructuras que forman el grano. Ya que el grano puede formarse en forma diferente dependiendo de la exposición de la película, las muestras de grano de película homogéneas son típicamente aquellas asociadas con valores de luminancia similares en la imagen de la película. Las muestras de grano de película en la entrada del procedimiento puede ser cualquier grupo (o grupos) de píxeles próximos que retienen información sobre el tamaño y la forma del grano de película. En la modalidad ¡lustrada, se asumirá, para simplificar, que las muestras de grano de película están dispuestas en bloques cuadrados de NxN píxeles con una implementación de transformación particular basándose en un DCT de bloques cuadrados de NxN píxeles, aunque otras transformaciones, tales como la Transformación Rápida de Fourier, trabajan bien. El método de los principios de la presente asume que la modelación del grano de película presente en lgrano[x.y.c] ocurre de acuerdo con la relación: ¦granoL iyi'-'J- 'singrano [x,y,c]+G[x,y,c] (1) en donde G[x,y,c] representa el grano simulado en las coordenadas de píxel (x,y) para el componente de color c. G[x,y,c] se calcula como: G[x,y,c] = p*Q[x,y,c] + u*G[x,y,c-1] (2) en donde el parámetro p es la desviación estándar del ruido aleatorio y el parámetro u modela la correlación de color de cruce entre los diferentes componentes de color. Más particularmente, el término Q[c] comprende un campo aleatorio bi-dimensional generado filtrando bloques b de NxM valores aleatorios, los cuales han sido generados con una distribución Gausiana normalizada N(0,1). En una modalidad particular, la filtración de paso de banda de los bloques b puede ser realizada en el dominio de frecuencia a través de los siguientes tres pasos: Paso 1: Transformación B = DCT_N x M(b) Paso 2: Filtración de frecuencia para (x=0; y<N; y++) para (x=0; x<M; x+ + ) si ((x<BAJA_HF && y<BAJA_VG) II x>ALTA_HF II y>ALTA_VF B[x,y] = 0; en donde BAJA_HF y BAJA_VF son las frecuencias de corte Horizontal y Vertical bajas, respectivamente, y ALTA_HF y ALTA_VF son las frecuencias de corte Horizontal y Vertical altas, respectivamente. Las frecuencias de corte definen los límites entre coeficientes conservados y filtrados cuando una imagen de grano de película es trazada en el dominio de frecuencia y sirve para caracterizar el tamaño del grano.

Paso 3: Transformación Inversa b' = IDCT_N x (B) Finalmente, Q[c] se forma combinando los bloques filtrados b' en una imagen compuesta. La filtración de paso bajo de las transiciones de bloque reducirán la posible "falta de bloques". Aunque M y N pueden tener cualquier valor, en la práctica, los bloques cuadrados de 16x16, 8x8 ó 4x4 trabajarán mejor. Observar también que otras transformaciones, tales como la Transformación Rápida de Fourier (FFT), pueden reemplazar el proceso de DCT de los Pasos 1 y 3. A través de estos principios, la modelación de los patrones de grano de película es equivalente a extraer las frecuencias de corte BAJA_H F, BAJ_VF, ALTA_HF y ALTA_VF que caracterizan al filtro de paso de banda en el dominio de frecuencia. El método de los principios de la presente comienza después de la ejecución del paso 101, en donde cada bloque de NxN píxeles experimenta una Transformación de Coseno Discreta, con subsecuente almacenamiento de las disposiciones resultantes de NxN coeficientes durante el paso 102. Durante el paso 103, ocurre una verificación para decidir si existe la necesidad de más bloques con las muestras de grano de película con el fin de obtener más coeficientes para el almacenamiento. Ordinariamente, todos los bloques de las muestras de grano de película disponibles en la entrada experimentan una transformación. Sin embargo, para reducir los requerimientos de memoria o carga computacional, el procesamiento puede detenerse después de que cierto número de bloques haya experimentado una transformación. Después del almacenamiento de un número suficiente de bloques transformados, ocurre el paso 104, en donde un bloque medio (Bmed¡o) es calculado promediando los coeficientes de todos los bloques almacenados. Asumiendo que K es como el valor de bloques almacenados, el procedimiento de promediar para todos los coeficientes en la posición [x,y] puede ser formulado como sigue: k-1 Bmed¡o[x,y] = 1 ? B,[x,y] (3) K ¡=0 Después, los pasos 105 y 106 ocurren típicamente en paralelo. Durante el paso 105, un vector medio horizontal, BH, es calculado promediando los N coeficientes de frecuencia de cada fila de Bmed¡0 de acuerdo con la relación: N-1 [y] = 1 ? Bmedio[n,y] (4) N n=0 En una modalidad particular, es posible evitar la influencia del coeficiente DC sobre el promedio de la primera fila con la relación: N-1 BH[0] = JL? Bmed¡o[n,0] N-1 n=0 Durante el paso 106, el vector medio vertical es calculado promediando los N coeficientes de frecuencia de cada columna de Bmedio de acuerdo con la relación: N-1 Bv[x] = 1? Bmedio[x,n] (5) N n=0 En una modalidad particular, es posible evitar la influencia del coeficiente DC sobre el promedio de la primera columna con la relación: N-1 Bv[0] = J_? Bmedio[0,n] N-1 n=1 A partir de los vectores de frecuencia, la selección de las frecuencias de corte horizontal y vertical ocurre durante los pasos 107 y 108, respectivamente, para estimar el tamaño de grano de película. Como se ve en la Figura 1, los pasos 107 y 108 típicamente ocurren en paralelo. La selección de frecuencia de corte horizontal durante el paso 107 ocurre de la siguiente manera. Primero, los componentes en el vector medio horizontal experimentan filtración de paso bajo para evitar picos espurios. En la modalidad ilustrada, dicha filtración de paso bajo del vector medio horizontal ocurre haciendo girar el vector medio con un filtro de respuesta de impulso h[n] de acuerdo con la relación: B'H[n] = ? BH[i]h[n - i] = (BH * h)[n] (6) i = 1 Por ejemplo, un filtro lineal de 3 derivaciones con coeficientes w0, w^ y w2 puede ser aplicado a cada coeficiente de acuerdo con la relación: B'H[n]= w0-BH[n-1]+w BH[n]+W2-BH[n + 1], 0 < n < N-1 (7) Observar que con el fin de aplicar la filtración en los bordes del vector medio B, es necesario empalmar el vector medio original, de manera que se definen las muestras para n < 0 y n > N-1. Después, el valor medio de B'H es calculado promediando sus componentes de acuerdo con la relación: N-1 Después, el vector ?? está representado como una curva, y sus puntos de intersección con el valor promedio ?? son calculados. Si se encuentra un punto de intersección individual, el índice n del componente más cercano en B'H es seleccionado como el valor de la frecuencia de corte alta horizontal; se asume que la frecuencia de corte baja horizontal es 0. Si se encuentran dos puntos de intersección, se encuentra los índices de los componentes más cercanos para cada uno. El valor más bajo corresponderá a la frecuencia de corte horizontal baja, mientras que el valor más alto corresponderá a la frecuencia de corte horizontal alta. Si se encuentran más de dos puntos de intersección, no se detecta ninguna correlación espacial. Se asume que la frecuencia de corte horizontal baja es de 0, y la frecuencia de corte horizontal alta se asume que es de N-1, indicando que para la función de simulación de grano de película no se requiere de ninguna filtración de frecuencia para imitar el grano original. El mismo procedimiento descrito para seleccionar la frecuencia de corte horizontal ocurre durante el paso 108 para seleccionar la frecuencia de corte vertical, utilizando el vector de frecuencia vertical Bv. Al término de los pasos 107 y 108, el método de la Figura 1 produce cuatro frecuencias de corte (BAJA_HF, ALTA_HF, BAJA_VF, ALTA_VF) que caracterizan tanto el tamaño como la elongación del grano. El grano alongado ocurre cuando BAJA_HF ? BAJA_VF y/o ALTA_HF ? ALTA_VF. La Figura 2 ilustra un método de modelación de grano alternativo, en donde es posible restringir el grano a formas circulares. Esto implica que las frecuencias de corte horizontal y vertical permanezcan iguales. El método de la Figura 2 contiene muchos pasos en común con el método de la Figura 1. Por lo tanto, se han utilizado números de referencia similares en la Figura 2 como en la Figura 1 para describir pasos similares. El método de la Figura 2 difiere de aquel de la Figura 1, en que, los vectores de frecuencia vertical y horizontal (BH y Bv) son promediados durante el paso 109 de la Figura 9 para crear el vector de frecuencia individual (B). Entonces, se realiza el mismo procedimiento durante los pasos 107 y 108 en la Figura 2 para estimar las frecuencias de corte baja y alta como se realizó durante los pasos 107 y 108 de la Figura 1. Lo anterior describe una técnica para modelar un patrón de grano de película en el dominio de frecuencia.

Claims

REIVINDICACIONES 1. - Un método para modelar automáticamente patrones de grano de película, que comprende los pasos de: transformar un grupo de muestras de grano de película, compuesto de por lo menos un grupo de pixeles próximos que retiene información sobre la forma y el tamaño del grano de película, al dominio de frecuencia; almacenar cada grupo de coeficientes que resultan de dicha transformación, los coeficientes formando un patrón; analizar el patrón creado por los coeficientes de transformación; y estimar las frecuencias de corte de un filtro de paso de banda 2D que puede simular el patrón de coeficientes de transformación filtrando el ruido aleatorio en un dominio de frecuencia. 2. - El método de acuerdo con la reivindicación 1, que comprende además el paso de transmitir por lo menos una frecuencia de corte en un mensaje de Información de Mejoramiento Suplemental. 3.- El método de acuerdo con la reivindicación 1, en donde las muestras de grano de filtración son procesadas en bloques de NxN pixeles. 4.- El método de acuerdo con la reivindicación 1, en donde el paso de analizar el patrón creado por los coeficientes de transformación además comprende los pasos de: calcular un bloque medio dé N x N coeficientes de transformación promediando los coeficientes de transformación de todos los bloques almacenados después de una transformación de cada N x N bloque de píxel; definir vectores medios horizontal y vertical de N componentes, cada uno promediando el bloque medio de N x N coeficientes a lo largo de filas y columnas, respectivamente; representar los vectores medios horizontal y vertical como curvas separadas; y establecer frecuencias de corte horizontal y vertical a partir de las curvas representadas por los vectores medios horizontal y vertical, respectivamente. 5. - El método de acuerdo con la reivindicación 4, que además comprende el paso de filtración de paso bajo de por lo menos un vector. 6. - El método de acuerdo con la reivindicación 4, en donde una de las frecuencias de corte horizontal y vertical es establecida a partir de un punto de intersección en la curva representando uno de los vectores medios horizontal y vertical correspondientes, respectivamente. 7. - El método de acuerdo con la reivindicación 4, en donde cada una de las frecuencias de corte horizontal y vertical, baja y alta es establecida a partir de un primer y segundo puntos de intersección en la curve que representa los vectores medios horizontal y vertical, respectivamente. 8. - El método de acuerdo con la reivindicación 3, en donde el paso de analizar el patrón creado por los coeficientes de transformación además comprende los pasos de: calcular un bloque medio de N x N coeficientes de transformación promediando los coeficientes de transformación a partir de todos los bloques almacenados después de una transformación de cada bloque de píxel; definir vectores medios horizontal y vertical de N componentes, cada uno promediando el bloque medio de N x N coeficientes de transformación a lo largo de filas y columnas, respectivamente; promediar los vectores medios horizontal y vertical en un vector medio individual; representar los vectores medios como una curva; y establecer frecuencias de corte horizontal y vertical a partir de la curva representada por el vector medio. 9. - El método de acuerdo con la reivindicación 8, que además comprende el paso de filtración de paso bajo del vector medio. 10. - El método de acuerdo con la reivindicación 8, en donde una de las frecuencias de corte horizontal y vertical es establecida a partir de un punto de intersección en la curva que representa uno de los vectores medios horizontal y vertical correspondiente, respectivamente. 11. - El método de acuerdo con la reivindicación 8, en donde cada una de las frecuencias de corte horizontal y vertical, baja y alta es establecida a partir de un primer y segundo puntos de intersección en la curva que representa los vectores medios horizontal y vertical, respectivamente. 12.- Un método para modelar automáticamente patrones de grano de película, que comprende los pasos de: recibir un grupo de muestras de grano de película; realizar una transformación en el grupo de muestras de grano de película, compuesto de por lo menos un grupo de píxeles próximos que retiene información sobre la forma y el tamaño del grano de película, al dominio de frecuencia; almacenar cada grupo de coeficientes que resulta de dicha transformación, los coeficientes formando un patrón; analizar el patrón creado por los coeficientes de transformación; y estimar las frecuencias de corte de un filtro de paso de banda 2D que pueden simular el patrón de coeficientes de transformación a través de la filtración del ruido aleatorio en el domino de frecuencia.