[go: up one dir, main page]

ES3037504T3 - Video compression using differences between a higher and a lower layer - Google Patents

Video compression using differences between a higher and a lower layer

Info

Publication number
ES3037504T3
ES3037504T3 ES17783955T ES17783955T ES3037504T3 ES 3037504 T3 ES3037504 T3 ES 3037504T3 ES 17783955 T ES17783955 T ES 17783955T ES 17783955 T ES17783955 T ES 17783955T ES 3037504 T3 ES3037504 T3 ES 3037504T3
Authority
ES
Spain
Prior art keywords
elements
data
frame
residual
transformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17783955T
Other languages
English (en)
Inventor
David Handford
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V Nova International Ltd
Original Assignee
V Nova International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V Nova International Ltd filed Critical V Nova International Ltd
Application granted granted Critical
Publication of ES3037504T3 publication Critical patent/ES3037504T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Se obtiene un conjunto de elementos residuales (316) utilizable para reconstruir una representación (306) de una primera muestra temporal de una señal. Se genera un conjunto de elementos de correlación espacio-temporal (326) asociado a la primera muestra temporal. Este conjunto de elementos de correlación espacio-temporal indica el grado de correlación espacial entre varios elementos residuales y el grado de correlación temporal entre los primeros datos de referencia basados en la representación y los segundos datos de referencia basados en una segunda muestra temporal de la señal. El conjunto de elementos de correlación espacio-temporal se utiliza para generar datos de salida. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Compresión de vídeos mediante diferencias entre una capa superior y una inferior
Campo Técnico
Esta invención se refiere a aparatos de procesamiento de datos, métodos, programas de ordenador y soportes legibles por ordenador.
Antecedentes
La compresión y descompresión de señales es un aspecto para tener en cuenta en muchos sistemas conocidos. Muchos tipos de señales, por ejemplo, de vídeo, audio o volumétricas, pueden comprimirse y codificarse para su transmisión, por ejemplo, a través de una red de comunicaciones de datos. Las señales también pueden almacenarse de forma comprimida, por ejemplo, en un soporte de almacenamiento tal como un Disco Versátil Digital (DVD). Cuando se descodifica una señal de este tipo, se puede desear aumentar un nivel de calidad de la señal y/o recuperar tanta información contenida en la señal original como sea posible.
Algunos sistemas conocidos explotan técnicas de codificación escalables. La codificación escalable consiste en codificar una señal junto con información que permita reconstruirla con uno o varios niveles de calidad diferentes, por ejemplo, en función de las capacidades del descodificador y del ancho de banda disponible. Sin embargo, pueden seguir almacenándose o transmitiéndose cantidades relativamente grandes de información, sobre todo a medida que se generaliza el uso de vídeos de mayor calidad y definición.
US 2009/232198 A1 describe un aparato y un método de codificación/decodificación de una imagen. El aparato incluye: una unidad de codificación de imágenes de baja resolución que codifica una imagen de baja resolución correspondiente a una imagen de entrada utilizando estimación y compensación de movimiento; y una unidad de codificación de imágenes residuales que realiza codificación intra-modo con respecto a una imagen residual que indica una diferencia entre una imagen reconstruida de la imagen de baja resolución codificada y la imagen de entrada considerando la correlación temporal entre imágenes residuales vecinas.
WO 2013/011493 A2 describe que un codificador recibe una señal. El codificador utiliza una o más operaciones de reducción de la muestra para producir variantes de representación de la señal a niveles de calidad sucesivamente inferiores en la jerarquía. En sentido inverso, el codificador aplica una o más operaciones de sobremuestreo a una variante de representación de la señal a un primer nivel de calidad para producir una variante de representación de la señal a un segundo nivel de calidad en la jerarquía. El segundo nivel de calidad es superior al primero. Una o más operaciones de aumento de la muestra y una o más operaciones de reducción de la muestra pueden ser asimétricas entre sí. Es decir, la función aplicada durante el remuestreo hacia abajo puede diferir de la función aplicada durante el remuestreo hacia arriba. El codificador produce datos residuales que indican una diferencia entre la representación remuestreada hacia abajo de la señal en el segundo nivel de calidad y la representación remuestreada hacia arriba de la señal en el segundo nivel de calidad.
US 2015/098510 A1 describe que un sistema de codificación de vídeo puede llevar a cabo un procesamiento entre capas realizando simultáneamente procesos de mapeo tonal inverso y de escalabilidad de conversión de la gama de colores en una capa base de una señal de vídeo. A continuación, el sistema de codificación de vídeo puede preparar una capa remuestreada hacia arriba a partir de la capa base procesada. La capa base procesada puede utilizarse para codificar una capa de mejora. La profundidad de bits puede tenerse en cuenta para los módulos de conversión de la gama de colores. Las profundidades de bits de luma y/o croma pueden alinearse con los respectivos valores mayores o menores de profundidad de bits de luma y/o croma.
WO 2009/130540 A1 describe un método para la codificación y decodificación de archivos de vídeo digital con el fin de facilitar el almacenamiento o la transmisión de dichos archivos en aplicaciones sensibles al ancho de banda.
Sumario
La invención se describe en las reivindicaciones adjuntas.
Otros rasgos y ventajas se desprenderán de la siguiente descripción, dada únicamente a modo de ejemplo, que se hace refiriéndose a los dibujos adjuntos.
Breve Descripción de los Dibujos
La Figura 1 muestra un diagrama esquemático de bloques de un ejemplo de sistema de procesamiento de señales;
Las Figuras 2A y 2B muestran un diagrama esquemático de bloques de otro ejemplo de procesamiento de señales;
Las Figuras 3A y 3B muestran un diagrama esquemático de bloques de otro ejemplo de sistema de procesamiento de señales;
Las Figuras 4A y 4B muestran un diagrama esquemático de bloques de un ejemplo de sistema de procesamiento de señales de acuerdo con una realización de la presente invención;
Las Figuras 5A y 5B muestran un diagrama esquemático de bloques de otro ejemplo de sistema de procesamiento de señales;
La Figura 6 es un diagrama de flujo que representa un ejemplo de método;
La Figura 7 es un diagrama de flujo que representa otro ejemplo de un; y
La Figura 8 muestra un diagrama esquemático de bloques de un ejemplo de aparato de acuerdo con una realización de la presente invención.
Descripción Detallada
Refiriéndose a la Figura 1, se muestra un ejemplo de un sistema 100 de procesamiento de señales. El sistema 100 de procesamiento de señales se utiliza para preparar señales. Entre los ejemplos de tipos de señal se incluyen, aunque no se limitan a, señales de vídeo, señales de imagen, señales de audio, señales volumétricas tales como las utilizadas en imágenes médicas, científicas u holográficas, u otras señales multidimensionales.
El sistema 100 de procesamiento de señales incluye un primer aparato 102 y un segundo aparato 104. El primer aparato 102 y el segundo aparato 104 pueden tener una relación cliente-servidor, realizando el primer aparato 102 las funciones de un dispositivo servidor y el segundo aparato 104 las funciones de un dispositivo cliente. El sistema 100 de procesamiento de señales puede incluir al menos un aparato adicional (no mostrado). El primer aparato 102 y/o el segundo aparato 104 pueden comprender uno o más componentes. Los componentes pueden implementarse en hardware y/o software. Uno o más componentes pueden estar ubicados en el mismo lugar o pueden estar ubicados a distancia unos de otros en el sistema 100 de procesamiento de señales. Entre los ejemplos de tipos de aparatos se incluyen, sin limitarse a ellos, dispositivos informatizados, routers, estaciones de trabajo, ordenadores de mano o portátiles, comprimidos, dispositivos móviles, consolas de juegos, televisores inteligentes, decodificadores, auriculares de realidad aumentada y/o virtual, etc.
El primer aparato 102 está acoplado comunicativamente con el segundo aparato 104 a través de una red 106 de comunicaciones de datos. Ejemplos de la red 106 de comunicaciones de datos incluyen, pero no se limitan a, Internet, una Red de Área Local (LAN) y una Red de Área Amplia (WAN). El primer y/o segundo aparato 102, 104 pueden tener una conexión por cable y/o inalámbrica a la red 106 de comunicaciones de datos.
El primer aparato 102 comprende un dispositivo 108 codificador. El dispositivo 108 codificador está configurado para codificar los datos comprendidos en la señal, que se refieren a continuación como "datos de la señal". El dispositivo 108 codificador puede realizar una o más funciones además de codificar los datos de la señal. El dispositivo 108 codificador puede realizarse de varias formas diferentes. Por ejemplo, el dispositivo 108 codificador puede estar incorporado en hardware y/o software.
El segundo aparato 104 comprende un dispositivo 110 decodificador. El dispositivo 110 decodificador está configurado para decodificar datos de señal. El dispositivo 110 descodificador puede realizar una o más funciones además de descodificar los datos de la señal. El dispositivo 110 descodificador puede realizarse de varias formas diferentes. Por ejemplo, el dispositivo 110 decodificador puede estar incorporado en hardware y/o software.
El dispositivo 108 codificador codifica los datos de señal y transmite los datos de señal codificados al dispositivo 110 decodificador a través de la red 106 de comunicaciones de datos. El dispositivo 110 decodificador decodifica los datos de señal recibidos y codificados y genera datos de señal decodificados. El dispositivo 110 decodificador puede emitir los datos de la señal decodificada, o datos derivados utilizando los datos de la señal decodificada. Por ejemplo, el dispositivo 110 decodificador puede emitir tales datos para su visualización en uno o más dispositivos de visualización asociados con el segundo aparato 104.
En algunos ejemplos descritos en el presente documento, el dispositivo 108 codificador transmite al dispositivo 110 descodificador una representación de una señal con un determinado nivel de calidad e información que el dispositivo 110 descodificador puede utilizar para reconstruir una representación de la señal con uno o más niveles de calidad superiores. Una representación de una señal con un determinado nivel de calidad puede considerarse una representación, versión o representación de los datos incluidos en la señal con ese nivel de calidad.
En comparación con algunas técnicas conocidas, los ejemplos descritos en el presente documento permiten utilizar una cantidad relativamente pequeña de información para dicha reconstrucción. Esto puede reducir la cantidad de datos transmitidos a través de la red 106 de comunicaciones de datos. El ahorro puede ser especialmente relevante cuando los datos de la señal corresponden a datos de vídeo de alta calidad, en los que la cantidad de información transmitida en los sistemas conocidos puede ser especialmente elevada.
Refiriéndose a las Figuras 2A y 2B, se muestra esquemáticamente un ejemplo de un sistema 200 de procesamiento de señales. El sistema 200 de procesamiento de señales incluye un primer aparato 202 que comprende un dispositivo codificador y un segundo aparato 204 que comprende un dispositivo decodificador. En cada uno del primer aparato 202 y del segundo aparato 204, los elementos se muestran en dos niveles lógicos. Los dos niveles están separados por una línea discontinua. Los elementos del primer nivel, el más alto, se refieren a datos con un nivel de calidad relativamente alto. Los elementos del segundo nivel, el más bajo, se refieren a datos con un nivel de calidad relativamente bajo. Los niveles de calidad relativamente altos y bajos se refieren a una jerarquía escalonada que tiene múltiples niveles de calidad. En algunos ejemplos, la jerarquía escalonada comprende más de dos niveles de calidad. En tales ejemplos, el primer aparato 202 y el segundo aparato 204 pueden incluir más de dos niveles diferentes. Puede haber uno o más niveles por encima y/o por debajo de los representados en las Figuras 2A y 2B.
Refiriéndose en primer lugar a la Figura 2A, el primer aparato 202 obtiene una representación de una primera muestra de tiempo,ti,de una señal con un nivel de calidad 206 relativamente alto. Una representación de una determinada muestra temporal de una señal es una representación de los datos comprendidos en la señal en un momento dado. La representación de la primera muestra de tiempo,ti,de la señal en el nivel relativamente alto de calidad 206 se referirá a como "datos de entrada" en lo sucesivo ya que, en este ejemplo, son datos que se refirieron a como una entrada al dispositivo codificador en el primer aparato 202. El primer aparato 202 puede recibir los datos 206 de entrada. Por ejemplo, el primer aparato 202 puede recibir los datos 206 de entrada de al menos otro aparato.
Cuando la señal es una señal de vídeo, la primera muestra de tiempo de la señal puede ser toda o parte de una imagen o fotogramas de una secuencia de imágenes o bastidores que componen la señal de vídeo. Los datos 206 de entrada pueden disponerse como un conjunto de elementos de señal, I<j>, que comprende una o más filas y columnas de elementos de señal, dondeidenota un número de fila asociado con el elemento de señal yjdenota un número de columna asociado con el elemento de señal. En este ejemplo, los datos 206 de entrada se disponen como un conjunto que comprende una primera y una segunda fila de elementos de señal. La primera fila incluye elementos de señalizaciónI i iyI 12y la segunda fila incluye elementos de señalizaciónI21yI22.En este ejemplo, los datos 206 de entrada se refieren a parte de una imagen. La parte de la imagen puede referirse a un azulejo. La imagen completa puede constar de muchos mosaicos de este tipo y, por consiguiente, de muchos más de cuatro elementos de señal. Sin embargo, por conveniencia y brevedad, en este ejemplo que los datos de entrada comprenden sólo cuatro elementos de señal.
El primer aparato 202 obtiene datos 212 con base en los datos 206 de entrada. En este ejemplo, los datos 212 basados en los datos 206 de entrada son una representación 212 preliminar de la primera muestra de tiempo,ti,de la señal en el nivel relativamente bajo de calidad. En este ejemplo, los datos 212 se obtienen realizando una operación de remuestreo hacia abajo en los datos 206 de entrada y, por lo tanto, se referirán a ellos como "datos remuestreados hacia abajo" en lo sucesivo. En otros ejemplos, los datos 212 se obtienen realizando una operación distinta de una operación de remuestreo hacia abajo en los datos 206 de entrada.
En este ejemplo, los datos 212 remuestreados hacia abajo se procesan para generar datos 213 procesados con un nivel de calidad relativamente bajo. En otros ejemplos, los datos 212 remuestreados hacia abajo no se procesan con un nivel de calidad relativamente bajo. Como tal, el primer aparato 202 puede generar datos con un nivel de calidad relativamente bajo, donde los datos con un nivel de calidad relativamente bajo comprenden los datos 212 remuestreados hacia abajo o los datos 213 procesados.
En algunos ejemplos, generar los datos 213 procesados implica codificar los datos 212 remuestreados hacia abajo. La codificación de los datos 212 remuestreados hacia abajo produce una señal codificada con un nivel de calidad relativamente bajo. El primer aparato 202 puede emitir la señal codificada, por ejemplo, para su transmisión al segundo aparato 204. En lugar de ser producida en el primer aparato 202, la señal codificada puede ser producida por un dispositivo de codificación separado del primer aparato 202. La señal codificada puede ser una señal codificada H.264. La codificación H.264 puede implicar la organización de una secuencia de imágenes en un Grupo de Imágenes (GOP). Cada imagen del GOP es representativa de una muestra temporal diferente de la señal. Una imagen determinada del GOP puede codificarse utilizando una o varias imágenes de referencia asociadas a muestras temporales anteriores y/o posteriores del mismo GOP, en un procedimiento conocido como 'predicción inter-fotogramas'.
Generar los datos 213 procesados con un nivel de calidad relativamente bajo puede implicar además descodificar la señal codificada con un nivel de calidad relativamente bajo. La operación de descodificación puede realizarse para emular una operación de descodificación en el segundo aparato 204, como se verá más adelante. La descodificación de la señal codificada produce una señal descodificada con un nivel de calidad relativamente bajo. En algunos ejemplos, el primer aparato 202 descodifica la señal codificada con un nivel de calidad relativamente bajo para producir la señal descodificada con un nivel de calidad relativamente bajo. En otros ejemplos, el primer aparato 202 recibe la señal descodificada con un nivel de calidad relativamente bajo, por ejemplo, de un dispositivo de codificación y/o descodificación que está separado del primer aparato 202. La señal codificada puede descodificarse utilizando un descodificador H.264. La descodificación H.264 da como resultado una secuencia de imágenes (es decir, una secuencia de muestras temporales de la señal) con un nivel de calidad relativamente bajo. Ninguna de las imágenes individuales es indicativa de una correlación temporal entre las distintas imágenes de la secuencia posterior a la finalización del procedimiento de descodificación H.264. Por lo tanto, cualquier explotación de la correlación temporal entre imágenes secuenciales que se emplee en la codificación H.264 se elimina durante la descodificación H.264, ya que las imágenes secuenciales se desacoplan unas de otras. El procesamiento que sigue se realiza, por tanto, imagen por imagen, donde el primer aparato 202 prepara los datos de la señal de vídeo.
En un ejemplo, la generación de los datos 213 procesados con un nivel de calidad relativamente bajo implica además la obtención de datos de corrección con base en una comparación entre los datos 212 remuestreados hacia abajo y la señal descodificada obtenida por el primer aparato 202, por ejemplo, con base en la diferencia entre los datos 212 remuestreados hacia abajo y la señal descodificada. Los datos de corrección pueden utilizarse para corregir los errores introducidos en la codificación y descodificación de los datos 212 remuestreados hacia abajo. En algunos ejemplos, el primer aparato 202 emite los datos de corrección, por ejemplo, para su transmisión al segundo aparato 204, así como la señal codificada. Esto permite al receptor corregir los errores introducidos en la codificación y descodificación de los datos 212 remuestreados hacia abajo.
En algunos ejemplos, la generación de los datos 213 procesados con un nivel de calidad relativamente bajo implica además la corrección de la señal descodificada utilizando los datos de corrección. En otros ejemplos, en lugar de corregir la señal decodificada utilizando los datos de corrección, el primer aparato 202 utiliza los datos 212 remuestreados hacia abajo.
En algunos ejemplos, la generación de los datos 213 procesados implica la realización de una o más operaciones distintas de los actos de codificación, descodificación, obtención y corrección descritos anteriormente.
El primer aparato 202 obtiene datos 214 con base en los datos con un nivel de calidad relativamente bajo. Como se ha indicado anteriormente, los datos con un nivel de calidad relativamente bajo pueden comprender los datos 213 procesados, o los datos 212 remuestreados hacia abajo cuando los datos 212 remuestreados hacia abajo no se procesan en el nivel inferior. En este ejemplo, los datos 214 son una segunda variante de representación de la primera muestra temporal de la señal en el nivel relativamente alto de calidad, siendo la primera variante de representación de la primera muestra temporal de la señal en el nivel relativamente alto de calidad los datos 206 de entrada. La segunda variante de representación con un nivel de calidad relativamente alto puede considerarse una variante de representación preliminar o prevista de la primera muestra temporal de la señal con un nivel de calidad relativamente alto. En este ejemplo, el primer aparato 202 obtiene los datos 214 realizando una operación de remuestreo hacia arriba de los datos con un nivel de calidad relativamente bajo. Los datos 214 se referirán en lo sucesivo como "datos remuestreados hacia arriba". Sin embargo, en otros ejemplos podrían utilizarse una o más operaciones para derivar los datos 214, por ejemplo, cuando los datos 212 no se derivan remuestreando hacia abajo los datos 206 de entrada.
Del mismo modo que los datos 206 de entrada, los datos 214 remuestreados hacia arriba pueden disponerse como un conjunto de elementos de señal, U<j>, que comprende una o más filas y columnas de elementos de señal, dondeidenota un número de fila asociado con el elemento de señal yjdenota un número de columna asociado con el elemento de señal.
Los datos 206 de entrada y los datos 214 remuestreados hacia arriba se utilizan para obtener los datos 216 residuales. Los datos 216 residuales se asocian con la primera muestra de tiempo,ti,de la señal. Los datos 216 residuales pueden adoptar la forma de un conjunto de elementos residuales. En este ejemplo, el conjunto de elementos 216 residuales está dispuesto como un conjunto de elementos residuales que comprende una primera y una segunda fila de elementos residuales. La primera fila incluye elementos residualesr iiyr i2y la segunda fila incluye elementos residualesr2 iyr22.Un elemento residual en el conjunto de elementos 216 residuales se asocia con un elemento de señal respectivo en los datos 206 de entrada. Por ejemplo, el elemento residualr i2en los datos 216 residuales se asocia con el elemento de señal respectivoI 12en los datos 206 de entrada.
En este ejemplo, un elemento residual dado se obtiene restando un valor de un elemento de señal en los datos 214 remuestreados hacia arriba de un valor de un elemento de señal correspondiente en los datos 206 de entrada. Tal como,rij=Iij- U<j>, dondeiindica un número de fila asociado al elemento yjindica un número de columna asociado al elemento. Dado queIij=Uij+rij,el conjunto de elementos 216 residuales es utilizable en combinación con los datos 214 remuestreados hacia arriba para reconstruir los datos 206 de entrada. Los datos 216 residuales también se pueden referir a "datos de reconstrucción" o "datos de mejora".
Según la invención, se genera un conjunto de elementos 218 de correlación espacial utilizando el conjunto de elementos 216 residuales. El término "elemento de correlación espacial" se utiliza en el presente documento para indicar un elemento que es indicativo de un grado, o medida, de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos 216 residuales. Los elementos de correlación del conjunto de elementos 218 de correlación espacial también pueden referirse a ellos como "coeficientes", "coeficientes espaciales" o "elementos transformados". El conjunto de elementos 218 de correlación espacial se asocia con la primera muestra de tiempo,ti,de la señal. En este ejemplo, el conjunto de elementos 218 de correlación espacial está dispuesto como un conjunto de elementos de datos que comprende una primera y una segunda fila de elementos de señal. En este ejemplo, el conjunto de elementos 218 de correlación espacial está dispuesto como un conjunto 2x2 de elementos de correlación,A, H,VD.Los elementos del conjunto de elementos 218 de correlación espacial pueden estar dispuestos de una forma distinta a un conjunto 2x2, por ejemplo, un conjunto 4x1 o 1x4.
En este ejemplo, el conjunto de elementos 218 de correlación espacial se obtiene premultiplicando el conjunto de elementos 216 residuales con una matriz de transformación (o 'kernel'), K. En este ejemplo, la matriz de transformación es una matriz 4x4:
En este ejemplo, el conjunto de elementos 218 de correlación espacial se deriva con base en la siguiente ecuación, donde el conjunto de elementos 218 de correlación espacial y el conjunto de elementos 216 residuales se muestran ambos como conjuntos 4x1:
Arepresenta una media de los elementos residuales en el conjunto de elementos 216 residuales.Hrepresenta una correlación horizontal y/o 'inclinación' entre los elementos residuales del conjunto de elementos 216 residuales.Vrepresenta una correlación vertical y/o 'inclinación' entre los elementos residuales del conjunto de elementos 216 residuales.Drepresenta una correlación diagonal y/o 'inclinación' entre los elementos residuales del conjunto de elementos 216 residuales. Los elementos de correlación descritos en el presente documento explotan, y son indicativos de un grado de correlación direccional y/o espacial entre elementos residuales vecinos.
El conjunto de elementos 218 de correlación espacial puede incluir un valor medio delta, A<a>, en lugar de un valor medio,A.En algunos ejemplos,Aase define como la diferencia entre una media de elementos de señal en los datos 206 de entrada y una media de elementos de señal correspondientes en los datos del nivel inferior de calidad, por ejemplo, los datos 212 remuestreados hacia abajo o los datos 213 procesados. En algunos ejemplos,Aase obtiene con base en: la media de los valores del conjunto de elementos 216 residuales, A, una media de elementos de señal en los datos del nivel inferior de calidad y una media de elementos de señal en los datos 214 remuestreados hacia arriba.Aapuede ser menor queAy/o puede ser más probable que sea cero que A. Esto puede facilitar una codificación eficiente del conjunto de elementos 218 de correlación espacial y una cantidad reducida de transferencia de datos entre el primer aparato 202 y el segundo aparato 204 en comparación con el uso del valor medio, A. El valor medio delta, A<a>, puede proporcionarse al segundo aparato 202 para permitir que el segundo aparato calcule el valor medio, A.
En un ejemplo que no forma parte de la invención, en lugar de que el primer aparato 202 transmita el conjunto de elementos 216 residuales al segundo aparato 204, en algunos ejemplos el primer aparato 202 transmite en su lugar el conjunto de elementos 218 de correlación espacial. Dado que el conjunto de elementos 218 de correlación espacial explota la redundancia espacial entre una pluralidad de elementos residuales, es probable que el conjunto de elementos 218 de correlación espacial sea más pequeño que el conjunto de elementos 216 residuales, por ejemplo, cuando existe un grado relativamente fuerte de correlación espacial entre elementos residuales en el conjunto de elementos 216 residuales en el nivel superior, residual. El conjunto de elementos 218 de correlación espacial puede comprender elementos de correlación espacial que tienen valores de cero en algunos casos, lo que puede ser particularmente eficiente para codificar. Por lo tanto, se pueden utilizar menos datos para transmitir el conjunto de elementos 218 de correlación espacial que el conjunto de elementos 216 residuales, por ejemplo, cuando hay un grado relativamente fuerte de correlación espacial entre los elementos residuales en el conjunto de elementos 216 residuales. La cantidad de datos necesaria para transmitir el conjunto de elementos 218 de correlación espacial puede ser mayor o del mismo tamaño que la cantidad de datos necesaria para transmitir el conjunto de elementos 216 residuales, por ejemplo, cuando hay una cantidad relativamente débil de correlación espacial a nivel residual.
En este ejemplo, el primer aparato 202 transmite datos de salida con base en los datos 212 remuestreados hacia abajo y también transmite el conjunto de elementos 218 de correlación espacial al segundo aparato 204.
Volviendo ahora a la Figura 2B, el segundo aparato 204 recibe datos 220 con base en los datos 212 remuestreados hacia abajo y también recibe el conjunto de elementos 218 de correlación espacial. Los datos 220 con base en los datos 212 remuestreados hacia abajo pueden ser los propios datos 212 remuestreados hacia abajo, los datos 213 procesados, o datos derivados de los datos 212 remuestreados hacia abajo o de los datos 213 procesados.
En algunos ejemplos, los datos 220 recibidos comprenden los datos 213 procesados, que pueden comprender la señal codificada con un nivel de calidad relativamente bajo y/o los datos de corrección. En algunos ejemplos, por ejemplo, cuando el primer aparato 202 ha procesado los datos 212 remuestreados hacia abajo para generar los datos 213 procesados, el segundo aparato 204 procesa los datos 220 recibidos para generar los datos 222 procesados. Dicho procesamiento por parte del segundo aparato 204 puede comprender la descodificación de una señal codificada para producir una señal descodificada con un nivel de calidad relativamente bajo. En algunos ejemplos, el procesamiento realizado por el segundo aparato 204 comprende la corrección de la señal descodificada utilizando los datos de corrección obtenidos. En algunos ejemplos, la señal codificada con un nivel de calidad relativamente bajo es descodificada por un dispositivo de descodificación independiente del segundo aparato 204. La señal codificada con un nivel de calidad relativamente bajo puede descodificarse utilizando un descodificador H.264.
En otros ejemplos, los datos 220 recibidos comprenden los datos 212 remuestreados hacia abajo y no comprenden los datos 213 procesados. En algunos de tales ejemplos, el segundo aparato 204 no prepara los datos 220 recibidos para generar los datos 222 procesados.
El segundo aparato 204 utiliza datos con un nivel de calidad relativamente bajo para obtener los datos 214 remuestreados hacia arriba. Como se ha indicado anteriormente, los datos con un nivel de calidad relativamente bajo pueden comprender los datos 222 procesados, o los datos 220 recibidos cuando el segundo aparato 204 no prepara los datos 220 recibidos con un nivel de calidad relativamente bajo. Los datos 214 remuestreados hacia arriba son una representación preliminar de la primera muestra de tiempo,ti,de la señal en el nivel relativamente alto de calidad. Los datos 214 remuestreados hacia arriba pueden obtenerse realizando una operación de remuestreo sobre los datos con un nivel de calidad relativamente bajo.
El segundo aparato 204 obtiene el conjunto de elementos 216 residuales basándose, al menos en parte, en el conjunto de elementos 218 de correlación espacial recibidos del primer aparato 202. El conjunto de elementos 216 residuales se puede utilizar con los datos 214 remuestreados hacia arriba para reconstruir los datos 206 de entrada. El conjunto de elementos 216 residuales es indicativo de una comparación entre los datos 206 de entrada y los datos 214 remuestreados hacia arriba.
El segundo aparato 204 puede recuperar una inversa de la matriz de transformación utilizada por el primer aparato 202 para generar el conjunto de elementos 218 de correlación espacial y derivar el conjunto de elementos 216 residuales con base en una premultiplicación del conjunto de elementos 218 de correlación espacial por la inversa de la matriz de transformación.
El conjunto de elementos 218 de correlación espacial explota la correlación espacial entre elementos residuales. Sin embargo, como el conjunto de elementos 216 residuales, y por tanto también el conjunto de elementos 218 de correlación espacial, son indicativos de una sola muestra temporal de la señal, el conjunto de elementos 218 de correlación espacial no aprovecha ninguna correlación temporal. Por ejemplo, cuando la señal es de vídeo, el conjunto de elementos 216 residuales se obtiene imagen por imagen y no aprovecha la correlación temporal entre las imágenes componentes de la señal de vídeo.
Refiriéndose a las Figuras 3A y 3B se muestra esquemáticamente un ejemplo de un sistema de procesamiento de señales 300. Algunos elementos representados en las Figuras 3A y 3B son similares a los elementos representados en las Figuras 2A y 2B. Por lo tanto, se han utilizado signos de referencia correspondientes, incrementados en 100, para elementos similares.
Refiriéndose en primer lugar a la Figura 3A, el primer aparato 302 obtiene datos 306 de entrada con un nivel de calidad relativamente alto. Los datos 306 de entrada comprenden una primera representación de una primera muestra de tiempo,ti,de una señal en el nivel relativamente alto de calidad. El primer aparato 302 utiliza los datos 306 de entrada para obtener datos 312 remuestreados hacia abajo con un nivel de calidad relativamente bajo, por ejemplo, realizando una operación de remuestreo hacia abajo sobre los datos 306 de entrada. Cuando los datos 312 remuestreados hacia abajo se procesan con un nivel de calidad relativamente bajo, dicho procesamiento genera datos 313 procesados con un nivel de calidad relativamente bajo. Sin embargo, como se ha indicado anteriormente, en algunos ejemplos no se prepara ningún procesamiento de los datos 312 remuestreados hacia abajo. Los datos con un nivel de calidad relativamente bajo se utilizan para obtener datos 314 remuestreados hacia arriba con un nivel de calidad relativamente alto, por ejemplo, realizando una operación de remuestreo hacia arriba en los datos con un nivel de calidad relativamente bajo. Los datos 314 remuestreados hacia arriba comprenden una segunda interpretación de la primera muestra temporal de la señal con un nivel de calidad relativamente alto. El primer aparato 302 obtiene un conjunto de elementos 316 residuales utilizables para reconstruir los datos 306 de entrada utilizando los datos 314 remuestreados hacia arriba. El conjunto de elementos 316 residuales se asocia con la primera muestra de tiempo,ti,de la señal. El conjunto de elementos 316 residuales se obtiene comparando los datos 306 de entrada con los datos 314 remuestreados hacia arriba.
En este ejemplo, el primer aparato 302 genera un conjunto de elementos 326 de correlación espacio-temporal. El término "elemento de correlación espaciotemporal" se utiliza en el presente documento para designar un elemento de correlación que indica, además de un grado de correlación espacial entre elementos residuales, un grado de correlación temporal. En este ejemplo, el conjunto de elementos 326 de correlación espaciotemporal está asociado tanto a la primera muestra de tiempo,ti,de la señal, como a una segunda muestra de tiempo, to, de la señal. Esto contrasta con los elementos de correlación espacial del conjunto de elementos 218 de correlación espacial descritos anteriormente, que están asociados únicamente con la primera muestra temporal de la señal,ti.En los ejemplos descritos en el presente documento, la segunda muestra de tiempo,to,una muestra de tiempo anterior en relación con la primera muestra de tiempo. En otros ejemplos, sin embargo, la segunda muestra de tiempo, to, es una muestra de tiempo posterior relativa a la primera muestra de tiempo,ti.En algunos ejemplos, en los que los datos 306 de entrada comprenden una secuencia de muestras de tiempo, una muestra de tiempo anterior significa una muestra de tiempo que precede a la primera muestra de tiempo,ti,en los datos de entrada. Cuando la primera muestra de tiempo,ti,y la muestra de tiempo anterior están dispuestas en orden de presentación, la muestra de tiempo anterior precede a la primera muestra de tiempo,ti.
La segunda muestra de tiempo,to,puede ser una muestra de tiempo inmediatamente anterior en relación con la primera muestra de tiempo,ti.En algunos ejemplos, la segunda muestra de tiempo,to,es una muestra de tiempo precedente relativa a la primera muestra de tiempo,ti,pero no una muestra de tiempo inmediatamente precedente relativa a la primera muestra de tiempo,ti.
En este ejemplo, el conjunto de elementos 326 de correlación espacio-temporal es indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos 316 residuales. El conjunto de elementos 326 de correlación espaciotemporal también es indicativo de un grado de correlación temporal entre los primeros datos de referencia basados en los datos 306 de entrada y los segundos datos de referencia basados en una representación de la segunda muestra temporal, to, de la señal, por ejemplo, en el nivel relativamente alto de calidad. Por tanto, el primer dato de referencia se asocia a la primera muestra de tiempo,ti,de la señal, y el segundo dato de referencia se asocia a la segunda muestra de tiempo, to, de la señal. Los primeros datos de referencia y los segundos datos de referencia se utilizan como referencias o comparadores para determinar un grado de correlación temporal en relación con la primera muestra temporal,ti,de la señal y la segunda muestra temporal,t2,de la señal. El primer dato de referencia y/o el segundo dato de referencia pueden tener un nivel de calidad relativamente alto.
En algunos ejemplos, los primeros datos de referencia y los segundos datos de referencia comprenden un primer y un segundo conjunto de elementos de correlación espacial, respectivamente, estando asociado el primer conjunto de elementos de correlación espacial con la primera muestra de tiempo,ti,de la señal, y estando asociado el segundo conjunto de elementos de correlación espacial con la segunda muestra de tiempo, to, de la señal.
En otros ejemplos, los primeros datos de referencia y los segundos datos de referencia comprenden primera y segunda variantes de representación de la señal, respectivamente, estando la primera variante de representación asociada a la primera muestra de tiempo,ti,de la señal, y la segunda variante de representación asociada a la segunda muestra de tiempo, to, de la señal.
El conjunto de elementos 326 de correlación espacio-temporal se referirá en lo sucesivo como "elementos de correlación At", ya que, además de explotar la correlación espacial entre elementos residuales, también se explota la correlación temporal utilizando datos de una muestra temporal diferente para generar los elementos 326 de correlación At.
En este ejemplo, que no cae dentro de la invención, en lugar de que el primer aparato 302 transmita el conjunto de elementos 218 de correlación espacial al segundo aparato 304, el primer aparato 302 transmite en su lugar el conjunto de elementos 326 de correlación At. Dado que el conjunto de elementos 326 de correlaciónAtexplotan la redundancia temporal en el nivel superior, residual, es probable que el conjunto de elementos 326 de correlaciónAtsea menor que el conjunto de elementos 218 de correlación espacial, por ejemplo cuando existe una fuerte correlación temporal, y puede comprender más elementos de correlación con valores cero en algunos casos. Por lo tanto, pueden utilizarse menos datos para transmitir el conjunto de elementos 326 de correlaciónAtque el conjunto de elementos 218 de correlación espacial.
Volviendo ahora a la Figura 3B, el segundo aparato 304 recibe datos 320 con base en los datos 312 remuestreados hacia abajo y recibe el conjunto de elementos 326 de correlación At.
Cuando el primer aparato 302 ha procesado los datos 312 remuestreados hacia abajo para generar datos 313 procesados, el segundo aparato 304 procesa los datos 320 recibidos para generar datos 322 procesados. El procesamiento puede comprender la descodificación de una señal codificada para producir una señal descodificada con un nivel de calidad relativamente bajo. Como se ha indicado anteriormente, en algunos ejemplos, el segundo aparato 304 no prepara los datos 320 recibidos para dicho procedimiento. Los datos con un nivel de calidad relativamente bajo, por ejemplo, los datos 320 recibidos o los datos 322 procesados, se utilizan para obtener los datos 314 remuestreados hacia arriba. Los datos 314 remuestreados hacia arriba pueden obtenerse realizando una operación de remuestreo de los datos con un nivel de calidad relativamente bajo.
El segundo aparato 304 obtiene el conjunto de elementos 316 residuales basado al menos en parte en el conjunto de elementos 326 de correlaciónAt.El conjunto de elementos 316 residuales se puede utilizar para reconstruir los datos 306 de entrada utilizando los datos 314 remuestreados hacia arriba.
Refiriéndose a las Figuras 4A y 4B se muestra esquemáticamente un ejemplo de un sistema 400 de procesamiento de señales, que entra dentro de la invención.
Algunos elementos representados en las Figuras 4A y 4B son similares a los elementos representados en las Figuras 2A y 2B. Por lo tanto, se han utilizado signos de referencia correspondientes, incrementados en 200, para elementos similares.
Refiriéndose en primer lugar a la Figura 4A, el primer aparato 402 obtiene los datos 406 de entrada. Los datos 406 de entrada comprenden una primera representación de una primera muestra de tiempo,ti,de una señal con un nivel de calidad relativamente alto. El primer aparato 402 utiliza los datos 406 de entrada para obtener los datos 412 remuestreados hacia abajo. Los datos 412 remuestreados hacia abajo comprenden una representación de la primera muestra de tiempo,ti,de la señal en el nivel relativamente bajo de calidad. En algunos ejemplos, los datos 412 remuestreados hacia abajo se preparan para generar datos 413 procesados. En otros ejemplos, no se prepara ningún procesamiento de los datos 412 remuestreados hacia abajo. Los datos con un nivel de calidad relativamente bajo, por ejemplo, los datos 412 remuestreados hacia abajo o los datos 413 procesados, se utilizan para obtener los datos 414 remuestreados hacia arriba. Los datos 414 remuestreados hacia arriba comprenden una segunda representación de la primera muestra de tiempo,ti,de la señal en el nivel relativamente alto de calidad. El primer aparato 402 obtiene un conjunto de elementos 416 residuales comparando los datos 406 de entrada con los datos 414 remuestreados hacia arriba.
En este ejemplo, el primer aparato 402 genera un primer conjunto de elementos 418 de correlación espacial utilizando el conjunto de elementos 416 residuales. El primer conjunto de elementos 418 de correlación espacial se asocia con la primera muestra de tiempo,ti,de la señal. Al menos un elemento de correlación en el primer conjunto de elementos 418 de correlación espacial es indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos 416 residuales. Al menos un elemento de correlación del primer conjunto de elementos 418 de correlación espacial puede, por ejemplo, indicar una similitud horizontal, vertical y/o diagonal y/o "inclinación" entre elementos residuales vecinos del conjunto de elementos 416 residuales. El primer conjunto de elementos 418 de correlación espacial explota la correlación espacial pero no la correlación temporal en el nivel superior, residual.
En este ejemplo, el primer aparato 402 obtiene un segundo conjunto de elementos 424 de correlación espacial. En este ejemplo, el segundo conjunto de elementos 424 de correlación espacial se asocia con una segunda muestra de tiempo anterior, to, de la señal. El primer aparato 402 puede obtener el segundo conjunto de elementos 424 de correlación espacial de una memoria local, por ejemplo. El segundo conjunto de elementos 424 de correlación espacial es un ejemplo de los segundos datos de referencia basados en la interpretación de la segunda muestra temporal anterior, to, de la señal y en relación con los cuales los elementos de correlaciónAtpueden indicar una correlación temporal. Al menos un elemento de correlación en el segundo conjunto de elementos 424 de correlación espacial es indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en un conjunto adicional de elementos residuales, estando asociado el conjunto adicional de elementos residuales con la segunda muestra temporal anterior, to, de la señal. El conjunto adicional de elementos residuales puede utilizarse para reconstruir una representación de la segunda muestra temporal anterior, to, de la señal en el nivel relativamente alto de calidad utilizando datos basados en una representación de la segunda muestra temporal anterior, to, de la señal en el nivel relativamente bajo de calidad.
En este ejemplo, el primer aparato 402 genera un conjunto de elementos 426 de correlaciónAtbasados en el primer conjunto de elementos 418 de correlación espacial, y basados en el segundo conjunto de elementos 424 de correlación espacial. El conjunto de elementos 426 de correlaciónAtpuede generarse con base en una comparación, por ejemplo, una diferencia, entre el primer conjunto de elementos 418 de correlación espacial y el segundo conjunto de elementos 424 de correlación espacial. En consecuencia, el conjunto de elementos 426 de correlaciónAtse asocia con la primera muestra de tiempo,ti,de la señal y con la segunda muestra de tiempo anterior,to,de la señal. El conjunto de elementos 426 de correlaciónAtes indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos 416 residuales y también de un grado de correlación temporal entre los primeros datos de referencia en forma del primer conjunto de elementos 418 de correlación espacial y los segundos datos de referencia en forma del segundo conjunto de elementos 424 de correlación espacial.
En este ejemplo, el primer aparato 402 utiliza el conjunto de elementos 426 de correlaciónAtpara generar los primeros datos de salida, y utiliza los datos 412 remuestreados hacia abajo para generar los segundos datos de salida. En algunos ejemplos, los segundos datos de salida comprenden los datos 412 remuestreados hacia abajo. Cuando el primer aparato 402 procesa los datos 412 remuestreados hacia abajo para generar una señal codificada, los segundos datos de salida comprenden la señal codificada. Los primeros y segundos datos de salida pueden ser emitidos, por ejemplo, para su transmisión al segundo aparato 404.
Volviendo a la Figura 4B, el segundo aparato 404 recibe datos 420 con base en los datos 412 remuestreados hacia abajo y recibe el conjunto deAtelementos 426 de correlación.
Cuando el primer aparato 402 ha procesado los datos 412 remuestreados hacia abajo para generar los datos 413 procesado, los datos 420 recibidos son procesados por el segundo aparato 404 para generar los datos 422 procesados con un nivel de calidad relativamente bajo. En algunos ejemplos, no se prepara ningún procedimiento en el nivel inferior de calidad de los datos 420 recibidos. Los datos con un nivel de calidad relativamente bajo, por ejemplo, los datos 420 recibidos o los datos 422 procesados, se utilizan para obtener los datos 414 remuestreados hacia arriba.
En este ejemplo, el segundo aparato 404 obtiene el segundo conjunto de elementos 424 de correlación espacial. El segundo conjunto de elementos 424 de correlación espacial puede recuperarse de una memoria del segundo aparato 404. Por ejemplo, el segundo aparato 404 puede haber recibido previamente el segundo conjunto de elementos 424 de correlación espacial del primer aparato 402, o puede haber derivado previamente el segundo conjunto de elementos 424 de correlación espacial a partir de datos recibidos del primer aparato 402.
El segundo aparato 404 obtiene el primer conjunto de elementos 418 de correlación espacial con base en el conjunto recibido de elementos 426 de correlaciónAty el segundo conjunto obtenido de elementos 424 de correlación espacial. El primer conjunto de elementos 418 de correlación espacial puede derivarse combinando el segundo conjunto de elementos 424 de correlación espacial con el conjunto de elementos 426 de correlaciónAt.
El segundo aparato 404 deriva el conjunto de elementos 416 residuales utilizando el primer conjunto de elementos 418 de correlación espacial. El segundo aparato 404 utiliza el conjunto de elementos 416 residuales y los datos 414 remuestreados hacia arriba para reconstruir los datos 406 de entrada.
Refiriéndose a las Figuras 5A y 5B, se muestra esquemáticamente un ejemplo de un sistema 500 de procesamiento de señales. Algunos elementos representados en las Figuras 5A y 5B son similares a los elementos representados en las Figuras 2A y 2B. Por lo tanto, se han utilizado signos de referencia correspondientes, incrementados en 300, para elementos similares.
Refiriéndose en primer lugar a la Figura 5A, el primer aparato 502 obtiene datos 506 de entrada. Los datos 506 de entrada comprenden una primera representación de una primera muestra de tiempo,ti,de una señal con un nivel de calidad relativamente alto.
En este ejemplo, que no entra dentro de la invención, el primer aparato 502 obtiene una representación 508 de una segunda muestra temporal anterior,to,de la señal con un nivel de calidad relativamente alto. Por ejemplo, el primer aparato 502 puede recuperar la representación 508 de una segunda muestra de tiempo anterior,to,de la señal con un nivel de calidad relativamente alto a partir de una memoria intermedia local. En este ejemplo, la representación 508 de la segunda muestra temporal anterior,to,de la señal es una representación reconstruida de la segunda muestra temporal anterior,to,de la señal con un nivel de calidad relativamente alto y se referirá a ella en lo sucesivo como "datos reconstruidos". Por ejemplo, los datos reconstruidos pueden haberse obtenido reduciendo y aumentando el muestreo de una variante de representación de la segunda muestra temporal anterior,to,de la señal de forma similar a la descrita anteriormente. Los datos 508 reconstruidos son otro ejemplo de segundos datos de referencia basados en una interpretación de la segunda muestra temporal anterior,to,de la señal.
El primer aparato 502 obtiene una representación 510 diferencial de la señal con un nivel de calidad relativamente alto, con base en unos primeros datos de referencia en forma de datos 506 de entrada y unos segundos datos de referencia en forma de datos 508 reconstruidos. La variante de representación 510 diferencial puede obtenerse con base en una comparación, por ejemplo, una diferencia, entre los datos 506 de entrada y los datos 508 reconstruidos. La representación 510 diferencial se refiere en lo sucesivo como "datos de entradaAt"y se asocia tanto a la primera muestra de tiempo,ti,de la señal como a la segunda muestra de tiempo anterior,to,de la señal. Los datos 510 de entradaAtson indicativos de un grado de correlación temporal entre los datos 506 de entrada y los datos 508 reconstruidos.
En este ejemplo, el primer aparato 502 obtiene una representación 512 diferencial de la señal en el nivel relativamente bajo de calidad con base en los datos 510 de entradaAt.La representación 512 diferencial en el nivel relativamente bajo de calidad se refiere a en el presente documento como "datos remuestreados hacia abajoAt".En algunos ejemplos, los datos 512 remuestreados hacia abajoAtse preparan para generar datos 513 procesados At. En otros ejemplos, no se realiza ningún procesamiento en el nivel relativamente bajo de calidad en los datos 512 remuestreados hacia abajoAt. Los datos con un nivel de calidad relativamente bajo, por ejemplo, los datos 512 remuestreados hacia abajoAto losAtdatos 513 procesados, se utilizan para obtener una representación 514 diferencial preliminar de la señal con un nivel de calidad relativamente alto. La variante de representación 514 diferencial preliminar se refiere a continuación como "datos 514 remuestreados hacia arriba At".
En este ejemplo, el primer aparato 502 obtiene un conjunto de elementos 516 residualesAtcomparando los datos 510 de entradaAtcon los datos 514 remuestreados hacia arriba At. El conjunto de elementos 516 residualesAtestá asociado tanto a la primera muestra temporal,ti,de la señal como a la segunda muestra temporal, más temprana,to,de la señal.
En este ejemplo, el primer aparato 502 genera un conjunto de elementos 526 de correlaciónAtutilizando el conjunto de elementos 516 residualesAt.El conjunto de elementos 526 de correlaciónAtse asocia con la primera muestra de tiempo,ti,de la señal y la segunda muestra de tiempo anterior,to,de la señal. El conjunto de elementos 526 de correlaciónAtes indicativo de un grado de correlación espacial entre una pluralidad de elementos residualesAten el conjunto de elementos 516 residualesAty un grado de correlación temporal entre los primeros datos de referencia en forma de los datos 506 de entrada y los segundos datos de referencia en forma de los datos 508 reconstruidos.
En este ejemplo, el primer aparato 502 genera primeros datos de salida utilizando el conjunto de elementos 526 de correlaciónAty genera segundos datos de salida utilizando los datos 512 remuestreados hacia abajo At. Los primeros datos de salida y los segundos datos de salida pueden ser emitidos, por ejemplo, para su transmisión al segundo aparato 504.
Volviendo a la Figura 5B, el segundo aparato 504 recibe los datos 520Atcon base en los datos 512 remuestreados hacia abajoAty también recibe el conjunto de elementos 526 de correlación At.
Cuando el primer aparato 502 ha procesado los datos 512 remuestreados hacia abajoAten el nivel relativamente bajo de calidad para generar los datos 513 procesados At, el segundo aparato 504 prepara los datos 520 recibidosAtcon un nivel de calidad relativamente bajo para generar los datos 522 procesados At. Los datos con un nivel de calidad relativamente bajo, por ejemplo, los datos 520 recibidosAto los datos 522 procesados At, se utiliza para obtener los datos 514 remuestreados hacia arriba At.
El segundo aparato 504 obtiene el conjunto de elementos 516 residualesAtbasándose al menos en parte en el conjunto de elementos 526 de correlación At. El conjunto de elementos 516 residualesAtpuede derivarse premultiplicando el conjunto de elementos 526 de correlaciónAtcon una matriz de transformación inversa.
En este ejemplo, el segundo aparato 502 reconstruye los datos 510 de entradaAtcon base en el conjunto de elementos 516 residualesAty los datos 514 remuestreados hacia arriba At. Los datos 510 de entradaAtpueden obtenerse combinando el conjunto de elementos 516 residualesAtcon los datos 514 remuestreados hacia arriba At.
En este ejemplo, el segundo aparato 504 obtiene los datos 508 reconstruidos. Los datos 508 reconstruidos pueden, por ejemplo, recuperarse de una memoria en el segundo aparato 504. El segundo aparato 504 puede haber obtenido previamente los datos 508 reconstruidos.
El segundo aparato 504 reconstruye los datos 506 de entrada con base en los datos 510 de entradaAty los datos 508 reconstruidos. Los datos 506 de entrada comprenden una representación de la primera muestra de tiempo,ti,de la señal en el nivel relativamente alto de calidad.
Refiriéndose a la Figura 6, se muestra un ejemplo de un método 600 de procesamiento de datos, no incluido en la invención.
El método 600 puede ser realizado por un aparato que comprenda un dispositivo codificador tal como cualquiera de los primeros aparatos 102, 202, 302, 402, 502 descritos anteriormente.
En el elemento 610, se derivan un conjunto de elementos de correlación espacial asociados con la primera muestra de tiempo y un conjunto deAtelementos de correlación. Tanto el conjunto de elementos de correlación espacial como el conjunto de elementos de correlaciónAtpueden derivarse de modo que puedan analizarse para determinar si sería preferible utilizar el conjunto de elementos de correlación espacial o el conjunto de elementos de correlación At. Esto puede basarse en la cantidad de datos que se utilizarían para transmitir el conjunto de elementos de correlación espacial o el conjunto de elementos de correlaciónAt.
En el elemento 620, el conjunto derivado de elementos de correlación espacial y el conjunto derivado de elementos de correlaciónAtse utilizan para realizar una comparación entre el conjunto derivado de elementos de correlación espacial y el conjunto derivado de elementos de correlación At. La comparación puede comprender, por ejemplo, un análisis de distorsión de tasas realizado en relación con el conjunto de elementos de correlación espacial y el conjunto de elementos de correlación At. En dicho análisis de tasa-distorsión, la "tasa" puede ser indicativa de un número calculado de bits por símbolo de datos a almacenar y/o transmitir, y la "distorsión" puede ser indicativa de un error estimado, por ejemplo, un error cuadrático medio, derivado de la reconstrucción de los datos por un receptor. El conjunto de elementos de correlación espacial y el conjunto derivado de elementos de correlaciónAtpueden compararse para reducir el número de bits a transmitir sin superar una cantidad predeterminada de distorsión. En este ejemplo, la comparación comprende determinar si una suma de valores absolutos del conjunto de elementos de correlaciónAtes menor que una suma de valores absolutos del conjunto de elementos de correlación espacial.
En algunos ejemplos, la comparación comprende la generación de primeros datos reconstruidos y segundos datos reconstruidos. Los primeros datos reconstruidos se generan utilizando el conjunto de elementos de correlación At. Los segundos datos reconstruidos se generan utilizando el conjunto de elementos de correlación espacial. Los primeros datos reconstruidos y los segundos datos reconstruidos pueden compararse con los datos de entrada. Por ejemplo, puede determinarse una primera suma de diferencias absolutas entre los primeros datos reconstruidos y los datos de entrada y una segunda suma de diferencias absolutas entre los segundos datos reconstruidos y los datos de entrada.
Puede determinarse un mínimo de la primera suma de diferencias absolutas y de la segunda suma de diferencias absolutas. En tales ejemplos, la comparación da como resultado la determinación de cuál de los dos conjuntos de elementos de correlaciónAty el conjunto de elementos de correlación espacial produce una reconstrucción mejor, es decir, una reconstrucción que es una representación más cercana de los datos de entrada, en virtud de que tiene una suma de diferencias absolutas menor que la otra.
La cuantificación puede realizarse sobre el conjunto de elementos de correlación espacial y el conjunto derivado de elementos de correlaciónAtantes de la comparación. Realizar la cuantificación antes de la comparación puede permitir que los errores de cuantificación se conozcan y/o se tengan en cuenta durante la comparación.
En el elemento 630, si se determina en el elemento 620 que la suma de los valores absolutos del conjunto de elementos de correlaciónAtes menor que la suma de los valores absolutos del conjunto de elementos de correlación espacial, se selecciona el conjunto de elementos de correlaciónAtpara su inclusión en los primeros datos de salida. En tales ejemplos, los primeros datos de salida comprenden el conjunto de elementos de correlaciónAt.Este caso puede referirse a la codificación "intra- e inter-fotograma", ya que los primeros datos de salida son indicativos de la correlación espacial ("intra-fotograma") y temporal ("inter-fotograma").
En el elemento 640, si se determina en el elemento 620 que la suma de los valores absolutos del conjunto de elementos de correlaciónAtno es menor que la suma de los valores absolutos del conjunto de elementos de correlación espacial, se selecciona el conjunto de elementos de correlación espacial para su inclusión en los datos de salida. En tales ejemplos, los primeros datos de salida comprenden el conjunto de elementos de correlación espacial. Este caso puede referirse a la codificación "sólo intra-fotograma", ya que los primeros datos de salida son indicativos de correlación espacial ("intra"), pero no temporal ("inter").
En algunos ejemplos, el aparato puede estar configurado de tal manera que, si se determina, en el elemento 620, que la suma de los valores absolutos de los elementos de correlaciónAtes igual o despreciablemente diferente de la suma de los valores absolutos de los elementos de correlación espacial, el conjunto de elementos de correlación espacial se selecciona para su inclusión en los primeros datos de salida. En otros ejemplos, el aparato puede estar configurado de tal manera que, si se determina en el elemento 620 que la suma de los valores absolutos de los elementos de correlaciónAtes igual o despreciablemente diferente de la suma de los valores absolutos de los elementos de correlación espacial, el conjunto de elementos de correlaciónAtse selecciona para su inclusión en los primeros datos de salida.
El conjunto derivado de elementos de correlaciónAtse utiliza, por tanto, para generar los primeros datos de salida. En algunos ejemplos, utilizar el conjunto derivado de elementos de correlaciónAtpara generar los primeros datos de salida comprende seleccionar el conjunto derivado de elementos de correlaciónAto el conjunto derivado de elementos de correlación para su inclusión en los primeros datos de salida. El conjunto derivado de elementos de correlaciónAtpuede, por tanto, utilizarse para generar los primeros datos de salida incluso si el conjunto derivado de elementos de correlaciónAtno está a su vez comprendido en los primeros datos de salida.
Los primeros datos de salida pueden emitirse para su transmisión al menos a otro aparato. Los primeros datos de salida pueden comprender una secuencia de valores, por ejemplo, una secuencia de bits. En algunos ejemplos, los primeros datos de salida comprenden una versión cuantificada de cualquiera del conjunto de elementos de correlaciónAty del conjunto de elementos de correlación espacial que se seleccione para su inclusión en los primeros datos de salida. En algunos ejemplos, los primeros datos de salida se generan realizando una operación de codificación sobre cualquiera del conjunto de elementos de correlaciónAty el conjunto de elementos de correlación espacial que se seleccione para su inclusión en los primeros datos de salida.
En algunos ejemplos, los datos emitidos por el aparato incluyen datos indicativos de un resultado de la selección. En algunos ejemplos, los datos indicativos del resultado de la selección se encuentran en los primeros datos de salida. En algunos ejemplos, los datos indicativos del resultado de la selección son una bandera indicadora para indicar si el conjunto de elementos de correlación espacial o el conjunto de elementos de correlaciónAtse ha seleccionado para su uso en los datos de salida. En algunos ejemplos, la bandera indicadora es un único bit en una secuencia de bits. La presencia de tal indicador permite al menos a otro aparato, por ejemplo, un dispositivo descodificador, determinar cómo se han obtenido los datos que recibe y/o cómo pueden utilizarse.
En algunos ejemplos, la bandera indicadora se incluye en una secuencia de bits asociada con un elemento de datos dado en los datos de salida. El elemento de datos dado puede estar sujeto a una mayor cuantificación que otros elementos de datos para acomodar la bandera indicadora sin aumentar el tamaño global de la secuencia de bits. El elemento de datos dado puede estar asociado a un elemento de correlaciónHdel conjunto de elementos de correlación espacial o a un elemento de correlaciónAHdel conjunto de elementos de correlación A<t>. En otras palabras, el elemento de datos dado puede ser indicativo de un grado de correlación horizontal o "inclinación" entre una pluralidad de elementos residuales. Un determinado elemento de datos puede seleccionarse para contener la bandera indicadora con base en la probabilidad de que su secuencia de bits asociada tenga al menos un valor distinto de cero. Por ejemplo, un elemento de correlación espacialHpuede tener más probabilidades de tener valores distintos de cero en su secuencia de bits asociada que otros elementos de correlación espacial. Una secuencia de bits con mayor probabilidad de tener al menos un valor distinto de cero puede verse menos afectada por la inclusión de una bandera indicadora que una secuencia de bits con menor probabilidad de tener al menos un valor distinto de cero. Puede seleccionarse un elemento de datos dado para que contenga el indicador con base en un efecto determinado de cuantificación adicional del elemento de datos dado. Por ejemplo, la cuantificación adicional de un elemento de correlación espacialHpuede ser menos perjudicial en términos de calidad visual que la cuantificación adicional de otros elementos de correlación espacial.
El método 600 puede realizarse para una muestra temporal completa de una señal o para una parte de una muestra temporal de una señal. El método 600 puede realizarse para diferentes partes de la misma muestra temporal de la señal con diferentes resultados. Por ejemplo, una primera parte de una primera muestra temporal de una señal puede tener elementos residuales con valoresri,ii(ti)= 4,r i, i2(ti)= -2,ri,2 i(ti)= 12 yr i ,22(ti)= 4. Refiriéndose a ec. 1 anterior, el conjunto de elementos de correlación espacial para esta primera parte de la primera muestra temporal de la señal,[Aiti), Hi(ti), Vi(ti), Di(ti)],pueden calcularse de la siguiente manera:Ai(ti)= (4-2+12+4)/4 = 4.5;Hi(ti)= (4-(-2)+12-4)/4 = 3.5;Vi(ti)= (4-2-12-4)/4 = -3.5;Di(ti)= (4-(-2)-12+4)/4 = -0.5. La suma de los valores absolutos del conjunto de elementos de correlación espacial para la primera parte de la primera muestra temporal de señal es 4.5+3.5+3.5+0.5 = 12.
Un segundo conjunto de elementos de correlación espacial para esta primera parte de la señal, asociado a una muestra temporal anterior, puede tener valores[Ai(to), Hi(to), Vi(to), Di(to)]= [3.5, 3.5, -1, 0]. En consecuencia, un conjunto derivado de elementos de correlaciónAtpara la primera parte de la señal puede tener valores[AAi(ti-to), AHi(ti-to), AVi(ti-to), ADi(ti-to)]= [4.5-3.5, 3.5-3.5, -3.5-(-1), -0.5-0] = [1, 0, -2.5, -0.5]. La suma de los valores absolutos del conjunto de elementos de correlaciónAtpara la primera parte de la señal es 1+0+2.5+0.5 = 4. Por lo tanto, para esta primera parte de la señal, la suma de los valores absolutos del conjunto de elementos de correlaciónAtes menor que la suma de los valores absolutos del conjunto de elementos de correlación espacial. En consecuencia, el conjunto de elementos de correlaciónAtpuede seleccionarse para su inclusión en los primeros datos de salida para la primera parte de la señal, en lugar de utilizarse el conjunto de elementos de correlación espacial.
Una segunda parte de la primera muestra de tiempo de la señal puede, por ejemplo, tener elementos residuales con valoresr¿ ii(ti) = 2, r2,i2(ti)= 6,r2,2 i(ti)= -1 yr2,22(ti)= 0. El conjunto de elementos de correlación espacial para esta segunda parte de la muestra temporal dada de la señal,[A2(ti), H2(ti), V2(ti), D2(ti)],pueden calcularse como sigue:A2(ti)= (2+6-1+0)/4 = 1.75;H2(ti)= (2-6+(-1)-0)/4 = -1.25;V2(ti)= (2+6-(-1)-0)/4 = 2.25;D2(ti)= (2-6-(-1)+0)/4 = -0.75. La suma de los valores absolutos del conjunto de elementos de correlación espacial para la segunda parte de la primera muestra temporal de la señal es 1.75+1.25+2.25+0.75 = 6.
Un segundo conjunto de elementos de correlación espacial para esta segunda parte de la señal, asociado a la muestra temporal anterior, puede tener valores,[A2(to), H2(to), V2(to), D2(to)]=[-2.5, 2, 0, 1.5]. En consecuencia, un conjunto derivado de elementos de correlaciónAtpara la segunda parte de la señal puede tener valores [AA<2>(t<i>-t<o>),AH2(ti-to), AV2(ti-to), AD iti-to)]= [1.75-(-2.5), -1.25-2, 2.25-0, -0.75-1.5] = [4.25, -3.25, 2.25, -2.25]. La suma de los valores absolutos del conjunto de elementos de correlaciónAtpara la segunda parte de la señal es 4.25+3.25+2.25+2.25 = 12. Por lo tanto, para esta segunda parte de la señal, la suma de los valores absolutos del conjunto de elementos de correlaciónAtno es menor que la suma de los valores absolutos del conjunto de elementos de correlación espacial. En consecuencia, el conjunto de elementos de correlación espacial puede seleccionarse para su inclusión en los primeros datos de salida para la segunda parte de la señal, en lugar de utilizarse el conjunto de elementos de correlaciónAt.
Puede utilizarse una bandera indicadora para cada parte de la muestra temporal de la señal para indicar si se ha utilizado el conjunto de elementos de correlaciónAto el conjunto de elementos de correlación espacial para esa parte de la señal.
Elegir entre emitir el conjunto de elementos de correlación espacial o el conjunto de elementos de correlaciónAtpara una parte o región determinada de una señal proporciona un mecanismo flexible para explotar la redundancia espacial y temporal a nivel residual. Para las partes de una señal que presentan un grado relativamente fuerte de correlación temporal a nivel residual, es probable que los elementos de correlaciónAtsean más pequeños que los elementos de correlación espacial y pueden comprender más valores cero. Por lo tanto, pueden utilizarse menos datos para transmitir el conjunto de elementos de correlación A<t>. Por otra parte, para partes de la señal que exhiben un grado relativamente débil de correlación temporal en el nivel residual, los elementos de correlación espacial pueden ser más pequeños que elementos de correlaciónAty pueden comprender más valores cero. Por lo tanto, se pueden utilizar menos datos para transmitir el conjunto de elementos de correlación espacial. Elementos de correlaciónAtpueden, sin embargo, ser computacionalmente más complejos de procesar en comparación con los elementos de correlación espacial, por ejemplo, mediante un descodificador. Se puede sopesar un aumento de la complejidad frente a una reducción de la cantidad de tráfico de datos para determinar de forma inteligente si utilizar elementos de correlación espacial o elementos de correlaciónAtpara una parte determinada de una señal. En consecuencia, se prepara una técnica de procesamiento de datos flexible y adaptable. Por ejemplo, la técnica de procesamiento de datos puede adaptarse con base en la fuerza de las correlaciones espaciales y temporales a nivel residual.
Refiriéndose a la Figura 7, se muestra un ejemplo de un método 700 de procesamiento de datos, no incluido en la invención.
El método 700 puede ser realizado por un aparato que comprenda un dispositivo codificador tal como cualquiera de los primeros aparatos 102, 202, 302, 402, 502 descritos anteriormente.
En el punto 710, se recuperan los primeros datos de una memoria intermedia. Los datos de la primera memoria pueden comprender datos basados en una representación de una muestra de tiempo anterior,tode una señal. Los datos basados en una representación de una muestra de tiempo anterior,tode una señal pueden ser, por ejemplo, datos de reconstrucción o un conjunto de elementos de correlación espacial asociados a la muestra de tiempo anterior,tode la señal. En algunos ejemplos, el segundo dato de referencia, en relación con el cual el conjunto de elementos de correlaciónAtindica una correlación temporal, se obtiene con base en el primer dato de memoria. Los datos de la primera memoria pueden comprender y/o utilizarse para derivar, por ejemplo, un conjunto de elementos de correlación espacial asociados con la muestra de tiempo más temprana,to,de la señal.
En el elemento 720, se genera un conjunto de elementos de correlación espacial asociados con una muestra de tiempo actual,ti,de la señal, y un conjunto de elementos de correlaciónAtasociados tanto con la muestra de tiempo anterior como con la muestra de tiempo actual de la señal.
En el punto 730, se determina si se selecciona el conjunto de elementos de correlaciónAtpara su inclusión en los primeros datos de salida, en lugar del conjunto derivado de elementos de correlación espacial asociados con la muestra de tiempo actual,ti,de la señal.
Los datos de la segunda memoria se generan utilizando el conjunto de elementos de correlaciónAty/o el conjunto de elementos de correlación especiales asociados con la muestra de tiempo actual de la señal. Los datos de la segunda memoria se utilizan para sobrescribir los datos de la primera memoria, actualizando así la memoria.
Si el conjunto deAtelementos de correlación se selecciona para su inclusión en los primeros datos de salida, los segundos datos de memoria intermedia se generan utilizando el conjunto de elementos de correlaciónAten el elemento 740. A continuación, se puede actualizar la memoria. La actualización de la memoria intermedia comprende la sobrescritura de los datos de la primera memoria intermedia con los datos de la segunda memoria intermedia. En este ejemplo, los segundos datos de memoria intermedia se generan combinando el conjunto de elementos de correlaciónAtcon los primeros datos de memoria intermedia. En otras palabras, el conjunto de elementos de correlaciónAtañaden al contenido de la memoria anterior para generar el nuevo contenido de la memoria.
Si el conjunto de elementos de correlación espacial asociados con la muestra de tiempo actual de la señal se selecciona para su inclusión en los primeros datos de salida, los segundos datos de memoria intermedia se generan utilizando el conjunto de elementos de correlación espacial asociados con la muestra de tiempo actual de la señal en el elemento 750. La memoria intermedia puede entonces actualizarse sobrescribiendo los datos de la primera memoria intermedia con los datos de la segunda memoria intermedia. En este ejemplo, los datos de la segunda memoria intermedia no se derivan con base en los datos de la primera memoria intermedia. En otras palabras, el conjunto de elementos de correlación espacial sustituye al contenido de la memoria anterior en lugar de añadirse a él.
La actualización de la memoria añadiendo el conjunto de elementos de correlaciónAtal contenido anterior de la memoria puede, con el tiempo, dar lugar a la propagación de errores, por ejemplo, derivados de errores asociados a la cuantificación. En algunos ejemplos, la memoria intermedia se actualiza sobrescribiendo los datos de la primera memoria intermedia con datos de la segunda memoria intermedia que comprenden al menos un valor cero. Esto puede corresponder a un 'reinicio' de toda o parte de la memoria. En consecuencia, para una muestra de tiempo posterior,t2,de la señal, los primeros datos recuperados de la memoria intermedia son cero. Dado que el conjunto de elementos de correlaciónAtresulta de una diferencia entre el conjunto de elementos de correlación asociados con la muestra de tiempo más tardía,t2,de la señal y los primeros datos de memoria recuperados, el conjunto de elementos de correlaciónAty el conjunto de elementos de correlación espacial asociados con la muestra de tiempo posterior,t2,de la señal será el mismo. Esto permite que la memoria intermedia se sobrescriba con el conjunto de elementos de correlación asociados con la muestra de tiempo posterior,t2,de la señal, a saber, los elementos de correlación espacial, independientemente de si se selecciona el conjunto de elementos de correlaciónAto el conjunto de elementos de correlación espacial para su inclusión en los primeros datos de salida. En consecuencia, puede reducirse la propagación de errores que puedan haberse acumulado a partir de muestras temporales anteriores. En un ejemplo, la memoria se restablece de este modo de forma intermitente, por ejemplo, periódicamente. En otro ejemplo, la memoria intermedia se restablece cuando se determina que los errores asociados a los datos de la primera memoria intermedia han alcanzado o superado un umbral determinado.
Refiriéndose a la Figura 8, se muestra un diagrama esquemático de bloques de un ejemplo de aparato 800.
En un ejemplo, el aparato 800 comprende un dispositivo decodificador. En otro ejemplo, el aparato 800 comprende un dispositivo codificador.
Otros ejemplos de aparatos 800 incluyen, pero no se limitan a, un ordenador móvil, un sistema informático personal, un dispositivo inalámbrico, una estación base, un dispositivo telefónico, un ordenador de sobremesa, un ordenador portátil, un notebook, un ordenador netbook, un sistema informático central, un ordenador de mano, una estación de trabajo, un ordenador de red, un servidor de aplicaciones, un dispositivo de almacenamiento, un dispositivo electrónico de consumo tal como una cámara, una videocámara, un dispositivo móvil, una consola de videojuegos, un dispositivo portátil de videojuegos, un dispositivo periférico tal como un conmutador, un módem, un enrutador, etc., o en general cualquier tipo de dispositivo informático o electrónico.
En este ejemplo, el aparato 800 comprende uno o más procesadores 801 configurados para preparar información y/o instrucciones. El uno o más procesadores 801 pueden comprender una unidad central de procesamiento (CPU). El uno o más procesadores 801 están acoplados a un bus 802. Las operaciones realizadas por el uno o más procesadores 801 pueden llevarse a cabo mediante hardware y/o software. El uno o más procesadores 801 pueden comprender múltiples procesadores co-localizados o múltiples procesadores disparmente localizados.
En este ejemplo, el aparato 800 comprende una memoria 803 volátil utilizable por ordenador configurada para almacenar información y/o instrucciones para el uno o más procesadores 801. La memoria 803 volátil utilizable por el ordenador está acoplada al bus 802. La memoria 803 volátil utilizable por ordenador puede comprender una memoria de acceso aleatorio (RAM).
En este ejemplo, el aparato 800 comprende una memoria 804 no volátil utilizable por ordenador configurada para almacenar información y/o instrucciones para el uno o más procesadores 801. La memoria 804 no volátil utilizable por ordenador está acoplada al bus 802. La memoria 804 no volátil utilizable por ordenador puede comprender una memoria de sólo lectura (ROM).
En este ejemplo, el aparato 800 comprende una o más unidades 805 de almacenamiento de datos configuradas para almacenar información y/o instrucciones. Las una o más unidades 805 de almacenamiento de datos están acopladas al bus 802. La una o más unidades 805 de almacenamiento de datos pueden comprender, por ejemplo, un disco magnético u óptico y una unidad de disco o una unidad de estado sólido (SSD).
En este ejemplo, el aparato 800 comprende uno o más dispositivos 806 de entrada/salida (E/S) configurados para comunicar información a y/o desde el uno o más procesadores 801. Los uno o más dispositivos 806 de E/S están acoplados al bus 802. El uno o más dispositivos 806 de E/S pueden comprender al menos una interfaz de red. La al menos una interfaz de red puede permitir que el aparato 800 se comunique a través de una o más redes de comunicación de datos. Algunos ejemplos de redes de comunicación de datos son, sin limitarse a ellas, Internet y las Redes de Área Local (LAN). El uno o más dispositivos 806 de E/S pueden permitir a un usuario proporcionar entrada al aparato 800 a través de uno o más dispositivos de entrada (no mostrados). Los dispositivos de entrada pueden incluir, por ejemplo, un mando a distancia, uno o varios botones físicos, etc. El uno o más dispositivos 806 de E/S pueden permitir que se proporcione información a un usuario a través de uno o más dispositivos de salida (no mostrados). Uno o varios dispositivos de salida pueden incluir, por ejemplo, una pantalla de visualización.
Para el aparato 800 se representan otras entidades. Por ejemplo, cuando está presente, un sistema 807 operativo, un módulo 808 de procesamiento de señales, uno o más módulos 809 adicionales, y los datos 810 se muestran residiendo en una, o una combinación, de la memoria volátil 803 utilizable por ordenador, la memoria 804 no volátil utilizable por ordenador y la una o más unidades 805 de almacenamiento de datos. El módulo 808 de procesamiento de señales puede implementarse mediante código de programa informático almacenado en localizaciones de memoria dentro de la memoria 804 no volátil utilizable por ordenador, medios de almacenamiento legibles por ordenador dentro de la una o más unidades 805 de almacenamiento de datos y/u otros medios de almacenamiento tangibles legibles por ordenador. Ejemplos de medios tangibles de almacenamiento legibles por ordenador incluyen, pero no se limitan a, un medio óptico (por ejemplo, CD-ROM, DVD-ROM o Blu-ray), tarjeta de memoria flash, disquete o disco duro o cualquier otro medio capaz de almacenar instrucciones legibles por ordenador tales como firmware o microcódigo en al menos un chip ROM o RAM o ROM Programable (PROM) o como un Circuito Integrado de Aplicación Específica (ASIC).
Por lo tanto, el aparato 800 puede comprender un módulo 808 de procesamiento de señales que puede ser ejecutado por el uno o más procesadores 801. El módulo 808 de procesamiento de señales puede configurarse para incluir instrucciones para implementar al menos algunas de las operaciones descritas en el presente documento. Durante el funcionamiento, el uno o más procesadores 801 lanzan, ejecutan, ejecutan, interpretan o realizan de otro modo las instrucciones del módulo 808 de procesamiento de señales.
Aunque al menos algunos aspectos de los ejemplos descritos en el presente documento con referencia a los dibujos comprenden procedimientos informáticos realizados en sistemas de procesamiento o procesadores, los ejemplos descritos en el presente documento también se extienden a programas informáticos, por ejemplo, programas informáticos sobre o en un portador, adaptados para poner en práctica los ejemplos. El portador puede ser cualquier entidad o dispositivo capaz de transportar el programa.
Se apreciará que el aparato 800 puede comprender más, menos y/o diferentes componentes de los representados en la Figura 8.
El aparato 800 puede estar situado en una única localización o puede estar distribuido en múltiples localizaciones. Tales localizaciones pueden ser locales o remotas.
Las técnicas descritas en el presente documento pueden aplicarse mediante software o hardware, o mediante una combinación de software y hardware. Pueden incluir la configuración de un aparato para llevar a cabo y/o soportar cualquiera o todas las técnicas descritas en el presente documento.
Las realizaciones anteriores deben entenderse como ejemplos ilustrativos. Se prevén realizaciones adicionales.
En los ejemplos descritos anteriormente, la primera muestra de tiempo,ti,y la segunda muestra de tiempo,to,son ambas muestras de tiempo de la misma señal. En otros ejemplos, la primera muestra de tiempo,ti,y la segunda muestra de tiempo,to,son muestras de tiempo de señales diferentes. Por ejemplo, si las señales son señales de vídeo, la segunda muestra de tiempo,to,puede corresponder a un último fotograma de un primer vídeo y la primera muestra de tiempo,ti,puede corresponder a un primer fotograma de un vídeo posterior. Como tal, un conjunto de elementos de correlación espacio-temporal puede ser indicativo de un grado de correlación temporal entre los primeros datos de referencia basados en una primera representación de una primera muestra temporal de una señal y los segundos datos de referencia basados en una representación de una segunda muestra temporal de la señal u otra.
En los ejemplos descritos anteriormente, la segunda muestra de tiempo,to,es una muestra de tiempo anterior a la primera muestra de tiempo,ti.En otros ejemplos, la segunda muestra de tiempo,to,es una muestra de tiempo posterior a la primera muestra de tiempo,ti.
En algunos ejemplos, el dispositivo 110 decodificador recibe datos de entrada que comprenden primeros datos de entrada basados en un conjunto de elementos de correlación y segundos datos de entrada basados en una representación de una primera muestra temporal de una señal a un nivel relativamente bajo de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad. El dispositivo 110 decodificador obtiene un conjunto de elementos residuales utilizando el conjunto de elementos de correlación, pudiendo utilizarse el conjunto de elementos residuales para reconstruir una primera variante de representación de la primera muestra temporal de la señal a un nivel de calidad relativamente alto en la jerarquía escalonada utilizando una segunda variante de representación de la primera muestra temporal de la señal a un nivel de calidad relativamente alto. La segunda variante de representación se basa en la variante de representación con un nivel de calidad relativamente bajo. El dispositivo 110 descodificador reconstruye la primera variante de representación con un nivel de calidad relativamente alto utilizando la segunda variante de representación y el conjunto de elementos residuales. El conjunto de elementos de correlación es indicativo de al menos un grado de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos residuales. Los datos de entrada incluyen datos que identifican si el conjunto de elementos de correlación es indicativo del grado de correlación espacial o si el conjunto de elementos de correlación es además indicativo de un grado de correlación temporal entre los primeros datos basados en la primera representación y los segundos datos basados en una representación de una segunda muestra temporal anterior de la señal. En otras palabras, se incluye un identificador en los datos de entrada, que el dispositivo 110 decodificador utiliza para identificar si el conjunto de elementos de correlación es indicativo tanto de correlación espacial como temporal a nivel residual, o sólo de correlación espacial (y no de correlación temporal) a nivel residual.
En los ejemplos descritos anteriormente, la cuantificación se realiza sobre el conjunto de elementos de correlación espacial y el conjunto de elementos de correlaciónAtantes de comparar los dos conjuntos. En otros ejemplos, la cuantificación se realiza después de la comparación. En otras palabras, los datos de salida pueden generarse realizando una operación de cuantificación en el conjunto derivado de elementos de correlación espacial o en el conjunto derivado de elementos de correlación A<t>. Realizar la cuantificación después de que se hayan comparado el conjunto de elementos de correlación espacial y el conjunto derivado de elementos de correlaciónAtpuede facilitar una reducción de los errores y/o de la información perdida en comparación con un caso en el que la cuantificación se realice antes de la comparación.
En los ejemplos descritos anteriormente, se obtiene un conjunto de elementos residuales, el conjunto de elementos residuales se puede utilizar para reconstruir una primera representación de una primera muestra temporal de una señal a un nivel relativamente alto de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad utilizando una segunda representación de la primera muestra temporal de la señal al nivel relativamente alto de calidad, la segunda representación se basa en una representación de la primera muestra temporal de la señal a un nivel relativamente bajo de calidad en la jerarquía escalonada. En otros ejemplos, se obtiene un conjunto de elementos residuales, el conjunto de elementos residuales se puede utilizar para reconstruir una representación de una primera muestra temporal de una señal utilizando una representación de una segunda muestra temporal, por ejemplo, anterior, de la señal. En tales ejemplos, el conjunto de elementos residuales no se obtiene reduciendo o aumentando la resolución de la primera muestra temporal de la señal.
En los ejemplos descritos anteriormente, el aparato 402 de procesamiento de datos obtiene un primer conjunto de elementos de correlación espacial indicativos de un grado de correlación espacial entre un primer conjunto de elementos residuales asociados con una primera muestra temporal de una señal, obtiene un segundo conjunto de elementos de correlación espacial indicativos de un grado de correlación espacial entre un segundo conjunto de elementos residuales asociados con una segunda muestra temporal de la señal, y genera un conjunto de elementos de correlación espacio-temporal indicativos de un grado de correlación temporal entre el primer conjunto de elementos de correlación espacial y el segundo conjunto de elementos de correlación espacial. Como tal, la determinación de la correlación espacial precede a la determinación de la correlación temporal. En otros ejemplos, el aparato 402 de procesamiento de datos obtiene un primer conjunto de elementos residuales asociados con la primera muestra temporal de la señal y un segundo conjunto de elementos residuales asociados con la segunda muestra temporal de la señal, genera un conjunto de elementos de correlación temporal indicativos de un grado de correlación temporal entre el primer conjunto de elementos residuales y el segundo conjunto de elementos residuales, y genera un conjunto de elementos de correlación espacio-temporal indicativos de un grado de correlación espacial entre elementos de correlación en el conjunto de elementos de correlación temporal. En tales ejemplos, la determinación de la correlación temporal precede a la determinación de la correlación espacial.
Se proporcionan diversas medidas (por ejemplo, aparatos, métodos y programas de ordenador) con las que se obtiene un conjunto de elementos residuales. El conjunto de elementos residuales se puede utilizar para reconstruir una primera variante de representación de una primera muestra temporal de una señal utilizando una segunda variante de representación de la primera muestra temporal de la señal. La primera variante de representación tiene un nivel de calidad relativamente alto en una jerarquía escalonada que tiene múltiples niveles de calidad. La segunda interpretación tiene un nivel de calidad relativamente alto. La segunda variante de representación se basa en una variante de representación de la primera muestra temporal de la señal en un nivel relativamente bajo de calidad en la jerarquía escalonada. Se genera un conjunto de elementos de correlación espaciotemporal. El conjunto de elementos de correlación espaciotemporal se asocia a la primera muestra temporal de la señal. El conjunto de elementos de correlación espaciotemporal es indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales del conjunto de elementos residuales. El conjunto de elementos de correlación espaciotemporal son indicativos de un grado de correlación temporal entre los primeros datos de referencia basados en la primera variante de representación y los segundos datos de referencia basados en una variante de representación de una segunda muestra temporal de la señal. El conjunto de elementos de correlación espaciotemporal se utiliza para generar los primeros datos de salida. La variante de representación con un nivel de calidad relativamente bajo se utiliza para generar los segundos datos de salida.
En los ejemplos descritos anteriormente, los primeros datos de referencia tienen un nivel de calidad relativamente alto.
En los ejemplos descritos anteriormente, los segundos datos de referencia tienen un nivel de calidad relativamente alto.
En los ejemplos descritos anteriormente, la segunda muestra temporal de la señal es una muestra temporal anterior de la señal en relación con la primera muestra temporal de la señal.
En los ejemplos descritos anteriormente, se genera un primer conjunto de elementos de correlación espacial. El primer conjunto de elementos de correlación espacial está asociado a la primera muestra temporal de la señal. El primer conjunto de elementos de correlación espacial es indicativo del grado de correlación espacial entre la pluralidad de elementos residuales del conjunto de elementos residuales.
En los ejemplos descritos anteriormente, el conjunto de elementos de correlación espaciotemporal se utiliza para seleccionar el conjunto de elementos de correlación espaciotemporal o el primer conjunto de elementos de correlación espacial para su inclusión en los primeros datos de salida.
En los ejemplos descritos anteriormente, los primeros datos de referencia comprenden el primer conjunto de elementos de correlación espacial.
En los ejemplos descritos anteriormente, los segundos datos de referencia comprenden un segundo conjunto de elementos de correlación espacial asociados a la segunda muestra temporal de la señal. El segundo conjunto de elementos de correlación espacial puede ser indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales de otro conjunto de elementos residuales asociados a la segunda muestra temporal. El conjunto adicional de elementos residuales puede utilizarse para reconstruir una representación de la segunda muestra temporal de la señal en el nivel relativamente alto de calidad utilizando datos basados en una representación de la segunda muestra temporal de la señal en el nivel relativamente bajo de calidad.
En los ejemplos descritos anteriormente, los primeros datos de referencia comprenden la primera interpretación de la primera muestra temporal de la señal.
En los ejemplos descritos anteriormente, los segundos datos de referencia comprenden una representación reconstruida de la segunda muestra temporal de la señal con un nivel de calidad relativamente alto.
En los ejemplos descritos anteriormente, la selección se realiza comparando el conjunto de elementos de correlación espaciotemporal con el primer conjunto de elementos de correlación espacial.
En los ejemplos descritos anteriormente, la selección se realiza con base en un análisis de tasa-distorsión realizado en relación con el conjunto de elementos de correlación espacio-temporal y el primer conjunto de elementos de correlación espacial.
En los ejemplos descritos anteriormente, los primeros datos de salida incluyen datos indicativos de un resultado de la selección.
En los ejemplos descritos anteriormente, los datos indicativos del resultado de la selección se incluyen en una secuencia de bits asociada a un elemento de datos determinado en los primeros datos de salida. El elemento de datos dado puede ser indicativo de un grado de correlación horizontal entre una pluralidad de elementos residuales en el conjunto de elementos residuales.
En los ejemplos descritos anteriormente, el conjunto de elementos de correlación espaciotemporal y el primer conjunto de elementos de correlación espacial se cuantifican.
En los ejemplos descritos anteriormente, los primeros datos de la memoria se recuperan de una memoria intermedia. Los segundos datos de referencia se obtienen con base en los primeros datos de la memoria intermedia.
En los ejemplos descritos anteriormente, los datos de la segunda memoria se generan utilizando el conjunto de elementos de correlación espacio-temporal. La memoria se actualiza sobrescribiendo los datos de la primera memoria con los datos del segundo búfer.
En los ejemplos descritos anteriormente, los segundos datos de la memoria intermedia se generan combinando el conjunto de elementos de correlación espaciotemporal con los primeros datos de la memoria intermedia.
En los ejemplos descritos anteriormente, la memoria se actualiza sobrescribiendo los datos de la primera memoria con datos de la segunda memoria que comprenden al menos un valor cero.
En los ejemplos descritos anteriormente, la segunda variante de representación se obtiene mediante una operación de remuestreo de la variante de representación con un nivel de calidad relativamente bajo.
En los ejemplos descritos anteriormente, la variante de representación de la primera muestra temporal de la señal con un nivel de calidad relativamente bajo se obtiene realizando una operación de remuestreo hacia abajo en la primera variante de representación.
En los ejemplos descritos anteriormente, la señal es una señal de vídeo.
En los ejemplos descritos anteriormente, los primeros datos de salida y los segundos datos de salida se emiten para su transmisión a al menos otro aparato a través de una o más redes de comunicación de datos.
Se proporcionan diversas medidas (por ejemplo, aparatos, métodos y programas de ordenador) en las que se reciben datos de entrada que comprenden primeros datos de entrada y segundos datos de entrada. Los primeros datos de entrada se basan en un conjunto de elementos de correlación. Los segundos datos de entrada se basan en una representación de una primera muestra temporal de una señal con un nivel de calidad relativamente bajo en una jerarquía escalonada que tiene múltiples niveles de calidad. Se obtiene un conjunto de elementos residuales utilizando el conjunto de elementos de correlación. El conjunto de elementos residuales puede utilizarse para reconstruir una primera variante de representación de la primera muestra temporal de la señal a un nivel de calidad relativamente alto en la jerarquía escalonada utilizando una segunda variante de representación de la primera muestra temporal de la señal a un nivel de calidad relativamente alto. La segunda variante de representación se basa en la variante de representación con un nivel de calidad relativamente bajo. La primera variante de representación con un nivel de calidad relativamente alto se reconstruye utilizando la segunda variante de representación y el conjunto de elementos residuales. El conjunto de elementos de correlación es indicativo de al menos un grado de correlación espacial entre una pluralidad de elementos residuales en el conjunto de elementos residuales. Los datos de entrada incluyen datos que identifican si el conjunto de elementos de correlación es indicativo del grado de correlación espacial o si el conjunto de elementos de correlación es además indicativo de un grado de correlación temporal entre los primeros datos de referencia basados en la primera variante de representación y los segundos datos de referencia basados en una variante de representación de una segunda muestra temporal de la señal.

Claims (10)

REIVINDICACIONES
1. Un aparato codificador que comprende:
una entrada para obtener datos (206, 406) de entrada, los datos (206, 406) de entrada comprenden una señal de vídeo que comprende una secuencia de bastidores, los datos (206, 406) de entrada comprenden una primera variante de representación de un primer fotograma de la señal de vídeo a un primer nivel de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad;
un remuestreador hacia abajo para realizar una operación de remuestreo hacia abajo en los datos (206, 406) de entrada para generar datos (212, 412) remuestreados hacia abajo en un segundo nivel de calidad en la jerarquía escalonada, siendo el segundo nivel inferior al primero; y
un remuestreador remuestreador hacia arriba que prepara una versión remuestreada hacia abajo de los datos (213, 413) para generar una segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo con el primer nivel de calidad,
en el que el aparato codificador está configurado para obtener un primer conjunto de elementos (216, 416) residuales, obteniéndose cada elemento del primer conjunto de elementos (216, 416) residuales restando un valor de un elemento de señal respectivo en la segunda variante de representación del primer fotograma de un valor de un elemento de señal correspondiente en la primera variante de representación del primer fotograma,
en el que el aparato codificadorse caracteriza por:
el aparato codificador está configurado para realizar una operación de transformación en el primer conjunto de elementos (216, 416) residuales para generar un primer conjunto de elementos (418) transformados, siendo los elementos transformados indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en el primer conjunto de elementos (216, 416) residuales tal que el primer conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el primer conjunto de elementos residuales en el que la operación de transformación utiliza una matriz de transformación y determina la media, una correlación horizontal, una correlación vertical y una correlación diagonal;
una memoria para almacenar un segundo conjunto de elementos (424) transformados, estando el segundo conjunto de elementos (424) transformados asociado con un segundo fotograma de la señal de vídeo, ocurriendo el segundo fotograma antes que el primer fotograma, en el que el segundo conjunto de elementos (424) transformados son indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en un conjunto adicional de elementos residuales asociados con el segundo fotograma de la señal de vídeo tal como en el que el segundo conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el otro conjunto de elementos residuales, en el que el segundo conjunto de elementos transformados se genera realizando la operación de transformación en el otro conjunto de elementos residuales, en el que el otro conjunto de elementos residuales sirve para reconstruir una variante de representación del segundo fotograma de la señal de vídeo en el primer nivel de calidad utilizando datos basados en una variante de representación del segundo fotograma de la señal de vídeo en el segundo nivel de calidad; y
el aparato codificador está configurado para:
calcular una diferencia entre el primer conjunto de elementos (418) transformados y el segundo conjunto de elementos (424) transformados para generar los primeros datos (426) de salida, determinando así un grado de correlación temporal entre los primeros datos de referencia basados en la primera variante de representación y los segundos datos de referencia basados en el contenido de la memoria intermedia;
generar datos de memoria utilizando el primer conjunto de elementos (418) transformados; y
actualizar la memoria sobrescribiendo el segundo conjunto de elementos (424) transformados con los datos de la memoria,
en el que los primeros datos (426) de salida en el primer nivel de calidad y los segundos datos de salida derivados de los datos (212, 412) remuestreados hacia abajo en el segundo nivel de calidad se emiten para su comunicación a un aparato descodificador para la reconstrucción de la señal de vídeo.
2. Un aparato codificador según la reivindicación 1, en el que el primer conjunto de elementos (418) transformados está asociado a un conjunto de elementos de señal en el primer fotograma de la señal de vídeo y en el que el segundo conjunto de elementos (424) transformados está asociado a un conjunto de elementos de señal en el segundo fotograma de la señal de vídeo en la misma posición espacial que el conjunto de elementos de señal en el primer fotograma de la señal de vídeo.
3. Un aparato codificador según cualquiera de las reivindicaciones 1 a 2, en el que los primeros datos (426) de salida comprenden una versión cuantificada de un resultado de la diferencia entre el primer conjunto de elementos (418) transformados y el segundo conjunto de elementos (424) transformados.
4. Un aparato decodificador que comprende:
una entrada para recibir datos de entrada que comprenda los primeros datos (426) de entrada y los segundos datos (420) de entrada, en el que:
los primeros datos (426) de entrada son indicativos de un grado de correlación temporal entre los conjuntos primero y segundo de elementos (418, 424) transformados, siendo el primer conjunto de elementos (418) transformados indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en un primer conjunto de elementos (216, 416) residuales tal que el primer conjunto de elementos transformados incluye elementos que indican una similitud horizontal vertical y diagonal entre elementos residuales vecinos en el primer conjunto de elementos residuales, estando el primer conjunto de elementos (216, 416) residuales basado en una diferencia entre una primera variante de representación de un primer fotograma de una señal de vídeo en un primer nivel de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad y una segunda variante de representación del primer fotograma en el primer nivel de calidad, el segundo conjunto de elementos (424) transformados está asociado con un segundo fotograma de la señal de vídeo, ocurriendo el segundo fotograma antes que el primer fotograma, en el que el segundo conjunto de elementos (424) transformados son indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en otro conjunto de elementos residuales asociados con el segundo fotograma de la señal de vídeo tal como que el segundo conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el otro conjunto de elementos residuales, en el que el otro conjunto de elementos residuales sirve para reconstruir una variante de representación del segundo fotograma de la señal de vídeo en el primer nivel de calidad utilizando datos con base en una variante de representación del segundo fotograma de la señal de vídeo en el segundo nivel de calidad; y
los segundos datos (420) de entrada se encuentran en un segundo nivel de calidad en la jerarquía escalonada, siendo el segundo nivel inferior al primero; y
una memoria para almacenar el segundo conjunto de elementos (424) transformados,
en que el aparato descodificador está configurado para
combinar los primeros datos (426) de entrada con el contenido de la memoria para generar el primer conjunto de elementos (418) transformados; y
realizar una operación de transformación inversa sobre los elementos (418) transformados para generar el primer conjunto de elementos (216, 416) residuales,
el aparato descodificador comprende un remuestreador hacia arriba para preparar una operación de remuestreo hacia arriba sobre una versión procesada de los segundos datos (420) de entrada para generar una segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo con el primer nivel de calidad,
en el que el aparato descodificador está configurado además para.
combinar la segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo y el primer conjunto de elementos (216, 416) residuales para reconstruir el primer fotograma de la señal de vídeo;
generar datos de memoria utilizando el primer conjunto de elementos (418) transformados; y
actualizar la memoria sobrescribiendo el segundo conjunto de elementos (424) transformados con los datos de la memoria.
5. Un aparato decodificador según la reivindicación 4, en el que el primer conjunto de elementos (418) transformados está asociado a un conjunto de elementos de señal en el primer fotograma de la señal de vídeo y en el que el segundo conjunto de elementos (424) transformados está asociado a un conjunto de elementos de señal en el segundo fotograma de la señal de vídeo en la misma posición espacial que el conjunto de elementos de señal en el primer fotograma de la señal de vídeo.
6. Un aparato descodificador según las reivindicaciones 4 o 5, en el que los primeros datos (426) de entrada comprenden una versión cuantificada de un resultado de una diferencia entre el primer y el segundo conjunto de elementos (418, 424) transformados.
7. Un aparato descodificador según cualquiera de las reivindicaciones 4 a 6, estando el aparato descodificador configurado para recibir los datos de entrada de al menos otro aparato a través de una o más redes de comunicación de datos.
8. Un método que comprende:
obtener datos (206, 406) de entrada, los datos (206, 406) de entrada comprenden una señal de vídeo que comprende una secuencia de fotogramas, los datos (206, 406) de entrada comprenden una primera variante de representación de un primer fotograma de la señal de vídeo a un primer nivel de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad;
realizar una operación de remuestreo hacia abajo en los datos (206, 406) de entrada para generar datos (212, 412) remuestreados hacia abajo en un segundo nivel de calidad en la jerarquía escalonada, siendo el segundo nivel inferior al primero;
preparar una operación de remuestreo hacia arriba sobre una versión procesada de los datos (213, 413) remuestreados hacia abajo para generar una segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo con el primer nivel de calidad; y
obtención de un primer conjunto de elementos (216, 416) residuales, obteniéndose cada elemento del primer conjunto de elementos (216, 416) residuales restando un valor de un elemento de señal respectivo en la segunda variante de representación del primer fotograma de un valor de un elemento de señal correspondiente en la primera variante de representación del primer fotograma,
en el que el métodose caracteriza por:
realizar una operación de transformación en el primer conjunto de elementos (216, 416) residuales para generar un primer conjunto de elementos (418) transformados, siendo los elementos transformados indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en el primer conjunto de elementos (216, 416) residuales tal que el primer conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el primer conjunto de elementos residuales en el que la operación de transformación utiliza una matriz de transformación y determina la media, una correlación horizontal, una correlación vertical y una correlación diagonal;
almacenar un segundo conjunto de elementos (424) transformados en una memoria, estando el segundo conjunto de elementos (424) transformados asociado con un segundo fotograma de la señal de vídeo, ocurriendo el segundo fotograma antes que el primero, en el que el segundo conjunto de elementos (424) transformados son indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en un conjunto adicional de elementos residuales asociados con el segundo fotograma de la señal de vídeo tal como el segundo conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el otro conjunto de elementos residuales, en el que el segundo conjunto de elementos transformados se genera realizando la operación de transformación en el otro conjunto de elementos residuales, en el que el otro conjunto de elementos residuales sirve para reconstruir una representación del segundo fotograma de la señal de vídeo en el primer nivel de calidad utilizando datos basados en una representación del segundo fotograma de la señal de vídeo en el segundo nivel de calidad;
calcular una diferencia entre el primer conjunto de elementos (418) transformados y el segundo conjunto de elementos (424) transformados para generar los primeros datos (426) de salida, determinando así un grado de correlación temporal entre los primeros datos de referencia basados en la primera variante de representación y los segundos datos de referencia basados en el contenido de la memoria intermedia
generar datos de memoria utilizando el primer conjunto de elementos (418) transformados;
actualizar la memoria intermedia sobrescribiendo el segundo conjunto de elementos transformados con los datos de la memoria intermedia; y
salida de los primeros datos (426) de salida en el primer nivel de calidad y de los segundos datos de salida derivados de los datos (212, 412) remuestreados hacia abajo en el segundo nivel de calidad para su comunicación a un aparato decodificador para la reconstrucción de la señal de vídeo.
9. Un método que comprende:
recibir datos de entrada que comprenden primeros datos (426) de entrada y segundos datos (420) de entrada, en el que:
los primeros datos (426) de entrada son indicativos de un grado de correlación temporal entre los conjuntos primero y segundo de elementos (418, 424) transformados, siendo el primer conjunto de elementos (418) transformados indicativo de un grado de correlación espacial entre una pluralidad de elementos residuales en un primer conjunto de elementos (216, 416) residuales tal que el primer conjunto de elementos transformados incluye elementos que indican una similitud horizontal vertical y/o diagonal entre elementos residuales vecinos en el primer conjunto de elementos residuales, estando el primer conjunto de elementos (216, 416) residuales basado en una diferencia entre una primera variante de representación de un primer fotograma de una señal de vídeo en un primer nivel de calidad en una jerarquía escalonada que tiene múltiples niveles de calidad y una segunda variante de representación del primer fotograma en el primer nivel de calidad, el segundo conjunto de elementos (424) transformados está asociado con un segundo fotograma de la señal de vídeo, ocurriendo el segundo fotograma antes que el primer fotograma, en el que el segundo conjunto de elementos (424) transformados son indicativos de un grado de correlación espacial entre una pluralidad de elementos residuales en otro conjunto de elementos residuales asociados con el segundo fotograma de la señal de vídeo tal como que el segundo conjunto de elementos transformados incluye elementos que indican una similitud horizontal, vertical y/o diagonal entre elementos residuales vecinos en el otro conjunto de elementos residuales, en el que el otro conjunto de elementos residuales sirve para reconstruir una variante de representación del segundo fotograma de la señal de vídeo en el primer nivel de calidad utilizando datos con base en una variante de representación del segundo fotograma de la señal de vídeo en el segundo nivel de calidad; y
los segundos datos (420) de entrada se encuentran en un segundo nivel de calidad en la jerarquía escalonada, siendo el segundo nivel inferior al primero;
almacenar el segundo conjunto de elementos (424) transformados en una memoria;
combinar los primeros datos (426) de entrada con el contenido de la memoria para generar el primer conjunto de elementos (418) transformados;
realizar una operación de transformación inversa sobre los elementos (418) transformados para generar el primer conjunto de elementos (216, 416) residuales;
realizar una operación de remuestreo hacia arriba con base en los segundos datos (420) de entrada para generar una segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo con el primer nivel de calidad;
combinar la segunda variante de representación (214, 414) del primer fotograma de la señal de vídeo y el primer conjunto de elementos (216, 416) residuales para reconstruir el primer fotograma de la señal de vídeo;
generar datos de memoria utilizando el primer conjunto de elementos (418) transformados; y
actualizando la memoria intermedia sobrescribiendo el segundo conjunto de elementos (424) transformados con los datos de la memoria intermedia.
10. Un programa de ordenador que comprende instrucciones que, cuando se ejecutan, hacen que un aparato realice un método según la reivindicación 8 o la reivindicación 9.
ES17783955T 2016-09-08 2017-09-08 Video compression using differences between a higher and a lower layer Active ES3037504T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1615265.4A GB2553556B (en) 2016-09-08 2016-09-08 Data processing apparatuses, methods, computer programs and computer-readable media
PCT/GB2017/052631 WO2018046940A1 (en) 2016-09-08 2017-09-08 Video compression using differences between a higher and a lower layer

Publications (1)

Publication Number Publication Date
ES3037504T3 true ES3037504T3 (en) 2025-10-02

Family

ID=57234705

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17783955T Active ES3037504T3 (en) 2016-09-08 2017-09-08 Video compression using differences between a higher and a lower layer

Country Status (8)

Country Link
US (3) US10992943B2 (es)
EP (2) EP4607925A3 (es)
KR (3) KR102492838B1 (es)
CN (2) CN117880528A (es)
ES (1) ES3037504T3 (es)
GB (1) GB2553556B (es)
PL (1) PL3510778T3 (es)
WO (1) WO2018046940A1 (es)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653007B2 (en) 2018-07-15 2023-05-16 V-Nova International Limited Low complexity enhancement video coding
FI3831065T3 (fi) * 2018-08-03 2024-07-10 V Nova Int Ltd Entropiakoodaus signaalien ehostuskoodausta varten
GB201817780D0 (en) 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
AU2019435415B2 (en) 2019-03-20 2025-04-24 V-Nova International Ltd Rate control for a video encoder
US12335508B2 (en) 2019-03-20 2025-06-17 V-Nova International Limited Residual filtering in signal enhancement coding
GB2599507B (en) * 2019-03-20 2023-04-26 V Nova Int Ltd Low complexity enhancement video coding
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
GB2600617B (en) 2019-07-05 2024-06-12 V Nova Int Ltd Quantization of residuals in video coding
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2599341B (en) 2020-07-28 2024-10-09 V Nova Int Ltd Management system for multilayer encoders and decoders and method thereof
GB202103498D0 (en) 2021-03-12 2021-04-28 V Nova Int Ltd Processing of residuals in video coding
US12299840B2 (en) * 2021-05-11 2025-05-13 Mobileye Vision Technologies Ltd. Transposed convolution on downsampled data
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
WO2023135410A1 (en) 2022-01-11 2023-07-20 V-Nova International Ltd Integrating a decoder for hierarchical video coding
WO2023135420A1 (en) 2022-01-12 2023-07-20 V-Nova International Ltd Secure enhancement decoding implementation
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB2611836B (en) * 2022-03-31 2024-05-29 V Nova Int Ltd Frame buffer usage during a decoding process
GB202205618D0 (en) 2022-04-14 2022-06-01 V Nova Int Ltd Extended reality encoding
GB202205928D0 (en) 2022-04-22 2022-06-08 V Nova Int Ltd Methods, bitstreams, apparatuses, computer programs and computer-readable media
GB2637850A (en) 2022-07-01 2025-08-06 V Nova Int Ltd Applications of layered encoding in split computing
US12335499B2 (en) 2022-09-20 2025-06-17 V-Nova International Limited Method for decoding a video stream
GB2625756B (en) 2022-12-22 2024-12-18 V Nova Int Ltd Methods and modules for video pipelines
GB2627287B (en) 2023-02-17 2025-07-23 V Nova Int Ltd A video encoding module for hierarchical video coding
GB2624947B (en) 2023-03-24 2024-12-04 V Nova Int Ltd Enhancement decoding implementation and method
GB2637357A (en) 2024-02-16 2025-07-23 V Nova Int Ltd Generating a representation of a scene
GB2639675A (en) 2024-03-28 2025-10-01 V Nova Int Ltd Rate distortion optimisation implementation and method
GB2637804A (en) 2024-04-10 2025-08-06 V Nova Int Ltd Determining a point of a three-dimensional representation of a scene
GB2640277A (en) 2024-04-10 2025-10-15 V Nova Int Ltd Determining a location of a point
GB2640278A (en) 2024-04-10 2025-10-15 V Nova Int Ltd Processing a three-dimensional representation of a scene
GB2637364A (en) 2024-05-09 2025-07-23 V Nova Int Ltd Determining a point of a three-dimensional representation of a scene
GB2640911A (en) 2024-05-09 2025-11-12 V Nova Int Ltd Determining a point of a three-dimensional representation of a scene
WO2025233632A1 (en) 2024-05-09 2025-11-13 V-Nova International Ltd Bitstream

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050075578A (ko) 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
EP2084913B1 (en) * 2006-10-25 2019-02-20 GE Video Compression, LLC Quality scalable coding
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
WO2009130540A1 (en) * 2008-04-23 2009-10-29 Maxtu S.A. Method for high definition video encoding/decoding suitable for real-time video streaming
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding
US9129411B2 (en) * 2011-07-21 2015-09-08 Luca Rossato Upsampling in a tiered signal quality hierarchy
US10873772B2 (en) * 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
CN104685877B (zh) 2012-09-28 2019-03-29 Vid拓展公司 用于多层视频编码的自适应上采样
EP3629582A1 (en) * 2013-10-07 2020-04-01 Vid Scale, Inc. Combined scalability processing for multi-layer video coding
US9794595B2 (en) * 2014-03-18 2017-10-17 Qualcomm Incorporated Derivation of end of sequence NAL unit information for multi-layer bitstreams

Also Published As

Publication number Publication date
US10992943B2 (en) 2021-04-27
US12034943B2 (en) 2024-07-09
WO2018046940A1 (en) 2018-03-15
EP3510778A1 (en) 2019-07-17
CN109952763B (zh) 2023-12-01
KR20190086433A (ko) 2019-07-22
US20190313109A1 (en) 2019-10-10
US20250047879A1 (en) 2025-02-06
EP3510778B1 (en) 2025-07-09
CN117880528A (zh) 2024-04-12
GB2553556B (en) 2022-06-29
EP4607925A2 (en) 2025-08-27
KR20230113665A (ko) 2023-07-31
EP3510778C0 (en) 2025-07-09
KR20230019264A (ko) 2023-02-07
US20210314580A1 (en) 2021-10-07
GB2553556A (en) 2018-03-14
GB201615265D0 (en) 2016-10-26
CN109952763A (zh) 2019-06-28
KR102734997B1 (ko) 2024-11-26
EP4607925A3 (en) 2025-10-29
KR102492838B1 (ko) 2023-01-30
PL3510778T3 (pl) 2025-11-17

Similar Documents

Publication Publication Date Title
ES3037504T3 (en) Video compression using differences between a higher and a lower layer
ES2961397T3 (es) Codificación y reconstrucción de datos residuales en base a información de soporte
JP6350717B2 (ja) インタラクティビティのための動き制約タイルセットseiメッセージの拡張
ES2808531T3 (es) Transmisión de datos de reconstrucción en una jerarquía de calidad de señal escalonada
KR102463623B1 (ko) 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체
US10504246B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
CN104333760B (zh) 三维图像编码方法和三维图像解码方法及相关装置
ES2954282T3 (es) Determinación de parámetros de cuantificación y codificación por capas
ES2958762T3 (es) Aparatos, métodos, programas de ordenador y medios legibles por ordenador
JPWO2014050741A1 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
ES2883951T3 (es) Procedimiento de composición de una representación de vídeo intermedia
US20060133482A1 (en) Method for scalably encoding and decoding video signal
CN113228663B (zh) 处理配置数据的方法及处理图像表示的方法
WO2018090600A1 (zh) 虚拟参考帧的建立方法及设备
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
ES2926702T3 (es) Codificación y decodificación multivista
JP6197708B2 (ja) 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
GB2605512A (en) Data processing apparatuses, methods, computer programs and computer-readable media
KR20130062787A (ko) 다채널 트릭 모드에 특화된 복호화 장치 및 방법