[go: up one dir, main page]

ES2992660T3 - Method and apparatus for chroma intra prediction in video coding - Google Patents

Method and apparatus for chroma intra prediction in video coding Download PDF

Info

Publication number
ES2992660T3
ES2992660T3 ES20776473T ES20776473T ES2992660T3 ES 2992660 T3 ES2992660 T3 ES 2992660T3 ES 20776473 T ES20776473 T ES 20776473T ES 20776473 T ES20776473 T ES 20776473T ES 2992660 T3 ES2992660 T3 ES 2992660T3
Authority
ES
Spain
Prior art keywords
chroma
intra prediction
video
predmodeintra
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20776473T
Other languages
English (en)
Inventor
Vasily Alexeevich Rufitskiy
Jianle Chen
Alexey Konstantinovich Filippov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Application granted granted Critical
Publication of ES2992660T3 publication Critical patent/ES2992660T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

Se proporcionan dispositivos y métodos de predicción intra direccional para el componente cromático de una imagen. El método incluye obtener un modo de predicción intra inicial del componente cromático y derivar un modo de predicción intra cromático (intraPredModeC) a partir de una tabla de búsqueda (LUT) utilizando el modo de predicción intra inicial del componente cromático. El componente cromático tiene diferentes relaciones de submuestreo en direcciones horizontales y verticales. El método incluye además realizar un mapeo de gran angular en el modo de predicción intra cromático (intraPredModeC) para obtener un intraPredModeC modificado; obtener un parámetro intraPredAngle para el componente cromático basándose en el intraPredModeC modificado; y obtener muestras predichas del componente cromático basándose en el parámetro intraPredAngle. El método proporciona el número mínimo de entradas en la LUT que se utiliza para determinar el modo de predicción intra cromático a partir del modo de predicción intra cromático inicial. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método y aparato para intrapredicción de croma en la codificación de vídeo
Campo técnico
Las realizaciones de la presente solicitud (descripción) se refieren generalmente al campo del procesamiento de imágenes y más particularmente a métodos de intrapredicción de croma en la codificación de vídeo.
Antecedentes
La codificación de vídeo (codificación y decodificación de vídeo) se utiliza en una amplia gama de aplicaciones de vídeo digital, por ejemplo, difusión de TV digital, transmisión de vídeo a través de Internet y redes móviles, aplicaciones de conversación en tiempo real tales como vídeo chat, videoconferencia, discos de DVD y Blu-ray, sistemas de edición y adquisición de contenido de vídeo y videocámaras de aplicaciones de seguridad.
La cantidad de datos de vídeo necesarios para representar incluso un vídeo relativamente corto puede ser sustancial, lo que puede resultar en dificultades cuando los datos han de transmitirse o comunicarse a través de una red de comunicaciones con capacidad de ancho de banda limitada. Por lo tanto, los datos de vídeo generalmente se comprimen antes de comunicarse a través de las redes de telecomunicaciones de hoy en día. El tamaño de un vídeo también podría ser un problema cuando el vídeo se almacena en un dispositivo de almacenamiento porque los recursos de memoria pueden ser limitados. Los dispositivos de compresión de vídeo a menudo utilizan software y/o hardware en el origen para codificar los datos de vídeo antes de su transmisión o almacenamiento, disminuyendo así la cantidad de datos necesarios para representar imágenes de vídeo digitales. Los datos comprimidos, a continuación, son recibidos en el destino por un dispositivo de descompresión de vídeo que decodifica los datos de vídeo. Con recursos de red limitados y demandas cada vez mayores de mayor calidad de vídeo, son deseables técnicas mejoradas de compresión y descompresión que mejoren la relación de compresión con poco o ningún sacrificio en la calidad de la imagen.
BRO SS B Y CO L.:”Versatile Video Coding (Draft 4)”, 13. Reunión JV E T : 20190109 - 20190118; MARRAKECH; (E L EQUIPO CONJUNTO DE EXPLORACIÓN DE VÍDEO DE ISO/IEC JTC1/SC29/WG11 E ITU-T SG.16), n° JVET-M1001 17 de Marzo de 2019 (2019-03-17), XP030255166, da a conocer el texto de borrador de la especificación de codificación de vídeo.
Compendio
Las realizaciones de la presente solicitud proporcionan aparatos y métodos para codificar y decodificar según las reivindicaciones independientes.
Los objetos anteriores y otros se consiguen mediante el objeto de las reivindicaciones independientes. Otras formas de implementación son evidentes a partir de las reivindicaciones dependientes, la descripción y las figuras. La invención se expone en el conjunto de reivindicaciones adjuntas.
Las realizaciones de la presente invención proporcionan el número mínimo de entradas en la LUT que se utiliza para determinar el modo de intrapredicción de croma a partir del modo de intrapredicción de croma inicial. El modo de intrapredicción de croma inicial puede ser igual al modo de intrapredicción de luma inicial. Esto se logra mediante el orden de las etapas realizadas, es decir, mediante la asignación del modo de intrapredicción de crominancia al modo de luminancia que se realiza antes de la asignación de gran angular.
Los detalles de una o más realizaciones se establecen en los dibujos adjuntos y la descripción a continuación. Otras características, objetos y ventajas resultarán evidentes a partir de la descripción, los dibujos y las reivindicaciones.
Breve descripción de los dibujos
En las siguientes realizaciones de la invención se describen con más detalle con referencia a las figuras y dibujos adjuntos, en los que:
La fig. 1A es un diagrama de bloques que muestra un ejemplo de un sistema de codificación de vídeo configurado para implementar las realizaciones de la invención;
La fig. 1B es un diagrama de bloques que muestra otro ejemplo de un sistema de codificación de vídeo configurado para implementar las realizaciones de la invención;
La fig. 2 es un diagrama de bloques que muestra un ejemplo de un codificador de vídeo configurado para implementar las realizaciones de la invención;
La fig. 3 es un diagrama de bloques que muestra una estructura ejemplar de un decodificador de vídeo configurado para implementar las realizaciones de la invención;
La fig. 4 es un diagrama de bloques que ilustra un ejemplo de un aparato de codificación o un aparato de decodificación;
La fig. 5 es un diagrama de bloques que ilustra otro ejemplo de un aparato de codificación o un aparato de decodificación;
La fig. 6 es un dibujo que muestra direcciones angulares de intrapredicción y los modos de intrapredicción asociados en el borrador v.4 de especificación VTM-4 y VVC;
La fig. 7 es un dibujo que muestra planos de color de luma y croma para los formatos de croma YUV 4:2:0 y YUV 4:2:2;
La fig. 8 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción de gran angular e IntraPredModeC es un modo de intrapredicción de ángulo sin gran angular;
La fig. 9 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo de intrapredicción de ángulo sin gran angular;
La fig. 10 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo intrapredicción de ángulo de gran angular;
La fig. 11 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY utilizando un recorte del modo de predicción y donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo de intrapredicción de ángulo sin gran angular;
La fig. 12A ilustra las realizaciones de un bloque 1200 de intrapredicción de un componente de croma implementado según la presente invención;
La fig. 12B ilustra las realizaciones de un bloque 1210 de intrapredicción de un componente de croma implementado según la presente invención;
La fig. 13 ilustra las realizaciones de un método 1300 de intrapredicción de un componente de croma implementado según la presente invención;
La fig. 14 ilustra las realizaciones de un dispositivo 1400 de intrapredicción de un componente de croma implementado según la presente invención;
La fig. 15 es un diagrama de bloques que muestra una estructura ejemplar de un sistema 3100 de suministro de contenido que realiza un servicio de entrega de contenido; y
La fig. 16 es un diagrama de bloques que muestra una estructura de un ejemplo de un dispositivo terminal. A continuación, signos de referencia idénticos se refieren a características idénticas o al menos funcionalmente equivalentes si no se especifica explícitamente lo contrario.
Descripción detallada de las realizaciones
En la siguiente descripción, se hace referencia a las figuras adjuntas, que forman parte de la descripción y que muestran, a modo de ilustración, aspectos específicos de las realizaciones de la invención o aspectos específicos en los que se pueden utilizar las realizaciones de la presente invención. Se comprende que las realizaciones de la invención pueden utilizarse en otros aspectos y comprenden cambios estructurales o lógicos no representados en las figuras. La siguiente descripción detallada, por lo tanto, no debe tomarse en un sentido limitativo, y el alcance de la presente invención está definido por las reivindicaciones adjuntas.
Por ejemplo, se comprende que una descripción en relación con un método descrito también puede ser válida para un dispositivo o sistema correspondiente configurado para realizar el método y viceversa. Por ejemplo, si se describen una o una pluralidad de etapas específicas del método, un dispositivo correspondiente puede incluir una o una pluralidad de unidades, por ejemplo, unidades funcionales, para realizar la una o la pluralidad de etapas del método descritas (por ejemplo, una unidad que realiza la una o la pluralidad de etapas, o una pluralidad de unidades, cada una de las cuales realiza una o más de la pluralidad de etapas), incluso si tales una o más unidades no se describen o ilustran explícitamente en las figuras. Por otro lado, por ejemplo, si un aparato específico se describe basándose en una o una pluralidad de unidades, por ejemplo, unidades funcionales, un método correspondiente puede incluir una etapa para realizar la funcionalidad de la una o una pluralidad de unidades (por ejemplo, una etapa que realiza la funcionalidad de la una o una pluralidad de unidades, o una pluralidad de etapas, cada una de los cuales realiza la funcionalidad de una o más de la pluralidad de unidades), incluso si tal una o la pluralidad de etapas no se describen o ilustran explícitamente en las figuras. Además, se comprende que las características de las diversas realizaciones ejemplares y/o aspectos descritos en la presente memoria pueden combinarse entre sí, a menos que se indique específicamente lo contrario.
La codificación de vídeo generalmente se refiere al procesamiento de una secuencia de imágenes, que forman el vídeo o la secuencia de vídeo. En lugar del término “imagen”, el término “fotograma” o “imagen” se pueden utilizar como sinónimos en el campo de la codificación de vídeo. La codificación de vídeo (o codificación en general) comprende dos partes de codificación y decodificación de vídeo. La codificación de vídeo se realiza en el lado de origen, y típicamente comprende el procesamiento (por ejemplo, mediante compresión) de las imágenes de vídeo originales para reducir la cantidad de datos requeridos para representar las imágenes de vídeo (para un almacenamiento y/o transmisión más eficiente). La decodificación de vídeo se realiza en el lado de destino y típicamente comprende el procesamiento inverso en comparación con el codificador para reconstruir las imágenes de vídeo. Las realizaciones que se refieren a la “codificación” de imágenes de vídeo (o imágenes en general) se comprenderán relacionadas con la “codificación” o la “decodificación” de imágenes de vídeo o secuencias de vídeo respectivas. La combinación de la parte de codificación y la parte de decodificación también se conoce como CODEC (Codificación y Decodificación).
En caso de codificación de vídeo sin pérdida, las imágenes de vídeo originales se pueden reconstruir, es decir, las imágenes de vídeo reconstruidas tienen la misma calidad que las imágenes de vídeo originales (asumiendo que no hay pérdida de transmisión u otra pérdida de datos durante el almacenamiento o la transmisión). En caso de codificación de vídeo con pérdida, compresión adicional, por ejemplo, mediante cuantificación, para reducir la cantidad de datos que representan las imágenes de vídeo, que no se pueden reconstruir completamente en el decodificador, es decir, la calidad de las imágenes de vídeo reconstruidas es menor o peor en comparación con la calidad de las imágenes de vídeo originales.
Varios estándares de codificación de vídeo pertenecen al grupo de “códecs de vídeo híbridos con pérdidas” (es decir, combinan la predicción espacial y temporal en el dominio de muestra y la codificación de transformada 2D para aplicar la cuantificación en el dominio de transformada). Cada imagen de una secuencia de vídeo se divide normalmente en un conjunto de bloques que no se superponen y la codificación se realiza normalmente a nivel de bloque. En otras palabras, en el codificador, el vídeo se procesa típicamente, es decir, se codifica, en un nivel de bloque (bloque de vídeo), por ejemplo, mediante el uso de la predicción espacial (intraimagen) y/o la predicción temporal (interimágenes) para generar un bloque de predicción, restando el bloque de predicción del bloque actual (bloque actualmente procesado/por procesar) para obtener un bloque residual, transformando el bloque residual y cuantificando el bloque residual en el dominio de transformada para reducir la cantidad de datos que se ha de transmitir (compresión), mientras que en el decodificador el procesamiento inverso comparado con el codificador se aplica al bloque codificado o comprimido para reconstruir el bloque actual para su representación. Además, el codificador duplica el bucle de procesamiento del decodificador de tal manera que ambos generarán predicciones idénticas (por ejemplo, intra- e interpredicciones) y/o reconstrucciones para procesar, es decir, codificar los bloques posteriores.
En las siguientes realizaciones de un sistema 10 de codificación de vídeo, se describen un codificador 20 de vídeo y un decodificador 30 de vídeo basándose en las figs. 1 a 3.
La fig. 1A es un diagrama de bloques esquemático que ilustra un de sistema 10 de codificación ejemplar, por ejemplo, un sistema 10 de codificación de vídeo (o sistema 10 de codificación corta) que puede utilizar técnicas de esta presente solicitud. El codificador 20 de vídeo (o codificador 20 corto) y el decodificador 30 de vídeo (o decodificador 30 corto) del sistema 10 de codificación de vídeo representan ejemplos de dispositivos que pueden configurarse para realizar técnicas según varios ejemplos descritos en la presente solicitud.
Como se muestra en la fig. 1A, el sistema 10 de codificación comprende un dispositivo 12 de origen configurado para proporcionar datos 21 de imagen codificada, por ejemplo, a un dispositivo 14 de destino para decodificar los datos 13 de imagen codificada.
El dispositivo 12 de origen comprende un codificador 20 y, además, es decir, opcionalmente, puede comprender una fuente 16 de imagen, un preprocesador 18 (o unidad de preprocesamiento), por ejemplo, un preprocesador 18 de imagen y una interfaz de comunicación o unidad 22 de comunicación.
La fuente 16 de imagen puede comprender o ser cualquier tipo de dispositivo de captura de imágenes, por ejemplo, una cámara para capturar una imagen del mundo real, y/o cualquier tipo de dispositivo de generación de imágenes, por ejemplo, un procesador de gráficos por ordenador para generar una imagen animada por ordenador, o cualquier otro dispositivo para obtener y/o proporcionar una imagen del mundo real, una imagen generada por ordenador (por ejemplo, un contenido de pantalla, una imagen de realidad virtual (VR)) y/o cualquier combinación de las mismas (por ejemplo, una imagen de realidad aumentada (AR)). La fuente de imagen puede ser cualquier tipo de memoria o almacenamiento que almacene cualquiera de las imágenes mencionadas anteriormente.
A diferencia del preprocesador 18 y el procesamiento realizado por la unidad 18 de preprocesamiento, la imagen o datos 17 de imagen también pueden denominarse imagen sin procesar o datos 17 de imagen sin procesar.
El preprocesador 18 está configurado para recibir los datos 17 de imagen (sin procesar) y para realizar el preprocesamiento de los datos 17 de imagen para obtener una imagen 19 preprocesada o datos 19 de imagen preprocesados. El preprocesamiento realizado por el procesador 18 puede comprender, por ejemplo, recorte, conversión de formato de color (por ejemplo, de RGB a YCbCr), corrección de color o eliminación de ruido. Puede comprenderse que la unidad 18 de preprocesamiento puede ser un componente opcional.
El codificador 20 de vídeo está configurado para recibir los datos 19 de imagen preprocesados y proporcionar datos 21 de imagen codificada (se describirán más detalles a continuación, por ejemplo, basándose en la fig. 2). La interfaz 22 de comunicación del dispositivo 12 de origen puede configurarse para recibir los datos 21 de imagen codificada y transmitir los datos 21 de imagen codificada (o cualquier versión procesada adicional de los mismos) a través del canal 13 de comunicación a otro dispositivo, por ejemplo, el dispositivo 14 de destino o cualquier otro dispositivo, para almacenamiento o reconstrucción directa.
El dispositivo 14 de destino comprende un decodificador 30 (por ejemplo, un decodificador 30 de vídeo), y puede comprender adicionalmente, es decir, opcionalmente, una interfaz 28 de comunicación o unidad de comunicación, un postprocesador 32 (o unidad 32 de postprocesamiento) y un dispositivo 34 de visualización.
La interfaz 28 de comunicación del dispositivo 14 de destino está configurada para recibir los datos 21 de imagen codificada (o cualquier versión procesada adicional de los mismos), por ejemplo, directamente desde el dispositivo 12 de origen o desde cualquier otra fuente, por ejemplo, un dispositivo de almacenamiento, por ejemplo, un dispositivo de almacenamiento de datos de imagen codificada, y proporcionar los datos 21 de imagen codificada al decodificador 30.
La interfaz 22 de comunicación y la interfaz 28 de comunicación pueden configurarse para transmitir o recibir los datos 21 de imagen codificada o los datos 13 codificados a través de un enlace de comunicación directa entre el dispositivo 12 de origen y el dispositivo 14 de destino, por ejemplo, una conexión directa por cable o inalámbrica, o mediante cualquier tipo de red, por ejemplo, una red cableada o inalámbrica o cualquier combinación de las mismas, o cualquier tipo de red pública y privada, o cualquier tipo de combinación de las mismas.
La interfaz 22 de comunicación puede configurarse, por ejemplo, para empaquetar los datos 21 de imagen codificada en un formato apropiado, por ejemplo, paquetes y/o procesar los datos de imagen codificada utilizando cualquier tipo de codificación de transmisión o procesamiento para su transmisión a través de un enlace de comunicación o red de comunicación.
La interfaz 28 de comunicación, que forma la contraparte de la interfaz 22 de comunicación, puede configurarse, por ejemplo, para recibir los datos transmitidos y procesar los datos de transmisión utilizando cualquier tipo de decodificación de transmisión correspondiente o procesamiento y/o desempaquetado para obtener los datos 21 de imagen codificada.
Tanto la interfaz 22 de comunicación como la interfaz 28 de comunicación pueden configurarse como interfaces de comunicación unidireccionales como lo indica la flecha para el canal 13 de comunicación en la fig. 1A que apunta desde el dispositivo 12 de origen al dispositivo 14 de destino, o interfaces de comunicación bidireccionales, y se puede configurar, por ejemplo, para enviar y recibir mensajes, por ejemplo, para establecer una conexión, para reconocer e intercambiar cualquier otra información relacionada con el enlace de comunicación y/o la transmisión de datos, por ejemplo, transmisión de datos de imagen codificada.
El decodificador 30 está configurado para recibir los datos 21 de imagen codificada y proporcionar datos 31 de imagen decodificada o una imagen 31 decodificada (se describirán más detalles a continuación, por ejemplo, basándose en la fig. 3 o en la fig. 5).
El postprocesador 32 del dispositivo 14 de destino está configurado para procesar posteriormente los datos 31 de imagen decodificada (también llamados datos de imagen reconstruida), por ejemplo, la imagen 31 decodificada, para obtener datos 33 de imagen postprocesada, por ejemplo, una imagen 33 postprocesada. El postprocesamiento realizado por la unidad 32 de postprocesamiento puede comprender, por ejemplo, conversión de formato de color (por ejemplo, de YCbCr a RGB), corrección de color, recorte o repetición de muestreo, o cualquier otro procesamiento, por ejemplo, para preparar los datos 31 de imagen decodificada para su visualización, por ejemplo, por el dispositivo 34 de visualización.
El dispositivo 34 de visualización del dispositivo 14 de destino está configurado para recibir los datos 33 de imagen postprocesada para visualizar la imagen, por ejemplo, a un usuario o espectador. El dispositivo 34 de visualización puede ser o comprender cualquier tipo de visualización para representar la imagen reconstruida, por ejemplo, un dispositivo de visualización o monitor integrado o externo. Los dispositivos de visualización pueden, por ejemplo, comprender pantallas de cristal líquido (LCD), pantallas de diodos orgánicos de emisión de luz (OLED), pantallas de plasma, proyectores, pantallas micro LED, cristal líquido sobre silicio (LCoS), procesador de luz digital (DLP) o cualquier otro tipo de pantalla.
Aunque la fig. 1A representa el dispositivo 12 de origen y el dispositivo 14 de destino como dispositivos separados, las realizaciones de los dispositivos también pueden comprender ambas o ambas funcionalidades, el dispositivo 12 de origen o la funcionalidad correspondiente y el dispositivo 14 de destino o la funcionalidad correspondiente. En tales realizaciones, el dispositivo 12 de origen o la funcionalidad correspondiente y el dispositivo 14 de destino o la funcionalidad correspondiente pueden implementarse utilizando el mismo hardware y/o software o mediante hardware y/o software separados o cualquier combinación de los mismos.
Como resultará evidente para el experto basándose en la descripción, la existencia y división (exacta) de funcionalidades de las diferentes unidades o funcionalidades dentro del dispositivo 12 de origen y/o del dispositivo 14 de destino como se muestra en la fig. 1A puede variar dependiendo del dispositivo y aplicación reales.
El codificador20(por ejemplo, un codificador 20 de vídeo) o el decodificador30(por ejemplo, un decodificador 30 de vídeo) o tanto el codificador 20 como el decodificador 30 pueden implementarse mediante circuitos de procesamiento como se muestra en la fig. 1B, tal como uno o más microprocesadores, procesadores de señales digitales (DSP), circuitos integrados de aplicación específica (ASIC), conjuntos de puertas programables en campo (FPGA), lógica discreta, hardware, codificación de vídeo dedicada o cualquier combinación de los mismos. El codificador 20 puede implementarse a través de los circuitos 46 de procesamiento para incorporar los diversos módulos como se da a conocer con respecto al codificador 20 de la fig. 2 y/o cualquier otro sistema o subsistema codificador descrito en la presente memoria. El decodificador 30 puede implementarse a través de los circuitos 46 de procesamiento para incorporar los diversos módulos como se da a conocer con respecto al decodificador 30 de la fig. 3 y/o cualquier otro sistema o subsistema decodificador descrito en la presente memoria. Los circuitos de procesamiento pueden configurarse para realizar las diversas operaciones como se da a conocer más adelante. Como se muestra en la fig. 5, si las técnicas se implementan parcialmente en software, un dispositivo puede almacenar instrucciones para el software en un medio de almacenamiento adecuado, no transitorio, legible por ordenador y puede ejecutar las instrucciones en hardware utilizando uno o más procesadores para realizar las técnicas de esta descripción. Tanto el codificador 20 de vídeo como el decodificador 30 de vídeo pueden integrarse como parte de un codificador/decodificador combinado (CODEC) en un solo dispositivo, por ejemplo, como se muestra en la fig. 1B.
El dispositivo 12 de origen y el dispositivo 14 de destino pueden comprender cualquiera de una amplia gama de dispositivos, incluyendo cualquier tipo de dispositivo de mano o estacionario, por ejemplo, ordenadores portátiles o portátiles, teléfonos móviles, teléfonos inteligentes, tabletas, cámaras, ordenadores de escritorio, decodificadores, televisores, dispositivos de visualización, reproductores de medios digitales, consolas de videojuegos, dispositivos de transmisión de vídeo (tales como servidores de servicios de contenido o servidores de entrega de contenido), dispositivo receptor de difusión, dispositivo transmisor de difusión, o similares y no pueden utilizar ningún tipo de sistema operativo. En algunos casos, el dispositivo 12 de origen y el dispositivo 14 de destino pueden estar equipados para comunicación inalámbrica. Por tanto, el dispositivo 12 de origen y el dispositivo 14 de destino pueden ser dispositivos de comunicación inalámbrica.
En algunos casos, el sistema10de codificación de vídeo ilustrado en la fig. 1A es simplemente un ejemplo y las técnicas de la presente solicitud pueden aplicarse a configuraciones de codificación de vídeo (por ejemplo, codificación de vídeo o decodificación de vídeo) que no necesariamente incluyen ninguna comunicación de datos entre los dispositivos de codificación y decodificación. En otros ejemplos, los datos se recuperan de una memoria local, se transmiten a través de una red o similares. Un dispositivo de codificación de vídeo puede codificar y almacenar datos en la memoria y/o un dispositivo de decodificación de vídeo puede recuperar y decodificar datos de la memoria. En algunos ejemplos, la codificación y decodificación se realiza mediante dispositivos que no se comunican entre sí, sino que simplemente codifican datos en la memoria y/o recuperan y decodifican datos de la memoria.
Por conveniencia de la descripción, en la presente memoria se describen realizaciones de la invención, por ejemplo, por referencia a la codificación de vídeo de alta eficiencia (HEVC) o al software de referencia de codificación de vídeo versátil (VVC), el estándar de codificación de vídeo de próxima generación desarrollado por el equipo de colaboración conjunta en codificación de vídeo (JCT-VC) del grupo de expertos en codificación de vídeo de ITU-T (VCEG ) y el grupo de expertos en imágenes en movimiento de ISO/IEC (MPEG). Un experto en la técnica comprenderá que las realizaciones de la invención no se limitan a HEVC o VVC.
Codificador y Método de Codificación
La fig. 2 muestra un diagrama de bloques esquemático de un codificador 20 de vídeo ejemplar que está configurado para implementar las técnicas de la presente solicitud. En el ejemplo de la fig. 2, el codificador 20 de vídeo comprende una entrada 201 (o interfaz 201 de entrada), una unidad 204 de cálculo residual, una unidad 206 de procesamiento de transformada, una unidad 208 de cuantificación, una unidad 210 de cuantificación inversa y una unidad 212 de procesamiento de transformada inversa, una unidad 214 de reconstrucción, una unidad 220 de filtro en bucle, una memoria intermedia 230 de imagen decodificada (DPB), una unidad 260 de selección de modo, una unidad 270 de codificación por entropía y una salida 272 (o interfaz 272 de salida). La unidad 260 de selección de modo puede incluir una unidad 244 de interpredicción, una unidad 254 de intrapredicción y una unidad 262 de división en particiones. La unidad 244 de interpredicción puede incluir una unidad de estimación de movimiento y una unidad de compensación de movimiento (no mostradas). Un codificador 20 de vídeo como se muestra en la fig. 2 también puede denominarse codificador de vídeo híbrido o un codificador de vídeo según un códec de vídeo híbrido.
La unidad 204 de cálculo residual, la unidad 206 de procesamiento de transformada, la unidad 208 de cuantificación, la unidad 260 de selección de modo pueden referirse a la formación de una ruta de señal hacia delante del codificador 20, mientras que la unidad 210 de cuantificación inversa, la unidad 212 de procesamiento de transformada inversa, la unidad 214 de reconstrucción, la memoria intermedia 216, el filtro 220 en bucle, la memoria intermedia 230 de imagen decodificada (DPB), la unidad 244 de interpredicción y la unidad 254 de intrapredicción pueden denominarse formando una ruta de señal hacia atrás del codificador 20 de vídeo, en donde la ruta de señal hacia atrás del codificador 20 de vídeo corresponde a la ruta de señal del decodificador (véase decodificador 30 de vídeo en la fig. 3). La unidad 210 de cuantificación inversa, la unidad 212 de procesamiento de transformada inversa, la unidad 214 de reconstrucción, el filtro 220 en bucle, la memoria intermedia 230 de imagen decodificada (DPB), la unidad 244 de interpredicción y la unidad 254 de intrapredicción también se refieren a la formación del “decodificador incorporado” del codificador 20 de vídeo.
Imágenes y división en particiones de imagen (Imágenes y Bloques)
El codificador 20 puede configurarse para recibir, por ejemplo, a través de la entrada 201, una imagen 17 (o datos 17 de imagen), por ejemplo, imagen de una secuencia de imágenes que forman un vídeo o secuencia de vídeo. La imagen o los datos de imagen recibidos también pueden ser una imagen 19 preprocesada (o datos 19 de imagen preprocesada). En aras de la simplicidad, la siguiente descripción se refiere a la imagen 17. La imagen 17 también puede denominarse imagen actual o imagen que se ha de codificar (en particular en la codificación de vídeo para distinguir la imagen actual de otras imágenes, por ejemplo, codificadas previamente y/o imágenes decodificadas de la misma secuencia de vídeo, es decir, la secuencia de vídeo que también comprende la imagen actual).
Una imagen (digital) es o puede considerarse como una agrupación o matriz bidimensional de muestras con valores de intensidad. Una muestra en la matriz también puede denominarse píxel (forma abreviada de elemento de imagen) o un pel. El número de muestras en dirección (o eje) horizontal y vertical de la matriz o imagen define el tamaño y/o resolución de la imagen. Para la representación del color, se emplean típicamente tres componentes de color, es decir, la imagen se puede representar o incluir tres matrices de muestra. En formato RBG o espacio de color, una imagen comprende una matriz de muestra roja, verde y azul correspondiente. Sin embargo, en la codificación de vídeo, cada píxel se representa típicamente en un formato de luminancia y crominancia o espacio de color, por ejemplo, YCbCr, que comprende un componente de luminancia indicado por Y (a veces también se utiliza L en su lugar) y dos componentes de crominancia indicados por Cb y Cr. El componente de luminancia (o luma corta) Y representa el brillo o la intensidad del nivel de gris (por ejemplo, como en una imagen en escala de grises), mientras que los dos componentes de crominancia (o crominancia corta) Cb y Cr representan los componentes de información cromática o de color. Por consiguiente, una imagen en formato YCbCr comprende una matriz de muestra de luminancia de valores de muestra de luminancia (Y) y dos matrices de muestra de crominancia de valores de crominancia (Cb y Cr). Las imágenes en formato r G b se pueden convertir o transformar en formato YCbCr y viceversa, el proceso también se conoce como transformación o conversión de color. Si una imagen es monocromática, la imagen puede comprender solo una matriz de muestra de luminancia. Por consiguiente, una imagen puede ser, por ejemplo, una matriz de muestras de luminancia en formato monocromático o una matriz de muestras de luminancia y dos matrices correspondientes de muestras de croma en formato de color 4:2:0, 4:2:2 y 4:4:4.
Las realizaciones del codificador 20 de vídeo pueden comprender una unidad de división en particiones de imagen (no representada en la fig. 2) configurada para dividir en particiones la imagen 17 en una pluralidad de bloques 203 de imagen (normalmente no superpuestos). Estos bloques también pueden denominarse bloques raíz, macrobloques (H.264/AVC) o bloques de árbol de codificación (CTB) o unidades de árbol de codificación (CTU) (H.265/HEVC y VVC). La unidad de división en particiones de imagen puede configurarse para utilizar el mismo tamaño de bloque para todas las imágenes de una secuencia de vídeo y la cuadrícula correspondiente que define el tamaño de bloque, o para cambiar el tamaño de bloque entre imágenes o subconjuntos o grupos de imágenes, y dividir en particiones cada imagen en los bloques correspondientes.
En las realizaciones adicionales, el codificador de vídeo puede configurarse para recibir directamente un bloque 203 de la imagen 17, por ejemplo, uno, varios o todos los bloques que forman la imagen 17. El bloque 203 de imagen también puede denominarse bloque de imagen actual o bloque de imagen que se ha de codificar.
Como la imagen 17, el bloque 203 de imagen es nuevamente o puede ser considerado como una agrupación o matriz bidimensional de muestras con valores de intensidad (valores de muestra), aunque de menor dimensión que la imagen 17. En otras palabras, el bloque 203 puede comprender, por ejemplo, una matriz de muestra (por ejemplo, una matriz de luma en el caso de una imagen 17 monocromática, o una matriz de luma o croma en el caso de una imagen en color) o tres matrices de muestra (por ejemplo, una matriz de luma y dos de croma en el caso de una imagen 17 de color) o cualquier otro número y/o tipo de matrices según el formato de color aplicado. El número de muestras en la dirección (o eje) horizontal y vertical del bloque 203 define el tamaño del bloque 203. Por consiguiente, un bloque puede ser, por ejemplo, una matriz de muestras MxN (columna M por fila N), o una matriz MxN de coeficientes de transformada.
Las realizaciones del codificador 20 de vídeo como se muestra en la fig. 2 pueden configurarse para codificar la imagen 17 bloque por bloque, por ejemplo, la codificación y predicción se realiza por bloque 203.
Las realizaciones del codificador 20 de vídeo como se muestra en la fig. 2 pueden configurarse adicionalmente para dividir en particiones y/o codificar la imagen utilizando segmentos (también denominados segmentos de vídeo), en donde una imagen puede dividirse en particiones o codificarse utilizando uno o más segmentos (típicamente no superpuestos), y cada segmento puede comprender uno o más bloques (por ejemplo, CTU).
Las realizaciones del codificador 20 de vídeo como se muestra en la fig. 2 pueden configurarse además para dividir en particiones y/o codificar la imagen utilizando grupos de mosaicos (también denominados grupos de mosaicos de vídeo) y/o mosaicos (también denominados mosaicos de vídeo), en donde una imagen puede dividirse en particiones o codificarse utilizando uno o más grupos de mosaicos (normalmente no superpuestos), y cada grupo de mosaicos puede comprender, por ejemplo, uno o más bloques (por ejemplo, CTU) o uno o más mosaicos, en donde cada mosaico, por ejemplo, puede ser de forma rectangular y puede comprender uno o más bloques (por ejemplo, CTU), por ejemplo, bloques completos o fraccionarios.
Cálculo Residual
La unidad 204 de cálculo residual puede configurarse para calcular un bloque 205 residual (también denominado residual 205) basándose en el bloque 203 de imagen y un bloque 265 de predicción (más adelante se proporcionan más detalles sobre el bloque 265 de predicción), por ejemplo, restando valores de muestra del bloque 265 de predicción de los valores de muestra del bloque 203 de imagen, muestra por muestra (píxel por píxel) para obtener el bloque 205 residual en el dominio de muestra.
Transformada
La unidad 206 de procesamiento de transformada puede configurarse para aplicar una transformada, por ejemplo, una transformada de coseno discreta (DCT) o transformada de seno discreta (DST), en los valores de muestra del bloque 205 residual para obtener los coeficientes 207 de transformada en un dominio de transformada. Los coeficientes 207 de transformada también pueden denominarse coeficientes residuales de transformada y representan el bloque 205 residual en el dominio de transformada.
La unidad 206 de procesamiento de transformada puede configurarse para aplicar aproximaciones enteras de DCT/DST, tales como las transformadas especificadas para H.265/HEVC. En comparación con una transformada DCT ortogonal, estas aproximaciones de números enteros se escalan típicamente por un cierto factor. Para preservar la norma del bloque residual que se procesa mediante transformadas directas e inversas, se aplican factores de escala adicionales como parte del proceso de transformada. Los factores de escala generalmente se eligen basándose en ciertas restricciones, como los factores de escala que son una potencia de dos para las operaciones de desplazamiento, la profundidad de bits de los coeficientes de transformada, el compromiso entre la precisión y los costes de implementación, etc. Los factores de escala específicos se especifican, por ejemplo, para la transformada inversa, por ejemplo mediante la unidad 212 de procesamiento de transformada inversa (y la correspondiente transformada inversa, por ejemplo, mediante la unidad 312 de procesamiento de transformada inversa en el decodificador 30 de vídeo) y los factores de escala correspondientes para la transformada directa, por ejemplo, mediante la unidad 206 de procesamiento de transformada, en un codificador 20 se puede especificar en consecuencia.
Las realizaciones del codificador 20 de vídeo (respectivamente la unidad 206 de procesamiento de transformada) pueden configurarse para dar salida a parámetros de transformada, por ejemplo, un tipo de transformada o transformadas, por ejemplo, directamente o codificado o comprimido a través de la unidad 270 de codificación por entropía, de modo que, por ejemplo, el decodificador 30 de vídeo pueda recibir y utilizar los parámetros de transformada para decodificar.
Cuantificación
La unidad 208 de cuantificación puede configurarse para cuantificar los coeficientes 207 de transformada para obtener coeficientes 209 cuantificados, por ejemplo, aplicando cuantificación escalar o cuantificación vectorial. Los coeficientes 209 cuantificados también pueden denominarse coeficientes 209 de transformada cuantificados o coeficientes 209 residuales cuantificados.
El proceso de cuantificación puede reducir la profundidad de bits asociada con algunos o todos los coeficientes 207 de transformada. Por ejemplo, un coeficiente de transformada de n bits puede redondearse hacia abajo a un coeficiente de transformada de m bits durante la cuantificación, donde n es mayor que m. El grado de cuantificación se puede modificar ajustando un parámetro de cuantificación (QP). Por ejemplo, para la cuantificación escalar, se pueden aplicar diferentes escalas para lograr una cuantificación más fina o más gruesa. Los tamaños de etapa de cuantificación más pequeños corresponden a una cuantificación más fina, mientras que los tamaños de etapa de cuantificación más grandes corresponden a una cuantificación más gruesa. El tamaño de la etapa de cuantificación aplicable puede indicarse mediante un parámetro de cuantificación (QP). El parámetro de cuantificación puede ser, por ejemplo, un índice para un conjunto predefinido de tamaños de etapa de cuantificación aplicables. Por ejemplo, los parámetros de cuantificación pequeños pueden corresponder a una cuantificación fina (tamaños de etapa de cuantificación pequeños) y los parámetros de cuantificación grandes pueden corresponder a una cuantificación gruesa (tamaños de etapa de cuantificación grandes) o viceversa. La cuantificación puede incluir división por un tamaño de etapa de cuantificación y una descuantificación correspondiente y/o inversa, por ejemplo, por la unidad 210 de cuantificación inversa, puede incluir la multiplicación por el tamaño de la etapa de cuantificación. Las realizaciones según algunos estándares, por ejemplo, HEVC, puede configurarse para utilizar un parámetro de cuantificación para determinar el tamaño de la etapa de cuantificación. Generalmente, el tamaño de la etapa de cuantificación puede calcularse basándose en un parámetro de cuantificación utilizando una aproximación de punto fijo de una ecuación que incluye la división. Se pueden introducir factores de escala adicionales para la cuantificación y descuantificación para restaurar la norma del bloque residual, que podría modificarse debido a la escala utilizada en la aproximación de punto fijo de la ecuación para el tamaño de la etapa de cuantificación y el parámetro de cuantificación. En una implementación ejemplar, la escala de la transformada inversa y la descuantificación podrían combinarse. Alternativamente, pueden utilizarse tablas de cuantificación personalizadas y señalizarse desde un codificador a un decodificador, por ejemplo, en un flujo de bits. La cuantificación es una operación con pérdidas, en donde la pérdida aumenta al aumentar los tamaños de las etapas de cuantificación.
Las realizaciones del codificador 20 de vídeo (respectivamente la unidad 208 de cuantificación) pueden configurarse para emitir parámetros de cuantificación (QP), por ejemplo, directamente o codificado mediante la unidad 270 de codificación por entropía, de modo que, por ejemplo, el decodificador 30 de vídeo pueda recibir y aplicar los parámetros de cuantificación para la decodificación.
Cuantificación Inversa
La unidad 210 de cuantificación inversa está configurada para aplicar la cuantificación inversa de la unidad 208 de cuantificación en los coeficientes cuantificados para obtener coeficientes 211 descuantificados, por ejemplo, aplicando la inversa del esquema de cuantificación aplicado por la unidad 208 de cuantificación basándose en o utilizando el mismo tamaño de la etapa de cuantificación que la unidad 208 de cuantificación. Los coeficientes 211 descuantificados también pueden denominarse coeficientes 211 residuales descuantificados y corresponden, aunque normalmente no son idénticos a los coeficientes de transformada debido a la pérdida por cuantificación, a los coeficientes 207 de transformada.
Transformada Inversa
La unidad 212 de procesamiento de transformada inversa está configurada para aplicar la transformada inversa de la transformada aplicada por la unidad 206 de procesamiento de transformada, por ejemplo, una transformada de coseno discreta inversa (DCT) o una transformada de seno discreta inversa (DST) u otras transformadas inversas, para obtener un bloque 213 residual reconstruido (o los coeficientes 213 descuantificados correspondientes) en el dominio de muestra. El bloque 213 residual reconstruido también puede denominarse bloque 213 de transformada.
Reconstrucción
La unidad 214 de reconstrucción (por ejemplo, sumador (adder or summer) 214) está configurada para añadir el bloque 213 de transformada (es decir, el bloque 213 residual reconstruido) al bloque 265 de predicción para obtener un bloque 215 reconstruido en el dominio de muestra, por ejemplo, añadiendo, muestra por muestra, los valores de muestra del bloque 213 residual reconstruido y los valores de muestra del bloque 265 de predicción.
Filtración
La unidad 220 de filtro en bucle (o “filtro en bucle” 220 corto), está configurada para filtrar el bloque 215 reconstruido para obtener un bloque 221 filtrado o, en general, para filtrar muestras reconstruidas para obtener muestras filtradas. La unidad de filtro en bucle está configurada, por ejemplo, para suavizar las transiciones de píxeles o mejorar de otro modo la calidad del vídeo. La unidad 220 de filtro en bucle puede comprender uno o más filtros en bucle tales como un filtro de desbloqueo, un filtro de desplazamiento adaptable a la muestra (SAO) o uno o más de otros filtros, por ejemplo, un filtro bilateral, un filtro en bucle adaptable (ALF), un filtro de nitidez, unos filtros de suavizado o unos filtros colaborativos, o cualquier combinación de los mismos. Aunque la unidad 220 de filtro en bucle se muestra en la fig. 2 como un filtro en bucle, en otras configuraciones, la unidad 220 de filtro en bucle puede implementarse como un filtro en bucle posterior. El bloque 221 filtrado también puede denominarse bloque 221 reconstruido filtrado.
Las realizaciones del codificador 20 de vídeo (respectivamente la unidad 220 de filtro en bucle) pueden configurarse para emitir parámetros de filtro en bucle (tales como información de desplazamiento adaptable a la muestra), por ejemplo, directamente o codificado a través de la unidad 270 de codificación por entropía, de modo que, por ejemplo, un decodificador 30 pueda recibir y aplicar los mismos parámetros de filtro en bucle o filtros en bucle respectivos para decodificar.
Memoria intermedia de imagen decodificada
La memoria intermedia 230 de imagen decodificada (DPB) puede ser una memoria que almacena imágenes de referencia, o en general datos de imágenes de referencia, para codificar datos de vídeo mediante el codificador 20 de vídeo. La DPB 230 puede estar formada por cualquiera de una variedad de dispositivos de memoria, tales como memoria dinámica de acceso aleatorio (DRAM), que incluye DRAM síncrona (SDRAM), RAM magnetorresistiva (MRAM), RAM resistiva (RRAM) u otros tipos de dispositivos de memoria. La memoria intermedia 230 de imagen decodificada (DPB) puede configurarse para almacenar uno o más bloques 221 filtrados. La memoria intermedia 230 de imagen decodificada puede configurarse además para almacenar otros bloques previamente filtrados, por ejemplo, bloques 221 previamente reconstruidos y filtrados, de la misma imagen actual o de diferentes imágenes, por ejemplo, imágenes previamente reconstruidas, y puede proporcionar imágenes completas previamente reconstruidas, es decir, decodificadas (y bloques de referencia y muestras correspondientes) y/o una imagen actual parcialmente reconstruida (y bloques de referencia y muestras correspondientes), por ejemplo, para interpredicción. La memoria intermedia 230 de imagen decodificada (DPB) también puede configurarse para almacenar uno o más bloques 215 reconstruidos sin filtrar o, en general, muestras reconstruidas sin filtrar, por ejemplo, si el bloque 215 reconstruido no es filtrado por la unidad 220 de filtro en bucle, o cualquier otra versión procesada adicional de los bloques reconstruidos o muestras.
Selección de modo (división en particiones y predicción)
La unidad 260 de selección de modo comprende la unidad 262 de división en particiones, la unidad 244 de interpredicción y la unidad 254 de intrapredicción, y está configurada para recibir u obtener datos de imagen originales, por ejemplo, un bloque 203 original (bloque 203 actual de la imagen 17 actual), y datos de imagen reconstruida, por ejemplo, muestras o bloques reconstruidos filtrados y/o sin filtrar de la misma imagen (actual) y/o de una o una pluralidad de imágenes decodificadas previamente, por ejemplo, desde la memoria intermedia 230 de imagen decodificada u otras memorias intermedias (por ejemplo, memoria intermedia de línea, no mostrada). Los datos de imagen reconstruida se utilizan como datos de imagen de referencia para la predicción, por ejemplo, interpredicción o intrapredicción, para obtener un bloque 265 de predicción o predictor 265.
La unidad 260 de selección de modo puede configurarse para determinar o seleccionar una división en particiones para un modo de predicción de bloque actual (que no incluye división en particiones) y un modo de predicción (por ejemplo, un modo de inter- o intrapredicción) y generar un bloque 265 de predicción correspondiente, que se utiliza para el cálculo del bloque 205 residual y para la reconstrucción del bloque 215 reconstruido.
Las realizaciones de la unidad 260 de selección de modo pueden configurarse para seleccionar la división en particiones y el modo de predicción (por ejemplo, de los soportados por o disponibles para la unidad 260 de selección de modo), que proporcionan la mejor coincidencia o, en otras palabras, el residuo mínimo (el residuo mínimo significa mejor compresión para transmisión o almacenamiento), o una mínima sobrecarga de señalización (mínima sobrecarga de señalización significa mejor compresión para transmisión o almacenamiento), o que considera o equilibra ambos. La unidad 260 de selección de modo puede configurarse para determinar el modo de división en particiones y predicción basándose en la optimización de la distorsión de tasa (RDO), es decir, seleccionar el modo de predicción que proporciona una distorsión de tasa mínima. Términos como “mejor”, “mínimo”, “óptimo”, etc. en este contexto no se refieren necesariamente a un “mejor”, “mínimo”, “óptimo” general, etc., sino que también pueden referirse al cumplimiento de una rescisión o criterio de selección como un valor que excede o cae por debajo de un umbral u otras restricciones que conducen potencialmente a una “selección subóptima” pero que reducen la complejidad y el tiempo de procesamiento.
En otras palabras, la unidad 262 de división en particiones puede configurarse para dividir el bloque 203 en divisiones de bloques o sub-bloques más pequeños (que forman nuevamente bloques), por ejemplo, utilizando iterativamente la división en particiones de árbol cuaternario (QT), la división en particiones binaria (BT) o la división en particiones de árbol ternario (TT) o cualquier combinación de las mismas, y para realizar, por ejemplo, la predicción para cada una de las particiones de bloques o sub-bloques, en donde la selección de modo comprende la selección de la estructura de árbol del bloque 203 dividido en particiones y los modos de predicción se aplican a cada una de las particiones de bloque o sub-bloques.
A continuación, se explicará con más detalle la división (por ejemplo, mediante la unidad 260 de división) y el procesamiento de predicción (mediante la unidad 244 de interpredicción y la unidad 254 de intrapredicción) realizados por un codificador 20 de vídeo de ejemplo.
División en particiones
La unidad 262 de división en particiones puede dividir en particiones (o dividir) un bloque 203 actual en particiones más pequeñas, por ejemplo, bloques más pequeños de tamaño cuadrado o rectangular. Estos bloques más pequeños (que también pueden denominarse sub-bloques) pueden dividirse además en particiones aún más pequeñas. Esto también se refiere a la división en particiones de árboles o la división en particiones jerárquica de árboles, en donde un bloque raíz, por ejemplo, en el nivel de árbol raíz 0 (nivel de jerarquía 0, profundidad 0), puede dividirse de forma recursiva en particiones, por ejemplo, dividido en particiones en dos o más bloques de un siguiente nivel de árbol inferior, por ejemplo, nodos en el nivel de árbol 1 (nivel de jerarquía 1, profundidad 1), en donde estos bloques pueden volver a dividirse en dos o más bloques de un nivel inferior siguiente, por ejemplo, nivel de árbol 2 (nivel de jerarquía 2, profundidad 2), etc. hasta que finalice la división en particiones, por ejemplo, porque se cumple un criterio de terminación, por ejemplo, se alcanza una profundidad máxima de árbol o un tamaño mínimo de bloque. Los bloques que no se dividen en particiones más también se denominan bloques hoja o nodos hoja del árbol. Un árbol que utiliza la división en dos particiones se denomina árbol binario (BT), un árbol que utiliza la división en tres particiones se denomina árbol ternario (TT) y un árbol que utiliza la división en cuatro particiones se denomina árbol cuaternario (QT).
Como se ha mencionado anteriormente, el término “bloque” como se utiliza en la presente memoria puede ser una parte, en particular una parte cuadrada o rectangular, de una imagen. Con referencia, por ejemplo, a HEVC y VVC, el bloque puede ser o corresponder a una unidad de árbol de codificación (CTU), una unidad de codificación (CU), una unidad de predicción (PU) y una unidad de transformada (TU) y/o bloques correspondientes, por ejemplo, un bloque de árbol de codificación (CTB), un bloque de codificación (CB), un bloque de transformada (TB) o un bloque de predicción (PB).
Por ejemplo, una unidad de árbol de codificación (CTU) puede ser o comprender un CTB de muestras de luma, dos CTB correspondientes de muestras de croma de una imagen que tiene tres matrices de muestras, o un CTB de muestras de una imagen monocromática o una imagen que está codificada utilizando tres planos de color separados y estructuras de sintaxis utilizadas para codificar las muestras. En consecuencia, un bloque de árbol de codificación (CTB) puede ser un bloque NxN de muestras para algún valor de N, de tal manera que la división de un componente en CTB es una división en particiones. Una unidad de codificación (CU) puede ser o comprender un bloque de codificación de muestras de luma, dos bloques de codificación correspondientes de muestras de croma de una imagen que tiene tres matrices de muestras, o un bloque de codificación de muestras de una imagen monocromática o una imagen que se codifica utilizando tres planos de color separados y estructuras de sintaxis que se utilizan para codificar las muestras. De manera correspondiente, un bloque de codificación (CB) puede ser un bloque MxN de muestras para algunos valores de M y N, de tal manera que la división de un CTB en bloques de codificación es una división en particiones.
En las realizaciones, por ejemplo, según HEVC, una unidad de árbol de codificación (CTU) puede dividirse en CU utilizando una estructura de árbol cuaternaria indicada como árbol de codificación. La decisión de codificar un área de imagen utilizando predicción interimagen (temporal) o intraimagen (espacial) se toma a nivel de CU. Cada CU se puede dividir en una, dos o cuatro PU según el tipo de división de P<u>. Dentro de una PU, se aplica el mismo proceso de predicción y la información relevante se transmite al decodificador por PU. Después de obtener el bloque residual aplicando el proceso de predicción basado en el tipo de división de PU, una CU puede dividirse en unidades de transformada (TU) según otra estructura de árbol cuaternaria similar al árbol de codificación de la CU.
En las realizaciones, por ejemplo, según el último estándar de codificación de vídeo actualmente en desarrollo, que se denomina codificación de vídeo versátil (VVC), se utiliza una división en particiones combinada de árbol cuaternario y árbol binario (QTBT) para dividir en particiones un bloque de codificación. En la estructura de bloques QTBt , una CU puede tener, bien forma cuadrada, o bien rectangular. Por ejemplo, una unidad de árbol de codificación (CTU) se divide primero en una estructura de árbol cuaternario. Los nodos de hojas de árbol cuaternario se dividen aún más mediante un árbol binario o una estructura de árbol ternario (o triple). Los nodos hoja del árbol de división en particiones se denominan unidades de codificación (CU), y esa segmentación se utiliza para la predicción y el procesamiento de transformada sin más divisiones en particiones. Esto significa que CU, PU y TU tienen el mismo tamaño de bloque en la estructura de bloque de codificación QTBT. En paralelo, la división en particiones múltiple, por ejemplo, la partición de árbol ternario se puede utilizar junto con la estructura de bloques QTBT.
En un ejemplo, la unidad 260 de selección de modo del codificador 20 de vídeo puede configurarse para realizar cualquier combinación de las técnicas de partición descritas en la presente memoria.
Como se ha descrito anteriormente, el codificador 20 de vídeo está configurado para determinar o seleccionar el mejor o un modo de predicción óptimo de un conjunto de modos de predicción (por ejemplo, predeterminados). El conjunto de modos de predicción puede comprender, por ejemplo, modos de intrapredicción y/o modos de interpredicción.
Intrapredicción
El conjunto de modos de intrapredicción puede comprender 35 modos diferentes de intrapredicción, por ejemplo, modos no direccionales como modo DC (o medio) y modo plano, o modos direccionales, por ejemplo, como se define en HEVC, o puede comprender 67 modos de intrapredicción diferentes, por ejemplo, modos no direccionales como modo DC (o medio) y modo plano, o modos direccionales, por ejemplo, como se define para VVC.
La unidad 254 de intrapredicción está configurada para utilizar muestras reconstruidas de bloques contiguos de la misma imagen actual para generar un bloque 265 de intrapredicción según un modo de intrapredicción del conjunto de modos de intrapredicción.
La unidad 254 de intrapredicción (o en general la unidad 260 de selección de modo) está configurada además para enviar parámetros de intrapredicción (o en general información indicativa del modo de intrapredicción seleccionado para el bloque) a la unidad 270 de codificación por entropía en forma de elementos 266 de sintaxis para su inclusión en los datos 21 de imagen codificada, de modo que, por ejemplo, el decodificador 30 de vídeo pueda recibir y utilizar los parámetros de predicción para la descodificación.
Interpredicción
El conjunto de (o posibles) modos de interpredicción depende de las imágenes de referencia disponibles (es decir, imágenes previas al menos parcialmente decodificadas, por ejemplo, almacenadas en DBP 230) y otros parámetros de interpredicción, por ejemplo, si la imagen de referencia completa o solo una parte, por ejemplo, un área de ventana de búsqueda alrededor del área del bloque actual, de la imagen de referencia se utiliza para buscar un bloque de referencia que coincida mejor, y/o por ejemplo, si se aplica la interpolación de píxeles, por ejemplo, interpolación de medio/semi-pel y/o cuarto de pel, o no.
Además de los modos de predicción anteriores, se puede aplicar el modo de salto y/ o el modo directo.
La unidad 244 de interpredicción puede incluir una unidad de estimación de movimiento (ME) y una unidad de compensación de movimiento (MC) (ambas no mostradas en la fig. 2). La unidad de estimación de movimiento puede configurarse para recibir u obtener el bloque 203 de imagen (bloque 203 de imagen actual de la imagen 17 actual) y una imagen 231 decodificada, o al menos uno o una pluralidad de bloques previamente reconstruidos, por ejemplo, bloques reconstruidos de una o una pluralidad de otras/diferentes imágenes 231 previamente decodificadas, para la estimación del movimiento. Por ejemplo, una secuencia de vídeo puede comprender la imagen actual y las imágenes 231 previamente decodificadas, o, en otras palabras, la imagen actual y las imágenes 231 previamente decodificadas pueden ser parte o formar una secuencia de imágenes que forman una secuencia de vídeo.
El codificador 20 puede, por ejemplo, estar configurado para seleccionar un bloque de referencia de una pluralidad de bloques de referencia de la misma o diferentes imágenes de la pluralidad de otras imágenes y proporcionar una imagen de referencia (o índice de imagen de referencia) y/o un desplazamiento (desplazamiento espacial) entre la posición (coordenadas x, y) del bloque de referencia y la posición del bloque actual como parámetros de interpredicción para la unidad de estimación de movimiento. Este desplazamiento también se denomina vector de movimiento (MV).
La unidad de compensación de movimiento está configurada para obtener, por ejemplo, recibir, un parámetro de interpredicción y realizar una interpredicción basada en o utilizando el parámetro de interpredicción para obtener un bloque 265 de interpredicción. La compensación de movimiento, realizada por la unidad de compensación de movimiento, puede implicar buscar o generar el bloque de predicción basándose en el vector de movimiento/bloque determinado por estimación de movimiento, posiblemente realizando interpolaciones con precisión de subpíxeles. El filtrado de interpolación puede generar muestras de píxeles adicionales a partir de muestras de píxeles conocidas, aumentando así potencialmente el número de bloques de predicción candidatos que pueden utilizarse para codificar un bloque de imagen. Al recibir el vector de movimiento para la PU del bloque de imagen actual, la unidad de compensación de movimiento puede ubicar el bloque de predicción al que apunta el vector de movimiento en una de las listas de imágenes de referencia.
La unidad de compensación de movimiento también puede generar elementos de sintaxis asociados con los bloques y segmentos de vídeo para su uso por el decodificador 30 de vídeo al decodificar los bloques de imagen del segmento de vídeo. Además, o como una alternativa a los segmentos y los elementos de sintaxis respectivos, se pueden generar o utilizar grupos de mosaicos y/o mosaicos y los elementos de sintaxis respectivos.
Codificación por entropía
La unidad 270 de codificación por entropía está configurada para aplicar, por ejemplo, un algoritmo o esquema de codificación por entropía (por ejemplo, un esquema de codificación de longitud variable (VLC), un esquema de VLC adaptable al contexto (CAVLC), un esquema de codificación aritmética, una binarización, una codificación aritmética binaria adaptable al contexto (CABAC), una codificación aritmética binaria adaptable al contexto basada en sintaxis (SBAC), una codificación por entropía de división de particiones de intervalo de probabilidad (P IPE) u otra metodología o técnica de codificación por entropía) o derivación (sin compresión) en los coeficientes 209 cuantificados, parámetros de interpredicción, parámetros de intrapredicción, parámetros de filtro en bucle y/u otros elementos de sintaxis para obtener datos 21 de imagen codificada que se pueden emitir a través de la salida 272, por ejemplo, en forma de un flujo de bits 21 codificado, de modo que, por ejemplo, el decodificador 30 de vídeo pueda recibir y utilizar los parámetros para decodificar. El flujo de bits 21 codificado puede transmitirse al decodificador 30 de vídeo o almacenarse en una memoria para su posterior transmisión o recuperación mediante el decodificador 30 de vídeo.
Se pueden utilizar otras variaciones estructurales del codificador 20 de vídeo para codificar el flujo de vídeo. Por ejemplo, un codificador 20 no basado en transformada puede cuantificar la señal residual directamente sin la unidad 206 de procesamiento de transformada para ciertos bloques o tramas. En otra implementación, un codificador 20 puede tener la unidad 208 de cuantificación y la unidad 210 de cuantificación inversa combinadas en una sola unidad.
Decodificador y Método de Decodificación
La fig. 3 muestra un ejemplo de un decodificador 30 de vídeo que está configurado para implementar las técnicas de esta presente solicitud. El decodificador 30 de vídeo está configurado para recibir datos 21 de imagen codificada (por ejemplo, flujo de bits 21 codificado), por ejemplo, codificado por el codificador 20, para obtener una imagen 331 decodificada. Los datos de imagen codificada o el flujo de bits comprenden información para decodificar los datos de imagen codificada, por ejemplo, datos que representan bloques de imagen de un segmento de vídeo codificado (y/o grupos de mosaicos o mosaicos) y elementos de sintaxis asociados.
En el ejemplo de la fig. 3, el decodificador 30 comprende una unidad 304 de decodificación por entropía, una unidad 310 de cuantificación inversa, una unidad 312 de procesamiento de transformada inversa, una unidad 314 de reconstrucción (por ejemplo, un sumador 314), un filtro 320 en bucle, una memoria intermedia 330 de imagen decodificada (DBP), una unidad 360 de aplicación de modo, una unidad 344 de interpredicción y una unidad 354 354 de intrapredicción. La unidad 344 de interpredicción puede ser o incluir una unidad de compensación de movimiento. El decodificador 30 de vídeo puede, en algunos ejemplos, realizar una pasada de decodificación generalmente recíproca a la pasada de codificación descrita con respecto al codificador 100 de vídeo de la fig. 2.
Como se explica con respecto al codificador 20, la unidad 210 de cuantificación inversa, la unidad 212 de procesamiento de transformada inversa, la unidad 214 de reconstrucción, el filtro 220 en bucle, la memoria intermedia 230 de imagen decodificada (DPB), la unidad 344 de interpredicción y la unidad 354 de intrapredicción también se denominan formando el “decodificador incorporado” del codificador 20 de vídeo. Por consiguiente, la unidad 310 de cuantificación inversa puede ser idéntica en función a la unidad 110 de cuantificación inversa, la unidad 312 de procesamiento de transformada inversa puede ser idéntica en función a la unidad 212 de procesamiento de transformada inversa, la unidad 314 de reconstrucción puede ser idéntica en función a la unidad 214 de reconstrucción, el filtro 320 en bucle puede ser idéntico en función al filtro 220 en bucle, y la memoria intermedia 230 de imagen decodificada puede ser idéntica en función a la memoria intermedia 230 de imagen decodificada. Por lo tanto, las explicaciones proporcionadas para las respectivas unidades y funciones del codificador 20 de vídeo se aplican correspondientemente a las respectivas unidades y funciones del decodificador 30 de vídeo.
Decodificación por Entropía
La unidad 304 de decodificación por entropía está configurada para analizar el flujo de bits 21 (o en general datos 21 de imagen codificada) y realizar, por ejemplo, decodificación por entropía a los datos 21 de imagen codificada para obtener, por ejemplo, coeficientes 309 cuantificados y/o parámetros de codificación decodificados (no se muestra en la fig. 3), por ejemplo, cualquiera o todos los parámetros de interpredicción (por ejemplo, índice y vector de movimiento de imagen de referencia), parámetro de intrapredicción (por ejemplo, modo o índice de intrapredicción), parámetros de transformada, parámetros de cuantificación, parámetros de filtro en bucle y/u otros elementos de sintaxis. La unidad 304 de decodificación por entropía puede configurarse para aplicar los algoritmos o esquemas de decodificación correspondientes a los esquemas de codificación descritos con respecto a la unidad 270 de codificación por entropía del codificador 20. La unidad 304 de decodificación por entropía puede configurarse además para proporcionar parámetros de interpredicción, parámetro de intrapredicción y/u otros elementos de sintaxis a la unidad 360 de aplicación de modo y otros parámetros a otras unidades del decodificador 30. El decodificador 30 de vídeo puede recibir los elementos de sintaxis en el nivel de segmento de vídeo y/o en el nivel de bloque de vídeo. Además, o como alternativa a los segmentos y los elementos de sintaxis respectivos, se pueden recibir y/o utilizar grupos de mosaicos y/o mosaicos y los elementos de sintaxis respectivos.
Cuantificación Inversa
La unidad 310 de cuantificación inversa puede configurarse para recibir parámetros de cuantificación (QP) (o en general información relacionada con la cuantificación inversa) y coeficientes cuantificados de los datos 21 de imagen codificada (por ejemplo, mediante análisis y/o decodificación, por ejemplo, mediante la unidad 304 de decodificación por entropía) y para aplicar basándose en los parámetros de cuantificación, una cuantificación inversa sobre los coeficientes 309 cuantificados decodificados para obtener los coeficientes 311 descuantificados, que también pueden denominarse coeficientes 311 de transformada. El proceso de cuantificación inversa puede incluir el uso de un parámetro de cuantificación determinado por el codificador 20 de vídeo para cada bloque de vídeo en el segmento de vídeo (o mosaico o grupo de mosaico) para determinar un grado de cuantificación y, de la misma manera, un grado de cuantificación inversa que debería aplicarse.
Transformada Inversa
La unidad 312 de procesamiento de transformada inversa puede configurarse para recibir coeficientes 311 descuantificados, también denominados coeficientes 311 de transformada, y para aplicar una transformada a los coeficientes 311 descuantificados para obtener bloques 213 residuales reconstruidos en el dominio de muestras. Los bloques 213 residuales reconstruidos también pueden denominarse bloques 313 de transformada. La transformada puede ser una transformada inversa, por ejemplo, una DCT inversa, una DST inversa, una transformada de entero inverso o un proceso de transformada inversa conceptualmente similar. La unidad 312 de procesamiento de transformada inversa puede configurarse además para recibir parámetros de transformada o información correspondiente de los datos 21 de imagen codificada (por ejemplo, analizando y/o decodificando, por ejemplo, mediante la unidad 30 de decodificación por entropía) para determinar la transformada que se ha de aplicar a los coeficientes 311 descuantificados.
Reconstrucción
La unidad 314 de reconstrucción (por ejemplo, sumador 314) puede configurarse para añadir el bloque 313 residual reconstruido, al bloque 365 de predicción para obtener un bloque 315 reconstruido en el dominio de muestras, por ejemplo, sumando los valores de muestras del bloque 313 residual reconstruido y los valores de muestras del bloque 365 de predicción.
Filtración
La unidad 320 de filtro en bucle (ya sea en el bucle de codificación o después del bucle de codificación) está configurada para filtrar el bloque 315 reconstruido para obtener un bloque 321 filtrado, por ejemplo, para suavizar las transiciones de píxeles o mejorar, de otro modo, la calidad del vídeo. La unidad 320 de filtro en bucle puede comprender uno o más filtros en bucle tales como un filtro de desbloqueo, un filtro de desplazamiento adaptable a la muestra (SAO) o uno o más de otros filtros, por ejemplo, un filtro bilateral, un filtro en bucle adaptable (ALF), uno de nitidez, un filtro de suavizado o un filtro colaborativo, o cualquier combinación de los mismos. Aunque la unidad 320 de filtro en bucle se muestra en la fig. 3 como un filtro en bucle, en otras configuraciones, la unidad 320 de filtro en bucle puede implementarse como un filtro posterior al bucle.
Memoria intermedia de imagen decodificada
Los bloques 321 de vídeo decodificados de una imagen se almacenan, a continuación, en la memoria intermedia 330 de imagen decodificada, que almacena las imágenes 331 decodificadas como imágenes de referencia para la compensación de movimiento subsiguiente para otras imágenes y/o para la visualización de salida respectivamente.
El decodificador 30 está configurado para emitir la imagen 311 decodificada, por ejemplo, a través de la salida 312, para presentación o visualización a un usuario.
Predicción
La unidad 344 de interpredicción puede ser idéntica a la unidad 244 de interpredicción (en particular a la unidad de compensación de movimiento) y la unidad 354 de intrapredicción puede ser idéntica a la unidad 254 de interpredicción en función, y realiza decisiones de división o división en particiones y predicciones basadas sobre los parámetros de división en particiones y/o predicción o la información respectiva recibida de los datos 21 de imagen codificada (por ejemplo, mediante análisis y/o decodificación, por ejemplo, por la unidad 304 de decodificación por entropía). La unidad 360 de aplicación de modo puede configurarse para realizar la predicción (intra- o interpredicción) por bloque basándose en imágenes reconstruidas, bloques o muestras respectivas (filtradas o sin filtrar) para obtener el bloque 365 de predicción.
Cuando el segmento de vídeo se codifica como un segmento intracodificado (I), la unidad 354 de intrapredicción de la unidad 360 de aplicación de modo está configurada para generar el bloque 365 de predicción para un bloque de imagen del segmento de vídeo actual basado en un modo de intrapredicción señalizado y datos de bloques previamente decodificados de la imagen actual. Cuando la imagen de vídeo se codifica como un segmento intercodificado (es decir, B o P), la unidad 344 de interpredicción (por ejemplo, la unidad de compensación de movimiento) de la unidad 360 de aplicación de modo se configura para producir bloques 365 de predicción para un bloque de vídeo del segmento de vídeo actual basado en los vectores de movimiento y otros elementos de sintaxis recibidos de la unidad 304 de decodificación por entropía. Para la interpredicción, los bloques de predicción pueden producirse a partir de una de las imágenes de referencia dentro de una de las listas de imágenes de referencia. El decodificador 30 de vídeo puede construir las listas de tramas de referencia, Lista 0 y Lista 1, utilizando técnicas de construcción predeterminadas basadas en imágenes de referencia almacenadas en DPB 330. Se puede aplicar lo mismo o similar para o mediante las realizaciones utilizando grupos de mosaicos (por ejemplo, grupos de mosaicos de vídeo) y/o mosaicos (por ejemplo, mosaicos de vídeo) además o alternativamente a los segmentos (por ejemplo, segmentos de vídeo), por ejemplo, un vídeo se puede codificar utilizando grupos de mosaicos y/o mosaicos I, P o B.
La unidad 360 de aplicación de modo está configurada para determinar la información de predicción para un bloque de vídeo del segmento de vídeo actual analizando los vectores de movimiento o información relacionada y otros elementos de sintaxis, y utiliza la información de predicción para producir los bloques de predicción para el bloque de vídeo actual que se está decodificando. Por ejemplo, la unidad 360 de aplicación de modo utiliza algunos de los elementos de sintaxis recibidos para determinar un modo de predicción (por ejemplo, intra- o interpredicción) utilizado para codificar los bloques de vídeo del segmento de vídeo, un tipo de segmento interpredicción (por ejemplo, segmento B, segmento P, o segmento GPB), información de construcción para una o más de las listas de imágenes de referencia para el segmento, vectores de movimiento para cada bloque de vídeo intercodificado del segmento, estado de interpredicción para cada bloque de vídeo intercodificado del segmento, y otra información para decodificar los bloques de vídeo en el segmento de vídeo actual. Se puede aplicar lo mismo o similar para o mediante las realizaciones que utilizan grupos de mosaicos (por ejemplo, grupos de mosaicos de vídeo) y/o mosaicos (por ejemplo, mosaicos de vídeo) además o alternativamente a los segmentos (por ejemplo, segmentos de vídeo), por ejemplo, un vídeo se puede codificar utilizando grupos de mosaicos y/o mosaicos I, P o B.
Las realizaciones del decodificador 30 de vídeo como se muestra en la fig. 3 pueden configurarse para dividir en particiones y/o decodificar la imagen utilizando segmentos (también denominados segmentos de vídeo), en donde una imagen puede dividirse o decodificarse utilizando uno o más segmentos (típicamente no superpuestos), y cada segmento puede comprender uno o más bloques (por ejemplo, CTU).
Las realizaciones del decodificador 30 de vídeo como se muestra en la fig. 3 pueden configurarse para dividir en particiones y/o decodificar la imagen utilizando grupos de mosaicos (también denominados grupos de mosaicos de vídeo) y/o mosaicos (también denominados mosaicos de vídeo), en donde una imagen puede dividirse en particiones o decodificarse utilizando uno o más grupos de mosaicos (normalmente no superpuestos), y cada grupo de mosaicos puede comprender, por ejemplo, uno o más bloques (por ejemplo, CTU) o uno o más mosaicos, en donde cada mosaico, por ejemplo, puede ser de forma rectangular y puede comprender uno o más bloques (por ejemplo, CTU), por ejemplo, bloques completos o en fracciones.
Se pueden utilizar otras variaciones del decodificador 30 de vídeo para decodificar los datos 21 de imagen codificada. Por ejemplo, el decodificador 30 puede producir el flujo de vídeo de salida sin la unidad 320 de filtrado en bucle. Por ejemplo, un decodificador 30 sin transformada puede invertir, cuantificar la señal residual directamente sin la unidad 312 de procesamiento de transformada inversa para ciertos bloques o tramas. En otra implementación, el decodificador 30 de vídeo puede tener la unidad 310 de cuantificación inversa y la unidad 312 de procesamiento de transformada inversa combinadas en una sola unidad.
Debería comprenderse que, en el codificador 20 y el decodificador 30, un resultado de procesamiento de una etapa actual puede procesarse adicionalmente y, a continuación, enviarse a la siguiente etapa. Por ejemplo, después del filtrado de interpolación, la derivación del vector de movimiento o el filtrado en bucle, se puede realizar una operación adicional, tal como recortar o desplazar, sobre el resultado del procesamiento del filtrado de interpolación, la derivación del vector de movimiento o el filtrado en bucle.
Debería observarse que se pueden aplicar operaciones adicionales a los vectores de movimiento derivados del bloque actual (incluidos, entre otros, los vectores de movimiento puntuales del modo afín, los vectores de movimiento de sub-bloques en los modos afín, plano, ATMVP, vectores de movimiento temporal, etc.). Por ejemplo, el valor del vector de movimiento está restringido a un intervalo predefinido según su bit de representación. Si el bit de representación del vector de movimiento es bitDepth, entonces el intervalo es -2A(bitDepth-1) ~ 2A(bitDepth-1)-1, donde “A” significa exponenciación. Por ejemplo, si bitDepth se establece en 16, el intervalo es -32768 ~ 32767; si bitDepth se establece en 18, el intervalo es -131072 ~ 131071. Por ejemplo, el valor del vector de movimiento derivado (por ejemplo, los MV de cuatro sub-bloques 4x4 dentro de un bloque 8x8) está restringido de tal manera que la diferencia máxima entre las partes enteras de los cuatro sub-bloques 4x4 MV no sea más de N píxeles, tal como no más de 1 píxel. Aquí se proporcionan dos métodos para restringir el vector de movimiento según el bitDepth.
Método 1: eliminar el MSB sobrante (bit más significativo) mediante operaciones de flujo
ux= (mvx+2bitDepth) % 2bitDepth (1)
mvx = (ux >= 2bitDepth-1) ? (ux - 2bitDepth) : ux (2)
uy= (mvy+2bitDepth) % 2bitDepth (3)
mvy = (uy >= 2bitDepth-1) ? (uy - 2bitDepth) : uy (4)
donde mvx es un componente horizontal de un vector de movimiento de un bloque o un sub-bloque de imagen, mvy es un componente vertical de un vector de movimiento de un bloque o un sub-bloque de imagen, y ux y uy indican un valor intermedio;
Por ejemplo, si el valor de mvx es -32769, después de aplicar la fórmula (1) y (2), el valor resultante es 32767. En el sistema informático, los números decimales se almacenan como complemento a dos. El complemento a dos de -32769 es 1,0111,1111,1111,1111 (17 bits), a continuación, se descarta el MSB, por lo que el complemento a dos resultantes es 0111,1111,1111,1111 (el número decimal es 32767), que es el mismo como salida aplicando la fórmula (1) y (2).
ux= (mvpx mvdx 2bitDepth) % 2bitDepth (5)
mvx = (ux >= 2bitDepth-1) ? (ux - 2bitDepth) : ux (6)
uy= (mvpy mvdy 2bitDepth) % 2bitDepth (7)
mvy = (uy >= 2bitDepth-1) ? (uy - 2bitDepth) : uy (8)
Las operaciones se pueden aplicar durante la suma de mvp y mvd, como se muestra en la fórmula (5) a (8). Método 2: eliminar el MSB sobrante recortando el valor
vx = Clip3(-2bitDepth_1, 2bitDepth'1 -1, vx)
vy = Clip3(-2bitDepth_1, 2bitDepth'1 -1, vy)
donde vx es un componente horizontal de un vector de movimiento de un bloque o sub-bloque de imagen, vy es un componente vertical de un vector de movimiento de un bloque o sub-bloque de imagen; x, y, y z corresponden respectivamente a tres valores de entrada del proceso de recorte de MV, y la definición de la función Clip3 es la siguiente:
x ; z < x
y ; z > y
Clip3(x, y, z) =<z de otro modo>
La fig. 4 es un diagrama esquemático de un dispositivo 400 de codificación de vídeo según una forma de realización de la descripción. El dispositivo 400 de codificación de vídeo es adecuado para implementar las realizaciones descritas como se describe en la presente memoria. En una realización, el dispositivo 400 de codificación de vídeo puede ser un decodificador tal como el decodificador 30 de vídeo de la fig. 1A o un codificador, tal como el codificador 20 de vídeo de la fig. 1A.
El dispositivo 400 de codificación de vídeo comprende puertos 410 de acceso (o puertos 410 de entrada) y unidades 420 receptoras (Rx) para recibir datos; un procesador, una unidad lógica o una unidad central de procesamiento (CPU) 430 para procesar los datos; unidades 440 transmisoras (Tx) y puertos 450 de salida (o puertos 450 de salida) para transmitir los datos; y una memoria 460 para almacenar los datos. El dispositivo 400 de codificación de vídeo también puede comprender componentes ópticos a eléctricos (OE) y componentes eléctricos a ópticos (EO) acoplados a los puertos 410 de acceso, las unidades 420 receptoras, las unidades 440 transmisoras y los puertos 450 de salida para salida o entrada de señales ópticas o eléctricas.
El procesador 430 se implementa mediante hardware y software. El procesador 430 puede implementarse como uno o más chips de CPU, núcleos (por ejemplo, como un procesador de múltiples núcleos), FPGA, ASIC y DSP. El procesador 430 está en comunicación con los puertos 410 de acceso, las unidades 420 receptoras, las unidades 440 transmisoras, los puertos 450 de salida y la memoria 460. El procesador 430 comprende un módulo 470 de codificación. El módulo 470 de codificación implementa las realizaciones descritas anteriormente. Por ejemplo, el módulo 470 de codificación implementa, procesa, prepara o proporciona las diversas operaciones de codificación. Por tanto, la inclusión del módulo 470 de codificación proporciona una mejora sustancial a la funcionalidad del dispositivo 400 de codificación de vídeo y efectúa una transformación del dispositivo 400 de codificación de vídeo a un estado diferente. Alternativamente, el módulo 470 de codificación se implementa como instrucciones almacenadas en la memoria 460 y ejecutadas por el procesador 430.
La memoria 460 puede comprender uno o más discos, unidades de cinta y unidades de estado sólido y puede utilizarse como un dispositivo de almacenamiento de datos sobrantes, para almacenar programas cuando dichos programas se seleccionan para su ejecución, y para almacenar instrucciones y datos que son leer durante la ejecución del programa. La memoria 460 puede ser, por ejemplo, volátil y/o no volátil y puede ser una memoria de solo lectura (ROM), una memoria de acceso aleatorio (RAM), una memoria ternaria de contenido direccionable (TCAM) y/o una memoria estática de acceso aleatorio (SRAM).
La fig. 5 es un diagrama de bloques simplificado de un aparato 500 que puede utilizarse como uno o ambos del dispositivo 12 de origen y del dispositivo 14 de destino de la fig. 1 según una realización ejemplar.
Un procesador 502 en el aparato 500 puede ser una unidad central de procesamiento. Alternativamente, el procesador 502 puede ser cualquier otro tipo de dispositivo, o múltiples dispositivos, capaces de manipular o procesar información existente ahora o desarrollada en el futuro. Aunque las implementaciones dadas a conocer se pueden poner en práctica con un solo procesador como se muestra, por ejemplo, el procesador 502, se pueden lograr ventajas en velocidad y eficiencia utilizando más de un procesador.
Una memoria 504 en el aparato 500 puede ser un dispositivo de memoria de sólo lectura (ROM) o un dispositivo de memoria de acceso aleatorio (RAM) en una implementación. Cualquier otro tipo adecuado de dispositivo de almacenamiento puede utilizarse como memoria 504. La memoria 504 puede incluir código y datos 506 a los que accede el procesador 502 utilizando un bus 512. La memoria 504 puede incluir además un sistema operativo 508 y programas 510 de aplicación, incluyendo los programas 510 de aplicación al menos un programa que permite al procesador 502 realizar los métodos descritos aquí. Por ejemplo, los programas 510 de aplicación pueden incluir aplicaciones 1 a N, que además incluyen una aplicación de codificación de vídeo que realiza los métodos descritos aquí.
El aparato 500 también puede incluir uno o más dispositivos de salida, tales como un dispositivo 518 de visualización. El dispositivo 518 de visualización puede ser, en un ejemplo, un dispositivo de visualización sensible al tacto que combina un dispositivo de visualización con un elemento sensible al tacto que es operable para detectar entradas táctiles. El dispositivo 518 de visualización se puede acoplar al procesador 502 a través del bus 512.
Aunque se muestra aquí como un solo bus, el bus 512 del aparato 500 puede estar compuesto por múltiples buses. Además, el almacenamiento 514 secundario se puede acoplar directamente a los otros componentes del aparato 500 o se puede acceder a él a través de una red y puede comprender una única unidad integrada tal como una tarjeta de memoria o varias unidades como varias tarjetas de memoria. Por tanto, el aparato 500 puede implementarse en una amplia variedad de configuraciones.
La intrapredicción direccional es una técnica bien conocida que incluye la propagación de los valores de las muestras contiguas en el bloque predicho según lo especificado por la dirección de predicción. La fig. 6 ilustra las 93 direcciones de predicción, donde las direcciones discontinuas están asociadas con los modos de gran angular que solo se aplican a bloques no cuadrados.
La dirección podría especificarse mediante el aumento de un desplazamiento entre la posición de la muestra predicha y la de referencia. La mayor magnitud de este aumento corresponde a un mayor sesgo de la dirección de predicción. La tabla 1 especifica la tabla de asignación entre predModeIntra y el parámetro de ángulo intraPredAngle. Este parámetro es de hecho el aumento de este desplazamiento por fila (o por columna) especificado en la resolución de muestra 1/32.
Tabla 1 - Especificación de intraPredAngle
Los modos de gran angular se pueden identificar por el valor absoluto de intraPredAngle mayor de 32 (1 muestra), que corresponde a la pendiente de la dirección de predicción mayor de 45 grados.
Las muestras predichas (“predSamples”) se pueden obtener de las muestras contiguas “p” como se describe a continuación:
Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- Si predModeIntra es mayor que o igual a 34, aplican las siguientes etapas ordenadas:
1. La matriz de muestra de referencia ref[x] se especifica como sigue:
- Lo siguiente aplica:
ref[x] = p[-1 - refIdx x][-1 - refIdx], con x = 0..nTbW refIdx
- Si intraPredAngle es menor que 0, la matriz de muestra de referencia principal se amplía como sigue: - Cuando (nTbH * intraPredAngle) >> 5 es menor que -1,
ref[x] = p[-1 - refIdx][-1 - refIdx ((x * invAngle 128) >> 8)],
con x = -1..(nTbH * intraPredAngle) >> 5
ref[((nTbH * intraPredAngle) >> 5) - 1] = ref[(nTbH * intraPredAngle) >> 5]
ref[nTbW 1 refIdx] = ref[nTbW refIdx]
- De lo contrario,
ref[x] = p[-1 - refIdx x][-1 - refIdx], con x = nTbW 1 refIdx..refW refIdx
ref[-1] = ref[0]
- Las muestras adicionales ref[refW refldx x] con x = 1..(Max(1, nTbW/nTbH) * refldx 1) se derivan como sigue:
ref[refW refIdx x] = p[-1 refW][-1 - refIdx]
2. Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- La variable de índice iIdx y el factor de multiplicación iFact se derivan como sigue:
iIdx = ((y 1 refIdx) * intraPredAngle) >> 5 refIdx
iFact = ((y 1 refIdx) * intraPredAngle) & 31
- Si cIdx es igual a 0, se aplica lo siguiente:
- Los coeficientes de filtro de interpolación fT[j] con j = 0..3 se derivan como sigue:
fT[j] = filterFlag ? fG[iFact][j] : fC[iFact][j]
- El valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y] = C lip1Y(((£f=gfT[i ] * r e f [ s ildx-H i ]) 32) » 6)
- De lo contrario (cIdx no es igual a 0), dependiendo del valor de iFact, se aplica lo siguiente:
- Si iFact no es igual a 0, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] =
((32 - iFact) * ref[x iIdx 1] iFact * ref[x iIdx 2] 16) >> 5
- De lo contrario, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] = ref[x iIdx 1]
- De lo contrario (predModeIntra es menor que 34), las siguientes etapas ordenadas aplican:
1. La matriz de muestra de referencia ref[x] se especifica como sigue:
- Se aplica lo siguiente:
ref[x] = p[-1 - refIdx][-1 - refIdx x], con x = 0..nTbH refIdx
- Si intraPredAngle es menor que 0, la matriz de muestra de referencia principal se amplía como sigue: - Cuando (nTbW * intraPredAngle) >> 5 es menor que -1,
ref[x] = p[-1 - refIdx ((x * invAngle 128) >> 8)][-1 - refIdx],
con x = -1..(nTbW * intraPredAngle) >> 5
ref[((nTbW * intraPredAngle) >> 5) - 1] =
ref[(nTbW * intraPredAngle) >> 5] (8-145)
ref[nTbG 1 refIdx] = ref[nTbH refIdx]
- De lo contrario,
ref[x] = p[-1 - refIdx][-1 - refIdx x], con x = nTbH 1 refIdx..refH refIdx
ref[-1] = ref[0]
- Las muestras adicionales ref[refH refldx x] con x = 1..(Max(1, nTbW/nTbH) * refldx 1) se derivan como sigue:
ref[refH refIdx x] = p[-1 refH][-1 - refIdx]
2. Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- La variable de índice iIdx y el factor de multiplicación iFact se derivan como sigue:
iIdx = ((x 1 refIdx) * intraPredAngle) >> 5
iFact = ((x 1 refIdx) * intraPredAngle) & 31
- Si cIdx es igual a 0, se aplica lo siguiente:
- Los coeficientes de filtro de interpolación fT[j] con j = 0..3 se derivan como sigue:
fT[j] = filterFlag ? fG[iFact][j] : fC[iFact][j]
- El valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y] = CMp1Y(((2f=afT [ i ] * re f[> ild x-H i ]) 32) » 6)
- De lo contrario (cIdx no es igual a 0), dependiendo del valor de iFact, se aplica lo siguiente:
- Si iFact no es igual a 0, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] =
((32 - iFact) * ref[y iIdx 1] iFact * ref[y iIdx 2] 16) >> 5
- De lo contrario, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] = ref[y iIdx 1]
La señalización de los modos de intrapredicción para los componentes de luma y croma se podría realizar de tal manera que el modo de intrapredicción de croma se deriva del modo de intrapredicción de luma:
El modo de intrapredicción de croma IntraPredModeC[xCb ][ yCb ] se deriva utilizando intra_chroma_pred_mode[ xCb ][ yCb ] e IntraPredModeY[ xCb cbWidth / 2 ][ yCb cbHeight / 2 ] como se ha especificado en la tabla 2 y en la tabla 3.
Tabla 2 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 0
Tabla 3 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 1
El parámetro “intra_chroma_pred_mode” se señaliza dentro de un flujo de bits. A partir de la tabla 2 y la tabla 3 se puede observar que en ciertos casos (indicados por “X ”), el modo de intrapredicción para el componente de croma (IntraPredModeC) se establece igual al modo de intrapredicción especificado para el bloque de luma ubicados de manera simultánea.
El formato de croma determina la precedencia y el submuestreo de las matrices de croma, como se muestra en la fig. 7. En el muestreo monocromático, solo hay una matriz de muestras, que nominalmente se considera la matriz de luma.
En el muestreo 4:2:0, cada una de las dos matrices de croma tiene la mitad de la altura y la mitad de la anchura de la matriz de luma.
En el muestreo 4:2:2, cada una de las dos matrices de croma tiene la misma altura y la mitad de la anchura de la matriz de luma.
Esta solución proporciona la misma dirección de intrapredicción para predecir muestras de crominancia que se especifica para muestras de luma. Sin embargo, cuando la relación de submuestreo de croma en dirección horizontal no es igual a la relación de submuestreo de croma en dirección vertical, las direcciones de intrapredicción para croma se verán afectadas por el submuestreo, lo que dará como resultado una asignación diferente del modo de intrapredicción al ángulo de la dirección de intrapredicción. Para compensar este efecto, en las extensiones de intervalo de HM se ha propuesto realizar una etapa de asignación de modo, es decir, realizar una búsqueda de la tabla de consulta dedicada (LUT) para el modo de intrapredicción de luma correspondiente (IntraPredModeY) y utilizar el valor de búsqueda para el modo de intrapredicción de croma (IntraPredModeC). La tabla 4 proporciona esta LUT para el conjunto de modos especificados en el estándar HEVC.
Tabla 4 - Especificación de la LUT para la asignación del modo de intrapredicción para formato de croma 4:2:2
En el borrador 4 de la especificación VVC en el proceso de intrapredicción, el índice del modo de intrapredicción (intraPredMode) se modifica según la relación de aspecto como sigue:
Las variables nW y nH se derivan como sigue:
- Si IntraSubPartitionsSplitType es igual a ISP_N O _SPLIT o cIdx no es igual a 0, se aplica lo siguiente: nW = nTbW
nH = nTbH
- De lo contrario (IntraSubPartitionsSplitType no es igual a ISP_N O _SPLIT y cldx es igual a 0), se aplica lo siguiente:
nW = nCbW
nH = nCbH
La variable whRatio se establece igual a Abs(Log2(nW/nH)).
La variable wideAngle se establece igual a 0.
Para bloques no cuadrados (nW no es igual a nH), el modo de intrapredicción predModeIntra se modifica como sigue:
- Si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra 65).
- nW es mayor que nH
- predModeIntra es mayor que o igual a 2
- predModeIntra es menor que (whRatio > 1) ? (8 2 * whRatio) : 8
- De lo contrario, si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra - 67).
- nH es mayor que nW
- predModeIntra es menor que o igual a 66
- predModeIntra es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60
El proceso de modificación del modo de intrapredicción (predModeIntra) con respecto a la relación de aspecto (whRatio) descrita anteriormente se denominaría además “asignación de gran angular”.
Si se aplica el enfoque de última generación, la dirección de intrapredicción para las muestras de croma puede ser opuesta a la dirección especificada para las muestras de luma ubicadas de manera simultánea, porque las condiciones para los bloques de luma y croma serían diferentes debido al submuestreo de croma horizontal como se especifica para el formato de croma YUV 4:2:2. Las realizaciones de la invención proponen considerar conjuntamente la relación de aspecto del bloque y el formato de submuestreo de croma cuando se utiliza el modo de intrapredicción luma para la intrapredicción de croma.
La presente descripción proporciona varios métodos para resolver este problema. Un método introduce la operación de recorte para garantizar que la intrapredicción direccional de luma y croma utilice el mismo lado del bloque. Otro método incluye la modificación del proceso de asignación de gran angular para garantizar que el modo de predicción de croma resultante tenga el mismo ángulo de la dirección asignada. Como se desprende de la descripción anterior, estas direcciones no coinciden. (“(PredModeIntra - 67)” y “(predModeIntra 65)”).
El tercer método según las realizaciones de esta invención incluye el ajuste de los parámetros de entrada para el proceso de asignación de gran angular. Específicamente, se propone utilizar una relación de aspecto de luma en lugar de una de croma. Además, el parámetro intraPredAngle se desplaza hacia la izquierda o hacia la derecha para compensar el efecto del submuestreo de croma.
Alternativamente, para el conjunto de modos de intrapredicción de luma señalizados dados en el borrador de la especificación VVC (que están en el intervalo de 0..66), se podría utilizar la siguiente tabla de consulta (Tabla 5).
Una de las posibles soluciones incluye aplicar la LUT especificada en la tabla 5 al valor del modo de intrapredicción de luma (IntraPredModeY) y utilizar el modo obtenido como un modo de intrapredicción de entrada (IntraPredModeC) del proceso de intrapredicción direccional para el bloque de croma, que comprende:
- asignación de gran angular de IntraPredModeC
- derivación de la matriz de muestra de referencia (“ref”) y el parámetro intraPredAngle
- obtención de los valores de las muestras de croma predichas utilizando muestras de referencia determinadas anteriormente (“ref”) y el parámetro intraPredAngle.
Este enfoque funciona bien si cuando el modo de intrapredicción de luma (IntraPredModeY) no es un modo de gran angular. Como se muestra en la fig. 9, las muestras de croma y luma predichas en las mismas posiciones espaciales “A” utilizarían muestras de referencia que también se encuentran en las mismas posiciones espaciales. Este método también funciona en el caso que se muestra en la fig. 11, porque especifica el recorte de la dirección de intrapredicción de croma de salida en el ángulo de 45 grados (modo 2). Este recorte se implementa especificando el mismo valor para un conjunto de entradas en la LUT (por favor, observe las entradas IntraPredModeY = 2 .. 8).
Otra realización de la invención incluye la modificación del proceso de asignación de gran angular para el caso en el que se realiza la etapa de “asignación de gran angular de IntraPredModeC”.
La siguiente descripción especifica la dependencia adicional del proceso de asignación de gran angular de si la dirección asignada se realiza para la intrapredicción de croma para el formato de croma especificando diferentes proporciones de submuestreo en direcciones horizontal y vertical (indicadas además como “SubWidthC” y “SubHeightC”, respectivamente):
Las variables nW y nH se derivan como sigue:
- Si IntraSubPartitionsSplitType es igual a ISP_N O _SPLIT o cIdx no es igual a 0, se aplica lo siguiente: nW = nTbW
nH = nTbH
- De lo contrario (IntraSubPartitionsSplitType no es igual a ISP_N O _SPLIT y cIdx es igual a 0), se aplica lo siguiente:
nW = nCbW
nH = nCbH
Si SubWidthC no es igual a SubHeightC, el valor de la variable modeDelta se establece como (cIdx==0?0:1), de lo contrario modeDelta se establece como 0.
La variable whRatio se establece igual a Abs(Log2(nW/nH)).
La variable wideAngle se establece igual a 0.
Para bloques no cuadrados (nW no es igual a nH), el modo de intrapredicción predModeIntra se modifica como sigue:
- Si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra 65 modeDelta).
- nW es mayor que nH
- predModeIntra es mayor que o igual a 2
- predModeIntra es menor que (whRatio > 1) ? (8 2 * whRatio) : 8
- De lo contrario, si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra - 67 modeDelta).
- nH es mayor que nW
- predModeIntra es menor que o igual a 66
- predModeIntra es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60
Sin embargo, los enfoques descritos anteriormente pueden dar como resultado direcciones opuestas de los modos de intrapredicción de luma y croma en caso de que el modo de intrapredicción de luma (IntraPredModeY) corresponda a la dirección de gran angular. La fig. 8 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción de gran angular e IntraPredModeC es un modo de intrapredicción de ángulo sin gran angular. El ejemplo del caso en el que el modo de intrapredicción esperado (como se muestra en la fig. 8) no se produce mediante el método dado a conocer anteriormente. La fig. 9 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo de intrapredicción sin gran angular. La fig. 10 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo de intrapredicción de gran angular. El ejemplo del caso (como se muestra en la fig. 10) cuando el modo de intrapredicción de luma de entrada sin gran angular (IntraPredModeY) produce el modo de intrapredicción de croma de gran angular (IntraPredModeC). La fig. 11 muestra un ejemplo del caso en el que IntraPredModeC se deriva de IntraPredModeY utilizando el recorte del modo de predicción y donde IntraPredModeY es un modo de intrapredicción sin gran angular e IntraPredModeC es un modo de intrapredicción sin gran angular.
- Una realización ejemplar que especifica el método (“Método 3”) que se muestra en la fig. 8 y en la fig. 10 podría describirse en forma de las siguientes etapas cuando el formato de croma se define como YUV 4:2:2 y el modo de intrapredicción de luma de entrada (IntraPredModeY) es direccional (es decir, no es igual a DC y no es igual a un PLANO): asignación de gran angular de (IntraPredModeY) utilizando la relación de aspecto de un bloque de luma que da como resultado IntraPredModeFinalY;
- derivación de la matriz de muestra de referencia (“ref”) y el parámetro intraPredAngle para el bloque de croma utilizando el modo de predicción de entrada IntraPredModeFinalY, que comprende los siguientes etapas:
- en caso de que IntraPredModeFinalY no sea menor que 34, el parámetro intraPredAngle se redefine de la siguiente manera:
intraPredAngle = intraPredAngle >>1
- de lo contrario, el parámetro intraPredAngle se redefine como sigue
intraPredAngle = intraPredAngle <<1
- obtención de los valores de muestras de croma predichas utilizando muestras de referencia determinadas anteriormente (“ref”) y el parámetro intraPredAngle.
Alternativamente, en vez de la operación “intraPredAngle = intraPredAngle >>1” se puede utilizar otra implementación de división por 2, tal como: “intraPredAngle = sign(intraPredAngle) * ((Abs(intraPredAngle)+1) >>1)” o “intraPredAngle = intraPredAngle/2”.
También se podría aplicar una combinación de ambos métodos. Una realización comprendería las siguientes etapas para un modo de intrapredicción de luma de entrada (IntraPredModeY) que es direccional (es decir, no es igual a DC y no es igual a un PLANO):
- si IntraPredModeY no es menor de 18 ni mayor de 50, se aplican las siguientes etapas
o obtención de la LUT (por ejemplo, como se especifica en la tabla 5) utilizando el valor clave del modo de intrapredicción de luma (IntraPredModeY) que da como resultado el modo de intrapredicción de entrada de croma (IntraPredModeC)
o asignación de gran angular de IntraPredModeC
o derivación de la matriz de muestra de referencia (“ref”) y el parámetro intraPredAngle
o obtención de los valores de las muestras de croma predichas utilizando muestras de referencia determinadas (“ref”) anteriormente y el parámetro intraPredAngle.
- De lo contrario, realizar las etapas especificadas en la descripción del “Método 3”.
Una realización de la invención también podría representarse de la siguiente forma:
8.4.3 Proceso de derivación para el modo de intrapredicción de croma
Las entradas a este proceso son:
- una ubicación de luma (xCb, yCb) que especifica la muestra superior izquierda del bloque de codificación de croma actual en relación con la muestra de luma superior izquierda de la imagen actual,
- una variable cbWidth que especifica la anchura del bloque de codificación actual en muestras de luma, - una variable cbHeight que especifica la altura del bloque de codificación actual en muestras de luma. En este proceso, se deriva el modo de intrapredicción de croma IntraPredModeC [xCb] [yCb].
El modo de intrapredicción de croma IntraPredModeC[xCb][yCb] se deriva utilizando intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] como se especifica en la tabla 8-2 y en la tabla 8-3.
El modo de intrapredicción de croma IntraPredModeC[xCb][yCb] se deriva utilizando el proceso map422.
Tabla 8-2 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 0
Tabla 8-3 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 1
En el proceso de asignación, map422() del modo de intrapredicción de salida Y se deriva del modo de intrapredicción de entrada X como sigue:
- El modo de intrapredicción de salida Y se establece igual al modo de intrapredicción de entrada X si una de las siguientes condiciones es verdadera:
- SubWidthC es igual a SubHeightC,
- X es menor que 2,
- X es mayor que 66
- De lo contrario, el modo de intrapredicción Y se establece igual al valor según la tabla de consulta definida en la Tabla 8-4.
Tabla 8-4 - Especificación de la tabla de consulta para el proceso de asignación del mapa 422 ()
Otra realización de la invención también podría representarse de la siguiente forma:
8.4.3 Proceso de derivación para el modo de intrapredicción de croma
Las entradas a este proceso son:
- una ubicación de luma (xCb, yCb) que especifica la muestra superior izquierda del bloque de codificación de croma actual en relación con la muestra de luma superior izquierda de la imagen actual,
- una variable cbWidth que especifica la anchura del bloque de codificación actual en muestras de luma, - una variable cbHeight que especifica la altura del bloque de codificación actual en muestras de luma. En este proceso, se deriva el modo de intrapredicción de croma IntraPredModeC [xCb] [yCb].
El modo de intrapredicción de croma IntraPredModeC[xCb][yCb] se deriva utilizando intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] como se especifica en la Tabla 8-2 y en la Tabla 8-3.
El modo de intrapredicción de croma IntraPredModeC[xCb][yCb] se deriva utilizando el proceso map422.
Tabla 8-2 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb+ cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 0
Tabla 8-3 - Especificación de IntraPredModeC[xCb][yCb] dependiendo de intra_chroma_pred_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2] cuando sps_cclm_enabled_flag es igual a 1
En el proceso de asignación, map422() del modo de intrapredicción de salida Y se deriva del modo de intrapredicción de entrada X como sigue:
- El modo de intrapredicción de salida Y se establece igual un modo de intrapredicción de entrada X si una de las siguientes condiciones es verdadera:
- SubWidthC es igual a SubHeightC,
- X es menor que 2,
- X es mayor que 66
- De lo contrario, el modo de intrapredicción Y se establece igual al valor según la tabla de consulta definida en la Tabla 8-4.
La variable nW se establece igual a cbWidth, la variable nH se establece igual a cbHeight. La variable whRatio se establece igual a Abs(Log2(nW/nH)).
Para bloques no cuadrados (nW no es igual a nH), el recorte del modo de intrapredicción de salida Y se realiza como sigue:
- Si todas las siguientes condiciones son verdaderas, Y se establece igual a ((whRatio > 1) ? (8 2 * whRatio) : 8):
- nW es mayor que nH
- Y es mayor que o igual a 2
- Y es menor que (whRatio > 1) ? (8 2 * whRatio) : 8
- De lo contrario, si todas las siguientes condiciones son verdaderas, Y se establece igual a ((whRatio > 1) ? (60 - 2 * whRatio) : 60):
- nH es mayor que nW
- Y es menor que o igual a 66
- Y es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60
Tabla 8-4 - Especificación de la tabla de consulta para el proceso de asignación del mapa 422()
Un método de ajuste del parámetro intraPredAngle también podría implementarse de la siguiente forma:
8.4.4.2.7Especificación de modos de intrapredicción INTRA_ANGULAR2..INTRA_ANGULAR66
Las entradas a este proceso son:
- el modo de intrapredicción predModeIntra,
- una variable refIdx que especifica el índice de la línea de referencia de intrapredicción,
- una variable nTbW que especifica la anchura del bloque de transformada,
- una variable nTbH que especifica la altura del bloque de transformada,
- una variable refW que especifica la anchura de las muestras de referencia,
- una variable refH que especifica la altura de las muestras de referencia,
- una variable nCbW que especifica la anchura del bloque de codificación,
- una variable nCbH que especifica la altura del bloque de codificación,
- una variable cIdx que especifica el componente de color del bloque actual,
- las muestras contiguas p[x][y], con x = -1 - refIdx, y = -1 - refIdx..refH - 1 y x = -refIdx..refW - 1, y = -1 -refIdx.
Las salidas de este proceso son el modo de intrapredicción modificado predModeIntra y las muestras predichas predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1.
La variable nTbS se establece igual a (Log2 (nTbW) Log2 (nTbH)) >> 1.
Las variables nW y nH se derivan como sigue:
- Si IntraSubPartitionsSplitType es igual a ISP_N O _SPLIT o cIdx no es igual a 0, se aplica lo siguiente: nW = nTbW
nH = nTbH
- De lo contrario (IntraSubPartitionsSplitType no es igual a ISP_N O _SPLIT y cldx es igual a 0), se aplica lo siguiente:
nW = nCbW
nH = nCbH
La variable whRatio se establece igual a Abs(Log2(nW/nH)).
Si cIdx no es igual a 0 y subWidthC es mayor que subHeightC, whRatio se incrementa en 1.
La variable wideAngle se establece igual a 0.
Para bloques no cuadrados (nW no es igual a nH), el modo de intrapredicción predModeIntra se modifica como sigue:
- Si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra 65).
- nW es mayor que nH
- predModeIntra es mayor que o igual a 2
- predModeIntra es menor que (whRatio > 1) ? (8 2 * whRatio) : 8
- De lo contrario, si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra - 67).
- nH es mayor que nW
- predModeIntra es menor que o igual a 66
- predModeIntra es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60
La variable filterFlag se deriva como sigue:
- Si una o más de las siguientes condiciones son verdaderas, filterFlag se establece igual a 0.
- predModeIntra es igual a INTRA_ANGULAR2, INTRA_ANGULAR34 o INTRA_ANGULAR66
- refIdx no es igual a 0
- IntraSubPartitionsSplitType no es igual a ISP_N O _SPLIT y cIdx es igual a 0 y predModeIntra es mayor que o igual a INTRA_ANG<u>L<a r>34 y nW es mayor que 8
- IntraSubPartitionsSplitType no es igual a ISP_N O _SPLIT y cIdx es igual a 0 y predModeIntra es menor que INTRA_ANGULAR34 y nH es mayor que 8.
- De lo contrario, aplica lo siguiente:
- La variable minDistVerHor se establece igual a Min(Abs(predModeIntra - 50), Abs(predModeIntra - 18)). - La variable intraHorVerDistThres[nTbS] se especifica en la Tabla 8-4.
- La variable filterFlag se deriva como sigue:
- Si minDistVerHor es mayor que intraHorVerDistThres[nTbS] o wideAngle es igual a 1, filterFlag se establece igual a 1.
- De lo contrario, filterFlag se establece igual a 0.
Tabla 8-4 - Especificación de intraHorVerDistThres[nTbS] para varios tamaños de bloques de transformación nTbS
| intraHorVerDistThres[nTbS] |16_________| J 4 __________\_2___________ |_0___________ |_0_____________ |_0____________ | La fig. 6 ilustra las 93 direcciones de predicción, donde las direcciones discontinuas están asociadas con los modos de gran angular que solo se aplican a bloques no cuadrados.
La tabla 8-5 especifica la tabla de asignación entre predModeIntra y el parámetro de ángulo intraPredAngle.
Si cldx no es igual a 0, y subWidthC es mayor que subHeightC se aplica lo siguiente:
- Si predModeIntra es mayor que o igual a 34, intraPredAngle se establece igual a intraPredAngle >> 1 - De lo contrario, intraPredAngle se establece igual a intraPredAngle << 1
El parámetro de ángulo inverso invAngle se deriva basándose en intraPredAngle como sigue:
/ 256*32 \
invAngle = RedondoMntiaPrsdAngW
Los coeficientes del filtro de interpolación fC[phase][j] y fG[phase][j] con phase = 0..31 y j = 0..3 se especifican en la tabla 8-6.
Tabla 8-6 - Especificación de coeficientes del filtro de interpolación fC y fG
Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- Si predModeIntra es mayor que o igual a 34, aplican las siguientes etapas ordenadas:
3. La matriz de muestra de referencia ref[x] se especifica como sigue:
- Se aplica lo siguiente:
ref[x] = p[-1 - refIdx x][-1 - refIdx], con x = 0..nTbW refIdx
- Si intraPredAngle es menor que 0, la matriz de muestra de referencia principal se amplía como sigue: - Cuando (nTbH * intraPredAngle) >> 5 es menor que -1,
ref[x] = p[-1 - refIdx][-1 - refIdx ((x * invAngle 128) >> 8)],
con x = -1..(nTbH * intraPredAngle) >> 5
ref[((nTbH * intraPredAngle) >> 5) - 1] = ref[(nTbH * intraPredAngle) >> 5]
ref[nTbW 1 refIdx] = ref[nTbW refIdx]
- De lo contrario,
ref[x] = p[-1 - refIdx x][-1 - refIdx], con x = nTbW 1 refIdx..refW refIdx
ref[-1] = ref[0]
- Las muestras adicionales ref[refW refIdx x] con x = 1..(Max(1, nTbW/nTbH) * refIdx 1) se derivan como sigue:
ref[refW refIdx x] = p[-1 refW][-1 - refIdx]
4. Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- La variable de índice iIdx y el factor de multiplicación iFact se derivan como sigue:
iIdx = ((y 1 refIdx) * intraPredAngle) >> 5 refIdx
iFact = ((y 1 refIdx) * intraPredAngle) & 31
- Si cIdx es igual a 0, se aplica lo siguiente:
- Los coeficientes del filtro de interpolación fT[j] con j = 0..3 se derivan como sigue:
fT[j] = filterFlag ? fG[iFact][j] : fC[iFact][j]
- El valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y]=CliplY(((Sf=ftfT[I ] *r e f [ s+ ildx+- i ])32)» 6)
- De lo contrario (cIdx no es igual a 0), dependiendo del valor de iFact, se aplica lo siguiente:
- Si iFact no es igual a 0, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] =
((32 - iFact) * ref[x iIdx 1] iFact * ref[x iIdx 2] 16) >> 5
- De lo contrario, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue: predSamples[x][y] = ref[x iIdx 1]
- De lo contrario (predModeIntra es menor que 34), se aplican las siguientes etapas ordenadas:
3. La matriz de muestra de referencia ref[x] se especifica como sigue:
- Se aplica lo siguiente:
ref[x] = p[-1 - refIdx][-1 - refIdx x], con x = 0..nTbH refIdx
- Si intraPredAngle es menor que 0, la matriz de muestra de referencia principal se amplía como sigue: - Cuando (nTbW * intraPredAngle) >> 5 es menor que -1,
ref[x] = p[-1 - refIdx ((x * invAngle 128) >> 8)][-1 - refIdx],
con x = -1..(nTbW * intraPredAngle) >> 5
ref[((nTbW * intraPredAngle) >> 5) - 1] =
ref[(nTbW * intraPredAngle) >> 5] (8-145)
ref[nTbG 1 refIdx] = ref[nTbH refIdx]
- De lo contrario,
ref[x] = p[-1 - refIdx][-1 - refIdx x], con x = nTbH 1 refIdx..refH refIdx
ref[-1] = ref[0]
- las muestras adicionales ref[refH refIdx x] con x = 1..(Max(1, nTbW/nTbH) * refIdx 1) se derivan como sigue: ref[refH refIdx x] = p[-1 refH][-1 - refIdx]
4. Los valores de las muestras de predicción predSamples[x][y], con x = 0..nTbW - 1, y = 0..nTbH - 1 se derivan como sigue:
- la variable de índice iIdx y el factor de multiplicación iFact se derivan como sigue:
iIdx = ((x 1 refIdx) * intraPredAngle) >> 5
iFact = ((x 1 refIdx) * intraPredAngle) & 31
- si cIdx es igual a 0, se aplica lo siguiente:
- los coeficientes del filtro de interpolación fT[j] con j = 0..3 se derivan como sigue:
fT[j] = filterFlag ? fG[iFact][j] : fC[iFact][j]
- el valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y] = CMp1Y(((2f=afT [ i ] * re f[? -H iId s i ] ) 32) » 6)
- de lo contrario (cIdx no es igual a 0), dependiendo del valor de iFact, se aplica lo siguiente:
- Si iFact no es igual a 0, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y] =
((32 - iFact) * ref[y iIdx 1] iFact * ref[y iIdx 2] 16) >> 5
- de lo contrario, el valor de las muestras de predicción predSamples[x][y] se deriva como sigue:
predSamples[x][y] = ref[y iIdx 1]
En particular, los siguientes métodos y realizaciones de codificación de predicción de un bloque actual implementados por un dispositivo de decodificación o codificación. El dispositivo de decodificación puede ser el decodificador 30 de vídeo de la fig. 1A, o el decodificador 30 de la fig. 3. El dispositivo de codificación puede ser el codificador 20 de vídeo de la fig. 1A o el codificador 20 de la fig. 2.
Según una realización 1200 (véase la fig. 12A), cuando el valor de idc_chrom_format indica formato de croma 4:2:2, un modo de intrapredicción de croma (intraPredModeC) 1203 se deriva de una tabla de consulta (LUT) 1202 utilizando un modo de intrapredicción inicial del componente de croma. El valor del modo de intrapredicción inicial del componente de croma puede ser igual al valor del modo de intrapredicción de luma intraPredModeY. La tabla 2, la tabla 3, la tabla 8-2 o la tabla 8-3 dan un ejemplo entre el valor del modo de intrapredicción inicial del componente de croma intra_chroma_pred_mode [xCb] [yCb] y el valor del modo de intrapredicción de luma intraPredModeY IntraPredModeY[xCb cbWidth/2][yCb cbHeight/2].
El ejemplo de la tabla de consulta 1202 es la tabla 5 o la tabla 8-4. La tabla de consulta incluye 67 entradas, con índice 0-66.
Después de realizar la asignación 1204 de gran angular en el modo 1203 de intrapredicción de croma, se obtiene un modo de intrapredicción de croma modificado. Se obtiene un parámetro 1205 intraPredAngle basado en el modo de intrapredicción de croma modificado. Por ejemplo, utilizando el modo de intrapredicción de croma modificado como predModeIntra, se obtiene intraPredAngle 1205 de la tabla 1. Las muestras predichas del componente de croma se obtienen realizando la intrapredicción1206 direccional de croma basada en el parámetro intraPredAngle.
Según un ejemplo 1210 que no es parte de la invención (véase la fig. 12B), la asignación 1212 de gran angular se realiza en el modo 1211 de intrapredicción de luma intraPredModeY para obtener un intraPredModeY modificado. Cuando el valor de idc_chrom_format indica formato de croma 4:2:2, un modo 1214 de intrapredicción de croma (intraPredModeC) se deriva de una tabla de consulta (LUT) 1213 utilizando el intraPredModeY modificado. La tabla de consulta 1213 puede tener 95 entradas, con índice 0-94.
Se obtiene un parámetro 1215 intraPredAngle basado en el modo 1214 de intrapredicción de croma. Por ejemplo, al utilizar el modo de intrapredicción de croma como el predModeIntra, se obtiene intraPredAngle 1215 de la tabla 1. Las muestras predichas del componente de croma se obtienen realizando la intrapredicción 1216 direccional de croma basada en el parámetro intraPredAngle.
La realización 1300 incluye las siguientes etapas: etapa 1301, el dispositivo obtiene el valor de un modo de intrapredicción de luma (intraPredModeY). Por ejemplo, el dispositivo obtiene el valor de intraPredModeY analizando un flujo de bits. Etapa 1302, el dispositivo obtiene el modo de intrapredicción inicial del componente de croma (IntraPredModeC) basado en el valor del modo de intrapredicción de luma (intraPredModeY), por ejemplo, basado en la tabla 2, tabla 3, tabla 8-2 o tabla 8-3. Etapa 1303, el dispositivo deriva un modo de intrapredicción de croma (intraPredModeC) a partir de una tabla de consulta (LUT) utilizando el modo de intrapredicción inicial del componente de croma (intraPredModeC) cuando el formato de croma es 4:2:2. En el ejemplo de la tabla 8-4, el modo de intrapredicción inicial del componente de croma es el modo X, un modo de intrapredicción de croma (intraPredModeC) es el modo Y. Eso significa que el intraPredModeC original se ajusta para obtener el intraPredModeC.
La etapa 1304 incluye realizar una asignación de gran angular en el modo de intrapredicción de croma (intraPredModeC) para obtener un intraPredModeC modificado. Como se ha descrito anteriormente, la asignación de gran angular se incluye para bloques no cuadrados (nW no es igual a nH):
Si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra 65):
nW es mayor que nH
predModeIntra es mayor que o igual a 2
predModeIntra es menor que (whRatio > 1) ? (8 2 * whRatio) : 8
De lo contrario, si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra - 67):
nH es mayor que nW
predModeIntra es menor que o igual a 66
predModeIntra es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60
La etapa 1305 incluye la obtención de un parámetro intraPredAngle para el componente de croma basado en el intraPredModeC modificado. Por ejemplo, utilizando intraPredModeC modificado como predModeIntra, intraPredAngle 1215 se obtiene de la tabla 1. La etapa 1306 incluye la obtención de muestras predichas del componente de croma basándose en el parámetro intraPredAngle.
La información detallada de esta forma de realización 1300 se muestra en las realizaciones mencionadas anteriormente.
La fig. 14 ilustra realizaciones de un dispositivo 1400. El dispositivo 1400 puede ser un decodificador 30 de vídeo de la fig. 1A, o un decodificador 30 de la fig. 3, o puede ser un codificador 20 de vídeo de la fig. 1A, o un codificador 20 de la fig. 2. El dispositivo 1400 puede utilizarse para implementar la forma de realización 1200, 1210, 1300 y las otras realizaciones descritas anteriormente.
El dispositivo de intrapredicción direccional para el componente de croma de una imagen, incluye una unidad 1401 de obtención, una unidad de derivación 1402 y una unidad 1403 de asignación.
La unidad 1401 de obtención, configurada para obtener un modo de intrapredicción inicial del componente de croma. La unidad 1402 de derivación, configurada para derivar un modo de intrapredicción de croma (intraPredModeC) a partir de una tabla de consulta (LUT) utilizando el modo de intrapredicción inicial del componente de croma, teniendo el componente de croma diferentes relaciones de submuestreo en direcciones horizontal y vertical. La unidad 1402 de derivación se puede utilizar para derivar el modo de intrapredicción de croma IntraPredModeC [xCb] [yCb] utilizando intra_chroma_pred_mode [xCb] [yCb] e IntraPredModeY [xCb cbWidth/2] [yCb cbHeight/2] como se especifica en la tabla 2 y tabla 83.
La unidad 1403 de asignación, configurada para realizar asignación de gran angular en el modo de intrapredicción de croma (intraPredModeC) para obtener un intraPredModeC modificado. Como ejemplo, la unidad 1403 de asignación realiza la asignación de gran angular en un modo de intrapredicción original (predModeIntra) para obtener un predModeIntra modificado, donde el valor del predModeIntra original es igual al valor del modo de intrapredicción de croma (intraPredModeC).
La unidad 1401 de obtención, configurada además para obtener un parámetro intraPredAngle para el componente de croma, por ejemplo, de una tabla de asignación, basada en el intraPredModeC modificado; y obtener muestras predichas del componente de croma basándose en el parámetro intraPredAngle.
La unidad 1401 de obtención también puede configurarse para obtener el valor de un modo de intrapredicción de luma (intraPredModeY) a partir de un flujo de bits, y, a continuación, obtener el modo de intrapredicción inicial del componente de croma basándose en el valor del modo de intrapredicción de luma (intraPredModeY).
El proceso de derivación en modo de croma según el método propuesto está dotado de efectos beneficiosos en comparación con los enfoques convencionales. Uno de estos efectos es que las realizaciones de la invención proporcionan el número mínimo de entradas en la LUT que se utiliza para determinar el modo de intrapredicción de croma desde el modo de intrapredicción de luma inicial. Esto se logra mediante el orden de las etapas realizadas, es decir, mediante la asignación del modo de intrapredicción de crominancia al modo de luminancia que se realiza antes de la asignación de gran angular. Al aplicar LUT de croma a luma sin asignación de gran angular, es necesario especificar la asignación solo para la forma de bloque cuadrado, limitando así las entradas de LUT requeridas a 67.
Además, en un ejemplo que no forma parte de la invención reivindicada, la derivación del modo de crominancia no requiere obtener la forma del bloque de luminancia ubicado de manera simultánea. En el método convencional, la asignación de direcciones de intrapredicción de luminancia que es el resultado del proceso de asignación de gran angular requeriría considerar también la relación de aspecto del bloque de luminancia. La razón de esta dependencia es que el proceso de asignación de gran angular requiere información sobre la relación de aspecto del bloque para determinar el valor del modo de intrapredicción asignado. En las realizaciones de esta invención, la asignación de angular ancho no se realiza para el modo de intrapredicción de luminancia de entrada y, por lo tanto, el modo de intrapredicción de luminancia de entrada podría obtenerse mediante análisis sintáctico de flujo de bits. Dado que no se requiere manejar la estructura de división en particiones del componente de luminancia, la latencia de decodificación se mejora si se utiliza el orden sugerido de etapas.
A continuación, se ofrece una explicación de las aplicaciones del método de codificación, así como del método de decodificación como se muestra en las realizaciones mencionadas anteriormente, y un sistema que las utiliza.
La fig. 15 es un diagrama de bloques que muestra un sistema 3100 de suministro de contenido para realizar un servicio de distribución de contenido. Este sistema 3100 de suministro de contenido incluye el dispositivo 3102 de captura, el dispositivo 3106 terminal y opcionalmente incluye el dispositivo 3126 de visualización. El dispositivo 3102 de captura se comunica con el dispositivo 3106 terminal a través del enlace 3104 de comunicación. El enlace de comunicación puede incluir el canal 13 de comunicación descrito anteriormente. El enlace 3104 de comunicación incluye, entre otros, WIFI, Ethernet, cable, inalámbrico (3G/4G/5G), USB o cualquier tipo de combinación de los mismos, o similares.
El dispositivo 3102 de captura genera datos y puede codificar los datos mediante el método de codificación como se muestra en las realizaciones anteriores. Alternativamente, el dispositivo 3102 de captura puede distribuir los datos a un servidor de transmisión (no mostrado en las figuras), y el servidor codifica los datos y transmite los datos codificados al dispositivo 3106 terminal. El dispositivo 3102 de captura incluye, entre otros, una cámara, teléfono inteligente o Pad, ordenador u ordenador portátil, sistema de videoconferencia, PDA, dispositivo montado en un vehículo o una combinación de cualquiera de ellos, o similares. Por ejemplo, el dispositivo 3102 de captura puede incluir el dispositivo 12 de origen como se ha descrito anteriormente. Cuando los datos incluyen vídeo, el codificador 20 de vídeo incluido en el dispositivo 3102 de captura puede realmente realizar el procesamiento de codificación de vídeo. Cuando los datos incluyen audio (es decir, voz), un codificador de audio incluido en el dispositivo 3102 de captura puede realizar realmente el procesamiento de codificación de audio. Para algunos escenarios prácticos, el dispositivo 3102 de captura distribuye los datos de audio y vídeo codificados multiplexándolos juntos. Para otros escenarios prácticos, por ejemplo, en el sistema de vídeoconferencia, los datos de audio codificados y los datos de vídeo codificados no se multiplexan. El dispositivo 3102 de captura distribuye los datos de audio codificados y los datos de vídeo codificados al dispositivo 3106 terminal por separado.
En el sistema 3100 de suministro de contenido, el dispositivo 310 terminal recibe y reproduce los datos codificados. El dispositivo 3106 terminal podría ser un dispositivo con capacidad de recepción y recuperación de datos, como un teléfono inteligente o Pad 3108, ordenador u ordenador portátil 3110, grabadora de vídeo en red (NVR)/grabadora de vídeo digital (DVR) 3112, TV 3114, decodificador (STB) 3116, sistema de videoconferencia 3118, sistema de vídeo vigilancia 3120, asistente digital personal (PDA) 3122, dispositivo montado en un vehículo 3124, o una combinación de cualquiera de ellos, o similar capaz de decodificar los datos codificados antes mencionados. Por ejemplo, el dispositivo 3106 terminal puede incluir el dispositivo 14 de destino como se ha descrito anteriormente. Cuando los datos codificados incluyen vídeo, se prioriza el decodificador 30 de vídeo incluido en el dispositivo terminal para realizar la decodificación de vídeo. Cuando los datos codificados incluyen audio, se prioriza un decodificador de audio incluido en el dispositivo terminal para realizar el procesamiento de decodificación de audio.
Para un dispositivo terminal con su dispositivo de visualización, por ejemplo, teléfono inteligente o Pad 3108, ordenador u ordenador portátil 3110, grabadora de vídeo en red (NVR)/grabadora de vídeo digital (DVR) 3112, TV 3114, asistente digital personal (PDA) 3122 o vehículo dispositivo montado 3124, el dispositivo terminal puede alimentar los datos decodificados a su dispositivo de visualización. Para un dispositivo terminal equipado sin dispositivo de visualización, por ejemplo, STB 3116, sistema de videoconferencia 3118 o sistema de vídeo vigilancia 3120, se contacta con un dispositivo 3126 de visualización externa para recibir y mostrar los datos decodificados.
Cuando cada dispositivo de este sistema realiza la codificación o decodificación, se puede utilizar el dispositivo de codificación de imagen o el dispositivo de decodificación de imagen, como se muestra en las realizaciones mencionadas anteriormente.
La fig. 16 es un diagrama que muestra una estructura de un ejemplo del dispositivo 3106 terminal. Después de que el dispositivo 3106 terminal reciba el flujo desde el dispositivo 3102 de captura, la unidad 3202 de procedimiento de protocolo analiza el protocolo de transmisión del flujo. El protocolo incluye, entre otros, protocolo de transmisión en tiempo real (RTSP), protocolo de transferencia de hipertexto (HTTP), protocolo de transmisión en vivo HTTP (HLS), MPEG-DASH, protocolo de transporte en tiempo real (RTP), protocolo de mensajería en tiempo real (RTMP), o cualquier tipo de combinación de los mismos, o similares. Después de que la unidad 3202 de procedimiento de protocolo procese el flujo, se genera el archivo de flujo. El archivo se envía a una unidad 3204 de demultiplexación. La unidad 3204 de demultiplexación puede separar los datos multiplexados en los datos de audio codificados y los datos de vídeo codificados. Como se ha descrito anteriormente, para algunos escenarios prácticos, por ejemplo, en el sistema de videoconferencia, los datos de audio codificados y los datos de vídeo codificados no se multiplexan. En esta situación, los datos codificados se transmiten al decodificador 3206 de vídeo y al decodificador 3208 de audio sin atravesar la unidad 3204 de demultiplexación.
A través del procesamiento de demultiplexación, se generan el flujo elemental de vídeo (ES), el ES de audio y, opcionalmente, los subtítulos. El decodificador 3206 de vídeo, que incluye el decodificador 30 de vídeo como se explica en las realizaciones mencionadas anteriormente, decodifica el ES de vídeo mediante el método de decodificación como se muestra en las realizaciones mencionadas anteriormente para generar una trama de vídeo, y alimenta estos datos a la unidad 3212 síncrona. El decodificador 3208 de audio decodifica el ES de audio para generar una trama de audio y alimenta estos datos a la unidad 3212 síncrona. Alternativamente, la trama de vídeo puede almacenarse en una memoria intermedia (no se muestra en la fig. Y) antes de alimentarla a la unidad 3212 síncrona. De manera similar, el cuadro de audio puede almacenarse en una memoria intermedia (no mostrada en la fig. Y) antes de alimentarla a la unidad 3212 síncrona.
La unidad 3212 síncrona sincroniza la trama de vídeo y la trama de audio, y suministra el vídeo/audio a un dispositivo 3214 de visualización de vídeo/audio. Por ejemplo, la unidad 3212 síncrona sincroniza la presentación de la información de vídeo y audio. La información puede codificarse en la sintaxis utilizando marcas de tiempo relativas a la presentación de datos de audio y visuales codificados y marcas de tiempo relativas a la entrega del flujo de datos en sí.
Si se incluyen subtítulos en la secuencia, el decodificador 3210 de subtítulos decodifica el subtítulo y lo sincroniza con la trama de vídeo y la trama de audio, y suministra el vídeo/audio/subtítulo a un dispositivo 3216 de visualización de vídeo/audio/subtítulos.
La presente invención no se limita al sistema mencionado anteriormente, y, bien el dispositivo de codificación de imagen, o bien el dispositivo de decodificación de imagen en las realizaciones mencionadas anteriormente se pueden incorporar en otro sistema, por ejemplo, un sistema de automóvil.
Operadores Matemáticos
Los operadores matemáticos utilizados en esta aplicación son similares a los utilizados en el lenguaje de programación C. Sin embargo, los resultados de la división de enteros y las operaciones de desplazamiento aritmético se definen con mayor precisión, y se definen operaciones adicionales, tales como exponenciación y división en valores reales. Las convenciones de numeración y conteo generalmente comienzan desde 0, por ejemplo, “el primero” es equivalente al 0-ésimo, “el segundo” es equivalente al 1-ésimo, etc.
Operadores Aritméticos
Los siguientes operadores aritméticos se definen de la siguiente manera:
+ Suma
- Resta (como un operador de dos argumentos) o negación (como un operador de prefijo unario)
* Multiplicación, incluyendo multiplicación de matrices
xy Exponenciación. Especifica x elevado a y. En otros contextos, dicha notación se utiliza para superíndices no destinados a la interpretación como exponenciación.
/ División entera con truncamiento del resultado hacia cero. Por ejemplo, 7/4 y -7/-4 se truncan a 1 y -7/4 y 7/-4 se truncan a -1.
Se utiliza para indicar división en ecuaciones matemáticas donde no se pretende truncamiento o redondeo.
Se utiliza para indicar división en ecuaciones matemáticas donde no se pretende truncamiento o
redondeo.
La sumatoria de f (i) con i toma todos los valores enteros desde x hasta y, incluyendo y.
x % y Módulo. Resto de x dividido por y, definido solo para enteros x e y con x> = 0 e y> 0.
Operadores Lógicos
Los siguientes operadores lógicos se definen como sigue:
x && y Booleano lógico "y" de x e y
x | | y Booleano lógico "o" de x e y
! "No" lógico booleano
X ? y: z Si x es VERDADERO o no es igual a 0, se evalúa como el valor de y; de lo contrario, evalúa el valor de z. Operadores Relacionales
Los siguientes operadores relacionales se definen como sigue:
> Mayor que
> = Mayor que o igual a
< Menor que
<= Menor que o igual a
= = Igual a
! = No es igual a
Cuando se aplica un operador relacional a un elemento de sintaxis o variable al que se le ha asignado el valor “na” (no aplicable), el valor “na” se trata como un valor distinto para el elemento de sintaxis o variable. Se considera que el valor “na” no es igual a ningún otro valor.
Operadores de Bit a bit
Los siguientes operadores bit a bit se definen como sigue:
& Bit a bit “y”. Cuando se opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se amplía agregando más bits significativos iguales a 0.
| Bit a bit “o”. Cuando se opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se amplía agregando más bits significativos iguales a 0.
<a>Bit a bit “o exclusivo”. Cuando se opera con argumentos enteros, opera con una representación en complemento a dos del valor entero. Cuando se opera con un argumento binario que contiene menos bits que otro argumento, el argumento más corto se amplía agregando más bits significativos iguales a 0.
x >> y Desplazamiento aritmético a la derecha de una representación entera en complemento a dos de x por y dígitos binarios. Esta función está definida solo para valores enteros no negativos de y. Los bits desplazados a los bits más significativos (MSB) como resultado del desplazamiento a la derecha tienen un valor igual al MSB de x antes de la operación de desplazamiento.
x << y Desplazamiento aritmético a la izquierda de una representación entera en complemento a dos de x por y dígitos binarios. Esta función está definida solo para valores enteros no negativos de y. Los bits desplazados a los bits menos significativos (LSB) como resultado del desplazamiento a la izquierda tienen un valor igual a 0.
Operadores de Asignación
Los siguientes operadores aritméticos se definen como sigue:
= Operador de asignación
+ Incremento, es decir, x es equivalente a x = x 1; cuando se utiliza en un índice de matriz, se evalúa como el valor de la variable antes de la operación de incremento.
- - Decremento, es decir, x- - es equivalente a x = x - 1; cuando se utiliza en un índice de matriz, evalúa el valor de la variable antes de la operación de decremento.
+ = Incremento por la cantidad especificada, es decir, x = 3 es equivalente a x = x 3, y x = (-3) es equivalente a x = x (-3).
- = Decremento por la cantidad especificada, es decir, x - = 3 es equivalente a x = x - 3, y x - = (-3 ) es equivalente a x = x - (-3).
Notación de intervalo
La siguiente notación se utiliza para especificar un intervalo de valores:
x = y..z x toma valores enteros comenzando desde y hasta z, inclusive, siendo x, y, y z números enteros y siendo z mayor que y.
Funciones Matemáticas
Se definen las siguientes funciones matemáticas:
( x ; x >= O
Abs(x) = t - x í
ASen(x) la función trigonométrica de seno inversa, que opera sobre un argumento x que está en el intervalo de -1.0 a 1.0, inclusive, con un valor de salida en el intervalo de - n 2 a n 2, inclusive, en unidades de radianes Atan(x) la función trigonométrica de tangente inversa, que opera sobre un argumento x, con un valor de salida en el intervalo de - n 2 a n 2, inclusive, en unidades de radianes
Ceil(x) el entero más pequeño mayor que o igual a x.
Clip1Y(x) = Clip3(0, (1 << BitDepthY) - 1, x)
Clip1c(x) = Clip3(0, (1 << BitDepthC) - 1, x)
x ; z<x
y ; s > y
Clip3(x, y, z) = £ ; de otro modo
Cos(x) la función trigonométrica de coseno que opera sobre un argumento x en unidades de radianes.
Piso(x) el entero más grande menor que o igual a x.
Ln(x) el logaritmo natural de x (el logaritmo base e, donde e es el logaritmo natural base constante 2.718 281 828 ...).
Log2(x) el logaritmo base 2 de x.
Log10(x) el logaritmo base 10 de x.
Redondo (x) = Signo (x) * Piso (Abs (x) 0.5)
Sen(x) la función trigonométrica de seno que opera sobre un argumento x en unidades de radianes
Raiz(x) = V *
Intercambio(x, y) = (y, x)
Tan (x) la función trigonométrica de tangente que opera sobre un argumento x en unidades de radianes Orden de precedencia de la operación
Cuando un orden de precedencia en una expresión no se indica explícitamente mediante el uso de paréntesis, se aplican las siguientes reglas:
- Las operaciones de mayor precedencia se evalúan antes que cualquier operación de menor precedencia. - Las operaciones de la misma precedencia se evalúan secuencialmente de izquierda a derecha.
La siguiente tabla especifica la precedencia de las operaciones de mayor a menor; una posición más alta en la tabla indica una precedencia más alta.
Para aquellos operadores que también se utilizan en el lenguaje de programación C, el orden de precedencia utilizado en esta especificación es el mismo que se utiliza en el lenguaje de programación C.
Tabla: precedencia de operaciones desde la más alta (en la parte superior de la tabla) hasta la más baja (en la parte inferior de la tabla)
Descripción de texto de operaciones lógicas
En el texto, una instrucción de operaciones lógicas como se describiría matemáticamente de la siguiente forma: if( condition 0 )
statement 0
else if( condition 1 )
statement 1
else /* informative remark on remaining condition */
statement n
puede describirse de la siguiente manera::
... as follows / ... the following applies:
- If condition 0, statement 0
- Otherwise, if condition 1, statement 1
- Otherwise (informative remark on remaining condition), statement n
Cada instrucción "if ... Otherwise, if ... Otherwise, ..." en el texto se introduce con "... as follows" o "... the following applies" seguido inmediatamente por "If ... ". La última condición de "If ... De otro modo, If ... De otro modo, ..." siempre es un " Otherwise, ...". Instrucciones intercaladas "If ... Otherwise, If ... Otherwise, ..." pueden identificarse al coincidir "... as follows" o "... the following applies" con el final " Otherwise, ...".
En el texto, una instrucción de operaciones lógicas se describiría matemáticamente de la siguiente forma:
If(condition 0a && contidion 0b)
statement 0
else if( condition 1a | | condition 1b)
statement 1
else
statement n
puede describirse de la siguiente manera::
...a s follows /... the following applies:
- If all the following conditions are true, statement 0:
- condition 0a
- condition 0b
- Otherwise, if one or more of the following conditions are true, statement 1:
- condition 1a
- condition 1b
- Otherwise, statement n.
En el texto, una instrucción de operaciones lógicas como se describiría matemáticamente de la siguiente forma: if( condition 0 )
statement 0
if( condition 1 )
statement 1
puede describirse de la siguiente manera::
When condition 0, statement 0
When condition 1, statement 1
Aunque las realizaciones de la invención se han descrito principalmente basándose en la codificación de vídeo, debería observarse que las realizaciones del sistema 10 de codificación, el codificador 20 y el decodificador 30 (y en consecuencia el sistema 10) y las otras realizaciones descritas en la presente memoria también pueden configurarse para procesamiento o codificación de imagen, es decir, el procesamiento o codificación de una imagen individual independientemente de cualquier imagen anterior o consecutiva como en la codificación de vídeo. En general, solo las unidades 244 de interpredicción (codificador) y 344 (decodificador) pueden no estar disponibles en caso de que la codificación de procesamiento de imagen se limite a una sola imagen 17. Todas las demás funcionalidades (también denominadas herramientas o tecnologías) del codificador 20 de vídeo y el decodificador 30 de vídeo pueden utilizarse igualmente para el procesamiento de imagen fija, por ejemplo, cálculo 204/304 residual, transformada 206, cuantificación 208, cuantificación 210/310 inversa, transformada 212/312 (inversa), división en particiones 262/362, intrapredicción 254/354 y/o filtrado 220 en bucle, 320 y codificación 270 por entropía y decodificación 304 por entropía.
Las realizaciones, por ejemplo, del codificador 20 y del decodificador 30, y las funciones descritas en la presente memoria, por ejemplo, con referencia al codificador 20 y al decodificador 30, pueden implementarse en hardware, software, firmware o cualquier combinación de los mismos. Si se implementan en software, las funciones pueden almacenarse en un medio legible por ordenador o transmitirse a través de medios de comunicación como una o más instrucciones o código y ejecutarse mediante una unidad de procesamiento basada en hardware. Los medios legibles por ordenador pueden incluir medios de almacenamiento legibles por ordenador, que corresponden a un medio tangible, tales como medios de almacenamiento de datos, o medios de comunicación, incluyendo cualquier medio que facilite la transferencia de un programa informático de un lugar a otro, por ejemplo, según un protocolo de comunicación. De esta manera, los medios legibles por ordenador generalmente pueden corresponder a (1) medios de almacenamiento legibles por ordenador tangibles que no son transitorios o (2) un medio de comunicación tal como una señal u onda portadora. Los medios de almacenamiento de datos pueden ser cualquier medio disponible al que se pueda acceder mediante uno o más ordenadores o uno o más procesadores para recuperar instrucciones, código y/o estructuras de datos para la implementación de las técnicas descritas en esta descripción. Un producto de programa informático puede incluir un medio legible por ordenador.
A modo de ejemplo, y no limitativo, dichos medios de almacenamiento legibles por ordenador pueden comprender RAM, ROM, EEPROM , CD-ROM u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, memoria flash o cualquier otro medio que se puede utilizar para almacenar el código de programa deseado en forma de instrucciones o estructuras de datos y al que se puede acceder mediante un ordenador. Además, cualquier conexión se denomina correctamente un medio legible por ordenador. Por ejemplo, si las instrucciones se transmiten desde un sitio web, servidor u otra fuente remota utilizando un cable coaxial, cable de fibra óptica, par trenzado, línea de abonado digital (DSL) o tecnologías inalámbricas, tales como infrarrojos, radio y microondas, a continuación, el cable coaxial, cable de fibra óptica, par trenzado, DSL o tecnologías inalámbricas, tales como infrarrojos, radio y microondas se incluyen en la definición de medio. Sin embargo, debería comprenderse que los medios de almacenamiento legibles por ordenador y los medios de almacenamiento de datos no incluyen conexiones, ondas portadoras, señales u otros medios transitorios, sino que están dirigidos a medios de almacenamiento tangibles y no transitorios. El disco y el disco, como se utilizan en la presente memoria, incluyen disco compacto (CD), disco láser, disco óptico, disco versátil digital (DVD), disquete y disco Blu-ray, donde los discos generalmente reproducen datos magnéticamente, mientras que los discos reproducen datos ópticamente con láser. Las combinaciones de los anteriores también deberían incluirse dentro del alcance de los medios legibles por ordenador.
Las instrucciones pueden ser ejecutadas por uno o más procesadores, tales como uno o más procesadores de señales digitales (DSP), microprocesadores de propósito general, circuitos integrados de aplicación específica (ASIC), matrices lógicas programables en campo (FPGA) u otros circuitos lógicos integrados o discretos equivalentes. Por consiguiente, el término “procesador”, como se utiliza en la presente memoria, puede referirse a cualquiera de las estructuras anteriores o cualquier otra estructura adecuada para la implementación de las técnicas descritas en la presente memoria. Además, en algunos aspectos, la funcionalidad descrita en la presente memoria puede proporcionarse dentro de módulos de hardware y/o software dedicados configurados para codificar y decodificar, o incorporarse en un códec combinado. Además, las técnicas podrían implementarse completamente en uno o más circuitos o elementos lógicos.
Las técnicas de esta descripción pueden implementarse en una amplia variedad de dispositivos o aparatos, incluyendo un teléfono inalámbrico, un circuito integrado (IC) o un conjunto de IC (por ejemplo, un conjunto de chips). En esta descripción se describen varios componentes, módulos o unidades para enfatizar los aspectos funcionales de los dispositivos configurados para realizar las técnicas descritas, pero no necesariamente requieren la realización por diferentes unidades de hardware. Más bien, como se ha descrito anteriormente, varias unidades pueden combinarse en una unidad de hardware de códec o proporcionarse mediante una colección de unidades de hardware interoperativas, que incluyen uno o más procesadores como se ha descrito anteriormente, junto con software y/o firmware adecuados.

Claims (12)

  1. REIVINDICACIONES 1. Un método de intrapredicción direccional para el componente de croma de una imagen, caracterizado porque comprende: obtener un modo de intrapredicción inicial del componente de croma basándose en un valor del modo de intrapredicción de luma (intraPredModeY) de un componente de luma utilizando una primera tabla de consulta (LUT); derivar un modo de intrapredicción de croma (intraPredModeC) desde una segunda LUT utilizando el modo de intrapredicción inicial del componente de croma cuando el formato de croma del componente de croma se define como YUV 4:2:2, teniendo el componente de croma diferentes relaciones de submuestreo en direcciones horizontal (SubWidthC) y vertical (SubHeightC), en donde la segunda LUT tiene 67 entradas, el índice para la segunda LUT es 0-66, y cada índice está asociado con un ángulo de una dirección de intrapredicción; realizar asignación de gran angular en el modo de intrapredicción de croma (intraPredModeC) para obtener un intraPredModeC modificado utilizando una relación de aspecto de bloque del componente de luma para garantizar que las direcciones de intrapredicción para el componente de croma y el componente de luma coinciden; obtener un parámetro intraPredAngle para el componente de croma basándose en el intraPredModeC modificado; y obtener muestras predichas del componente de croma basándose en el parámetro intraPredAngle.
  2. 2. El método de la reivindicación 1, en donde el método además comprende: la obtención del valor del modo de intrapredicción de luma (intraPredModeY) de un flujo de bits;
  3. 3. El método de conformidad con la reivindicación 1 o 2, en donde la realización de asignación de gran angular en el modo de intrapredicción de croma (intraPredModeC) para obtener el intraPredModeC comprende: realizar una asignación de gran angular en un modo de intrapredicción original (predModeIntra) para obtener un predModeIntra modificado, en donde el valor del predModeIntra original es igual al valor del modo de intrapredicción de croma (intraPredModeC).
  4. 4. El método de la reivindicación 3, en donde la obtención del parámetro IntraPredAngle basándose en IntraPredModeC comprende: optener del parámetro intraPredAngle para el componente de croma de una tabla de asignación utilizando el predModeIntra modificado.
  5. 5. El método de cualquiera de las reivindicaciones 1-4, en donde el método además comprende: realizar de una operación de recorte en el modo de intrapredicción de croma derivado (intraPredModeC).
  6. 6. El método de cualquiera de las reivindicaciones 1-5, en donde la asignación de gran angular se realiza para el modo de intrapredicción de luma (intraPredModeY).
  7. 7. El método de la reivindicación 6, en donde la asignación de gran angular se realiza para el modo de intrapredicción de luma (intraPredModeY) utilizando una relación de aspecto de un componente de luma y que da como resultado IntraPredModeFinalY.
  8. 8. El método de cualquiera de las reivindicaciones 1-7, en donde el modo de intrapredicción inicial del componente de croma se obtiene utilizando intra_chroma_mode[xCb][yCb] e IntraPredModeY[xCb cbWidth /2][yCb cbHeight /2] como se especifica en la primera LUT. en donde cuando sps_cclm_enabled_flag es igual a 0, la primera LUT incluye:
    en donde cuando sps_cclm_enabled_flag es igual a 1, la primera LUT incluye:
  9. 9.- El método de la reivindicación 1, en donde la asignación entre el índice y el parámetro de ángulo correspondiente se muestra a continuación:
    en donde predModeIntra representa el índice, y el parámetro intraPredAngle representa el parámetro de ángulo del índice correspondiente; en donde el parámetro intrePredAngle se utiliza para obtener las muestras predichas del componente de croma.
  10. 10. El método de la reivindicación 3, en donde los bloques que no son cuadrados (nW no es igual a nH), la realización de la asignación de gran angular en el modo de intrapredicción original (predModeIntra) para obtener el predModeIntra modificado comprende: si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra 65): nW es mayor que nH predModeIntra es mayor que o igual a 2 predModeIntra es menor que (whRatio > 1) ? (8 2 * whRatio) : 8 De lo contrario, si todas las siguientes condiciones son verdaderas, wideAngle se establece igual a 1 y predModeIntra se establece igual a (predModeIntra - 67): nH es mayor que nW predModeIntra es menor que o igual a 66 predModeIntra es mayor que (whRatio > 1) ? (60 - 2 * whRatio) : 60, en donde la variable whRatio se establece igual a Abs(Log2(nW/nH)); en donde la whRadio es la relación de aspecto del bloque del componente de luma.
  11. 11. Un codificador (20) o un decodificador (30) que comprenden circuitos de procesamiento para llevar a cabo el método según una cualquiera de las reivindicaciones 1 a 10.
  12. 12. Un producto de programa informático que comprende un código de programa para realizar el método según cualquiera de las reivindicaciones 1 a 10.
ES20776473T 2019-03-24 2020-03-24 Method and apparatus for chroma intra prediction in video coding Active ES2992660T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962822981P 2019-03-24 2019-03-24
PCT/RU2020/050059 WO2020197445A1 (en) 2019-03-24 2020-03-24 Method and apparatus for chroma intra prediction in video coding

Publications (1)

Publication Number Publication Date
ES2992660T3 true ES2992660T3 (en) 2024-12-16

Family

ID=72609078

Family Applications (1)

Application Number Title Priority Date Filing Date
ES20776473T Active ES2992660T3 (en) 2019-03-24 2020-03-24 Method and apparatus for chroma intra prediction in video coding

Country Status (15)

Country Link
US (2) US11871033B2 (es)
EP (2) EP3888361B1 (es)
JP (2) JP7299331B2 (es)
KR (2) KR102862262B1 (es)
CN (4) CN118264805A (es)
AU (2) AU2020248651B2 (es)
BR (1) BR112021012480A2 (es)
CA (1) CA3122752A1 (es)
ES (1) ES2992660T3 (es)
HU (1) HUE066833T2 (es)
IL (1) IL284281B2 (es)
MX (1) MX2021009504A (es)
PL (1) PL3888361T3 (es)
WO (1) WO2020197445A1 (es)
ZA (1) ZA202104204B (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12316859B2 (en) 2021-12-16 2025-05-27 Intel Corporation Apparatus, articles of manufacture, and methods for clipping index identification in adaptive loop filtering for video encoding
CN114449354B (zh) * 2022-02-07 2023-12-08 上海幻电信息科技有限公司 视频编辑方法和系统
WO2023200206A1 (ko) * 2022-04-11 2023-10-19 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103918269B (zh) * 2012-01-04 2017-08-01 联发科技(新加坡)私人有限公司 色度帧内预测方法及装置
EP3955573A1 (en) * 2012-04-16 2022-02-16 Electronics And Telecommunications Research Institute Encoding method and decoding method, and computer-readable recording medium
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9300964B2 (en) * 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
CN105122807B (zh) 2013-03-29 2018-11-27 Jvc建伍株式会社 图像解码装置及图像解码方法
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
JP6362370B2 (ja) 2014-03-14 2018-07-25 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10602138B2 (en) * 2015-08-27 2020-03-24 Lg Electronics Inc. Method and device for chroma sample intra prediction in video coding system
JP2019216294A (ja) * 2016-10-14 2019-12-19 シャープ株式会社 エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置
US10531085B2 (en) * 2017-05-09 2020-01-07 Futurewei Technologies, Inc. Coding chroma samples in video compression
CN119629336A (zh) * 2018-05-14 2025-03-14 交互数字Vc控股公司 用于视频编解码的方法、设备、装置、介质和程序产品

Also Published As

Publication number Publication date
US20210344953A1 (en) 2021-11-04
EP4351135A2 (en) 2024-04-10
CN113170118B (zh) 2024-03-01
AU2020248651B2 (en) 2024-10-31
CA3122752A1 (en) 2020-10-01
JP2022521925A (ja) 2022-04-13
AU2025200416A1 (en) 2025-02-13
US12395677B2 (en) 2025-08-19
KR20250139893A (ko) 2025-09-23
EP3888361A4 (en) 2022-01-19
EP4351135A3 (en) 2024-07-03
CN118264804A (zh) 2024-06-28
JP7299331B2 (ja) 2023-06-27
KR102862262B1 (ko) 2025-09-18
EP3888361B1 (en) 2024-04-24
WO2020197445A1 (en) 2020-10-01
HUE066833T2 (hu) 2024-09-28
IL284281B2 (en) 2025-04-01
CN118540474A (zh) 2024-08-23
CN113170118A (zh) 2021-07-23
EP3888361A1 (en) 2021-10-06
MX2021009504A (es) 2021-09-08
AU2020248651A1 (en) 2021-07-08
US11871033B2 (en) 2024-01-09
PL3888361T3 (pl) 2024-08-05
JP7553007B2 (ja) 2024-09-18
BR112021012480A2 (pt) 2021-11-23
KR20210094057A (ko) 2021-07-28
IL284281A (en) 2021-08-31
US20240121433A1 (en) 2024-04-11
JP2023126795A (ja) 2023-09-12
IL284281B1 (en) 2024-12-01
ZA202104204B (en) 2022-08-31
CN118264805A (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
ES2989421T3 (es) Un codificador, un decodificador y métodos correspondientes para la intrapredicción
JP7106744B2 (ja) ルーマおよびクロマ成分についてibc専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
ES2946909T3 (es) Método, aparato y producto de programa informático para interpredicción
ES2973667T3 (es) Un codificador de video, un decodificador de video y métodos correspondientes
ES3024974T3 (en) An encoder, a decoder and corresponding methods for sub-block partitioning mode
ES2987742T3 (es) Método y aparato para intrapredicción
ES2992657T3 (en) Method and apparatus for affine based inter prediction of chroma subblocks
ES2993252T3 (en) An encoder, a decoder and corresponding methods using ibc merge list
ES2975941T3 (es) Armonización de intrapredicción basada en matriz y selección de núcleo de transformada secundaria
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
ES2972326T3 (es) Un codificador, un decodificador y métodos correspondientes para el modo de fusión
ES2963621T3 (es) Un codificador, un decodificador y métodos correspondientes que usan una codificación de paleta
WO2020177520A1 (en) An encoder, a decoder and corresponding methods using ibc search range optimization for abitrary ctu size
ES3041489T3 (en) An encoder, a decoder and corresponding methods
ES2985369T3 (es) Un codificador, un decodificador y métodos correspondientes de derivación de croma de modo intra
WO2021170132A1 (en) An encoder, a decoder and corresponding methods simplifying signalling slice header syntax elements
ES2984321T3 (es) Método y aparato de restricciones a nivel de bloque dependientes de modo y tamaño
ES3014838T3 (en) Method for deriving interpolation filter index for a current block; devices for video compression
ES2988839T3 (es) Método y aparato de modelización lineal de componentes cruzados para intrapredicción
WO2021159962A1 (en) An encoder, a decoder and corresponding methods for subpicture signalling in sequence parameter set
JP7553007B2 (ja) ビデオコーディングにおけるクロマイントラ予測のための方法及び装置
ES2967903T3 (es) Codificador, decodificador y métodos correspondientes utilizando filtrado por interpolación
ES2946058T3 (es) Un codificador, un decodificador y los métodos correspondientes que usan la codificación intramodo para la intrapredicción
WO2020259476A1 (en) Sample distance calculation for geometric partition mode
WO2021045655A9 (en) Method and apparatus for intra prediction