[go: up one dir, main page]

ES3011360T3 - Image processing device, image processing method, program, and storage medium - Google Patents

Image processing device, image processing method, program, and storage medium Download PDF

Info

Publication number
ES3011360T3
ES3011360T3 ES21209484T ES21209484T ES3011360T3 ES 3011360 T3 ES3011360 T3 ES 3011360T3 ES 21209484 T ES21209484 T ES 21209484T ES 21209484 T ES21209484 T ES 21209484T ES 3011360 T3 ES3011360 T3 ES 3011360T3
Authority
ES
Spain
Prior art keywords
unit
filtering
image
filter
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21209484T
Other languages
English (en)
Inventor
Masaru Ikeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES3011360(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Group Corp filed Critical Sony Group Corp
Application granted granted Critical
Publication of ES3011360T3 publication Critical patent/ES3011360T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

La presente tecnología se refiere a un dispositivo y un método de procesamiento de imágenes que permiten aplicar el filtrado de forma adecuada mediante un proceso de desbloqueo. Un píxel (p0 i) con un valor de 255 (línea continua) antes del desbloqueo cambia significativamente a 159 (línea de puntos) después de un proceso de desbloqueo convencional. Por lo tanto, se realiza un proceso de recorte con un valor de recorte de 10 en un filtrado fuerte, donde el píxel (p0 i) con un valor de 255 (línea continua) antes del desbloqueo se convierte en 245 (línea gruesa). De esta forma, se puede suprimir al máximo el cambio en el valor del píxel que se produce con la técnica convencional. Esta divulgación puede aplicarse, por ejemplo, a un dispositivo de procesamiento de imágenes. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes, programa y medio de almacenamiento
Campo técnico
Esta técnica se refiere a un dispositivo de procesamiento de imágenes, un método de procesamiento de imágenes, un programa, y un medio de almacenamiento. Específicamente, esta técnica permite que un proceso de filtrado de desbloqueo aplique el filtrado apropiadamente.
Técnica anterior
En los últimos años, los dispositivos que manejan información de imágenes como datos digitales, que, en tal caso, tienen como objetivo transmitir y almacenar información con una alta eficiencia, y que se ajustan a un esquema, tales como MPEG2 (Organización Internacional de Normalización y Comisión Electrotécnica Internacional [ISO/IEC] 13818 2), para comprimir información de imágenes utilizando transformación ortogonal, tal como la transformación de coseno discreto, y utilizando compensación de movimiento utilizando redundancia que es única para la información de imágenes, se han generalizado tanto en la distribución de información en estaciones de radiodifusión como en la recepción de información en hogares comunes. Además, también se han utilizado esquemas denominados H.264 y MPEG4 parte 10 (Codificación de vídeo avanzada [AVC]), que requieren una mayor cantidad de operaciones para codificar y decodificar pero pueden lograr una mayor eficiencia de codificación que MPEG2 o similares. Además, actualmente, se están realizando trabajos de estandarización para la codificación de vídeo de alta eficiencia (HEVC, en inglés), que es un esquema de codificación de imágenes de próxima generación, de modo que la compresión, distribución o similares de imágenes de alta resolución de 4000 * 2000 píxeles, que es cuatro veces la de las imágenes de alta visión, se puede realizar de eficazmente.
En los trabajos de estandarización para la codificación de vídeo de alta eficiencia (HEVC), que es un esquema de codificación de imágenes de próxima generación, JCTVC-A119 (ver documento distinto de los de patentes 1 a continuación) propone aplicar un filtro de desbloqueo a cada bloque que tenga un tamaño de 8 * 8 píxeles o mayor. En el método propuesto en JCTVC-A119, al aumentar un tamaño de bloque de unidades mínimo al que se aplicará un filtro de desbloqueo, es posible ejecutar un proceso de filtrado en paralelo en una pluralidad de límites de bloque en la misma dirección dentro de un macrobloque.
Lista de citas
Documento distinto de los de patentes
Documento distinto de los de patentes 1: K. Ugur (Nokia), K. R. Andersson (LM Ericsson), A. Fuldseth (Tandberg Telecom), “ JCTVC-A119: vídeo coding technology proposal by Tandberg, Nokia, and Ericsson,” Documents of the first meeting of the Joint Collaborative Team on Viídeo Coding (JCT-VC), Dresden, Alemania, 15-23 de abril de 2010Resumen de la invención
Problemas a resolver mediante la invención
Sin embargo, en el proceso de filtrado de desbloqueo convencional, el filtrado no se realiza de forma apropiada. Por lo tanto, un objeto de esta técnica es permitir que un proceso de filtrado de desbloqueo aplique el filtrado de forma apropiada.
Soluciones a problemas
La invención se define en las reivindicaciones adjuntas a la presente memoria.
Efectos de la invención
Según esta técnica, es posible permitir que un proceso de filtrado de desbloqueo aplique el filtrado de forma apropiada.
Breve descripción de las figuras
Las figuras 1(A) y 1(B) son diagramas para describir un proceso de filtrado de desbloqueo convencional.
La figura 2 es un diagrama que ilustra una configuración cuando se aplica a un dispositivo de codificación de imágenes. La figura 3 es un diagrama de flujo que ilustra una operación de codificación de imágenes.
La figura 4 es un diagrama de flujo que ilustra un proceso de intrapredicción.
La figura 5 es un diagrama de flujo que ilustra un proceso de interpredicción.
La figura 6 es un diagrama que ilustra una configuración cuando se aplica a un dispositivo de decodificación de imágenes.
La figura 7 es un diagrama de flujo que ilustra una operación de decodificación de imágenes.
La figura 8 es un diagrama para describir una operación básica de una unidad de filtrado de desbloqueo.
La figura 9 es un diagrama que ilustra la configuración de la unidad de filtrado de desbloqueo.
La figura 10 es un diagrama de flujo que ilustra la operación de la unidad de filtrado de desbloqueo.
La figura 11 es un diagrama que ilustra la configuración de una unidad de operación de filtro.
La figura 12 es un diagrama que ilustra la configuración de la unidad de operación de filtro.
Las figuras 13(A) y 13(B) son diagramas para describir la operación de la unidad de operación de filtro.
Las figuras 14(A) y 14(B) son diagramas para describir la operación de la unidad de operación de filtro.
La figura 15 es un diagrama de flujo que ilustra la operación de una implementación ilustrativa.
La figura 16 es un diagrama para describir un proceso de filtrado de desbloqueo convencional.
La figura 17 es un diagrama para describir la presente técnica.
La figura 18 es un diagrama para describir la presente técnica.
La figura 19 es un diagrama que ilustra píxeles utilizados en el proceso de filtrado de desbloqueo de la presente técnica.
La figura 20 es un diagrama para describir valores de píxel que cambian debido al filtrado fuerte convencional. La figura 21 es un diagrama para describir los efectos del filtrado fuerte basado en recortes.
La figura 22 es un diagrama que ilustra la configuración de la unidad de filtrado de desbloqueo.
La figura 23 es un diagrama de flujo que ilustra la operación de la unidad de filtrado de desbloqueo.
La figura 24 es un diagrama que ilustra la configuración de la unidad de filtrado de desbloqueo.
La figura 25 es un diagrama que ilustra la configuración de la unidad de filtrado de desbloqueo.
La figura 26 es un diagrama de flujo que ilustra la operación de la unidad de filtrado de desbloqueo.
La figura 27 es un diagrama de flujo para describir un proceso de desbloqueo de señales de luminancia.
La figura 28 es un diagrama para describir un ejemplo del caso R3W2.
La figura 29 es un diagrama que ilustra un ejemplo de un esquema de codificación de imágenes de múltiples vistas. La figura 30 es un diagrama que ilustra un ejemplo de componentes principales de un dispositivo de codificación de imágenes de múltiples vistas al que se aplica la presente técnica.
La figura 31 es un diagrama que ilustra un ejemplo de componentes principales de un dispositivo de decodificación de imágenes de múltiples vistas al que se aplica la presente técnica.
La figura 32 es un diagrama que ilustra un ejemplo de un esquema de codificación de imágenes de capa.
La figura 33 es un diagrama que ilustra un ejemplo de componentes principales de un dispositivo de codificación de imágenes de capa al que se aplica la presente técnica.
La figura 34 es un diagrama que ilustra un ejemplo de componentes principales de un dispositivo de decodificación de imágenes de capa al que se aplica la presente técnica.
La figura 35 es un diagrama que ilustra un ejemplo de una configuración esquemática de un aparato de televisión. La figura 36 es un diagrama que ilustra un ejemplo de una configuración esquemática de un teléfono móvil.
La figura 37 es un diagrama que ilustra un ejemplo de una configuración esquemática de un dispositivo de grabado/reproducción.
La figura 38 es un diagrama que ilustra un ejemplo de una configuración esquemática de un dispositivo de obtención de imágenes.
Modo de llevar a cabo la invención
A continuación en la memoria, se describirán los modos para llevar a cabo la presente técnica. Aunque en la presente memoria se describen múltiples “ realizaciones” , solo la realización 8 entra dentro del alcance de protección de las reivindicaciones adjuntas. La descripción se dará en el siguiente orden:
1. T écnica convencional
2. Configuración cuando se aplica al dispositivo de codificación de imágenes
3. Operación del dispositivo de codificación de imágenes
4. Configuración cuando se aplica al dispositivo de decodificación de imágenes
5. Operación del dispositivo de decodificación de imágenes
6. Operación básica de la unidad de filtrado de desbloqueo
7. Primera realización de la unidad de filtrado de desbloqueo
8. Segunda realización de la unidad de filtrado de desbloqueo
9. Tercera realización de la unidad de filtrado de desbloqueo
10. Cuarta realización de la unidad de filtrado de desbloqueo
11. Quinta realización de la unidad de filtrado de desbloqueo
12. Descripción de las sexta a octava realizaciones
13. Sexta realización de la unidad de filtrado de desbloqueo
14. Séptima realización de la unidad de filtrado de desbloqueo
15. Octava realización de la unidad de filtrado de desbloqueo
16. Novena realización
17. Décima realización (dispositivo de codificación y decodificación de imágenes de múltiples vistas) 18. Undécima realización (dispositivo de codificación y decodificación de imágenes de capa)
19. Ejemplo de aplicación
[1. Técnica convencional]
Se describirá un proceso de filtrado de desbloqueo convencional con referencia a las figuras 1(A) y 1 (B).
Como se ilustra en la figura 1(A), por ejemplo, cuando se realiza un proceso de filtrado de desbloqueo en un orden de ráster en las respectivas unidades de codificación más grandes (LCU, en inglés), los datos de imagen correspondientes a un número predeterminado de líneas de un límite interbloques BB de LCUu, que es un bloque superior, se almacenan en una memoria de líneas, y se realiza un proceso de filtrado vertical utilizando los datos de imagen y los datos de imagen de LCU1, que es un bloque inferior obtenido después del almacenamiento. Por ejemplo, como se ilustra en la figura 1 (B), cuando se realiza la operación de filtro utilizando datos de imagen correspondientes a cuatro líneas del límite BB mientras se utilizan datos de imagen de los bloques superior e inferior, cada uno correspondiente a tres líneas del límite interbloques BB, como un intervalo de procesamiento del proceso de filtrado vertical, los datos de imagen correspondientes a cuatro líneas del límite BB, de LCUu, que es el bloque superior, se almacenan en la memoria de líneas. En los dibujos, los píxeles objetivo del filtro de desbloqueo se representa mediante círculos dobles, y los límites superior e inferior del intervalo de procesamiento del filtro de desbloqueo se indican con “ DBU” y “ DBL” , respectivamente.
De esta manera, dado que los datos de imágenes correspondientes a un número predeterminado de líneas del límite interbloques BB se almacenan en la memoria de líneas para utilizarse en la operación de filtrado, si el número de píxeles en la dirección horizontal aumenta, la capacidad de memoria de la memoria de líneas aumenta.
[2. Configuración cuando se aplica al dispositivo de codificación de imágenes]
La figura 2 ilustra una configuración cuando el dispositivo de procesamiento de imágenes de la presente técnica se aplica a un dispositivo de codificación de imágenes. Un dispositivo 10 de codificación de imágenes incluye un convertidor analógico/digital (convertidor A/D) 11, un búfer 12 de reordenamiento de tramas, un sustractor 13, un transformador ortogonal 14, un cuantificador 15, un codificador sin pérdidas 16, un búfer 17 de acumulación, y un controlador 18 de velocidad. El dispositivo 10 de codificación de imágenes incluye además un cuantificador inverso 21, un transformador ortogonal inverso 22, un sumador 23, una unidad 24 de filtrado de desbloqueo, una memoria 25 de tramas, un selector 26, un intrapredictor 31, un estimador/compensador 32 de movimiento, y una unidad 33 de selección de imagen predicha/modo óptimo.
El convertidor A/D 11 convierte una señal de imagen analógica en datos de imagen digitales y envía los datos de imagen digitales al búfer 12 de reordenamiento de tramas.
El búfer 12 de reordenamiento de tramas reordenar las tramas de la salida de datos de imagen desde el conversor A/D 11. El búfer 12 de reordenamiento de tramas realiza el reordenamiento de tramas según una estructura GOP (grupo de imagen) relacionada con un proceso de codificación y envía los datos de imagen reordenados al sustractor 13, al intrapredictor 31 y al estimador/compensador 32 de movimiento.
El sustractor 13 recibe los datos de imagen enviados desde el búfer 12 de reordenamiento de tramas y los datos de imagen predichos seleccionados por la unidad 33 de selección de modo óptimo/imagen predicha que se describe más adelante. El sustractor 13 calcula datos de error de predicción que son una diferencia entre los datos de imagen enviados desde el búfer 12 de reordenamiento de tramas y los datos de imagen predichos suministrados desde la unidad 33 de selección de modo óptimo/imagen predicha y envía los datos de error de predicción al transformador ortogonal 14.
El transformador ortogonal 14 realiza un proceso de transformación ortogonal, tal como la transformada discreta de coseno (DCT, en inglés) o la transformada de Karhunen-Loeve con respecto a los datos de error de predicción enviados desde el sustractor 13. El transformador ortogonal 14 envía datos de coeficiente de transformación obtenidos al realizar el proceso de transformación ortogonal al cuantificador 15.
Al cuantificador 15 se suministra con los datos de coeficiente de transformación enviados por el transformador ortogonal 14 y una señal de control de velocidad del controlador 18 de velocidad descrito más adelante. El cuantificador 15 cuantifica los datos de coeficiente de transformación y envía los datos cuantificados al codificador sin pérdidas 16 y al cuantificador inverso 21. Además, el cuantificador 15 conmuta un parámetro de cuantificación (escala de cuantificación) basándose en la señal de control de velocidad del controlador 18 de velocidad para cambiar la velocidad de bits de los datos cuantificados.
El codificador sin pérdidas 16 se suministra con la salida de datos cuantificados del cuantificador 15 y la información del modo de predicción del intrapredictor 31, el estimador/compensador 32 de movimiento, y la unidad 33 de selección de modo óptimo/imagen predicha descrita más adelante. La información del modo de predicción incluye un tipo de macrobloque que permite identificar un tamaño de bloque predicho, un modo de predicción, información de vector de movimiento, información de imagen de referencia, y similares según la intrapredicción o interpredicción. El codificador sin pérdida 16 realiza un proceso de codificación sin pérdida tal como, por ejemplo, codificación de longitud variable o codificación aritmética en los datos cuantificados para generar un flujo codificado y envía el flujo codificado al búfer 17 de acumulación. Además, el codificador sin pérdida 16 codifica sin pérdida la información del modo de predicción para añadir la información del modo de predicción codificada a la información del encabezado del flujo codificado.
El búfer 17 de acumulación acumula los flujos codificados del codificador sin pérdida 16. Además, el búfer 17 de acumulación envía los flujos codificados acumulados a una velocidad de transferencia correspondiente a una línea de transmisión.
El controlador 18 de velocidad monitorea un espacio libre del búfer 17 de acumulación, genera una señal de control de velocidad según el espacio libre y envía la señal de control de velocidad al cuantificador 15. El controlador 18 de velocidad adquiere información que indica el espacio libre del búfer 17 de acumulación, por ejemplo. El controlador 18 de velocidad reduce la velocidad de bits de los datos cuantificados utilizando la señal de control de velocidad cuando el espacio libre disminuye. Además, el controlador 18 de velocidad aumenta la velocidad de bits de los datos cuantificados utilizando la señal de control de velocidad cuando el espacio libre del búfer 17 de acumulación es suficientemente grande.
El cuantificador inverso 21 realiza un proceso de cuantificación inversa en los datos cuantificados suministrados desde el cuantificador 15. El cuantificador inverso 21 envía datos de coeficiente de transformación obtenidos al realizar el proceso de cuantificación inversa al transformador ortogonal inverso 22.
El transformador ortogonal inverso 22 envía datos obtenidos al realizar un proceso de transformación ortogonal sobre los datos de coeficiente de transformación suministrados desde el cuantificador inverso 21 al sumador 23.
El sumador 23 suma los datos suministrados desde el transformador ortogonal inverso 22 y los datos de imagen predicha suministrados desde la unidad 33 de selección de modo óptimo/imagen predicha para generar datos de imagen decodificada y envía los datos de imagen decodificada a la unidad 24 de filtrado de desbloqueo y a la memoria 25 de tramas.
La unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado para reducir la distorsión de bloques que se produce durante la codificación de imágenes. La unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado para eliminar la distorsión de bloque de los datos de imagen decodificados suministrados desde el sumador 23 y envía los datos de imagen que han sido sometidos al proceso de filtrado a la memoria 25 de tramas. Además, la unidad 24 de filtrado de desbloqueo controla un intervalo de imágenes utilizado para una operación de filtrado en un bloque colocado en el lado superior de un límite según un límite detectado al realizar la detección de límites entre bloques en una dirección vertical. De esta manera, al controlar el intervalo de imagen utilizado para la operación de filtrado, la unidad 24 de filtrado de desbloqueo permite que se lleve a cabo un proceso de filtrado vertical incluso cuando se reduce la capacidad de memoria de la memoria de líneas que almacena datos de imagen. Los detalles del mismo se describirán más adelante.
La memoria 25 de tramas mantiene los datos de imagen decodificados suministrados desde el sumador 23 y los datos de imagen decodificados que han sido sometidos al proceso de filtrado, suministrados desde la unidad 24 de filtrado de desbloqueo como datos de imagen de una imagen de referencia.
El selector 26 suministra los datos de imagen de referencia antes del proceso de filtrado, leídos desde la memoria 25 de tramas al intrapredictor 31 para realizar la intrapredicción. Además, el selector 26 suministra los datos de imagen de referencia que han sido sometidos al proceso de filtrado, leídos desde la memoria 25 de tramas al estimador/compensador 32 de movimiento para realizar la interpredicción.
El intrapredictor 31 realiza un proceso de intrapredicción en todos los modos de intrapredicción candidatos utilizando los datos de imagen de una imagen objetivo de codificación enviada desde el búfer 12 de reordenamiento de tramas y los datos de imagen de referencia antes del proceso de filtrado, leídos desde la memoria 25 de tramas. Además, el intrapredictor 31 calcula un valor de función de coste para cada modo de intrapredicción y selecciona un modo de intrapredicción en el que el valor de función de coste calculado es el más pequeño (es decir, un modo de intrapredicción en el que se obtiene la mejor eficiencia de codificación) como un modo de intrapredicción óptimo. El intrapredictor 31 envía datos de imagen predichos generados en el modo de intrapredicción óptimo, la información del modo de predicción en el modo de intrapredicción óptimo, y un valor de función de coste en el modo de intrapredicción óptimo a la unidad 33 de selección de imagen predicha/modo óptimo. Además, el intrapredictor 31 envía la información del modo de predicción sobre el modo de intrapredicción en el proceso de intrapredicción en los respectivos modos de intrapredicción al codificador sin pérdida 16 para obtener una cantidad de código generado que se utiliza en el cálculo del valor de la función de coste como se describe más adelante.
El estimador/compensador 32 de movimiento realiza un proceso de estimación/compensación de movimiento en todos los tamaños de bloque predichos correspondientes a macrobloques. El estimador/compensador 32 de movimiento detecta un vector de movimiento utilizando los datos de imagen de referencia que han sido sometidos al proceso de filtrado, leídos desde la memoria 25 de tramas con respecto a cada una de las imágenes objetivo de codificación de los respectivos tamaños de bloque predichos, leídos desde el búfer 12 de reordenamiento de tramas. Además, el estimador/compensador 32 de movimiento realiza un proceso de compensación de movimiento en la imagen decodificada basándose en el vector de movimiento detectado para generar una imagen predicha. Además, el estimador/compensador 32 de movimiento calcula un valor de función de coste para cada tamaño de bloque predicho y selecciona un tamaño de bloque predicho en el que el valor de función de coste calculado es el más pequeño (es decir, un tamaño de bloque predicho en el que se obtiene la mejor eficiencia de codificación) como un modo de interpredicción óptimo. El estimador/compensador 32 de movimiento envía los datos de imagen predichos generados en el modo de interpredicción óptimo, la información del modo de predicción en el modo de interpredicción óptimo, y el valor de la función de coste en el modo de interpredicción óptimo a la unidad 33 de selección de imagen predicha/modo óptimo. Además, el estimador/compensador 32 de movimiento envía la información del modo de predicción sobre el modo de interpredicción en el proceso de interpredicción en los respectivos tamaños de bloque predichos al codificador sin pérdida 16 para obtener una cantidad de código generado utilizada en el cálculo del valor de la función de coste. El estimador/compensador 32 de movimiento también realiza la predicción en un modo de macrobloques omitidos y un modo directo como modo de interpredicción.
La unidad 33 de selección de imagen/modo óptimo predicha compara el valor de la función de coste suministrado desde el intrapredictor 31 y el valor de la función de coste suministrado desde el estimador/compensador 32 de movimiento en las respectivas unidades de macrobloque y selecciona un modo en el que el valor de la función de coste es más pequeño como modo óptimo en el que se obtiene la mejor eficiencia de codificación. Además, la unidad 33 de selección de imagen predicha/modo óptimo envía datos de imagen predichos generados en el modo óptimo al sustractor 13 y al sumador 23. Además, la unidad 33 de selección de imagen predicha/modo óptimo envía la información del modo de predicción del modo óptimo al codificador sin pérdidas 16. La unidad 33 de selección de modo óptimo/imagen predicha puede realizar la intrapredicción o la interpredicción en las unidades de corte respectivas.
Una unidad de codificación en las reivindicaciones incluye el intrapredictor 31 que genera datos de imagen predichos, el estimador/compensador 32 de movimiento, la unidad 33 de selección de modo óptimo/imagen predicha, el sustractor 13, el transformador ortogonal 14, el cuantificador 15, el codificador sin pérdida 16 y similares.
[3. Operación del dispositivo de codificación de imágenes]
La figura 3 es un diagrama de flujo que ilustra la operación de un proceso de codificación de imágenes. En el paso ST11, el convertidor A/D 11 realiza la conversión A/D en una señal de imagen de entrada.
En el paso ST12, el búfer 12 de reordenamiento de tramas realiza el reordenamiento de la pantalla. El búfer 12 de reordenamiento de tramas almacena los datos de imagen suministrados desde el convertidor A/D 11 y reordena las fotos respectivas de modo que los fotos dispuestos en el orden de visualización se reordenen en el orden de codificación.
En el paso ST13, el sustractor 13 genera datos de error de predicción. El sustractor 13 calcula una diferencia entre los datos de imagen de las imágenes reordenadas en el paso ST12 y los datos de imagen predichos seleccionados por la unidad 33 de selección de imagen predicha/modo óptimo para generar datos de error de predicción. Los datos de error de predicción tienen una cantidad de datos que es menor que la de los datos de imagen originales. Por lo tanto, es posible comprimir la cantidad de datos en comparación con cuando la imagen se codifica tal cual. Cuando la unidad 33 de selección de modo óptimo/imagen predicha selecciona la imagen predicha suministrada desde el intrapredictor 31 y la imagen predicha desde el estimador/compensador 32 de movimiento en unidades de corte respectivas, la intrapredicción se realiza en el corte en el que se selecciona la imagen predicha suministrada desde el intrapredictor 31. Además, la interpredicción se realiza en el corte en el que se selecciona la imagen predicha del estimador/compensador 32 de movimiento.
En el paso ST14, el transformador ortogonal 14 realiza un proceso de transformación ortogonal. El transformador ortogonal 14 realiza una transformación ortogonal en los datos de error de predicción suministrados desde el sustractor 13. Específicamente, se realiza una transformación ortogonal, tal como la transformada de coseno discreta o la transformada de Karhunen-Loeve, sobre los datos de error de predicción y se generan los datos del coeficiente de transformación.
En el paso ST15, el cuantificador 15 realiza un proceso de cuantificación. El cuantificador 15 cuantifica los datos del coeficiente de transformación. Cuando se realiza la cuantificación, el control de velocidad se realiza como se describirá en el proceso del paso ST25.
En el paso ST16, el cuantificador inverso 21 realiza un proceso de cuantificación inversa. El cuantificador inverso 21 realiza una cuantificación inversa en los datos del coeficiente de transformación cuantificados por el cuantificador 15 según una propiedad correspondiente a la propiedad del cuantificador 15.
En el paso ST17, el transformador ortogonal inverso 22 realiza un proceso de transformación ortogonal. El transformador ortogonal inverso 22 realiza una transformación ortogonal inversa en los datos del coeficiente de transformación cuantificados inversamente por el cuantificador inverso 21 según una propiedad correspondiente a la propiedad del transformador ortogonal 14.
En el paso ST18, el sumador 23 genera datos de imagen decodificados. El sumador 23 suma los datos de imagen predicha suministrados desde la unidad 33 de selección de modo óptimo/imagen predicha y los datos después de la transformación ortogonal inversa en la posición correspondiente a la imagen predicha para generar datos de imagen decodificados.
En el paso ST19, la unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado de desbloqueo. La unidad 24 de filtrado de desbloqueo realiza el filtrado de los datos de imagen decodificados enviados desde el sumador 23 para eliminar la distorsión del bloque. Además, la unidad 24 de filtrado de desbloqueo está configurada para realizar un proceso de filtrado vertical incluso cuando se reduce la capacidad de memoria de la memoria de líneas que almacena los datos de imagen. Específicamente, la unidad 24 de filtrado de desbloqueo controla un intervalo de imágenes utilizado para una operación de filtrado en un bloque colocado en el lado superior de un límite según un límite detectado al realizar la detección de límites entre bloques en la dirección vertical.
En el paso ST20, la memoria 25 de tramas almacena datos de imagen decodificados. La memoria 25 de tramas almacena los datos de imagen decodificados antes del proceso de filtrado de desbloqueo.
En el paso ST21, el intrapredictor 31 y el estimador/compensador 32 de movimiento realizan procesos de predicción. Es decir, el intrapredictor 31 realiza un proceso de intrapredicción en el modo de intrapredicción y el estimador/compensador 32 de movimiento realiza un proceso de estimación/compensación de movimiento en el modo de interpredicción. Mediante este proceso, los procesos de predicción se realizan en todos los modos de predicción candidatos, y se calculan los valores de función de coste en todos los modos de predicción candidatos. El modo de intrapredicción óptimo y el modo de interpredicción óptimo se seleccionan basándose en los valores de función de coste calculados, y la imagen predicha generada en el modo de predicción seleccionado y la función de coste y la información del modo de predicción se suministran a la unidad 33 de selección de imagen predicha/modo óptimo.
En el paso ST22, la unidad 33 de selección de imagen predicha/modo óptimo selecciona los datos de imagen predichos. La unidad 33 de selección de imagen predicha/modo óptimo determina un modo óptimo en el que se obtiene la mejor eficiencia de codificación basándose en los respectivos valores de función de coste enviados por el intrapredictor 31 y el estimador/compensador 32 de movimiento. Además, la unidad 33 de selección de imagen predicha/modo óptimo selecciona los datos de imagen predichos en el modo óptimo determinado y suministra los datos de imagen predichos al sustractor 13 y al sumador 23. La imagen predicha se utiliza para la operación en los pasos ST13 y ST18 tal como se ha descrito anteriormente.
En el paso ST23, el codificador sin pérdidas 16 realiza un proceso de codificación sin pérdidas. El codificador sin pérdidas 16 realiza una codificación sin pérdidas en los datos cuantificados enviados desde el cuantificador 15. Es decir, la codificación sin pérdidas, tal como la codificación de longitud variable o la codificación aritmética, se realiza en los datos cuantificados, por lo que los datos cuantificados se comprimen. En este caso, en el paso ST22 descrito anteriormente, la información del modo de predicción (por ejemplo, que incluye el tipo de macrobloque, el modo de predicción, la información del vector de movimiento, la información de la imagen de referencia, y similares) introducida en el codificador sin pérdidas 16 también se somete a codificación sin pérdidas. Además, los datos de codificación sin pérdidas de la información del modo de predicción se añaden a la información de cabecera del flujo codificado generado mediante la codificación sin pérdidas de los datos cuantificados.
En el paso ST24, el búfer 17 de acumulación realiza un proceso de acumulación para acumular el flujo codificado. El flujo codificado acumulado en el búfer 17 de acumulación se lee adecuadamente y se transmite a un lado de decodificación a través de una línea de transmisión.
En el paso ST25, el controlador 18 de velocidad realiza el control de velocidad. El controlador 18 de velocidad controla la velocidad de la operación de cuantificación del cuantificador 15 para que no se produzca un desbordamiento o un subdesbordamiento en el búfer 17 de acumulación cuando el búfer 17 de acumulación acumula el flujo codificado.
A continuación, se describirá el proceso de predicción en el paso ST21 de la figura 3. El intrapredictor 31 realiza un proceso de intrapredicción. El intrapredictor 31 realiza una intrapredicción en la imagen de un bloque actual en todos los modos de intrapredicción candidatos. Los datos de imagen de una imagen de referencia a la que se hace referencia en la intrapredicción no se someten al proceso de filtrado de la unidad 24 de filtrado de desbloqueo, sino que se utilizan los datos de imagen de referencia almacenados en la memoria 25 de tramas. Aunque los detalles del proceso de intrapredicción se describen más adelante, mediante este proceso se realiza la intrapredicción en todos los modos de intrapredicción candidatos, y se calculan los valores de función de coste en todos los modos de intrapredicción candidatos. Además, un modo de intrapredicción en el que se obtiene la mejor eficiencia de codificación se selecciona entre todos los modos de intrapredicción basándose en los valores calculados de la función de coste. El estimador/compensador 32 de movimiento realiza un proceso de interpredicción. El estimador/compensador 32 de movimiento realiza un proceso de interpredicción en todos los modos de interpredicción candidatos (todos los tamaños de bloque predichos) utilizando los datos de imagen de referencia que se han sometido al proceso de filtrado, almacenados en la memoria 25 de tramas. Aunque los detalles del proceso de interpredicción se describen más adelante, mediante este proceso, el proceso de predicción se realiza en todos los modos de interpredicción candidatos, y se calculan los valores de función de coste en todos los modos de interpredicción candidatos. Además, un modo de interpredicción en el que se obtiene la mejor eficiencia de codificación se selecciona entre todos los modos de interpredicción basándose en los valores calculados de la función de coste.
El proceso de intrapredicción se describirá con referencia al diagrama de flujo de la figura 4. En el paso ST31, el intrapredictor 31 realiza la intrapredicción en los modos de predicción respectivos. El intrapredictor 31 genera datos de imagen predichos en cada modo de intrapredicción utilizando los datos de imagen decodificados antes del proceso de filtrado, almacenados en la memoria 25 de tramas.
En el paso ST32, el intrapredictor 31 calcula los valores de función de coste de los modos de predicción respectivos. Por ejemplo, el proceso de codificación sin pérdidas se realiza tentativamente en todos los modos de predicción candidatos, el valor de la función de coste expresado por la expresión (1) siguiente se calcula en los modos de predicción respectivos.
En la presente memoria, “ O” representa un conjunto universal de modos de predicción candidatos para codificar bloques y macrobloques. “ D” representa la energía diferencial (distorsión) entre una imagen decodificada y una imagen de entrada cuando la codificación se realiza en un modo de predicción. “ R” representa una cantidad de códigos generados que incluye coeficientes de transformación ortogonal, la información del modo de predicción y similares, y “ A” representa el multiplicador de Lagrange dado como función de un parámetro de cuantificación QP.
Además, con respecto a todos los modos de predicción candidatos, se generan las imágenes predichas y se calculan los bits de cabecera, tal como la información del vector de movimiento y la información del modo de predicción, y el valor de la función de coste expresado por la expresión (2) siguiente se calcula en los modos de predicción respectivos.
En la presente memoria, “ O” representa un conjunto universal de modos de predicción candidatos para codificar bloques y macrobloques. “ D” representa la energía diferencial (distorsión) entre una imagen decodificada y una imagen de entrada cuando la codificación se realiza en un modo de predicción. “ Encabezado_Bit” es un bit de cabecera de un modo de predicción, y “ QPaCuant” es una función dada como función de un parámetro de cuantificación QP.
En el paso ST33, el intrapredictor 31 determina un modo de intrapredicción óptimo. El intrapredictor 31 selecciona un modo de intrapredicción en el que el valor de la función de coste calculado es el más pequeño basándose en los valores de función de coste calculados en el paso ST32 y determina el modo de intrapredicción como el modo de intrapredicción óptimo.
A continuación, se describirá el proceso de interpredicción con referencia al diagrama de flujo de la figura 5. En el paso ST41, el estimador/compensador 32 de movimiento determina un vector de movimiento y una imagen de referencia en los modos de predicción respectivos. Es decir, el estimador/compensador 32 de movimiento determina el vector de movimiento y la imagen de referencia de un bloque actual de los modos de predicción respectivos.
En el paso ST42, el estimador/compensador 32 de movimiento realiza la compensación de movimiento en los modos de predicción respectivos. El estimador/compensador 32 de movimiento realiza una compensación de movimiento en la imagen de referencia basándose en el vector de movimiento determinado en el paso ST41 en los modos de predicción respectivos (tamaños de bloque predichos respectivos) y genera datos de imagen predichos en los modos de predicción respectivos.
En el paso ST43, el estimador/compensador 32 de movimiento genera información del vector de movimiento en los modos de predicción respectivos. El estimador/compensador 32 de movimiento genera información vectorial de movimiento incluida en el flujo codificado con respecto a los vectores de movimiento determinados en los modos de predicción respectivos. Por ejemplo, un vector de movimiento predicho se determina utilizando la predicción mediana y la información del vector de movimiento que indica que se genera una diferencia entre el vector de movimiento detectado mediante la estimación de movimiento y el vector de movimiento predicho. La información del vector de movimiento generada de esta manera también se utiliza en el cálculo del valor de la función de coste en el siguiente paso ST44, y cuando la unidad 33 de selección de imagen predicha/modo óptimo selecciona finalmente la imagen predicha correspondiente, la información vectorial de movimiento se incluye en la información del modo de predicción y envía al codificador sin pérdidas 16.
En el paso ST44, el estimador/compensador 32 de movimiento calcula el valor de la función de coste en los modos de interpredicción respectivos. El estimador/compensador 32 de movimiento calcula el valor de la función de coste utilizando la expresión (1) o (2) descrita anteriormente.
En el paso ST45, el estimador/compensador 32 de movimiento determina un modo de interpredicción óptimo. El estimador/compensador 32 de movimiento selecciona un modo de predicción en el que el valor de la función de coste calculado es el más pequeño basándose en los valores de función de coste calculados en el paso ST44.
[4. Configuración cuando se aplica al dispositivo de decodificación de imágenes]
El flujo codificado generado mediante la codificación de una imagen de entrada se suministra a un dispositivo de decodificación de imágenes a través de una línea de transmisión predeterminada, un medio de grabación o similar y se decodifica.
La figura 6 ilustra la configuración de un dispositivo de decodificación de imágenes. Un dispositivo 50 de decodificación de imágenes incluye un búfer 51 de acumulación, un decodificador sin pérdidas 52, un cuantificador inverso 53, un transformador ortogonal inverso 54, un sumador 55, una unidad 56 de filtrado de desbloqueo, un búfer 57 de reordenamiento de tramas y un convertidor D/A 58. El dispositivo 50 de decodificación de imágenes incluye además una memoria 61 de tramas, selectores 62 y 65, un intrapredictor 63 y una unidad 64 de compensación de movimiento.
El búfer 51 de acumulación acumula flujos codificados transmitidos al mismo. El decodificador sin pérdidas 52 decodifica los flujos codificados suministrados desde el búfer 51 de acumulación según un esquema correspondiente al esquema de codificación del codificador sin pérdidas 16 de la figura 2. Además, el decodificador sin pérdidas 52 envía la información del modo de predicción obtenida al decodificar la información de encabezado de los flujos codificados al intrapredictor 63 y a la unidad 64 de compensación de movimiento.
El cuantificador inverso 53 realiza una cuantificación inversa en los datos cuantificados decodificados por el decodificador sin pérdidas 52 según un esquema correspondiente al esquema de cuantificación del cuantificador 15 de la figura 2. El transformador ortogonal inverso 54 realiza una transformación ortogonal inversa en la salida del cuantificador inverso 53 según un esquema correspondiente al esquema de transformación ortogonal del transformador ortogonal 14 de la figura 2 y envía la salida al sumador 55.
El sumador 55 añade los datos después de la transformación ortogonal inversa y los datos de imagen predichos suministrados desde el selector 65 para generar datos de imagen decodificados y envía los datos de imagen decodificados a la unidad 56 de filtrado de desbloqueo y a la memoria 61 de tramas.
La unidad 56 de filtrado de desbloqueo realiza un proceso de filtrado en los datos de imagen decodificados suministrados desde el sumador 55 de forma similar a la unidad 24 de filtrado de desbloqueo de la figura 2 para eliminar la distorsión del bloque y envía los datos de imagen decodificados al búfer 57 de reordenamiento de tramas y a la memoria 61 de tramas.
El búfer 57 de reordenamiento de tramas realiza el reordenamiento de la pantalla. Es decir, las tramas reordenadas a partir del orden de codificación utilizado en el búfer 12 de reordenamiento de tramas de la figura 2 se reordenan en el orden de visualización original y se envían al convertidor D/A 58.
El convertidor D/A 58 realiza la conversión D/A en los datos de imagen suministrados desde el búfer 57 de reordenamiento de tramas y envía los datos de imagen a una pantalla (no se ilustra) para mostrar de este modo las imágenes.
La memoria 61 de tramas mantiene los datos de imagen decodificados antes del proceso de filtrado, suministrados desde el sumador 55 y los datos de imagen decodificados que han sido sometidos al proceso de filtrado, suministrados desde la unidad 56 de filtrado de desbloqueo como datos de imagen de una imagen de referencia.
El selector 62 suministra los datos de imagen de referencia antes del proceso de filtrado, leídos desde la memoria 61 de tramas al intrapredictor 63 cuando un bloque predicho que ha sido sometido a intrapredicción se decodifica basándose en la información del modo de predicción suministrada desde el decodificador sin pérdida 52. Además, el selector 26 suministra los datos de imagen de referencia que se han sometido al proceso de filtrado, leídos desde la memoria 61 de tramas a la unidad 64 de compensación de movimiento cuando un bloque predicho que ha sido sometido a interpredicción se decodifica basándose en la información del modo de predicción suministrada desde el decodificador sin pérdidas 52.
El intrapredictor 63 genera imágenes predichas basándose en la información del modo de predicción suministrada desde el decodificador sin pérdidas 52 y envía los datos de imagen predichos generados al selector 65.
La unidad 64 de compensación de movimiento realiza la compensación de movimiento basándose en la información del modo de predicción suministrada desde el decodificador sin pérdidas 52 para generar datos de imagen predichos y envía los datos de imagen predichos al selector 65. Es decir, la unidad 64 de compensación de movimiento realiza la compensación de movimiento utilizando un vector de movimiento basándose en la información del vector de movimiento con respecto a la imagen de referencia indicada por la información de la trama de referencia basada en la información del vector de movimiento y la información de la trama de referencia incluida en la información del modo de predicción para generar datos de imagen predichos.
El selector 65 suministra los datos de imagen predichos generados por el intrapredictor 63 al sumador 55. Además, el selector 65 suministra los datos de imagen predichos generados por la unidad 64 de compensación de movimiento al sumador 55.
Una unidad de decodificación en las reivindicaciones incluye el decodificador sin pérdidas 52, el cuantificador inverso 53, el transformador ortogonal inverso 54, el sumador 55, el intrapredictor 63, la unidad 64 de compensación de movimiento, y similares.
[5. Operación del dispositivo de decodificación de imágenes]
A continuación, se describirá un dispositivo de procesamiento de imágenes realizado por el dispositivo 50 de decodificación de imágenes con referencia al diagrama de flujo de la figura 7.
En el paso ST51, el búfer 51 de acumulación acumula flujos codificados transferidos al mismo. En el paso ST52, el decodificador sin pérdidas 52 realiza un proceso de decodificación sin pérdidas. El decodificador sin pérdidas 52 decodifica los flujos codificados suministrados desde el búfer 51 de acumulación. Es decir, se obtienen los datos cuantificados de las imágenes respectivas codificadas por el codificador 16 sin pérdidas de la figura 2. Además, el decodificador sin pérdida 52 realiza una decodificación sin pérdida en la información del modo de predicción incluida en la información de cabecera del flujo codificado para obtener información del modo de predicción y suministra la información del modo de predicción a la unidad 56 de filtrado de desbloqueo y a los selectores 62 y 65. Además, el decodificador sin pérdidas 52 envía la información del modo de predicción al intrapredictor 63 cuando la información del modo de predicción es información sobre el modo de intrapredicción. Además, el decodificador sin pérdidas 52 envía la información del modo de predicción a la unidad 64 de compensación de movimiento cuando la información del modo de predicción es información del modo de interpredicción.
En el paso ST53, el cuantificador inverso 53 realiza un proceso de cuantificación inversa. El cuantificador inverso 53 realiza una cuantificación inversa en los datos cuantificados decodificados por el decodificador sin pérdidas 52 según una propiedad que corresponde a la propiedad del cuantificador 15 de la figura 2.
En el paso ST54, el transformador ortogonal inverso 54 realiza un proceso de transformación ortogonal. El transformador ortogonal inverso 54 realiza una transformación ortogonal inversa en los datos del coeficiente de transformación cuantificados inversamente por el cuantificador inverso 53 según una propiedad correspondiente a la propiedad del transformador ortogonal 14 de la figura 2.
En el paso ST55, el sumador 55 genera datos de imagen decodificados. El sumador 55 suma los datos obtenidos realizando el proceso de transformación ortogonal y los datos de imagen predichos seleccionados en el paso ST59 descrita más adelante para generar los datos de imagen decodificados. De esta manera, se decodifica la imagen original.
En el paso ST56, la unidad 56 de filtrado de desbloqueo realiza un proceso de filtrado de desbloqueo. La unidad 56 de filtrado de desbloqueo realiza un proceso de filtrado en los datos de imagen decodificados enviados por el sumador 55 para eliminar la distorsión de bloque incluida en la imagen decodificada.
En el paso ST57, la memoria 61 de tramas almacena datos de imagen decodificados.
En el paso ST58, el intrapredictor 63 y la unidad 64 de compensación de movimiento realizan un proceso de predicción. El intrapredictor 63 y la unidad 64 de compensación de movimiento realizan el proceso de predicción sobre la información del modo de predicción suministrada desde el decodificador sin pérdidas 52.
Es decir, cuando la información del modo de predicción de la intrapredicción se suministra desde el decodificador sin pérdidas 52, el intrapredictor 63 realiza un proceso de intrapredicción basándose en la información del modo de predicción para generar los datos de imagen predichos. Además, cuando la información del modo de predicción de la interpredicción se suministra desde el decodificador sin pérdidas 52, la unidad 64 de compensación de movimiento realiza la compensación de movimiento basándose en la información del modo de predicción para generar los datos de imagen predichos.
En el paso ST59, el selector 65 selecciona datos de imagen predichos. Es decir, el selector 65 selecciona la imagen predicha suministrada desde el intrapredictor 63 y los datos de imagen predichos generados por la unidad 64 de compensación de movimiento y suministra la imagen predicha y los datos de imagen predichos al sumador 55 para añadirlos a la salida del transformador ortogonal inverso 54 en el paso ST55, tal como se ha descrito anteriormente.
En el paso ST60, el búfer 57 de reordenamiento de tramas realiza el reordenamiento de la pantalla. Es decir, el búfer 57 de reordenamiento de tramas reordena las tramas de modo que las tramas reordenadas en el orden de codificación utilizado en el búfer 12 de reordenamiento de tramas del dispositivo 10 de codificación de imágenes de la figura 2 se reordenan en el orden de visualización original.
En el paso ST61, el convertidor D/A 58 realiza la conversión D/A en los datos de imagen del búfer 57 de reordenamiento de tramas. Esta imagen se envía a una pantalla (no se ilustra) y se muestra la imagen.
[6. Operación básica de la unidad de filtrado de desbloqueo]
En general, un proceso de filtrado de desbloqueo según un esquema de codificación de imágenes tal como H.264/AVC o HEVC implica determinar si el filtrado es necesario o no y realizar un proceso de filtrado con respecto a un límite interbloques en el que se determina que el filtrado es necesario.
El límite interbloques incluye límites (es decir, límites entre bloques horizontalmente adyacentes (a continuación en la memoria “ límites verticales” ) detectados al realizar la detección de límites entre bloques en la dirección horizontal. Además, el límite interbloques incluye límites entre bloques (es decir, límites entre bloques adyacentes verticalmente (a continuación en la memoria “ límites de línea” ) detectados al realizar la detección de límites entre bloques en la dirección vertical.
La figura 8 es un diagrama explicativo que ilustra un ejemplo de píxeles en dos bloques BKa y BKb adyacentes con un límite interpuesto. En este ejemplo, aunque se utiliza un límite vertical como ejemplo, lo mismo se puede aplicar a un límite de línea. En el ejemplo de la figura 8, los datos de imagen de los píxeles en el bloque BKa se representan con el símbolo “ pij” . En la presente memoria, “ i” es un índice de columna de píxel y “j ” es un índice de fila de píxeles. Además, la unidad más pequeña del proceso de codificación es un bloque de 8 * 8 píxeles, y los índices de columna “ i” de 0, 1,2 y 3 se asignan secuencialmente (de izquierda a derecha) desde la columna cercana al límite vertical. Los índices “j” de fila de 0, 1, 2,... y 7 se asignan de arriba a abajo. La mitad izquierda del bloque BKa se omite en el dibujo. Por otro lado, los datos de imagen de los píxeles del bloque BKb se representan con el símbolo “ qkj” . En la presente memoria, “ k” es un índice de columna de píxel y “j” es un índice de fila de píxeles. Los índices de columna “ k” de 0, 1, 2 y 3 se asignan secuencialmente (de izquierda a derecha) desde la columna cercana al límite vertical. La mitad superior del bloque BKb también se omite en el dibujo.
Cuando se determina que se debe aplicar un filtro de desbloqueo a un límite y el límite es un límite vertical, por ejemplo, se realiza un proceso de filtrado en los píxeles de los lados izquierdo y derecho del límite. En cuanto a los componentes de luminancia, se alternan un filtro con una intensidad de filtrado fuerte y un filtro con una intensidad de filtrado débil según el valor de los datos de imagen.
[Filtrado de componentes de luminancia]
Al seleccionar la intensidad, se determina si se cumplen las condiciones de las expresiones (3) a (5) para cada línea (o cada columna). Se selecciona un filtro fuerte cuando se cumplen todas las condiciones de las expresiones (3) a (5), y se selecciona un filtro débil cuando no se cumplen las condiciones de cualquiera de las expresiones.
En la expresión (3), “ d” es un valor calculado basándose en la expresión (6). Además, “ p” en las expresiones (4) y (5) y “ tc” en la expresión (5) son valores que se establecen basándose en un parámetro de cuantificación Q, como se indica en la Tabla 1. [Fórmula matemática 2]
[Tabla 1]
En el filtrado débil, los componentes de luminancia de los píxeles respectivos en un intervalo de procesamiento de filtro se calculan realizando las operaciones de las expresiones (7) a (11).
) 16) >> 5)• • • (
En el filtrado fuerte, los componentes de luminancia de los píxeles respectivos en un intervalo de procesamiento de filtro se calculan realizando las operaciones de las expresiones (12) a (18).
Además, al filtrar los componentes de crominancia, los componentes de crominancia de los píxeles respectivos en un intervalo de procesamiento de filtro se calculan realizando las operaciones de las expresiones (19) a (21).
En las expresiones anteriores, “ Clip1Y” y “Clipic” representan operaciones de las expresiones (22) y (23), y “ Clip3 (x, y, z)” en las expresiones (22) y (23) representa un valor determinado por la expresión (24).
Además, en cuanto al límite de línea, la operación realizada para cada línea que utiliza los píxeles en la dirección horizontal en el límite vertical se realiza para cada columna que utiliza los píxeles en la dirección vertical, y se lleva a cabo el proceso de filtrado.
En el proceso de filtrado de desbloqueo, un proceso que requiere una memoria de líneas es el proceso de filtrado vertical y, a continuación en la memoria, se describirá en detalle una reducción en la capacidad de memoria de la memoria de líneas en el proceso de filtrado vertical. Dado que la unidad 24 de filtrado de desbloqueo del dispositivo
10 de codificación de imágenes tiene la misma configuración y realiza la misma operación que las de la unidad 56 de
filtrado de desbloqueo del dispositivo 50 de decodificación de imágenes, solo se describirá la unidad 24 de filtrado de desbloqueo.
[7. Primera realización de la unidad de filtrado de desbloqueo]
La figura 9 ilustra la configuración de una primera realización de la unidad de filtrado de desbloqueo. La unidad 24 de filtrado de desbloqueo incluye una memoria 241 de líneas, una unidad 242 de detección del límite de líneas, una unidad 243 de determinación de la intensidad de filtro, una memoria 244 de coeficientes, una unidad 245 de operación de filtro, y un controlador 246 de filtro.
La memoria 241 de líneas almacena los datos de imagen suministrados desde el sumador 23 basándose en una señal de control del controlador 246 de filtro. Además, la memoria 241 de líneas lee los datos de imagen en la misma y envía los datos de imagen leídos para la unidad 242 de detección del límite de líneas, la unidad 243 de determinación de la intensidad de filtro, y la unidad 245 de operación de filtro.
La unidad 242 de detección del límite de líneas detecta un límite de líneas en el que se realiza el proceso de filtrado vertical. La unidad 242 de detección del límite de líneas lleva a cabo el proceso de determinación de la necesidad de filtrado para cada bloque utilizando los datos de imagen suministrados desde el sumador 23 y los datos de imagen leídos desde la memoria 241 de líneas y detecta un límite de líneas en el que se realiza el proceso de filtrado vertical. La unidad 242 de detección del límite de líneas envía los resultados de la detección a la unidad 243 de determinación de la intensidad de filtro.
La unidad 243 de determinación de la intensidad de filtro determina la intensidad de filtro tal como se ha descrito anteriormente. La unidad 243 de determinación de la intensidad de filtro determina si el proceso de filtrado vertical debe realizarse en un modo de filtrado fuerte o en un modo de filtrado débil utilizando los datos de imagen de dos bloques adyacentes al límite de líneas interpuesto en el que se realiza el proceso de filtrado vertical, y envía los resultados de la determinación a la unidad 245 de operación de filtro.
La memoria 244 de coeficientes almacena los coeficientes de filtro utilizados en la operación de filtrado del proceso de filtrado de desbloqueo.
La unidad 245 de operación de filtro realiza una operación de filtrado con la intensidad de filtro determinada por la unidad 243 de determinación de intensidad de filtro utilizando los datos de imagen suministrados desde el sumador 23, los datos de imagen almacenados en la memoria 241 de líneas, y los coeficientes de filtro leídos desde la memoria 244 de coeficientes. La unidad 245 de operación de filtro envía los datos de imagen que han sido sometidos al proceso de filtrado vertical a la memoria 25 de tramas. Además, la unidad 245 de operación de filtro controla un intervalo de imágenes utilizado en la operación de filtrado en un bloque que se coloca en el lado superior del límite de líneas basándose en el resultado de la determinación del límite del bloque suministrado desde el controlador 246 de filtro.
El controlador 246 de filtro controla la memoria 241 de líneas para almacenar datos de imagen correspondientes a un número predeterminado de líneas en el lado inferior del bloque. Además, el controlador 246 de filtro lee los datos de imagen almacenados en la memoria 241 de líneas. Además, el controlador 246 de filtro incluye una unidad 2461 de determinación del límite de líneas. La unidad 2461 de determinación de límites de líneas determina si un límite es un límite de línea (por ejemplo, un límite de línea inter-LCU) en las unidades de bloque respectivas en las que el proceso se realiza secuencialmente en una dirección de escaneo de ráster y envía los resultados de la determinación a la unidad 245 de operación de filtro. La unidad 245 de operación de filtro realiza controles de tal modo que el proceso de filtrado vertical se pueda realizar incluso cuando se reduce la capacidad de memoria de la memoria de líneas.
La figura 10 ilustra la operación de la primera realización de la unidad de filtrado de desbloqueo. En el paso ST71, la unidad 24 de filtrado de desbloqueo detecta un límite de línea. La unidad 24 de filtrado de desbloqueo detecta un límite de línea en el que se lleva a cabo el proceso de filtrado vertical.
En el paso ST72, la unidad 24 de filtrado de desbloqueo determina una intensidad de filtro. La unidad 24 de filtrado de desbloqueo determina si se utilizará un modo de filtrado fuerte o un modo de filtrado débil para el límite de línea en el que se realiza el proceso de filtrado vertical.
En el paso ST73, la unidad 24 de filtrado de desbloqueo determina si el límite en el que se realiza el proceso de filtrado vertical es un límite de línea inter-LCU. La unidad 24 de filtrado de desbloqueo procede al paso ST74 cuando el límite en el que se realiza el proceso de filtrado vertical es el límite de línea inter-LCU y procede al paso ST75 cuando el límite no es el límite de línea inter-LCU.
En el paso ST74, la unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado vertical de intervalo reducido. La unidad 24 de filtrado de desbloqueo realiza el proceso de filtrado vertical mientras reduce el intervalo de imágenes utilizado para la operación de filtrado de la LCU adyacente superior y el flujo procede al paso ST76.
En el paso ST75, la unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado vertical normal. La unidad 24 de filtrado de desbloqueo realiza el proceso de filtrado vertical utilizando derivaciones y coeficientes predeterminados sin reducir el intervalo de imágenes utilizado para la operación de filtrado y el flujo procede al paso ST76.
En el paso ST76, la unidad 24 de filtrado de desbloqueo determina si se ha completado el proceso de filtrado vertical en el límite. Cuando el proceso de filtrado vertical para las columnas respectivas del límite no se ha completado, la unidad 24 de filtrado de desbloqueo vuelve al paso ST76 y realiza el proceso para la siguiente columna. Además, cuando se ha completado el proceso de filtrado vertical para las columnas respectivas del límite, el flujo procede al paso ST77.
En el paso ST77, la unidad 24 de filtrado de desbloqueo determina si el proceso se ha completado hasta el final de la pantalla. Cuando el proceso no se ha completado hasta el final de la pantalla, la unidad 24 de filtrado de desbloqueo vuelve al paso ST71, detecta un nuevo límite y realiza el proceso de filtrado vertical. Cuando el proceso se ha completado hasta el final de la pantalla, la unidad 24 de filtrado de desbloqueo finaliza el proceso para 11 pantallas.
[Configuración y operación de la unidad de operación del filtro]
Las figuras 11 y 12 ilustran la configuración de la unidad de operación de filtro. Cuando se realiza un proceso de filtrado vertical modificable por derivación, la unidad 245 de operación de filtro cambia los datos de imagen de una derivación o cambia el número de derivaciones de tal modo que el proceso de filtrado vertical se puede realizar incluso cuando se reduce el número de líneas que almacenan datos de imagen. La figura 11 ilustra la configuración de una unidad de operación de filtro cuando se realiza un proceso de filtrado vertical mientras se cambian los datos de imagen de una derivación. Además, la figura 12 ilustra la configuración de una unidad de operación de filtro cuando se realiza un proceso de filtrado vertical mientras se cambia el número de derivaciones.
En la figura 11, la unidad 245 de operación de filtro incluye una unidad 2451 de almacenamiento de datos, una unidad 2452 de selección de datos, y una unidad 2453 de procesamiento aritmético.
Cuando se reduce la capacidad de memoria de una memoria de líneas, la unidad 2451 de almacenamiento de datos almacena datos de imagen para utilizarlos en una derivación en la posición de la línea reducida. La unidad 2451 de almacenamiento de datos envía los datos de imagen almacenados en la misma a la unidad 2452 de selección de datos como los datos de imagen de una derivación en la posición de la línea reducida.
La unidad 2452 de selección de datos selecciona uno de los datos de imagen almacenados en la unidad 2451 de almacenamiento de datos y los datos de imagen almacenados en la memoria de líneas y envía los datos de imagen seleccionados a la unidad 2453 de procesamiento aritmético.
La unidad 2453 de procesamiento aritmético realiza un proceso aritmético utilizando los datos de imagen suministrados desde el sumador 23 y la unidad 2452 de selección de datos y los coeficientes de filtro leídos desde la memoria 244 de coeficientes para generar datos de imagen después del proceso de filtrado vertical y envía los datos de imagen a la memoria 25 de tramas.
En la figura 12, la unidad 245 de operación de filtro incluye una unidad 2455 de procesamiento aritmético y una unidad 2456 de procesamiento aritmético.
La unidad 2455 de procesamiento aritmético realiza un proceso aritmético con un número predeterminado de derivaciones y envía datos de imagen después del proceso de filtrado vertical a la unidad 2457 de selección de datos.
La unidad 2456 de procesamiento aritmético realiza un proceso aritmético sin utilizar los datos de imagen de la línea reducida al reducir el número de derivaciones según una reducción en la capacidad de memoria de la memoria de líneas y envía los datos de imagen después del proceso de filtrado vertical a la unidad 2457 de selección de datos.
La unidad 2457 de selección de datos selecciona los datos de imagen dependiendo de si el límite es un límite de línea inter-LCU. Cuando el límite no es el límite entre las LCU, la unidad 2457 de selección de datos selecciona la salida de datos de imagen de la unidad 2455 de procesamiento aritmético. Además, cuando el límite es el límite de línea inter-LCU, la unidad 2457 de selección de datos selecciona la salida de datos de imagen de la unidad 2456 de procesamiento aritmético.
Las figuras 13(A) y 13(B) son diagramas para describir la operación de la unidad 245 de operación de filtro. Los dibujos ilustran los datos de imagen de los píxeles respectivos de dos bloques adyacentes BKu y BKl. En la presente memoria, la operación de filtrado se realiza utilizando tres píxeles cada uno desde un límite (límite de línea) BB como intervalo de procesamiento de filtro del proceso de filtrado vertical y cuatro píxeles cada uno del límite BB como una derivación. Cuando se determina que el filtrado se va a realizar en un modo de filtrado fuerte, las operaciones de las expresiones (12) a (18) descritas anteriormente se realizan para cada columna mediante las unidades 2453 y 2455 de procesamiento aritmético. Además, cuando se determina que el filtrado se va a realizar en un modo de filtrado débil, las operaciones de las expresiones(7) a(10) descritas anteriormente se realizan para cada columna mediante las unidades 2453 y 2455 de procesamiento aritmético.
Cuando el proceso de filtrado de desbloqueo se realiza en un orden de ráster en las respectivas unidades de LCU, se determina que el proceso de filtrado vertical se realiza en un modo de filtrado fuerte y se realizan las operaciones de las expresiones (12) a (18) descritas anteriormente. Por lo tanto, como se ilustra en la figura 13(A), los datos de imagen del bloque BKu en el lado superior del límite BB correspondientes a cuatro líneas del límite BB deben almacenarse en la memoria de líneas.
En la presente memoria, la unidad 245 de operación de filtrado controla el intervalo de imágenes utilizado para la operación de filtrado en el bloque colocado en el lado superior del límite BB, por lo que el proceso de filtrado vertical puede realizarse incluso cuando se reduce la capacidad de memoria de la memoria de líneas. Por ejemplo, como se ilustra en la figura 13(B), se almacenan los datos de imagen correspondientes a tres líneas del límite BB, y el proceso de filtrado vertical se realiza utilizando los datos de imagen almacenados. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la operación de la expresión (25). Además, la unidad 2456 de procesamiento aritmético ilustrada en la figura 12 realiza la operación de expresión (26), y la unidad 2457 de selección de datos selecciona los datos de imagen de la unidad 2456 de procesamiento aritmético y envía los datos de imagen. En las expresiones (25) y (26), “ i” indica un índice de píxel de columna y, cuando el proceso de filtrado se realiza en unidades de bloques de 8 * 8 píxeles, “ i = 0 a 7” .
La unidad 2453 de procesamiento aritmético copia los píxeles en el bloque superior BKu en el extremo superior del intervalo de procesamiento del filtro en la dirección hacia arriba y utiliza los mismos. Es decir, al utilizar los datos p2 de imagen de los píxeles en el extremo superior del intervalo de procesamiento del filtro almacenados en la unidad 2451 de almacenamiento de datos como los datos p3 de imagen, los datos p2i' de imagen después del proceso de filtrado se calculan mediante la operación de la expresión (25).
La unidad 2456 de procesamiento aritmético reduce el número de derivaciones y calcula los datos p2i' de imagen después del proceso de filtrado mediante la operación de la expresión (26) utilizando los coeficientes que cambian con la reducción del número de derivaciones. En este caso, los coeficientes se cambian de tal modo que el coeficiente de los datos p2 de imagen se cambia de “ 3” a “ 5” para corresponder a la copia de los píxeles del extremo superior del intervalo de derivación.
Cuando el límite BB no es el límite de línea inter-LCU, dado que no es necesario utilizar los datos de imagen de la memoria 241 de línea, se realiza la misma operación de filtrado que la operación convencional sin reducir el intervalo de imagen utilizado para la operación de filtrado. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la misma operación de filtrado que la operación convencional. Además, la unidad 2455 de procesamiento aritmético ilustrada en la figura 12 realiza la misma operación de filtrado que la operación convencional y la unidad 2457 de selección de datos selecciona y envía los datos de imagen de la unidad 2455 de procesamiento aritmético.
De esta manera, cuando el límite es un límite de línea de bloques en el que el proceso se realiza secuencialmente en un orden de escaneo de ráster, controlando el intervalo de imágenes utilizado para la operación de filtrado, incluso cuando se reduce la capacidad de memoria de la memoria de líneas, el proceso de filtrado de desbloqueo se puede realizar de la misma manera que antes de la reducción. Además, por ejemplo, una línea de imagen de 4K * 2K corresponde a dos líneas de imagen de 2K * 1K. Además, en el esquema H.264/AVC, se incluye una memoria de líneas correspondiente a cuatro líneas, y la capacidad de memoria correspondiente a una línea de imagen de 4K x 2K corresponde al 50 % de la capacidad de memoria del esquema H.264/AVC. Por lo tanto, se mejora el efecto de reducir la capacidad de memoria en una imagen de alta resolución.
[8. Segunda realización de la unidad de filtrado de desbloqueo]
Una segunda realización de la unidad de filtrado de desbloqueo es diferente de la primera realización en que la operación de la unidad 2453 de procesamiento aritmético y la unidad 2456 de procesamiento aritmético son diferentes de las de la primera realización.
En el filtrado fuerte, cuando el límite BB es el límite de línea inter-LCU y se realizan las operaciones de las expresiones (12) a (18) descritas anteriormente, como se ilustra en la figura 13(A), los datos de imagen del bloque BKu en el lado superior del límite BB correspondientes a cuatro líneas del límite BB deben almacenarse en la memoria de líneas.
En la presente memoria, la unidad 245 de operación de filtrado controla el intervalo de imágenes utilizado para la operación de filtrado en el bloque colocado en el lado superior del límite BB, por lo que el proceso de filtrado vertical puede realizarse incluso cuando se reduce la capacidad de memoria de la memoria de líneas. Por ejemplo, como se ilustra en la figura 13(B), se almacenan los datos de imagen correspondientes a tres líneas del límite BB, y el proceso de filtrado vertical se realiza utilizando los datos de imagen almacenados. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la operación de la expresión (27). Además, la unidad 2456 de procesamiento aritmético ilustrada en la figura 12 realiza la operación de expresión (28), y la unidad 2457 de selección de datos selecciona los datos de imagen de la unidad 2456 de procesamiento aritmético y envía los datos de imagen. En las expresiones (27) y (28), “ i” indica un índice de píxel de columna y, cuando el proceso de filtrado se realiza en unidades de bloques de 8 * 8 píxeles, “ i = 0 a 7” .
La unidad 2453 de procesamiento aritmético realiza una copia simétrica alrededor de los píxeles del bloque superior BKu en el extremo superior del intervalo de procesamiento del filtro. Es decir, almacenando los datos p1 de imagen en la unidad 2451 de almacenamiento de datos, copiando en simetría los datos p1 de imagen alrededor de los píxeles del extremo superior del intervalo de procesamiento del filtro para utilizar los datos p1 de imagen como datos p3 de imagen, y los datos p2i' de imagen después del proceso de filtrado se calculan mediante la operación de expresión (27).
La unidad 2456 de procesamiento aritmético reduce el número de derivaciones y calcula los datos p2i' de imagen después del proceso de filtrado mediante la operación de la expresión (28) utilizando los coeficientes que cambian con la reducción del número de derivaciones. En este caso, los coeficientes se cambian de tal modo que el coeficiente de los datos p1 de imagen se cambia de “ 2” a “ 3” para corresponder a la copia simétrica alrededor de los píxeles del extremo superior del intervalo de procesamiento del filtro.
Cuando el límite BB no es el límite de línea inter-LCU, dado que no es necesario utilizar los datos de imagen de la memoria 241 de línea, se realiza la misma operación de filtrado que la operación convencional sin reducir el intervalo de imagen utilizado para la operación de filtrado. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la misma operación de filtrado que la operación convencional. Además, la unidad 2455 de procesamiento aritmético ilustrada en la figura 12 realiza la misma operación de filtrado que la operación convencional y la unidad 2457 de selección de datos selecciona y envía los datos de imagen de la unidad 2455 de procesamiento aritmético.
De esta manera, cuando el límite es un límite lineal de bloques en el que el proceso se realiza secuencialmente en un orden de escaneo de ráster, controlando el intervalo de imágenes utilizado para la operación de filtrado, de forma similar a la primera realización, incluso cuando se reduce la capacidad de memoria, se puede realizar el proceso de filtrado de desbloqueo.
[9. Tercera realización de la unidad de filtrado de desbloqueo]
Una tercera realización de la unidad de filtrado de desbloqueo es diferente de las primera y segunda realizaciones en que las operaciones de la unidad 2453 de procesamiento aritmético y la unidad 2456 de procesamiento aritmético son diferentes de las de la primera realización.
Las figuras 14(A) y 14(B) son diagramas para describir la operación de la unidad 245 de operación de filtro. Los dibujos ilustran los datos de imagen de los píxeles respectivos de dos bloques adyacentes BKu y BKl. En la presente memoria, la operación de filtrado se realiza utilizando tres píxeles cada uno desde un límite (límite de línea) BB como intervalo de procesamiento de filtro del proceso de filtrado vertical y cuatro píxeles cada uno del límite BB como una derivación. Cuando se determina que el filtrado se va a realizar en un modo de filtrado fuerte, las operaciones de las expresiones (12) a (18) descritas anteriormente se realizan para cada columna mediante las unidades 2453 y 2455 de procesamiento aritmético. Además, cuando se determina que el filtrado se va a realizar en un modo de filtrado débil, las operaciones de las expresiones (7) a (10) descritas anteriormente se realizan para cada columna mediante las unidades 2453 y 2455 de procesamiento aritmético.
Cuando el proceso de filtrado de desbloqueo se realiza en un orden de ráster en las respectivas unidades de LCU, se determina que el proceso de filtrado vertical se realiza en un modo de filtrado fuerte y se realizan las operaciones de las expresiones (12) a (18) descritas anteriormente. Por lo tanto, como se ilustra en la figura 14(A), los datos de imagen del bloque BKu en el lado superior del límite BB correspondientes a cuatro líneas del límite BB deben almacenarse en la memoria de líneas.
En la presente memoria, la unidad 245 de operación de filtrado controla el intervalo de procesamiento del filtro y el intervalo de imágenes utilizado para la operación de filtrado en el bloque colocado en el lado superior del límite BB, por lo que el proceso de filtrado vertical puede realizarse incluso cuando se reduce la capacidad de memoria de la memoria de líneas. Por ejemplo, como se ilustra en la figura 14(B), el intervalo de procesamiento del filtro en el bloque superior BKu se establece en un intervalo de dos píxeles del límite BB, y se almacenan los datos de imagen correspondientes a dos líneas del límite BB. Además, el proceso de filtrado vertical se realiza utilizando los datos de imagen almacenados similarmente a la primera realización. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza las operaciones de las expresiones (29) y (30). Además, la unidad 2456 de procesamiento aritmético ilustrada en la figura 12 realiza las operaciones de las expresiones (31) y (32), y la unidad 2457 de selección de datos selecciona los datos de imagen de la unidad 2456 de procesamiento aritmético y envía los datos de imagen. En las expresiones (29) a (32), “ i” indica un índice de columna de píxeles y, cuando el proceso de filtrado se realiza en unidades de bloques de 8 * 8 píxeles, “ i = 0 a 7” .
La unidad 2453 de procesamiento aritmético copia los píxeles en el bloque superior BKu en el extremo superior del intervalo de procesamiento del filtro en la dirección hacia arriba y utiliza los mismos. Es decir, al utilizar los datos p1 de imagen de los píxeles en el extremo superior del intervalo de procesamiento del filtro almacenados en la unidad 2451 de almacenamiento de datos como los datos p2 de imagen, los datos p1i' y p0i' de imagen después del proceso de filtrado se calculan mediante las operaciones de las expresiones (29) y (30).
La unidad 2456 de procesamiento aritmético reduce el número de derivaciones y calcula los datos p1 i' y p0i' de imagen después del proceso de filtrado mediante las operaciones de las expresiones (31) y (32) utilizando los coeficientes que cambian con la reducción del número de derivaciones. En este caso, los coeficientes se cambian de tal modo que el coeficiente de los datos p1 de imagen en la expresión (31) se cambia de “ 1” a “2” y los datos p1 de imagen en la expresión (32) se cambian de “ 2” a “ 3” para corresponder a la copia de los píxeles del extremo superior del intervalo de derivaciones.
Cuando el límite BB no es el límite de línea inter-LCU, dado que no es necesario utilizar los datos de imagen de la memoria 241 de línea, se realiza la misma operación de filtrado que la operación convencional sin reducir el intervalo de imagen utilizado para la operación de filtrado. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la misma operación de filtrado que la operación convencional. Además, la unidad 2455 de procesamiento aritmético ilustrada en la figura 12 realiza la misma operación de filtrado que la operación convencional y la unidad 2457 de selección de datos selecciona y envía los datos de imagen de la unidad 2455 de procesamiento aritmético.
De esta manera, cuando el límite es un límite de línea de bloques en el que el proceso se realiza secuencialmente en un orden de escaneo de ráster, controlando el intervalo de procesamiento del filtro y el intervalo de imágenes utilizado para la operación de filtrado, incluso cuando se reduce la capacidad de memoria, el proceso de filtrado de desbloqueo se puede realizar de la misma manera que antes de la reducción. Además, es posible reducir mucho más la capacidad de memoria.
[10. Cuarta realización de la unidad de filtrado de desbloqueo]
Una cuarta realización de la unidad de filtrado de desbloqueo es diferente de la primera realización en que la operación de la unidad 2453 de procesamiento aritmético y la unidad 2456 de procesamiento aritmético son diferentes de las de la tercera realización.
En el filtrado fuerte, cuando el límite BB es el límite de línea inter-LCU y se realizan las operaciones de las expresiones (12) a (18) descritas anteriormente, como se ilustra en la figura 14(A), los datos de imagen del bloque BKu en el lado superior del límite BB correspondientes a cuatro líneas del límite BB deben almacenarse en la memoria de líneas.
En la presente memoria, la unidad 245 de operación de filtrado controla el intervalo de procesamiento del filtro y el intervalo de imágenes utilizado para la operación de filtrado en el bloque colocado en el lado superior del límite BB, por lo que el proceso de filtrado vertical puede realizarse incluso cuando se reduce la capacidad de memoria de la memoria de líneas. Por ejemplo, como se ilustra en la figura 14(B), el intervalo de procesamiento del filtro en el bloque superior BKu se establece en un intervalo de dos píxeles del límite BB, y se almacenan los datos de imagen correspondientes a dos líneas del límite BB. Además, el proceso de filtrado vertical se realiza utilizando los datos de imagen almacenados similarmente a la segunda realización. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza las operaciones de las expresiones (33) y (34). Además, la unidad 2456 de procesamiento aritmético ilustrada en la figura 12 realiza las operaciones de las expresiones (35) y (36), y la unidad 2457 de selección de datos selecciona los datos de imagen de la unidad 2456 de procesamiento aritmético y envía los datos de imagen. En las expresiones (33) a (36), “ i” indica un índice de columna de píxeles y, cuando el proceso de filtrado se realiza en unidades de bloques de 8 * 8 píxeles, “ i = 0 a 7” .
La unidad 2453 de procesamiento aritmético realiza una copia simétrica alrededor de los píxeles del bloque superior BKu en el extremo superior del intervalo de procesamiento del filtro. Es decir, almacenando los datos p0 de imagen en la unidad 2451 de almacenamiento de datos, copiando en simetría los datos p0 de imagen alrededor de los píxeles del extremo superior del intervalo de procesamiento del filtro para utilizar los datos p0 de imagen como los datos p2 de imagen, y los datos p1 i' y p0i' de imagen después del proceso de filtrado se calculan mediante las operaciones de las expresiones (33) y (34).
La unidad 2456 de procesamiento aritmético reduce el número de derivaciones y calcula los datos p1 i' y p0i' de imagen después del proceso de filtrado mediante las operaciones de las expresiones (35) y (36) utilizando los coeficientes que cambian con la reducción del número de derivaciones. En este caso, los coeficientes se cambian de tal modo que el coeficiente de los datos p0 de imagen de la expresión (35) pasa de “ 1” a “2” y los datos p0 de imagen de la expresión (36) cambian de “2” a “ 3” para corresponder a la copia en simetría de los píxeles del extremo superior del intervalo de procesamiento del filtro.
Cuando el límite BB no es el límite de línea inter-LCU, dado que no es necesario utilizar los datos de imagen de la memoria 241 de línea, se realiza la misma operación de filtrado que la operación convencional sin reducir el intervalo de imagen utilizado para la operación de filtrado. Es decir, la unidad 2453 de procesamiento aritmético ilustrada en la figura 11 realiza la misma operación de filtrado que la operación convencional. Además, la unidad 2455 de procesamiento aritmético ilustrada en la figura 12 realiza la misma operación de filtrado que la operación convencional y la unidad 2457 de selección de datos selecciona y envía los datos de imagen de la unidad 2455 de procesamiento aritmético.
De esta manera, cuando el límite es un límite de línea de bloques en el que el proceso se realiza secuencialmente en un orden de escaneo de ráster, controlando el intervalo de procesamiento del filtro y el intervalo de imágenes utilizado para la operación de filtrado, incluso cuando se reduce la capacidad de memoria, el proceso de filtrado de desbloqueo se puede realizar de la misma manera que antes de la reducción. Además, es posible reducir mucho más la capacidad de memoria.
[11. Quinta realización de la unidad de filtrado de desbloqueo]
La unidad de filtrado de desbloqueo descrita anteriormente controla el intervalo de imágenes utilizado para la operación de filtrado en un bloque colocado en el lado superior de un límite y controla el intervalo de procesamiento del filtro dependiendo de si el límite BB es un límite de línea inter-LCU. A continuación, en una quinta realización, se describirá un caso donde el intervalo de imagen se controla cuando el límite BB es el límite de línea inter-LCU y un modo en el que el intervalo de imagen se controla independientemente de si el límite BB es el límite de línea inter-LCU.
La figura 15 es un diagrama de flujo que ilustra la operación de la quinta realización. En el paso ST81, la unidad 24 de filtrado de desbloqueo detecta un límite de línea. La unidad 24 de filtrado de desbloqueo detecta un límite de línea en el que se lleva a cabo el proceso de filtrado vertical.
En el paso ST82, la unidad 24 de filtrado de desbloqueo determina la intensidad de filtro. La unidad 24 de filtrado de desbloqueo determina si se utilizará un modo de filtrado fuerte o un modo de filtrado débil para el límite de línea en el que se realiza el proceso de filtrado vertical.
En el paso ST83, la unidad 24 de filtrado de desbloqueo determina si se va a realizar un proceso de filtrado vertical de intervalo reducido solo con respecto al límite de línea inter-LCU (es decir, si se va a realizar un proceso de filtrado vertical reduciendo el intervalo de imágenes utilizado para la operación de filtrado). Cuando se determina que el proceso de filtrado vertical de intervalo reducido se va a realizar con respecto al límite de línea de los bloques más pequeños que el tamaño de la LCU, así como al límite de línea inter-LCU, la unidad 24 de filtrado de desbloqueo procede al paso ST84. Además, cuando se determina que el proceso de filtrado vertical de intervalo reducido se va a realizar solo con respecto al límite de línea inter-LCU, la unidad 24 de filtrado de desbloqueo procede al paso ST85. La unidad 24 de filtrado de desbloqueo determina si el proceso de filtrado vertical de intervalo reducido debe realizarse con respecto al límite de línea inter-LCU solo basándose en los parámetros de cuantificación establecidos en unidades de tramas, por ejemplo. Cuando el parámetro de cuantificación es pequeño, se obtiene una mejor calidad de imagen en comparación con cuando el parámetro de cuantificación es grande. Por lo tanto, cuando el parámetro de cuantificación es mayor que un valor umbral predeterminado, la unidad 24 de filtrado de desbloqueo determina que el proceso de filtrado vertical debe realizarse en un modo donde se mejora la calidad de la imagen realizando el proceso de filtrado vertical de intervalo reducido solo con respecto al límite de línea inter-LCU y realizando un proceso de filtrado vertical normal con respecto a un límite de línea de bloques más pequeño que el tamaño de la LCU, y procede al paso ST84. Además, cuando el parámetro de cuantificación es igual o menor que el valor umbral predeterminado, la unidad 24 de filtrado de desbloqueo determina que el proceso de filtrado vertical debe realizarse en un modo donde el control sea fácil realizando el proceso de filtrado vertical de intervalo reducido con respecto al límite de línea entre bloques más pequeños que el tamaño de la LCU, así como al límite de línea inter-LCU, y procede al paso ST85. En el paso ST84, la unidad 24 de filtrado de desbloqueo determina si el límite en el que se realiza el proceso de filtrado vertical es un límite de línea inter-LCU. La unidad 24 de filtrado de desbloqueo procede al paso ST85 cuando el límite en el que se realiza el proceso de filtrado vertical es el límite entre líneas de LCU y procede al paso ST86 cuando el límite es un límite de línea de bloques más pequeño que el tamaño de la LCU.
En el paso ST85, la unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado vertical de intervalo reducido. La unidad 24 de filtrado de desbloqueo realiza el proceso de filtrado vertical mientras reduce el intervalo de imágenes utilizado para la operación de filtrado de la LCU adyacente superior y procede al paso ST87. En el proceso de filtrado vertical de intervalo reducido, el intervalo de filtrado puede reducirse.
En el paso ST86, la unidad 24 de filtrado de desbloqueo realiza un proceso de filtrado vertical normal. La unidad 24 de filtrado de desbloqueo realiza el proceso de filtrado vertical sin reducir el intervalo de imágenes utilizado para la operación de filtrado y procede al paso ST87.
En el paso ST87, la unidad 24 de filtrado de desbloqueo determina si se ha completado el proceso de filtrado vertical en el límite. Cuando el proceso de filtrado vertical para las columnas respectivas del límite no se ha completado, la unidad 24 de filtrado de desbloqueo vuelve al paso ST87 y realiza el proceso para la siguiente columna. Además, cuando se ha completado el proceso de filtrado vertical para las columnas respectivas del límite, el flujo procede al paso ST88.
En el paso ST88, la unidad 24 de filtrado de desbloqueo determina si el proceso se ha completado hasta el final de la pantalla. Cuando el proceso no se ha completado hasta el final de la pantalla, la unidad 24 de filtrado de desbloqueo vuelve al paso ST81, detecta un nuevo límite y realiza el proceso de filtrado vertical. Cuando el proceso se ha completado hasta el final de la pantalla, la unidad 24 de filtrado de desbloqueo finaliza el proceso para una pantalla. Cuando se lleva a cabo tal proceso, es posible reducir la capacidad de memoria de la memoria de líneas. Cuando el proceso de filtrado vertical de intervalo reducido se realiza con respecto a otros límites de línea, así como al límite de línea inter-LCU, no es necesario cambiar los procesos de filtrado y el control resulta sencillo. Además, cuando el proceso de filtrado vertical de intervalo reducido se realiza solo con respecto al límite inter-LCU, se puede obtener una mejor calidad de imagen.
[12. Descripción de las sexta a octava realizaciones]
[Descripción de la técnica convencional]
En la descripción anterior, se ha descrito un ejemplo en el que los datos de imagen de una derivación en el intervalo de imagen se copian o se copian en simetría y se utilizan como datos de imagen de la derivación que está fuera del intervalo de imagen debido al estrechamiento del intervalo de imagen utilizado para la operación de filtrado. En la presente memoria, en la presente memoria descriptiva, copiar es sinónimo de relleno.
Como en la presente técnica, en JCTVC-F053 solo se ha propuesto un método para realizar un proceso de filtrado utilizando un relleno en el límite de línea de las LCU.
Con referencia a la figura 16, se describirá un proceso de filtrado de un filtro fuerte y un proceso de filtrado utilizando relleno para señales de luminancia en el esquema HEVC.
La figura 16 es un diagrama explicativo que ilustra un ejemplo de píxeles en dos bloques BKu y BKl que son adyacentes verticalmente con un límite de línea interpuesto. En el ejemplo de la figura 16, los datos de imagen de los píxeles en el bloque BKu se representan con el símbolo “ pj;” . En la presente memoria, “j ” es un índice de fila del píxel e “ i” es el índice de columna del píxel. Además, la unidad más pequeña del proceso de codificación es un bloque de 8 * 8 píxeles, y los índices de fila “j ” de 0, 1,2, y 3 se asignan secuencialmente (de arriba a abajo) desde la fila cercana al límite de la línea BB. Los índices de columna “ i” de 0, 1, 2,... y 7 se asignan de izquierda a derecha del bloque. La mitad superior del bloque BKu se omite en el dibujo. Por otro lado, los datos de imagen de los píxeles del bloque BKl se representan con el símbolo “ qk<i>” . En la presente memoria, “ k” es un índice de fila de píxeles e “ i” es un índice de columna de píxeles. Los índices de fila “ k” de 0, 1,2, y 3 se asignan secuencialmente (de arriba a abajo) desde la fila cercana al límite de la línea BB. La mitad inferior del bloque BKl también se omite en el dibujo.
En el filtrado fuerte de la señal de luminancia en el esquema HEVC, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (37) a (42). Las expresiones (37) a (42) corresponden a las expresiones (14), (16), (13), (17), (12), y (18), respectivamente.
En la presente memoria, “ Clip<0-255>” indica un proceso de recorte que consiste en redondear un valor al “ 0” cuando el valor es “ 0” o menor y redondear un valor a la baja a “ 255” cuando el valor es “255” o más. Lo mismo se aplica a las siguientes expresiones.
Por el contrario, en la propuesta convencional descrita anteriormente, el proceso de filtrado se realiza utilizando un relleno con reducción de R2W2, aunque el proceso de filtrado se realiza solo en el límite de línea de las LCU. En la presente memoria, R2W2 representa que el proceso de filtrado se aplica a dos píxeles en el límite de línea inter-LCU haciendo referencia a dos píxeles en el límite de línea inter-LCU.
En el filtrado fuerte de señales de luminancia de la propuesta convencional, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (43) a (47).
Aquí, la expresión (43) del filtrado fuerte en la propuesta convencional es diferente en que “ p2<i>” en la expresión (37) del filtrado fuerte del esquema HEVC se cambia a “ p1<i>” . La expresión (45) del filtrado fuerte en la propuesta convencional es diferente en que “ p2<i>” en la expresión (39) del filtrado fuerte del esquema HEVC se cambia a “ p1<i>” . El filtrado fuerte de la propuesta convencional es diferente en el sentido de que se elimina una expresión correspondiente a la expresión (41) del sistema de filtrado fuerte del esquema HEVC.
Las expresiones (44), (46) y (47) del filtrado fuerte en la propuesta convencional son las mismas que las expresiones (38), (40) y (42), respectivamente, del filtrado fuerte del esquema HEVC.
Es decir, en la propuesta convencional, dado que no se hace referencia al píxel “ p2<i>” de la tercera fila del límite de línea BB del bloque BKu, el píxel “ p1<i>” de una fila inmediatamente por debajo de la tercera fila de la misma columna se rellena y se utiliza en su lugar.
Además, el proceso de filtrado no se aplica al píxel “ p2<0>” de la tercera fila del límite de línea BB del bloque BKu. Por lo tanto, en el filtrado fuerte de la propuesta convencional, se elimina una expresión correspondiente a la expresión (41) del filtrado fuerte del esquema h Ev C.
Al hacerlo, en la propuesta convencional, se evita que la capacidad de memoria de la memoria de líneas sea mayor que la del esquema HEVC.
Sin embargo, en el caso de imágenes de 4k, dado que es necesario tener una memoria de líneas grande, se solicita reducir además la memoria de líneas en el proceso de desbloqueo. Además, al reducir la memoria de líneas, se solicita mantener una mejor función de reducción del ruido de bloque del proceso de desbloqueo que el método de la propuesta convencional.
En la presente memoria, en la determinación del límite interbloques en el esquema HEVC, como se indica en la expresión (48) siguiente, se somete al proceso una forma de onda que tiene una inclinación constante a ambos lados del límite de una línea. Por lo tanto, en la presente técnica, el proceso de desbloqueo en el límite inter-LCU se realiza utilizando la inclinación de la forma de onda utilizada en la determinación del límite interbloques, que se describirá en detalle a continuación.
[Descripción de la técnica actual (aproximación lineal)]
En el ejemplo de la figura 17, se ilustra una expresión de determinación de límites entre bloques utilizada en el esquema HEVC, de la expresión (48).
Como se ilustra en la figura 17, el primer término en el lado izquierdo de la expresión (48) es una expresión para determinar un píxel en la tercera columna desde el lado izquierdo del bloque BKu y se puede expresar mediante una diferencia de diferencias (diferencia de segundo orden) (es decir, un diferencial de segundo orden que tiene una inclinación constante).
Los segundo a cuarto términos del lado izquierdo de la expresión (48) son una expresión para determinar un píxel en la sexta columna desde el lado izquierdo del bloque BKu, una expresión para determinar un píxel en la tercera columna desde el lado izquierdo del bloque BKl y una expresión para determinar un píxel en la sexta columna desde el lado izquierdo del bloque BKl, respectivamente. Lo mismo puede decirse de los segundo a cuarto términos del lado izquierdo de la expresión (48).
Como antes, en la determinación del límite interbloques en el esquema HEVC, dado que la forma de onda que tiene una inclinación constante se somete al proceso, el proceso de desbloqueo en el límite de línea inter-LCU utiliza la inclinación de la forma de onda utilizada en la determinación del límite interbloques.
En la técnica convencional, en cuanto a los píxeles a los que no se puede hacer referencia, el proceso de desbloqueo en el límite de línea inter-LCU utiliza relleno. Por el contrario, en la presente técnica, en cuanto a los píxeles a los que no se puede hacer referencia, el proceso de desbloqueo en el límite de línea inter-LCU realiza una aproximación lineal utilizando la inclinación de la forma de onda.
Es decir, en el proceso de desbloqueo en el límite de línea inter-LCU en la presente técnica, se utiliza la expresión (49) siguiente de aproximación lineal. [Fórmula matemática 14]
Como se ilustra en la figura 18, cuando los valores de píxel de p2<i>, p1<i>, y p0; tienen una inclinación, el valor de píxel de p2; no podría denominarse en el relleno convencional basado en R2W2. Por lo tanto, aunque el valor de píxel de p1<i>inmediatamente por debajo del píxel p2<i>se rellena y se utiliza en lugar del valor de píxel de p2; como lo indica el círculo sombreado, dado que el valor de píxel real de p2<i>está en la posición del círculo punteado, se produce un error.
Por el contrario, en la predicción lineal basada en R2W2 de la presente técnica, dado que el valor de píxel de p2; no se pudo hacer referencia a un valor de píxel (= el mismo valor de píxel que el valor de píxel real) predicho mediante predicción lineal a partir de la inclinación basada en los valores de píxel de p1<i>y p0; se utiliza como el valor de píxel de p2<i>como lo indica el círculo sombreado.
Al hacerlo, cuando los valores de los píxeles tienen una inclinación, la presente técnica no incurre en más errores que el método de relleno convencional. Por lo tanto, aunque se utiliza la técnica basada en R2W2, es posible reducir la memoria de líneas mientras se mantiene la función de reducción de ruido de bloque del proceso de desbloqueo.
Además, por ejemplo, una línea de imagen de 4K * 2K corresponde a dos líneas de imagen de 2K * 1K. Además, en el esquema H.264/AVC, se incluye una memoria de líneas correspondiente a cuatro líneas, y la capacidad de memoria correspondiente a una línea de imagen de 4K x 2K corresponde al 50 % de la capacidad de memoria del esquema H.264/AVC. Por lo tanto, se mejora el efecto de reducir la capacidad de memoria en una imagen de alta resolución.
Cuando los valores de píxel de p2<i>, p1<i>, y p0; no tienen una inclinación, se obtiene sustancialmente el mismo resultado que cuando se utiliza el valor de píxel de p1<i>inmediatamente por debajo del píxel p2<i>. En este caso, aunque se utiliza la técnica basada en R2W2, es posible reducir la memoria de líneas mientras se mantiene la función de reducción de ruido de bloque del proceso de desbloqueo.
[Proceso de filtrado para el caso R2W2]
A continuación, se describirá el proceso de filtrado de las señales de luminancia para el caso R2W2. En la presente memoria, R2 representa el número de píxeles a los que se hace referencia y W2 representa el número de píxeles a los que se aplica el proceso de filtrado. Es decir, R2W2 representa que el proceso de filtrado se aplica a dos píxeles en el límite de línea inter-LCU haciendo referencia a dos píxeles en el límite de línea inter-LCU como se ilustra en la figura 19.
En el ejemplo de la figura 19, se ilustra que no se puede hacer referencia a los píxeles de las tercera y cuarta columnas del límite de línea BB en el bloque BKu de la figura 16.
Como se ilustra nuevamente en comparación, en el filtrado fuerte de la señal de luminancia en el esquema HEVC, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (50) a (55). Las expresiones (50) a (55) corresponden a las expresiones (37) a (42), respectivamente.
Por el contrario, en el filtrado fuerte de la señal de luminancia en el caso R2W2 de la presente técnica, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (56) a (60).
En la presente memoria, la expresión (56) del filtrado fuerte del caso R2W2 es diferente porque “ p2; 2*p1<i>+ 2*p0<i>” en la expresión (50) del filtrado fuerte del esquema HEVC se cambia a “ 4*p1<i>+ p0<i>” según la expresión (49) de aproximación lineal.
La expresión (58) del filtrado fuerte del caso R2W2 es diferente porque “ p2; 2*p1<i>+ p0;” en la expresión (52) del filtrado fuerte del esquema HEVC se cambia a “ 3*p1<i>” según la expresión (49) de aproximación lineal.
El filtrado fuerte del caso R2W2 es diferente porque se elimina una expresión correspondiente a la expresión (54) del filtrado fuerte del esquema HEVC.
Es decir, en el caso R2W2 de la presente técnica, dado que no se hace referencia al píxel “ p2<i>” de la tercera fila del límite de línea BB del bloque BKu, se sustituye y se utiliza en su lugar la expresión (49) de aproximación lineal.
Además, el proceso de filtrado no se aplica al píxel “ p2<0>” de la tercera fila del límite de línea BB del bloque BKu. Por lo tanto, en el filtrado fuerte del caso R2W2, se elimina una expresión correspondiente a la expresión (54) del filtrado fuerte del esquema HEVC.
A continuación, se describirá una expresión de determinación de filtrado débil para señales de luminancia en un límite de línea y un filtrado débil.
En primer lugar, en la expresión de determinación de filtrado débil para señales de luminancia en el esquema HEVC y en el filtrado débil, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (61) a (63). Los primeros términos de las expresiones (61) a (63) son expresiones de determinación de filtrado débil.
En la presente memoria, como se ha descrito anteriormente, “ Clip<0-255>” indica un proceso de recorte que consiste en redondear un valor al “ 0” cuando el valor es “ 0” o menor y redondear un valor a la baja a “ 255” cuando el valor es “ 255” o más. Además, Clip<(-tc)-tc>indica un proceso de recorte que consiste en redondear un valor hasta “ -tc” cuando el valor es “ -tc” o menor y redondear un valor hacia abajo hasta “tc” cuando el valor es “ tc” o mayor. El recorte “ tc2” es el mismo. Lo mismo se aplica a las siguientes expresiones. En la presente memoria, “ tc” es un conjunto de valores basándose en el parámetro Q como se indica en la Tabla 1.
Por el contrario, en la expresión de determinación de filtrado débil para señales de luminancia en el caso R2W2 y en el filtrado débil, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (64) a (66). Los primeros términos de las expresiones (64) a (66) son expresiones de determinación de filtrado débil.
En la presente memoria, una expresión dentro del recorte tc2 del segundo término que es una expresión de filtrado débil dentro de la expresión (65) del caso R2W2 es diferente de una expresión dentro del recorte tc2 del segundo término en la expresión (62) del esquema HEVC según la expresión (49) de aproximación lineal. Es decir, la expresión “ ((((p2; p0; 1)>>1)-p1<i>+ delta)>>1)” dentro del recorte tc2 del segundo término del esquema HEVC se cambia a la expresión “ ((((p1<i>+ p1<i>+ 1 )>>1 )-p1<i>+ delta)>>1)” dentro del recorte tc2 del segundo término.
Además, una expresión dentro de la cláusula si del primer término que es una expresión de determinación de filtrado débil dentro de la expresión (65) del caso R2W2 es diferente de una expresión dentro de la cláusula si del primer término en la expresión (62) del esquema HEVC. Es decir, la expresión “ abs(p2<2>- 2*p1<2>+ p0<2>) abs(p2<5>- 2*p1<5>+ p0<5>)” dentro de la cláusula si de primer término del esquema HEVc se cambia a la expresión “ abs(0 - (p1<2>- p0<2>)) abs(0 - p1<5>- p0<5>))” dentro de la cláusula si del primer término.
Es decir, en el primer término de la expresión (65), un píxel inmediatamente por debajo de un píxel actual se rellena como se indica en la expresión (67) siguiente en lugar de aproximarse linealmente al mismo. En otras palabras, “ 0” en la expresión “ abs(0 - (p1<2>- p0<2>))” representa “ 0 = p2<2>- plz” y “ 0” en la expresión “ abs(0 - p1<5>- p0<5>))” representa “ 0 = p2s - p1<5>.” [Fórmula matemática 19]
Esto se debe a que, en cuanto a la determinación de la inclinación en la expresión de determinación de filtrado, el uso de la aproximación lineal permite ignorar la determinación que en realidad no se puede ignorar. Por lo tanto, en la determinación de la inclinación de la expresión de determinación de filtrado débil, un píxel inmediatamente por debajo de un píxel actual se rellena como se indica en la expresión (67). Lo mismo puede decirse de la expresión de determinación de filtrado fuerte y la expresión de determinación de límite interbloques que se describen a continuación.
A continuación, se describirán una expresión de determinación de límite interbloques y una expresión de determinación de filtrado fuerte para señales de luminancia en un límite de línea.
En primer lugar, una expresión de determinación de límites entre bloques para señales de luminancia en el esquema HEVC se expresa mediante la expresión (68) a continuación y una expresión de determinación de filtrado fuerte se expresa mediante la expresión (69) que figura a continuación. [Fórmula matemática 20]
Por el contrario, una expresión de determinación de límites entre bloques en el caso R2W2 de la presente técnica se expresa mediante la expresión (70) que figura a continuación y una expresión de determinación de filtrado fuerte se expresa mediante la expresión (71) que figura a continuación.
Los primer y segundo términos de la cláusula si de la expresión (70) para la determinación del límite interbloques del caso R2W2 son diferentes de los términos primer y segundo de la cláusula si de la expresión (68) para la determinación del límite interbloques del esquema HEVC según la expresión (67) para el relleno. Es decir, los primer y segundo términos “ abs(p2z - 2*p1<2>+ p0<2>) abs(p2<5>- 2*p1<5>+ p0<5>)” en la cláusula si del esquema HEVC se cambian a los primer y segundo términos “ abs(0 - (p1<2>- p0<2>)) abs(0 - (p1<5>- p0<5>))” en la cláusula si.
Además, una expresión en el valor absoluto de la primera fila de la expresión (71) para una determinación de filtrado fuerte del caso R2W2 es diferente de una expresión en el valor absoluto de la primera fila de la expresión (69) para una determinación de filtrado fuerte en el esquema HEVC según la expresión (67) para el relleno. Es decir, la expresión “ abs(p2<2>- 2*p1<2>+ p0<2>) abs(p2s - 2*p1<5>+ p0<5>)” en el valor absoluto en la primera fila de la expresión (69) se cambia a la expresión “ abs(0 - (p1<2>- p0<2>)) abs(0 - (p1<5>- p0<5>))” en el valor absoluto en la primera fila en la expresión (71).
Además, una expresión que aparece después de la primera “y” de la expresión (71) para la determinación de filtrado fuerte del caso R2W2 es diferente de una expresión que aparece después de la primera “y” de la expresión (69) para la determinación de filtrado fuerte en el esquema HEVC. Es decir, la expresión “ (|p3<i>- p0; << 1| |q0<i>- q3<i>|) < (p >> 3))” que aparece después del primer “y” de la expresión (69) se cambia a la expresión “ (|p1<i>- p0; << 1| |q0<i>- q3<i>|) < (p >> 3))” que aparece después del primer “ y” de la expresión (71).
Dado que la determinación de esta parte es la determinación de las magnitudes de los valores de los píxeles, se utilizan la expresión (49) para la aproximación lineal y la expresión (67) para el relleno. Es decir, la expresión que aparece después de la primera “y” de la expresión (71) se genera de tal manera que “ p3;” en la expresión que aparece después del primer “ y” de la expresión (69) se aproxima primero como “ p2i” mediante relleno y “ p2<i>” se aproxima como “2*p1<i>-p0<i>” mediante aproximación lineal.
[Proceso de filtrado para el caso R2W1]
A continuación, se describirá el proceso de filtrado de las señales de luminancia para el caso R2W1. En la presente memoria, R2 representa el número de píxeles a los que se hace referencia y W1 representa el número de píxeles a los que se aplica el proceso de filtrado. Es decir, R2W1 representa que el proceso de filtrado se aplica a un píxel en el límite de línea inter-LCU haciendo referencia a dos píxeles en el límite de línea inter-LCU como se ilustra en la figura 19.
En el filtrado fuerte de la señal de luminancia en el caso R2W1 de la presente técnica, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (72) a (75).
En la presente memoria, la expresión (72) del filtrado fuerte del caso R2W1 es diferente porque “ p2; 2*p1<i>+ 2*po” en la expresión (5o) del filtrado fuerte del esquema HEVC se cambia a “ 4*p1<i>+ po<i>” según la expresión (49) de aproximación lineal.
El filtrado fuerte del caso R2W1 es diferente porque se eliminan las expresiones correspondientes a las expresiones (52) y (54) del filtrado fuerte del esquema HEVC.
Es decir, en la presente técnica, dado que no se hace referencia al píxel “ p2<i>” de la tercera fila del límite de línea BB del bloque BKu, se sustituye y se utiliza en su lugar la expresión (49) de aproximación lineal.
Además, el proceso de filtrado no se aplica a los píxeles “ p1<o>” y “ p2o” en la segunda y tercera filas del límite de línea BB del bloque BKu. Por lo tanto, en el filtrado fuerte del caso R2W1, se eliminan las expresiones correspondientes a las expresiones (52) y (54) del filtrado fuerte del esquema HEVC.
A continuación, se describirá una expresión de determinación de filtrado débil para señales de luminancia en un límite de línea y un filtrado débil.
En la expresión de determinación de filtrado débil para señales de luminancia en el caso R2W1 y en el filtrado débil, los componentes de luminancia de los píxeles respectivos en el intervalo de procesamiento del filtro se calculan realizando las operaciones de las expresiones (76) y (77).
En la presente memoria, en el caso R2W1, el proceso de filtrado no se aplica al píxel “ p í<o>” de la segunda fila del límite de línea BB del bloque BKu. Por lo tanto, en la expresión de determinación de filtrado débil para el caso R2W1 y en el filtrado débil, se elimina una expresión correspondiente a la expresión (62) del esquema h Ev C.
A continuación, se describirán una expresión de determinación de límite interbloques y una expresión de determinación de filtrado fuerte para señales de luminancia en un límite de línea.
Una expresión de determinación de límites entre bloques en el caso R2W1 se expresa mediante la expresión (78) a continuación y una expresión de determinación de filtrado fuerte se expresa mediante la expresión (79) a continuación.
Los primer y segundo términos de la cláusula si de la expresión (78) para la determinación del límite interbloques del caso R2W1 son diferentes de los primer y segundo términos de la cláusula si de la expresión (68) para la determinación del límite interbloques del esquema HEVC según la expresión (67) para el relleno. Es decir, los primer y segundo términos “ abs(p2z - 2*p1<2>+ p0<2>) abs(p2<5>- 2*pl<5>+ p0<5>)” en la cláusula si del esquema HEVC se cambian a los primer y segundo términos “ abs(0 - (p1<2>- p0<2>)) abs(0 - (p1<5>- p0<5>))” en la cláusula si.
Además, una expresión en el valor absoluto de la primera fila de la expresión (79) para una determinación de filtrado fuerte del caso R2W1 es diferente de una expresión en el valor absoluto de la primera fila de la expresión (69) para una determinación de filtrado fuerte en el esquema HEVC según la expresión (67) para el relleno. Es decir, la expresión “ abs(p2<2>- 2*p1<2>+ p0<2>) abs(p2<5>- 2*pls p0<5>)” en el valor absoluto en la primera fila de la expresión (69) se cambia a la expresión “ abs(0 - (p1<2>- p0<2>)) abs(0 - p1<5>- p0<5>))” en el valor absoluto en la primera fila en la expresión (79).
Además, una expresión que aparece después de la primera “y” de la expresión (79) para la determinación de filtrado fuerte del caso R2W1 es diferente de una expresión que aparece después de la primera “y” de la expresión (69) para la determinación de filtrado fuerte en el esquema HEVC. Es decir, la expresión “ (|p3<i>- p0; << 1| |q0<i>- q3<i>|) < (p >> 3))” que aparece después del primer “y” de la expresión (69) se cambia a la expresión “ (|p1<i>- p0; << 1| |q0<i>- q3<i>|) < (P >> 3))” que aparece después del primer “ y” de la expresión (79).
Como se ha descrito anteriormente en conexión con el caso R2W2, dado que la determinación de esta parte es la determinación de las magnitudes de los valores de los píxeles, se utilizan la expresión (49) para la aproximación lineal y la expresión (67) para el relleno. Es decir, la expresión que aparece después de la primera “ y” de la expresión (79) se genera de tal manera que “ p3<i>” en la expresión que aparece después del primer “ y” de la expresión (69) se aproxima primero como “ p2<i>” y “ p2<i>” se aproxima como “2*p1<i>- p0;” .
Un ejemplo de configuración y una operación para realizar el proceso de determinación anterior basándose en una aproximación lineal se describirán con referencia a las figuras 22 a 24 como las sexta y séptima realizaciones de la unidad de filtrado de desbloqueo.
Como se ha descrito anteriormente, en la presente técnica, la determinación del límite interbloques en el límite de la línea y la expresión de determinación de filtrado fuerte se cambian utilizando la expresión (49) para la aproximación lineal y la expresión (67) para el relleno. Por lo tanto, se añade un proceso de recorte a un proceso de filtrado fuerte como contramedida a un caso donde la expresión de determinación se ignora erróneamente y el proceso de filtrado de desbloqueo se realiza erróneamente.
[Descripción de la técnica presente (Proceso de recorte en filtrado fuerte)]
A continuación, se describirá un proceso de recorte mediante filtrado fuerte, que es una octava realización. El filtrado fuerte de las señales de luminancia en el caso R2W2 también puede utilizar las expresiones (80) a (84) en las que se añade un proceso de recorte.
La expresión (8o) para un filtrado fuerte es una expresión de cálculo para poo después del filtrado. En la expresión (80) para un filtrado fuerte, se aplica un proceso de recorte de (-tc) a tc a una diferencia entre la expresión del proceso de recorte de 0 a 255 en la expresión (56) y p0<o>para obtener un valor, el valor se añade a p0<o>para obtener otro valor y el otro valor se somete a un proceso de recorte de 0 a 255.
La expresión (81) para un filtrado fuerte es una expresión de cálculo para q0o después del filtrado. En la expresión (81) para un filtrado fuerte, se aplica un proceso de recorte de (-tc) a tc a una diferencia entre la expresión del proceso de recorte de 0 a 255 en la expresión (57) y q0<o>para obtener un valor, el valor se añade a q0<o>para obtener otro valor y el otro valor se somete a un proceso de recorte de 0 a 255.
La expresión (82) para un filtrado fuerte es una expresión de cálculo para p1<o>después del filtrado. En la expresión (82) para un filtrado fuerte, se aplica un proceso de recorte de (-tc) a tc a una diferencia entre la expresión del proceso de recorte de 0 a 255 en la expresión (58) y p1<o>para obtener un valor, el valor se añade a p1<o>para obtener otro valor y el otro valor se somete a un proceso de recorte de 0 a 255.
La expresión (83) para un filtrado fuerte es una expresión de cálculo para q1<o>después del filtrado. En la expresión (83) para un filtrado fuerte, se aplica un proceso de recorte de (-tc) a tc a una diferencia entre la expresión del proceso de recorte de 0 a 255 en la expresión (59) y q1<o>para obtener un valor, el valor se añade a q1<o>para obtener otro valor y el otro valor se somete a un proceso de recorte de 0 a 255.
La expresión (84) para un filtrado fuerte es una expresión de cálculo para q2<o>después del filtrado. En la expresión (84) para un filtrado fuerte, se aplica un proceso de recorte de (-tc) a tc a una diferencia entre la expresión del proceso de recorte de 0 a 255 en la expresión (60) y q2<o>para obtener un valor, el valor se añade a q2<o>para obtener otro valor y el otro valor se somete a un proceso de recorte de 0 a 255.
De este modo, es posible suprimir la aplicación excesiva del proceso de filtrado.
En la presente memoria se proponen Matthias Narroschke, Tomas Wedi, Semih Esenlik, “ Results for modified decisions for deblocking” , JCTVC-G590, Joint Collaborative Team on vídeo Coding (JCT-VC) of ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 Séptima reunión, Ginebra, CH, 21-30 de noviembre de 2011 (a continuación en el documento distinto de los de patentes 2).
En el documento distinto de los de patentes 2, se describe que se lleva a cabo un proceso de determinación de filtrado fuerte/débil en las unidades de bloque respectivas. Sin embargo, en el proceso de determinación descrito en el documento distinto de los de patentes 2, cuando los resultados de la determinación en una línea actual y una unidad de bloque a la que pertenece la línea son diferentes (por ejemplo, cuando se determina un filtrado débil para la línea actual mientras que se determina un filtrado fuerte para un bloque que incluye la línea, se aplica información del artículo a la línea actual), se aplica un proceso de filtrado excesivo.
Además, en el documento distinto de los de patentes 2, dado que el proceso de determinación de filtrado fuerte/débil se realiza en unidades de cuatro líneas, se produce una falta de coincidencia entre el proceso de determinación y el de filtrado. Como ejemplo de la falta de coincidencia, se determina el filtrado débil, aunque es necesario determinar el filtrado fuerte, y se determina el filtrado fuerte, aunque es necesario determinar el filtrado débil.
En el filtrado fuerte de señales de luminancia en el esquema HEVC (HM-5,0), se emplean las expresiones (85) a (89) siguientes.
En la presente técnica, para eliminar la falta de coincidencia entre el proceso de determinación de thi+e y la falta de completitud en el proceso de determinación, el proceso de recorte se indica en las expresiones (9*q0) a (94) que figuran a continuación. En la expresión (90), dado que se debe realizar un proceso de recorte en un valor A parcial que cambia con el proceso de filtrado, p0; está fuera del proceso de recorte. Lo mismo se aplica a las expresiones (91) a (94).
En la presente memoria, un valor de recorte “ pv” es uno cualquiera de 1 vez, 2 veces, 3 veces, 4 veces, 5 veces, 6 veces, 7 veces, y 8 veces del parámetro tc. Es decir, pv = tc, 2*tc, 3*tc, 4*tc, 5*tc, 6*tc, 7*tc, 8*tc. Aunque el valor de recorte “ pv” es preferiblemente 2 veces el parámetro tc, el valor de recorte puede ser uno cualquiera de 1 vez a 8 veces el parámetro. Además, el valor de recorte no está limitado de 1 vez a 8 veces siempre que se obtengan los mismos efectos.
Además, “ tc” cambia con el parámetro de cuantificación QP. Por lo tanto, el factor de multiplicación del valor de recorte aplicado a “tc” también puede aumentarse (es decir, cambiarse con el QP) a medida que aumenta el QP. El parámetro (el valor de recorte o el valor de un factor de multiplicación del valor de recorte aplicado a “tc” ) aplicado al proceso de recorte puede establecerse con antelación y puede añadirse a un flujo codificado y a un terminador de transmisión a un lado de decodificación.
Las expresiones (90) a (94) descritas anteriormente pueden modificarse para que el proceso de recorte se realice como en las expresiones (95) a (99) siguientes.
En la presente memoria, las expresiones (85) a (89) para el filtrado fuerte de señales de luminancia del esquema HEVC (HM-5.0) son expresiones para el filtrado fuerte de señales de luminancia en un límite de línea. Es decir, en el esquema HEVC (HM-5.0), el filtrado fuerte de las señales de luminancia se expresa realmente mediante las expresiones (100) a (105) a continuación.
En la presente técnica, para eliminar una falta de coincidencia del proceso de determinación y la falta de completitud del proceso de determinación, se puede aplicar un proceso de recorte al filtrado fuerte fi+4) >>3) para las señales de luminancia, tal como se indica en las expresiones (106) a (111), de modo que se correspondan con las expresiones (100) a (105). En 0, la primera expresión de la expresión (106), de forma similar a las expresiones (90) a (94) descritas anteriormente, dado que se debe realizar un proceso de recorte en el valor A parcial que cambia con el proceso de filtrado, “ p0<i>” está fuera del proceso de recorte. Lo mismo se aplica a las primeras expresiones de las expresiones (107) a (111).
En la presente memoria, un valor de recorte “ pv” es uno cualquiera de 1 vez, 2 veces, 3 veces, 4 veces, 5 veces, 6 veces, 7 veces, y 8 veces del parámetro tc. Es decir, pv = tc, 2*tc, 3*tc, 4*tc, 5*tc, 6*tc, 7*tc, 8*tc. Aunque el valor de recorte “ pv” es preferiblemente 2 veces el parámetro tc, el valor de recorte puede ser uno cualquiera de 1 vez a 8 veces el parámetro. Además, el valor de recorte no está limitado de 1 vez a 8 veces siempre que se obtengan los mismos efectos.
Además, “ tc” cambia con el parámetro de cuantificación QP. Por lo tanto, el factor de multiplicación del valor de recorte aplicado a “tc” también puede aumentarse (es decir, cambiarse con el QP) a medida que aumenta el QP. El parámetro (el valor de recorte o el valor de un factor de multiplicación del valor de recorte aplicado a “tc” ) aplicado al proceso de recorte puede establecerse con antelación y puede añadirse a un flujo codificado y a un terminador de transmisión a un lado de decodificación.
La figura 20 es un diagrama que ilustra los valores más grandes de los valores de píxel que cambian con el filtrado fuerte de las señales de luminancia en el esquema HEVC (HM-5,0) de las expresiones (100) a (105) descritas anteriormente obtenidas mediante un experimento.
AI_HE, RA_HE, LB_HE, y LP_HE indican condiciones de este experimento. AI_HE indica que el experimento se realizó en el modo ALL INTRA de alta eficiencia. RA_HE indica que el experimento se realizó en modo de acceso aleatorio de alta eficiencia. LB_HE indica que el experimento se realizó en modo de bajo retardo B y alta eficiencia. LP_HE indica que el experimento se realizó en modo de bajo retardo y alta eficiencia.
Los “ 22, 27, 32 y 37” que aparecen debajo de AI_HE, RA_HE, LB_HE y LP_HE son valores de los parámetros de cuantificación utilizados en el experimento. Además, de la clase A a la clase F indican el tipo de secuencia de prueba utilizada en el experimento.
Como se ilustra en la figura 20, un valor de píxel que cambia con el filtrado fuerte de señales de luminancia en el esquema HEVC (HM-5,0) (es decir, un valor de píxel que cambia con el filtrado fuerte cuando el proceso de recorte no está presente) cambia en gran medida en 100 o más en algunos casos.
Por lo tanto, se aplica un proceso de recorte al filtrado fuerte de señales de luminancia. Debido a esto, como se ilustra en la figura 21, es posible suprimir en la medida de lo posible la influencia de una falta de coincidencia del proceso de determinación y una falta de completitud del proceso de determinación.
En el ejemplo de la figura 21, cuando hay un borde (que no es un límite de bloque) indicado por una línea continua, aunque no se debe realizar un proceso de desbloqueo, si el proceso de desbloqueo se realiza según la técnica del documento distinto de los de patentes 2, los valores de los píxeles cambian en gran medida como lo indican las líneas punteado.
Por ejemplo, como se indica mediante una línea continua, antes de que se lleve a cabo el proceso de desbloqueo, los valores de los píxeles p2<i>, p1<i>, y p0; son 255, los valores de los píxeles q0;, q1<i>, y q2<i>son 0, y la diferencia D entre los valores de los píxeles p0; y q0<i>es 255.
Por el contrario, como se indica mediante una línea punteado, después de realizar el proceso de desbloqueo, el valor del píxel p2<i>es 223, el valor del píxel p1<i>es 191 y el valor del píxel p0; es 159. Por lo tanto, los valores de píxel de los píxeles p2<i>, p1<i>, y p0; han cambiado mucho. Además, después de realizar el proceso de desbloqueo, el valor del píxel q0<i>es 96, el valor del píxel q 1<i>es 64 y el valor del píxel q2<i>es 32. Por lo tanto, los valores de píxel de los píxeles q0;, q1<i>, y q2<i>han cambiado mucho.
En tal caso, en el filtrado fuerte de las expresiones (106) a (111) descrito anteriormente, se lleva a cabo un proceso de recorte cuyo valor de recorte es 10.
Por el contrario, como se indica con una línea en negrita, una vez realizado el proceso de desbloqueo, los valores de los píxeles p2<i>, p1<i>, y p0; son 245, y los valores de los píxeles q0;, q1<i>, y q2<i>son 255. Por lo tanto, el cambio en los valores de los píxeles se puede suprimir tanto como sea posible.
Un ejemplo de configuración y una operación del proceso de recorte en el filtrado fuerte se describirán con referencia a las figuras 25 a 27 descritas más adelante como una octava realización de la unidad de filtrado de desbloqueo.
[13. Sexta realización de la unidad de filtrado de desbloqueo]
[Ejemplo de configuración de una unidad de filtrado de desbloqueo]
La figura 22 ilustra la configuración de la sexta realización de la unidad de filtrado de desbloqueo. La unidad 24 de filtrado de desbloqueo se configura para incluir una memoria 71 de imágenes, una unidad 72-1 de determinación del límite de bloque, una unidad 73-1 de determinación de la intensidad de filtro, una unidad 74-1 de operación de filtro, un selector 75, una memoria 76 de coeficientes, y un controlador 77 de filtro. La unidad 24 de filtrado de desbloqueo se configura para incluir además una unidad 72-2 de determinación del límite de línea/límite de bloque, una unidad 73-2 de determinación de la intensidad de filtro del límite de línea y una unidad 74-2 de operación del filtro de límite de línea.
La memoria 71 de imágenes es una unidad que corresponde a la memoria 241 de líneas de la figura 9 y está configurada como una memoria de líneas. La memoria 71 de imagen almacena los datos de imagen suministrados desde el sumador 23. La memoria 71 de imagen lee los datos de imagen almacenados en ella y suministra los datos de imagen leídos a la unidad 72-1 de determinación del límite de bloque, a la unidad 73-1 de determinación de la intensidad de filtro y a la unidad 74-1 de operación de filtro. Además, la memoria 71 de imagen lee los datos de imagen almacenados en ella y suministra los datos de imagen leídos a la unidad 72-2 de determinación del límite de líneas/límite de bloque, a la unidad 73-2 de determinación de la intensidad de filtro de límite de línea, y a la unidad 74 2 de operación de filtro del límites de línea.
En posiciones distintas del límite de líneas, los datos de imagen no se almacenan en la memoria 71 de imagen, pero puede darse el caso de que los datos de imagen suministrados desde el sumador 23 se suministren a las unidades respectivas y se procesen. Sin embargo, en el ejemplo de la figura 22, por motivos de conveniencia, se describe que se procesan los datos de imagen que han pasado a través de la memoria 71 de imagen.
La unidad 72-1 de determinación del límite de bloque realiza la determinación del límite interbloques bajo el control del controlador 77. Es decir, la unidad 72-1 de determinación del límite de bloque realiza el proceso de determinación del límite interbloques para cada bloque utilizando los datos de imagen leídos de la memoria 71 de imagen y detecta un límite interbloques en el que se realiza el proceso de filtrado. La unidad 72-1 de determinación del límite de bloque envía los resultados de la detección a la unidad 73-1 de determinación de la intensidad de filtro.
La unidad 73-1 de determinación de la intensidad de filtro determina la intensidad de filtro de la manera descrita anteriormente bajo el control del controlador 77. Es decir, la unidad 73-1 de determinación de la intensidad de filtro determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil para cada línea utilizando los datos de imagen de dos bloques con un límite interbloques interpuesto, suministrados desde la memoria 71 de imagen y envía los resultados de la determinación a la unidad 74-1 de operación de filtro.
La unidad 74-1 de operación de filtro realiza una operación de filtrado con la intensidad de filtro determinada por la unidad 73-1 de determinación de intensidad de filtro para cada línea bajo el control del controlador 77 utilizando los datos de imagen almacenados en la memoria 71 de imagen y los coeficientes de filtro leídos de la memoria 76 de coeficientes. La unidad 74-1 de operación de filtro envía los datos de imagen que han sido sometidos al proceso de filtrado al selector 75.
Cuando el límite es un límite de línea inter-LCU, la unidad 72-2 de determinación de límite de línea/límite de bloque realiza la determinación del límite interbloques bajo el control del controlador 77. Es decir, la unidad 72-2 de determinación del límite de bloque/límite de línea realiza el proceso de determinación del límite interbloques para cada bloque utilizando los datos de imagen leídos de la memoria 71 de imagen y detecta un límite interbloques en el que se realiza el proceso de filtrado. La unidad 72-2 de determinación de límite de línea/límite de bloque envía los resultados de detección a la unidad 73-2 de determinación de intensidad de filtro de límite de línea.
Cuando el límite es un límite de línea inter-LCU, la unidad 73-2 de determinación de la intensidad de filtro del límite de la línea determina la intensidad de filtro de la manera descrita anteriormente bajo el control del controlador 77. Es decir, la unidad 73-2 de determinación de la intensidad de filtro de límite de línea determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil para cada línea utilizando los datos de imagen de dos bloques adyacentes con un límite interbloques interpuesto, suministrados desde la memoria 71 de imagen y envía los resultados de la determinación a la unidad 74-2 de operación de filtro de límite de línea.
La unidad 74-2 de operación de filtro de límite de línea realiza la operación de filtrado con la intensidad de filtro determinada por la unidad 73-2 de determinación de intensidad de filtro de límite de línea para cada línea bajo el control del controlador 77 utilizando los datos de imagen almacenados en la memoria 71 de imagen y los coeficientes de filtro leídos de la memoria 76 de coeficientes. La unidad 74-2 de operación de filtro de límite de línea envía los datos de imagen que han sido sometidos al proceso de filtrado al selector 75.
El selector 75 selecciona cualquiera de los datos de imagen de la unidad 74-1 de operación de filtro y los datos de imagen de la unidad 74-2 de operación de filtro de límite de línea bajo el control del controlador 77 y envía los datos de imagen seleccionados a la memoria 25 de tramas.
La memoria 76 de coeficientes almacena los coeficientes de filtro utilizados para la operación de filtrado del proceso de filtrado de desbloqueo. La memoria 76 de coeficientes lee los coeficientes de filtro almacenados en ella y suministra los coeficientes de filtro leídos a la unidad 74-1 de operación de filtro y a la unidad 74-2 de operación de filtro de límite de línea.
El controlador 77 controla las unidades respectivas de la unidad 24 de filtrado de desbloqueo. Por ejemplo, el controlador 77 controla la memoria 71 de imagen para almacenar los datos de imagen correspondientes a un número predeterminado de líneas en el lado inferior del bloque y lee los datos de imagen almacenados en la memoria 71 de imagen. El controlador 77 está configurado para incluir una unidad 77A de determinación de línea intra-LCU.
La unidad 77A de determinación de línea intra-LCU determina si un límite es un límite de línea inter-LCU en las unidades de bloque respectivas en las que el proceso se realiza secuencialmente en una dirección de escaneo de ráster, y suministra los resultados de la determinación a la unidad 72-1 de determinación de límite de bloque, a la unidad 73-1 de determinación de intensidad de filtro y a la unidad 74-1 de operación de filtro para que las unidades realicen el proceso cuando el límite no es el límite de línea. Además, la unidad 77A de determinación de línea intra-LCU también suministra los resultados de la determinación a la unidad 72-2 de determinación de límite de línea/límite de bloque, a la unidad 73-2 de determinación de intensidad de filtro de límite de línea y a la unidad 74-2 de operación de filtro de límite de línea para que las unidades realicen el proceso cuando el límite es el límite de línea. Además, la unidad 77A de determinación de línea intra-LCU suministra los resultados de la determinación al selector 75 de modo que el selector 75 selecciona los datos de imagen de la unidad 74-2 de operación de filtro de límite de línea cuando el límite es el límite de línea y selecciona los datos de imagen de la unidad 74-1 de operación de filtro cuando el límite no es el límite de línea.
La unidad 24 de filtrado de desbloqueo ilustrada en la figura 22 puede configurarse de antemano para realizar el proceso R2W2, por ejemplo, y puede configurarse para poder controlar el intervalo de procesamiento del filtro y el intervalo de operaciones de filtrado de similarmente al ejemplo de la figura 9.
[Operación de la unidad de filtrado de desbloqueo]
A continuación, se describirá el proceso de desbloqueo de la unidad 24 de filtrado de desbloqueo de la figura 22 con referencia al diagrama de flujo de la figura 23. En el ejemplo de la figura 23, se describirá un caso en el que se realiza el proceso R2W2.
En el paso S91, la unidad 77A de determinación de línea intra-LCU determina si un filtro aplicado es un filtro vertical de un límite de LCU en las unidades de bloque respectivas en las que el proceso se realiza secuencialmente en una dirección de escaneo de ráster. Es decir, en el paso S91, se determina si un límite es un límite de línea inter-LCU y el filtro aplicado es un filtro vertical.
Cuando se determina en el paso S91 que el filtro aplicado es un filtro vertical de un límite de LCU, el flujo procede al paso S92. En el paso S92, la unidad 72-2 de determinación de límite de línea/límite de bloque realiza la determinación del límite interbloques de un límite de línea bajo el control del controlador 77 cuando el límite es un límite de línea inter-LCU.
Es decir, la unidad 72-2 de determinación de límite de línea/límite de bloque realiza el proceso de determinación de límites entre bloques para cada bloque según la expresión (70) descrita anteriormente usando los datos de imagen leídos de la memoria 71 de imagen y detecta un límite interbloques en el que se realiza el proceso de filtrado. La unidad 72-2 de determinación de límite de línea/límite de bloque envía los resultados de detección a la unidad 73-2 de determinación de intensidad de filtro de límite de línea.
En el paso S93, la unidad 73-2 de determinación de intensidad de filtro de límite de línea determina la intensidad de filtro del límite de línea tal como se ha descrito anteriormente bajo el control del controlador 77 cuando el límite es el límite de línea inter-LCU.
Es decir, la unidad 73-2 de determinación de la intensidad de filtro de límite de línea determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil utilizando los datos de imagen de dos bloques adyacentes al límite interbloques, suministrados desde la memoria 71 de imagen. Un modo de filtrado fuerte se determina según la expresión (71) descrita anteriormente. Además, un modo de filtrado débil se determina según los primeros términos de las expresiones (64) a (66) descritas anteriormente. La unidad 73-2 de determinación de la intensidad de filtro de límite de línea envía los resultados de la determinación a la unidad 74-2 de operación de filtro de límite de línea.
En el paso S94, la unidad 74-2 de operación de filtro de límite de línea realiza un proceso de filtrado del límite de línea bajo el control del controlador 77. Es decir, la unidad 74-2 de operación de filtro de límite de línea realiza una operación de filtrado con la intensidad de filtro determinada por la unidad 73-2 de determinación de intensidad de filtro de límite de línea utilizando los datos de imagen almacenados en la memoria 71 de imagen y el coeficiente de filtro leído de la memoria 76 de coeficientes.
En el caso del filtrado fuerte, la operación de filtrado se realiza según las expresiones (56) a (60) descritas anteriormente. Además, en el caso del filtrado débil, la operación de filtrado se realiza según los términos segundo y tercero de las expresiones (64) a (66) descritas anteriormente. La unidad 74-2 de operación de filtro de límite de línea envía los datos de imagen que han sido sometidos al proceso de filtrado al selector 75.
En el paso S95, la unidad 77A de determinación de línea intra-LCU determina si una línea actual es la última octava línea de la LCU. Cuando se determina en el paso S95 que la línea actual no es la última octava línea de la LCU, el flujo vuelve al paso S93 y se repiten los procesos posteriores.
Además, cuando se determina en el paso S95 que la línea actual es la última octava línea de la LCU, el flujo procede al paso S100.
Por otro lado, cuando se determina en el paso S91 que el filtro aplicado no es el filtro vertical del límite de la LCU, el flujo procede al paso S96. En el paso S96, la unidad 72-1 de determinación del límite de bloque realiza la determinación del límite interbloques bajo el control del controlador 77.
Es decir, la unidad 72-1 de determinación de límite de bloque realiza el proceso de determinación de límites entre bloques para cada bloque según la expresión (68) descrita anteriormente usando los datos de imagen leídos de la memoria 71 de imagen y detecta un límite interbloques en el que se realiza el proceso de filtrado. La unidad 72-1 de determinación del límite de bloque envía los resultados de la detección a la unidad 73-1 de determinación de la intensidad de filtro.
En el paso S97, la unidad 73-1 de determinación de la intensidad de filtro determina la intensidad de filtro de la manera descrita anteriormente bajo el control del controlador 77. Es decir, la unidad 73-1 de determinación de la intensidad de filtro determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil para cada línea utilizando los datos de imagen de dos bloques adyacentes al límite interbloques interpuesto, suministrados desde la memoria 71 de imagen. Un modo de filtrado fuerte se determina según la expresión (69) descrita anteriormente. Un modo de filtrado débil se determina según los primeros términos de las expresiones (61) a (63) descritas anteriormente. La unidad 73-1 de determinación de la intensidad de filtro envía los resultados de la determinación a la unidad 74-1 de operación de filtro.
En el paso S98, la unidad 74-1 de operación de filtro realiza una operación de filtrado del límite de bloque bajo el control del controlador 77. Es decir, la unidad 74-1 de operación de filtro realiza la operación de filtrado con la intensidad de filtro determinada por la unidad 73-1 de determinación de intensidad de filtro para cada línea utilizando los datos de imagen almacenados en la memoria 71 de imagen y los coeficientes de filtro leídos de la memoria 76 de coeficientes.
En el caso del filtrado fuerte, la operación de filtrado se realiza según las expresiones (50) a (55) descritas anteriormente. Además, en el caso del filtrado débil, la operación de filtrado se realiza según los términos segundo y tercero de las expresiones (61) a (63) descritas anteriormente. La unidad 74-1 de operación de filtro envía los datos de imagen que han sido sometidos al proceso de filtrado al selector 75.
En el paso S99, la unidad 77A de determinación de línea intra-LCU determina si una línea actual es la última octava línea de la LCU. Cuando se determina en el paso S99 que la línea actual no es la última octava línea de la LCU, el flujo vuelve al paso S97 y se repiten los procesos posteriores.
Además, cuando se determina en el paso S99 que la línea actual es la última octava línea de la LCU, el flujo procede al paso S100.
En el paso S100, la unidad 77A de determinación de línea intra-LCU determina si un bloque actual es el último bloque de la imagen. Es decir, en el paso S100, se determina si el límite es un límite de línea de otro bloque en la pantalla. Cuando se determina en el paso S100 que el bloque es el último bloque de la imagen, finaliza el proceso de desbloqueo. Cuando se determina en el paso S100 que el bloque no es el último bloque de la imagen, el flujo vuelve al paso S91, y los procesos posteriores se realizan repetidamente en la siguiente LCU en el orden de escaneo de ráster.
En el ejemplo de la figura 22, la unidad 77A de determinación de línea intra-LCU selecciona si se utilizarán los coeficientes utilizados para el caso distinto del límite de línea en la unidad 74-1 de operación de filtro o los coeficientes para el caso del límite de línea en la unidad 74-2 de operación de filtro de límite de línea. De esta manera, se conmutan el proceso de filtrado en el límite de la línea y el proceso de filtrado en las posiciones distintas del límite de la línea. Por el contrario, solo se puede utilizar un tipo de coeficientes y se puede controlar la dirección del píxel que se leerá de modo que se conmuten el proceso de filtrado en el límite de la línea y el proceso de filtrado en las posiciones distintas del límite de la línea.
Por ejemplo, el cálculo de P0<0>en el filtrado fuerte basado en R2W2 se describirá como un ejemplo. En la expresión (50) para el filtrado fuerte del esquema HEVC, un término relacionado con “ p(block BKu)” es “ p2; 2*P1<i>+ 2*q0;” . Por otra parte, en la Expresión (56) para el filtrado fuerte del esquema HEVC, un término relacionado con “ p(block BKu)” es “ 4*P1<i>+ q0;” .
Aquí, 4*P1<i>+ q0<i>= q0<i>+ 2*P1<i>+ 2*Ph.
Es decir, el término relacionado con “ p” en la expresión (50) y el término relacionado con “ p” en la expresión (56) también utilizan los coeficientes 1, 2, y 2 en ese orden desde el lado izquierdo. Por lo tanto, al reemplazar (cambiar las direcciones de lectura de) los valores de píxeles que se van a multiplicar con los coeficientes que utilizan los mismos coeficientes, es posible cambiar entre el proceso de filtrado en el límite de la línea y el proceso de filtrado en posiciones distintas del límite de la línea.
[14. Séptima realización de la unidad de filtrado de desbloqueo]
[Ejemplo de configuración de una unidad de filtrado de desbloqueo]
La figura 24 ilustra la configuración de una séptima realización de la unidad de filtrado de desbloqueo.
En el ejemplo de la figura 24, la unidad 24 de filtrado de desbloqueo se configura para incluir una memoria 71 de imágenes, una unidad 72 de determinación del límite de bloque, una unidad 73 de determinación de la intensidad de filtro, una unidad 74 de operación de filtro, una memoria 76 de coeficientes, y un controlador 77.
En la unidad 24 de filtrado de desbloqueo de la figura 24, la memoria 71 de imágenes, la memoria 76 de coeficientes y el controlador 77 son los mismos que los de la unidad 24 de filtrado de desbloqueo de la figura 22.
La unidad 24 de filtrado de desbloqueo de la figura 24 es diferente de la unidad 24 de filtrado de desbloqueo de la figura 22 en que la unidad 72-1 de determinación de límite de bloque y la unidad 72-2 de determinación de límite de línea/límite de bloque se cambian colectivamente a la unidad 72 de determinación de límite de bloque. La unidad 24 de filtrado de desbloqueo de la figura 24 es diferente de la unidad 24 de filtrado de desbloqueo de la figura 22 en que la unidad 73-1 de determinación de intensidad de filtro y la unidad 73-2 de determinación de intensidad de filtro de límite de línea se cambian colectivamente a la unidad 73 de determinación de intensidad de filtro. La unidad 24 de filtrado de desbloqueo de la figura 24 es diferente de la unidad 24 de filtrado de desbloqueo de la figura 22 en que la unidad 74-1 de operación de filtro y la unidad 74-2 de operación de filtro de límite de línea se cambian colectivamente a la unidad 74 de operación de filtro.
Además, la unidad 24 de filtrado de desbloqueo de la figura 24 es diferente de la unidad 24 de filtrado de desbloqueo de la figura 22 en que la unidad de determinación de línea intra-LCU 77A del controlador 77 se cambia a una unidad 77B de determinación de línea intra-LCU.
Es decir, la unidad 77B de determinación de línea intra-LCU controla la dirección del píxel leído desde la memoria 71 de imágenes como se ha descrito anteriormente mediante un ejemplo de cálculo de P00 en el filtrado fuerte basado en R2W2. Por lo tanto, la memoria 71 de imágenes lee los píxeles basándose en el control de la unidad 77B de determinación de línea intra-LCU y suministra los píxeles leídos a la unidad de determinación del límite de bloque 72, a la unidad 73 de determinación de la intensidad de filtro y a la unidad 74 de operación de filtro.
La unidad 72 de determinación de límites de bloques realiza la determinación de límites entre bloques. Es decir, la unidad 72 de determinación de límites de bloques realiza el proceso de determinación de límites entre bloques descrito anteriormente para cada bloque utilizando los datos de imagen leídos de la memoria 71 de imagen y detecta un límite interbloques en el que se realiza el proceso de filtrado. La unidad 72 de determinación del límite de bloque envía los resultados de la detección a la unidad 73 de determinación de la intensidad de filtro.
La unidad 73 de determinación de la intensidad de filtro determina la intensidad de filtro de la manera descrita anteriormente. Es decir, la unidad 73 de determinación de la intensidad de filtro determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil para cada línea utilizando los datos de imagen de dos bloques adyacentes al límite interbloques interpuesto, suministrados desde la memoria 71 de imagen y envía los resultados de la determinación a la unidad 74 de operación de filtro.
La unidad 74 de operación de filtro realiza la operación de filtrado con la intensidad de filtro determinada por la unidad 73 de determinación de intensidad de filtro para cada línea utilizando los datos de imagen almacenados en la memoria 71 de imagen y los coeficientes de filtro leídos de la memoria 76 de coeficientes. La unidad 74 de operación de filtro envía los datos de imagen que han sido sometidos al proceso de filtrado a la memoria 25 de tramas.
El proceso de filtrado de desbloqueo de la unidad 24 de filtrado de desbloqueo de la figura 24 es básicamente el mismo que el proceso de filtrado de desbloqueo descrito anteriormente con referencia a la figura 23, y no se proporcionará su descripción.
Como anteriormente, los píxeles a los que no se pudo hacer referencia debido al intervalo de imagen reducido utilizado para la operación de filtrado se interpolan utilizando la inclinación de la forma de onda utilizada en la determinación del límite interbloques. Como resultado, el proceso de desbloqueo cuando los valores de los píxeles tienen una inclinación se puede realizar incluso cuando se reduce el intervalo de imagen en el límite de línea inter-LCU.
Además, en la determinación del límite interbloques y en la determinación del filtrado fuerte/débil, los píxeles a los que no se pudo hacer referencia debido al intervalo de imagen reducido utilizado para la operación de filtrado se interpolan utilizando la inclinación y el relleno de la forma de onda utilizada en la determinación del límite interbloques. Como resultado, el proceso de determinación de desbloqueo cuando los valores de los píxeles tienen una inclinación se puede realizar incluso cuando se reduce el intervalo de imagen en el límite de línea inter-LCU.
De esta manera, en el límite de línea inter-LCU, incluso cuando se reduce el intervalo de imagen, es posible reducir la memoria de líneas mientras se mantiene la función del proceso de desbloqueo.
[15. Octava realización de la unidad de filtrado de desbloqueo]
[Ejemplo de configuración de una unidad de filtrado de desbloqueo]
La figura 25 ilustra la configuración de una octava realización de la unidad de filtrado de desbloqueo.
En el ejemplo de la figura 25, la unidad 24 de filtrado de desbloqueo se configura para incluir una memoria 81 de imágenes, una unidad 82 de determinación del límite de bloque, una unidad 83 de determinación de la intensidad de filtro, una unidad 84 de operación de filtro, una memoria 85 de coeficientes, y un controlador 86.
La memoria 81 de imágenes es una unidad que corresponde a la memoria 71 de imágenes de la figura 22 y está configurada como una memoria de líneas. La memoria 81 de imagen almacena los datos de imagen suministrados desde el sumador 23. La memoria 81 de imagen lee los datos de imagen almacenados en ella y suministra los datos de imagen leídos a la unidad 82 de determinación del límite de bloque, a la unidad 83 de determinación de la intensidad de filtro y a la unidad 84 de operación de filtro.
En posiciones distintas del límite de la línea, los datos de imagen no se almacenan en la memoria 81 de imagen, pero puede darse el caso de que los datos de imagen suministrados desde el sumador 23 se suministren a las unidades respectivas y se procesen. Sin embargo, en el ejemplo de la figura 25, por motivos de conveniencia, se describe que se procesan los datos de imagen que han pasado a través de la memoria 81 de imagen.
La unidad 82 de determinación de límites de bloques obtiene límites cada ocho líneas bajo el control del controlador 86 para calcular los parámetros utilizados para la determinación y realiza la determinación de límites entre bloques cada cuatro líneas. Es decir, la unidad 82 de determinación de límites de bloques obtiene un límite entre TU y PU utilizando los datos de imagen leídos de la memoria 81 de imagen y obtiene un valor BS. Además, la unidad de determinación del límite de bloque 82 obtiene un promedio de los parámetros de cuantificación QP de dos regiones adyacentes con un límite actual interpuesto para calcular un QP promedio (parámetro de cuantificación) y calcula los parámetros tc y p basándose en el QP promedio calculado.
Además, la unidad 82 de determinación de límites de bloques determina si se debe realizar o no un filtrado cada cuatro líneas utilizando los datos de imagen de dos bloques adyacentes al límite interbloques interpuesto, suministrados desde la memoria 81 de imagen y los parámetros calculados. La unidad 82 de determinación del límite del bloque suministra los parámetros calculados a la unidad 83 de determinación de la intensidad de filtro junto con los resultados de la determinación del límite.
La unidad 83 de determinación de la intensidad de filtro determina la intensidad de filtro cada cuatro líneas bajo el control del controlador 86. Es decir, cuando la unidad 82 de determinación del límite de bloque determina que se debe realizar el filtrado, la unidad 83 de determinación de la intensidad de filtro determina si el proceso de filtrado se realizará en un modo de filtrado fuerte o en un modo de filtrado débil y envía los resultados de la determinación a la unidad 84 de operación de filtro.
La unidad 84 de operación de filtro realiza la operación de filtrado con la intensidad de filtro determinada por la unidad 83 de determinación de intensidad de filtro cada cuatro líneas utilizando los datos de imagen almacenados en la memoria 81 de imagen y los coeficientes de filtro leídos de la memoria 85 de coeficientes bajo el control del controlador 86. En particular, cuando la unidad 83 de determinación de la intensidad de filtro determina que se va a realizar un filtrado fuerte, la unidad 84 de operación de filtro realiza un proceso de filtrado basado en el recorte utilizando las expresiones (106) a (111) descritas anteriormente. La unidad 84 de operación de filtro envía los datos de imagen que han sido sometidos al proceso de filtrado a la memoria 25 de tramas en el paso posterior.
La memoria 85 de coeficientes almacena los coeficientes de filtro utilizados en la operación de filtrado del proceso de filtrado de desbloqueo. La memoria 85 de coeficientes lee los coeficientes de filtro almacenados en ella y suministra los coeficientes de filtro a la unidad 84 de operación de filtro.
El controlador 86 recibe información (información de encendido/apagado del filtro de desbloqueo, valores de compensación de los parámetros p y tc y parámetros de recorte) desde una unidad de operación (no ilustrada) (en el caso del lado de decodificación, el decodificador sin pérdidas 52). Además, al controlador 86 también se le suministra la información del modo de predicción y los parámetros necesarios para el filtro de desbloqueo, tales como los parámetros de cuantificación.
Por ejemplo, el controlador 86 suministra la información de entrada a la unidad correspondiente y controla las unidades respectivas de la unidad 24 de filtrado de desbloqueo basándose en la información de encendido/apagado de entrada.
El controlador 86 controla la memoria 81 de imagen para almacenar los datos de imagen correspondientes a un número predeterminado de líneas en el lado inferior del bloque y lee los datos de imagen almacenados en la memoria 81 de imagen. Además, cuando se realiza un filtrado fuerte, el controlador 86 controla la unidad 84 de operación de filtro para realizar un proceso de filtrado fuerte basado en recortes. En la presente memoria, el controlador 86 suministra parámetros (por ejemplo, un valor de recorte pv y un valor de multiplicación de tc del valor de recorte) relacionados con el proceso de recorte a la unidad 84 de operación de filtro.
[Operación de la unidad de filtrado de desbloqueo]
A continuación, se describirá el proceso de desbloqueo de la unidad 24 de filtrado de desbloqueo de la figura 25 con referencia al diagrama de flujo de la figura 26.
Por ejemplo, la información de encendido/apagado, un valor de compensación p, un valor de compensación Tc, y los parámetros relacionados con el proceso de recorte se introducen en el controlador 86 a través de una unidad de operación (no se ilustra) (en el caso del lado de decodificación, el decodificador sin pérdidas 52). Además, al controlador 86 también se le suministra la información del modo de predicción y los parámetros necesarios para el filtro de desbloqueo, tales como los parámetros de cuantificación.
En el paso S201, el controlador 86 establece las compensaciones de filtro (desplazamientos p y Tc) y suministra la información de desplazamiento establecido a la unidad 83 de determinación de la intensidad de filtro.
En el paso S202, el controlador 86 determina si el filtro de desbloqueo se puede utilizar basándose en la información de encendido/apagado. Cuando se determina en el paso S202 que no se puede utilizar el filtro de desbloqueo, finaliza el proceso de filtrado de desbloqueo.
Cuando se determina en el paso S202 que se puede utilizar el filtro de desbloqueo, el controlador 86 envía una notificación al respecto a la unidad 82 de determinación de límite de bloque, a la unidad 83 de determinación de intensidad de filtro, y a la unidad de operación de filtro 84, y el flujo procede al paso S203. En la presente memoria, los parámetros necesarios y similares también se suministran desde el controlador 86 a las unidades respectivas.
En el paso S203, la unidad 82 de determinación del límite de bloque obtiene un límite entre TU y PU cada 8 líneas. En el paso S204, la unidad 82 de determinación del límite de bloque obtiene un valor de intensidad límite (BS, en inglés) basándose en la información sobre el límite entre TU y PU obtenida en el paso S203 y en la información del modo de predicción y similares suministradas desde el controlador 86.
En el paso S205, la unidad 82 de determinación del límite de bloque, la unidad 83 de determinación de intensidad de filtro y la unidad 84 de operación de filtro realizan un proceso de filtrado de límite de luminancia. En el proceso de filtrado del límite de luminancia, el filtrado del límite de luminancia se realiza en las señales de luminancia mediante el proceso del paso S205, que se describirá con referencia a la figura 27.
En el paso S206, la unidad 82 de determinación del límite de bloque, la unidad 83 de determinación de intensidad de filtro y la unidad 84 de operación de filtro realizan un proceso de filtrado de límite de crominancia. Mediante el proceso del paso S206, se realiza un filtrado de límite de crominancia en las señales de crominancia.
En el paso S207, el controlador 86 determina si se han procesado todos los límites. Cuando se determina en el paso 5207 que no se han procesado todos los límites, el flujo vuelve al paso S205 y los procesos posteriores se realizan repetidamente. Cuando se determina en el paso S207 que se han procesado todos los límites, el flujo procede al paso S208.
En el paso S208, el controlador 86 determina si se han procesado todas las CU. Cuando se determina en el paso 5208 que no se han procesado todas las CU, el flujo vuelve al paso S203 y los procesos posteriores se llevan a cabo repetidamente.
Cuando se determina en el paso S208 que se han procesado todas las CU, finaliza el proceso de filtrado de desbloqueo.
[Ejemplo de proceso de filtrado de límites de luminancia]
A continuación, se describirá el proceso de filtrado del límite de luminancia en el paso S205 de la figura 26 con referencia al diagrama de flujo de la figura 27.
En el flujo S231, la unidad 82 de determinación de límites de bloque determina si el valor BS es mayor que 0 cada ocho líneas. Cuando se determina en el paso S231 que el valor BS no es mayor que 0, finaliza el proceso de filtrado del límite de luminancia. Es decir, en este caso, el proceso de filtrado de la unidad 84 de operación de filtrado no se realiza en el límite de luminancia, y los valores de píxel antes del filtrado se envían tal cual.
Cuando se determina en el paso S231 que el valor BS es mayor que 0, el flujo procede al paso S232. En el paso S232, la unidad 82 de determinación del límite de bloque obtiene un promedio de los parámetros de cuantificación QP de dos regiones adyacentes a un límite actual utilizando los valores de píxel de la memoria de imágenes 81 cada ocho líneas para calcular un QP promedio (parámetro de cuantificación). En este caso, los parámetros de cuantificación QP se suministran desde el controlador 86.
En el paso S233, la unidad 82 de determinación del límite de bloque calcula los parámetros tc y p basándose en el QP promedio calculado en el paso S232 cada ocho líneas.
En el paso S234, la unidad 82 de determinación de límites de bloque realiza la determinación de encendido/apagado del filtro cada cuatro líneas. Es decir, la unidad 82 de determinación del límite de bloque realiza la determinación de encendido/apagado del filtro cada cuatro líneas utilizando los parámetros calculados p y similares. Este proceso de determinación utiliza la expresión (68) descrita anteriormente, por ejemplo.
Los resultados de la determinación de encendido/apagado en el paso S234 se suministran a la unidad 83 de determinación de la intensidad de filtro junto con los parámetros calculados como resultados de la determinación del límite.
Además, en el paso S235, la unidad 83 de determinación de la intensidad de filtro realiza la determinación de la intensidad de filtro cada cuatro líneas. Es decir, la unidad 83 de determinación de la intensidad de filtro realiza la determinación de la intensidad de filtro cada cuatro líneas utilizando los parámetros p, tc y similares calculados por la unidad 82 de determinación del límite de bloque. Este proceso de determinación utiliza los primeros términos de las expresiones (69) y (61) a (63) descritas anteriormente, por ejemplo.
Los resultados de la determinación de encendido/apagado en el paso S234 y los resultados de la determinación de la intensidad de filtro en el paso S235 se suministran a la unidad 84 de operación de filtro. En este caso, el parámetro tc también se suministra a la unidad 84 de operación de filtro.
En el paso S236, la unidad 84 de operación de filtro determina si se debe aplicar un filtrado fuerte a las cuatro líneas actuales basándose en los resultados de determinación de la unidad 83 de determinación de la intensidad de filtro. Cuando se determina en el paso S236 que se va a aplicar un filtrado fuerte a las cuatro líneas actuales, el flujo procede al paso S237.
En el paso S237, la unidad 84 de operación de filtro realiza un proceso de filtrado fuerte basado en recortes utilizando las expresiones (106) a (111) descritas anteriormente bajo el control del controlador 86. La unidad 84 de operación de filtro envía los valores de píxel después del proceso de filtrado al paso posterior.
Cuando se determina en el paso S236 que no se debe aplicar un filtrado fuerte, la unidad 84 de operación de filtro determina en el paso S238 si se debe aplicar un filtrado débil a las cuatro líneas actuales basándose en los resultados de determinación de la unidad 83 de determinación de la intensidad de filtro. Cuando se determina en el paso S238 que se va a aplicar un filtrado débil, el flujo procede al paso 239.
En el paso S239, la unidad 84 de operación de filtro realiza un proceso de filtrado débil. La unidad 84 de operación de filtro envía los valores de píxel después del proceso de filtrado al paso posterior.
Cuando se determina en el paso S238 que no se va a aplicar un filtrado débil, el flujo procede al paso 240. En el paso S240, la unidad 84 de operación de filtro no realiza el proceso en las cuatro líneas actuales basándose en los resultados de la determinación de la unidad 83 de determinación de la intensidad de filtro, sino que envía los valores de píxel después del proceso de filtrado al paso posterior tal como están.
En el paso S240, la unidad 84 de operación de filtro determina si el proceso para ocho líneas se ha completado y finaliza el proceso de desbloqueo de la señal de luminancia cuando se determina que el proceso para ocho líneas se ha completado. Cuando se determina en el paso S240 que el proceso para ocho líneas no se ha completado, el flujo vuelve al paso S234 y los procesos posteriores se realizan repetidamente.
Como anteriormente, dado que el proceso de filtrado fuerte basado en recortes se lleva a cabo cuando se determina que se va a aplicar un filtrado fuerte, es posible suprimir en la medida de lo posible la influencia de una falta de coincidencia del proceso de determinación y de que el proceso de determinación esté incompleto. De esta manera, es posible permitir que el proceso de desbloqueo aplique el filtrado apropiadamente.
En la descripción anterior, se ha descrito el proceso de filtrado fuerte basado en la aproximación lineal y el recorte. En la descripción de la aproximación lineal, aunque se han descrito los casos de R2W2 y R2W1, el proceso de aproximación lineal para los casos de R3W2 y R1W1 se puede realizar de la misma manera.
[16. Novena realización]
[Ejemplo de R3W2]
A continuación, se describirá el caso R3W2 con referencia a la figura 28. En el ejemplo de la figura 28, los círculos blancos sobre una línea continua indican los valores de píxel de los respectivos píxeles p2<i>, p1<i>, p0<i>, q0<i>, q1<i>, y q2<i>cerca del límite BB ilustrado en la figura 16 antes del filtro de desbloqueo. Como se ilustra en la figura 28, una brecha entre los bloques BKu y BKI es D = p0<i>- q0<i>.
Además, los círculos en la línea punteado indican los valores de píxel respectivos después de un filtrado fuerte de las señales de luminancia en el esquema HEVC. Es decir, en este caso, la diferencia entre los valores de los píxeles antes y después del filtrado fuerte es 1/8*D para q2<i>, 2/8*D para q1<i>, y 3/8*D para q0<i>. Similarmente, la diferencia entre los valores de píxeles antes y después del filtrado fuerte es 3/8*D para p0<i>, 2/8*D para p1<i>, y 1/8*D para p2<i>.
Aquí, considerando el proceso de filtrado de la señal de luminancia para el caso R3W2, el píxel p2<i>no está sujeto a filtrado. Es decir, el píxel p2<i>tiene un valor de píxel indicado por un círculo punteado en la línea continua, y aumenta la diferencia con el valor de píxel p1<i>indicado por la línea punteado. Por lo tanto, los valores de píxel tienen una pendiente abrupta solo entre los valores de píxel de p2<i>indicados por el círculo punteado en la línea continua y p1<i>indicado por la línea punteado.
Por lo tanto, en el caso R3W2, para suavizar esta pendiente, hay una diferencia Ap1<i>entre el valor del píxel (círculo blanco) de p0; antes del filtrado y el valor del píxel (círculo sombreado) después de un filtrado fuerte se expresa mediante la expresión (112) que figura a continuación.
[Fórmula matemática 34]
Es decir, la expresión (112) se deriva de modo que Api<i>tome 3/16*D, que es la mitad de la diferencia Ap0<i>entre el valor del píxel (círculo blanco) de p0i antes del filtrado y el valor del píxel (círculo sombreado) después del filtrado fuerte.
Dado que el segundo término en el lado derecho de la última ecuación de aproximación de la Expresión (112) es el valor del píxel (círculo blanco) antes del filtrado, el primer término en el lado derecho de la última ecuación de aproximación de la Expresión (112) representa el valor del píxel después del filtrado fuerte, de p1<i>indicado por el círculo sombreado.
Es decir, los coeficientes multiplicados por los respectivos valores de píxeles en el primer término del lado derecho de la última ecuación de aproximación de la Expresión (112) se utilizan como coeficientes del filtrado fuerte para el caso R3W2. Como resultado, los resultados del filtrado fuerte para el caso R3W2 pueden suavizarse en comparación con la pendiente de la línea punteado de la técnica convencional, como lo indica la pendiente de la línea en negrita en la figura 28.
La expresión de determinación para el filtrado fuerte del caso R3W2 se expresa mediante la expresión (113) a continuación. [Fórmula matemática 35]
Una expresión que aparece después del primer “ y” de la Expresión (113) para determinar el filtrado fuerte del caso R3W2 es diferente de una expresión que aparece después del primer “ y” de la Expresión (69) para determinar el filtrado fuerte del esquema HEVC. En el caso de R3W2, dado que no se pudo hacer referencia a p3<i>, no se aplica el relleno (es decir, p3<i>= p2<i>).
Por lo tanto, las dos expresiones se diferencian sólo en que la expresión “ (|p3<i>- p0<i><< 1| |q0<i>- q3<i>|) < (p >> 3))” que aparece después del primer “y” de la expresión (69) se cambia a la expresión “ (|p2<i>- p0; << 1| |q0<i>- q3<i>|) < (p >> 3))” que aparece después del primer “y” de la expresión (113).
Además, en el filtrado fuerte del caso R3W2, una expresión relacionada con p1<o>es diferente de la de la expresión (52) para el filtrado fuerte del esquema HEVC según la expresión (112) descrita anteriormente como se ilustra en la expresión (114). [Fórmula matemática 36]
En el caso del filtrado fuerte del R3W2, la expresión (54) relacionada con P2<o>del filtrado fuerte del esquema HEVC no es necesaria y se omite.
De esta manera, el filtrado fuerte de la carcasa R3W2 se puede realizar sin deteriorar la precisión.
Además, en la presente memoria descriptiva, el tamaño de las unidades de procesamiento del filtro de desbloqueo puede ser el tamaño de los macrobloques del H.264/AVC, el tamaño de los bloques del árbol de codificación de las unidades de codificación del HEVC y similares, por ejemplo. Además, en la presente memoria descriptiva, el término bloque o macrobloque también incluye una unidad de codificación (CU), una unidad de predicción (PU), y una unidad de transformación (TU) en el contexto de la HEVC.
Una serie de procesos descritos en esta memoria descriptiva se pueden realizar mediante hardware, software, o una combinación de los mismos. Cuando los procesos se realizan mediante software, un programa que incluye la secuencia del proceso puede instalarse y ejecutarse mediante una memoria de un ordenador ensamblado en hardware exclusivo. Alternativamente, el programa puede instalarse y ejecutarse por un ordenador de uso general que realice varios procesos.
Por ejemplo, el programa puede grabarse por adelantado en un disco duro o en una memoria de solo lectura (ROM) como un medio de grabación. Alternativamente, el programa puede grabarse temporal o permanentemente en un disco magnético (tal como un disco flexible), un disco óptico (tal como un CD-ROM (memoria de solo lectura de disco compacto), un disco MO (magnetoóptico) o un DVD (disco versátil digital)) y un medio de almacenamiento extraíble (no se muestra) (tal como una memoria semiconductora), por ejemplo. Tal medio de almacenamiento extraíble puede proporcionarse como el denominado software de paquete.
El programa puede transferirse de forma inalámbrica desde un sitio de descarga a la computadora o puede transferirse a través de cables a la computadora mediante una red tal como una red de área local (LAN) o Internet, además de instalar el programa en el ordenador desde el medio de grabación extraíble descrito anteriormente. El ordenador puede recibir el programa transferido de esta manera e instalarlo en un medio de grabación tal como un disco duro incorporado.
[19. Décima realización]
[Aplicación a la codificación y decodificación de imágenes en múltiples vistas]
La serie de procesos se puede aplicar a la codificación y decodificación de imágenes de múltiples vistas. La figura 29 ilustra un ejemplo de un esquema de codificación de imágenes de múltiples vistas.
Como se ilustra en la figura 29, una imagen de múltiples vistas incluye imágenes de una pluralidad de vistas, y una imagen de una vista única predeterminada entre la pluralidad de vistas se designa como una imagen de vista base. Las imágenes de visualización respectivas distintas de la imagen de vista base se tratan como imágenes de vista no base.
Cuando se codifica la imagen de múltiples vistas, tal como se ilustra en la figura 29, en las vistas respectivas (las mismas vistas), se pueden establecer los parámetros (por ejemplo, un valor de recorte y un factor de multiplicación relacionados con tc del valor de recorte) relacionados con el proceso de recorte para un filtrado fuerte. Además, en las vistas respectivas (vistas diferentes), se pueden compartir los parámetros que relacionan el proceso de recorte para un filtrado fuerte establecido con las otras vistas.
En este caso, los parámetros relacionados con el proceso de recorte establecidos en una vista base se utilizan en al menos una vista no base. Alternativamente, por ejemplo, los parámetros relacionados con el proceso de recorte establecidos en una vista no base (view_id = 0) se utilizan en al menos una de las vistas base y una vista no base (view_id = 1).
Además, en las vistas respectivas (las mismas vistas), se pueden establecer los parámetros relacionados con el proceso de recorte para un filtrado fuerte. Además, en las vistas respectivas (vistas diferentes), se pueden compartir los parámetros que relacionan el proceso de recorte para un filtrado fuerte establecido con las otras vistas.
En este caso, los parámetros relacionados con el proceso de recorte establecidos en una vista base se utilizan en al menos una vista no base. Alternativamente, por ejemplo, los parámetros relacionados con el proceso de recorte establecidos en una vista no base (view_id = 0) se utilizan en al menos una de las vistas base y una vista no base (view_id = 1).
De esta manera, es posible permitir que el proceso de desbloqueo aplique el filtrado apropiadamente.
[Dispositivo de codificación de imágenes de múltiples vistas]
La figura 30 es un diagrama que ilustra un dispositivo de codificación de imágenes de múltiples vistas que realiza la codificación de imágenes de múltiples vistas descrita anteriormente. Como se ilustra en la figura 30, un dispositivo 600 de codificación de imágenes de múltiples vistas incluye una unidad 601 de codificación, una unidad 602 de codificación, y un multiplexor 603.
La unidad 601 de codificación codifica una imagen de vista base para generar un flujo codificado de imagen de vista base. La unidad 602 de codificación codifica una imagen de vista no base para generar un flujo codificado de imagen de vista no base. El multiplexor 603 multiplexa el flujo codificado de imagen de vista base generado por la unidad 601 de codificación y el flujo codificado de imagen de vista no base generado por la unidad 602 de codificación para generar un flujo codificado de imagen de múltiples vistas.
El dispositivo 10 codificación de imágenes (figura 1) se puede aplicar a las unidades 601 y 602 de codificación del dispositivo 600 de codificación de imágenes de múltiples vistas. En este caso, el dispositivo 600 de codificación de imágenes de múltiples vista establece los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 601 de codificación y los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 602 de codificación y transfiere los parámetros.
Como se ha descrito anteriormente, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 601 de codificación pueden transferirse para ser compartidos por las unidades 601 y 602 de codificación. Por el contrario, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 602 de codificación pueden transferirse para ser compartidos por las unidades 601 y 602 de codificación.
[Dispositivo de decodificación de imágenes de múltiples vistas]
La figura 31 es un diagrama que ilustra un dispositivo de decodificación de imágenes de múltiples vistas que realiza la decodificación de imágenes de múltiples vistas descrita anteriormente. Como se ilustra en la figura 31, un dispositivo 610 de decodificación de imágenes de múltiples capas incluye un demultiplexor 611, una unidad 612 de decodificación, y una unidad 613 de decodificación.
El demultiplexor 611 demultiplexa el flujo codificado de imágenes de vistas múltiples en el que el flujo codificado de imagen de vista base y el flujo codificado de imagen de vista no base se multiplexan para extraer el flujo codificado de imagen de vista de base y el flujo codificado de imagen de vista no base. La unidad 612 de decodificación decodifica el flujo codificado de imagen de vista base extraído por el demultiplexor 611 para obtener una imagen de vista base. La unidad 613 de decodificación decodifica el flujo codificado de imagen de vista no base extraído por el demultiplexor 611 para obtener una imagen de vista no base.
El dispositivo 50 de decodificación de imágenes (figura 6) se puede aplicar a las unidades 612 y 613 de decodificación del dispositivo 610 de decodificación de imágenes de múltiples vistas. En este caso, el dispositivo 610 de decodificación de imágenes de múltiples vistas realiza el proceso utilizando los parámetros relacionados con el proceso de recorte para un filtrado fuerte, que establece la unidad 601 de codificación y decodifica la unidad 612 de decodificación, y los parámetros relacionados con el proceso de recorte para un filtrado fuerte, que establece la unidad 602 de codificación y decodifica la unidad 613 de decodificación.
Como se ha descrito anteriormente, hay un caso donde los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 601 de codificación (o la codificación 602) se transfieren para ser compartidos por las unidades 601 y 602 de codificación. En este caso, el dispositivo 610 de decodificación de imágenes de múltiples vistas realiza el proceso utilizando los parámetros relacionados con el proceso de recorte para un filtrado fuerte, que son establecidos por la unidad 601 de codificación (o la codificación 602) y decodificados por la unidad 612 de decodificación (o la unidad 613 de decodificación).
[18. Undécima realización]
[Aplicación a la codificación y decodificación de imágenes de capa]
La serie de procesos anterior se puede aplicar a la codificación y decodificación de imágenes de capa. La figura 32 ilustra un ejemplo de un esquema de codificación de imágenes de múltiples vistas.
Como se ilustra en la figura 32, una imagen en capas incluye imágenes de una pluralidad de capas (resoluciones), y una imagen de una única capa predeterminada entre la pluralidad de resoluciones se designa como imagen de capa base. Las imágenes de capa respectivas distintas de la imagen de capa base se tratan como imágenes de capa no base.
Cuando se realiza la codificación de imágenes de capa (escalabilidad espacial) como se ilustra en la figura 32, en las capas respectivas (mismas capas), se pueden establecer los parámetros relacionados con el proceso de recorte para un filtrado fuerte. Además, en las capas respectivas (capas diferentes), se pueden compartir los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en las otras capas.
En este caso, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en una capa base se utilizan en al menos una capa no base. Alternativamente, por ejemplo, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en una capa no base (layer_id = 0) se utilizan en al menos una de las capas base y una capa no base (layer_id = 1).
Además, en las capas respectivas (las mismas capas), se pueden establecer los parámetros relacionados con el proceso de recorte para un filtrado fuerte. Además, en las capas respectivas (capas diferentes), se pueden compartir los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en las otras vistas.
En este caso, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en una capa base se utilizan en al menos una capa no base. Alternativamente, por ejemplo, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido en una capa no base (layer_id = 0) se utilizan en al menos una de las capas base y una capa no base (layer_id = 1).
De esta manera, es posible permitir que el proceso de desbloqueo aplique el filtrado apropiadamente.
[Dispositivo de codificación de imágenes de capa]
La figura 33 es un diagrama que ilustra un dispositivo de codificación de imágenes de capa que lleva a cabo la codificación de imágenes de capa descrita anteriormente. Como se ilustra en la figura 33, un dispositivo 620 de codificación de imágenes de capa incluye una unidad 621 de codificación, una unidad 622 de codificación y un multiplexor 623.
La unidad 621 de codificación codifica una imagen de capa base para generar un flujo codificado de imágenes de capa base. La unidad 622 de codificación codifica una imagen de capa no base para generar un flujo codificado de imágenes de capa no base. El multiplexor 623 multiplexa el flujo codificado de imagen de capa base generado por la unidad 621 de codificación y el flujo codificado de imagen de capa no base generado por la unidad 622 de codificación para generar un flujo codificado de imagen en capas.
El dispositivo 10 de codificación de imágenes (figura 1) se puede aplicar a las unidades 621 y 622 de codificación del dispositivo 620 de codificación de imágenes de capa. En este caso, el dispositivo 620 de codificación de imágenes de capa establece los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 621 de codificación y los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 602 de codificación y transfiere los parámetros.
Como se ha descrito anteriormente, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 621 de codificación pueden transferirse para ser compartidos por las unidades 621 y 622 de codificación. Por el contrario, los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 622 de codificación pueden transferirse para ser compartidos por las unidades 621 y 622 de codificación.
[Dispositivo de decodificación de imágenes de capa]
La figura 34 es un diagrama que ilustra un dispositivo de decodificación de imágenes de capa que lleva a cabo la decodificación de imágenes de capa descrita anteriormente. Como se ilustra en la figura 34, un dispositivo 630 de decodificación de imágenes de capa incluye un demultiplexor 631, una unidad 632 de decodificación, y una unidad 633 de decodificación.
El demultiplexor 631 demultiplexa el flujo codificado de imagen en capas en el que el flujo codificado de imagen en capas base y el flujo codificado de imagen en capas no base se multiplexan para extraer el flujo codificado de imagen en capas base y el flujo codificado de imagen en capas no base. La unidad 632 de decodificación decodifica el flujo codificado de imagen en capas base extraído por el demultiplexor 631 para obtener una imagen en capas base. La unidad 633 de decodificación decodifica el flujo codificado de imagen en capas no base extraído por el demultiplexor 631 para obtener una imagen en capas no base.
El dispositivo 50 de decodificación de imágenes (figura 6) se puede aplicar a las unidades 632 y 633 de decodificación del dispositivo 630 de decodificación de imágenes de múltiples vistas. En este caso, el dispositivo 630 de decodificación de imágenes de múltiples vistas realiza el proceso utilizando el parámetro relacionado con el proceso de recorte para un filtrado fuerte, que establece la unidad 621 de codificación y decodifica la unidad 632 de decodificación, y los parámetros relacionados con el proceso de recorte para un filtrado fuerte, que establece la unidad 622 de codificación y decodifica la unidad 633 de decodificación.
Como se ha descrito anteriormente, hay un caso donde los parámetros relacionados con el proceso de recorte para un filtrado fuerte establecido por la unidad 621 de codificación (o la codificación 622) se transfieren para ser compartidos por las unidades 621 y 622 de codificación. En este caso, el dispositivo 630 de decodificación de imágenes de múltiples vistas realiza el proceso utilizando los parámetros relacionados con el proceso de recorte para un filtrado fuerte, que son establecidos por la unidad 621 de codificación (o la codificación 622) y decodificados por la unidad 632 de decodificación (o la unidad 633 de decodificación).
[19. Ejemplo de aplicación>
El dispositivo 10 de codificación de imágenes y el dispositivo 50 de decodificación de imágenes según las realizaciones descritas anteriormente pueden aplicarse a varios aparatos electrónicos, tales como un transmisor o un receptor que distribuye señales en la transmisión por cable (tal como transmisión por satélite o una TV por cable) o en el Internet y distribuye señales a un terminal por comunicación celular, un dispositivo de grabado que graba imágenes en un medio tal como un disco óptico, un disco magnético, o un memoria flash, o un dispositivo de reproducción que reproduce imágenes de estos medios de almacenamiento. A continuación se describirán cuatro ejemplos de aplicación.
[Primer ejemplo de aplicación]
La figura 35 ilustra un ejemplo de una configuración esquemática de un aparato de televisión al que se aplica la realización descrita anteriormente. Un aparato 900 de televisión incluye una antena 901, un sintonizador 902, un demultiplexor 903, un decodificador 904, un procesador 905 de señales de vídeo, una unidad 906 de visualización, un procesador 907 de señales de audio, un altavoz 908 y una interfaz externa 909. El aparato 900 de televisión incluye además un controlador 910, una interfaz 911 de usuario, y similares.
El sintonizador 902 extrae una señal de un canal deseado de una señal de transmisión recibida a través de la antena 901, y demodula la señal extraída. A continuación, el sintonizador 902 envía al demultiplexor 903 un flujo de bits codificado obtenido por demodulación. Es decir, el sintonizador 902 sirve como medio de transmisión en el aparato 900 de televisión que recibe el flujo codificado en el que se codifica una imagen.
El demultiplexor 903 separa del flujo de vídeo y un flujo de audio de un programa que se va a ver desde el flujo de bits codificado y envía cada flujo separado al decodificador 904. Además, el demultiplexor 903 extrae datos auxiliares tales como una EPG (guía electrónica de programas, siglas del inglés “ Electronic Program Guide” ) del flujo de bits codificado y suministra los datos extraídos al controlador 910. El demultiplexor 903 puede desaleatorizar cuando el flujo de bits codificado esté aleatorizado.
El descodificador 904 decodifica el flujo de vídeo y el flujo de audio introducidos desde el demultiplexor 903. A continuación, el decodificador 904 envía los datos de vídeo generados por el proceso de decodificación al procesador 905 de señales de vídeo. Además, el decodificador 904 envía los datos de audio generados por el proceso de decodificación al procesador 907 de señal de audio.
El procesador 905 de señal de vídeo reproduce los datos de vídeo introducidos desde el decodificador 904, y permite que la unidad 906 de visualización muestre el vídeo. El procesador 905 de señal de vídeo también puede hacer que la unidad 906 de visualización muestre una pantalla de aplicación suministrada a través de la red. El procesador 905 de señal de vídeo también puede realizar un proceso adicional, tal como la eliminación de ruido, por ejemplo, a los datos de vídeo según la configuración. Además, el procesador 905 de señal de vídeo puede generar una imagen de una GUI (interfaz gráfica de usuario, siglas del inglés “ Graphical User Interface” ), tal como un menú, un botón, y un cursor, por ejemplo, y superponer la imagen generada sobre una imagen de salida.
La unidad 906 de visualización se acciona por una señal de accionamiento suministrada por el procesador 905 de señal de vídeo para mostrar el vídeo o una imagen en una pantalla de vídeo de un dispositivo de visualización (por ejemplo, una pantalla de cristal líquido, una pantalla de plasma, un OLED, o similares).
El procesador 907 de señal de audio realiza un proceso de reproducción tal como la conversión D/A y la amplificación a la entrada de datos de audio desde el decodificador 904 y permite que el altavoz 908 envíe el audio. El procesador 907 de señal de audio también puede realizar un proceso adicional, tal como la eliminación de ruido en los datos de audio. La interfaz externa 909 es la interfaz para conectar el aparato 900 de televisión y un aparato externo o la red. Por ejemplo, el decodificador 904 puede decodificar el flujo de vídeo o el flujo de audio recibidos a través de la interfaz externa 909. Es decir, la interfaz externa 909 también sirve como el medio de transmisión en al aparato 900 de televisión, que recibe el flujo codificado en el que se codifica una imagen.
El controlador 910 incluye un procesador tal como una unidad central de procesamiento (CPU) y una memoria tal como una memoria de acceso aleatorio (RAM) y una memoria de solo lectura (ROM). La memoria almacena el programa ejecutado por la CPU, datos del programa, los datos de EPG, datos adquiridos a través de una red y similares. El programa almacenado en la memoria es leído por la CPU al encender el aparato 900 de televisión para ejecutarlo, por ejemplo. La CPU controla la operación del aparato 900 de televisión según una señal de operación introducida desde la interfaz 911 de usuario, por ejemplo, mediante la ejecución del programa.
La interfaz 911 de usuario está conectada al controlador 910. La interfaz de 911 usuario incluye un botón y un interruptor para que el usuario opere el aparato 900 de televisión, un receptor de una señal de control remoto y similares, por ejemplo. La interfaz 911 de usuario detecta una operación del usuario a través de estos componentes para generar genera una señal de operación, y envía la señal de operación generada al controlador 910.
El bus 912 conecta el sintonizador 902, el demultiplexor 903, el decodificador 904, el procesador 905 de señal de vídeo, el procesador 907 de señal de audio, la interfaz externa 909, y el controlador 910 entre sí.
En el aparato 900 de televisión configurado de esta manera, el decodificador 904 tiene las funciones del dispositivo 50 de decodificación de imágenes según la realización descrita anteriormente. Por lo tanto, cuando las imágenes se decodifican en el aparato 900 de televisión, el proceso de filtrado de desbloqueo puede aplicar el filtrado apropiadamente.
[Segundo ejemplo de aplicación]
La figura 36 ilustra un ejemplo de una configuración esquemática de un teléfono móvil al que se aplica la realización descrita anteriormente. Un teléfono móvil 920 incluye una antena 921, una sección 922 de comunicación, un códec 923 de audio, un altavoz 924, un micrófono 925, una sección 926 de cámara, una procesador 927 de imágenes, un demultiplexador 928, una sección 929 de grabación/reproducción, una sección 930 de visualización, un controlador 931, una sección 932 de operación, y un bus 933.
La antena 921 está conectada a la unidad 922 de comunicación. El altavoz 924 y el micrófono 925 están conectados al códec 923 de audio. La unidad 932 de operación está conectada al controlador 931. El bus 933 conecta la unidad 922 de comunicación, el códec 923 de audio, la unidad 926 de cámara, el procesador 927 de imágenes, el demultiplexor 928, la unidad 929 de grabación/reproducción, la unidad 930 de visualización, y el controlador 931 entre sí.
El teléfono móvil 920 realiza operaciones tales como la transmisión/recepción de una seña de audio, la transmisión/recepción de correos electrónicos o datos de imagen, la captura de imagen, y la grabación de datos en varios modos de operación que incluyen un modo de comunicación de audio, un modo de comunicación de datos, un modo de obtención de imagen, y un modo de videoteléfono.
En el modo de comunicación de audio, una señal de audio analógica generada por el micrófono 925 se suministra al códec 923 de audio. El códec 923 de audio convierte la señal de audio analógica en los datos de audio y A/D convierte los datos de audio convertidos para comprimirlos. A continuación, el códec 923 de audio envía los datos de audio comprimidos a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de audio para generar una señal de transmisión. A continuación, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no se ilustra) a través de la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica recibida a través de la antena 921 y aplica la conversión de frecuencia a la misma para obtener una señal de recepción. A continuación, la unidad 922 de comunicación genera los datos de audio demodulando y decodificando la señal de recepción y envía los datos de audio generados al códec 923 de audio. El códec 923 de audio expande los datos de audio y D/A los convierte para generar la señal de audio analógica. A continuación, el códec 923 de audio suministra la señal de audio generada al altavoz 924 para permitir que el mismo envíe el audio.
En el modo de comunicación de datos, por ejemplo, el controlador 931 genera datos de caracteres que componen el correo electrónico según la operación realizada por el usuario a través de la unidad 932 de operación. Además, el controlador 931 permite que la unidad 930 de visualización muestre caracteres. El controlador 931 genera datos de correo electrónico según una instrucción de transmisión del usuario a través de la unidad 932 de operación para enviar los datos de correo electrónico generados a la sección 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de correo electrónico para generar la señal de transmisión. A continuación, la unidad 922 de comunicación transmite la señal de transmisión generada a la estación base (no se ilustra) a través de la antena 921. Además, la unidad 922 de comunicación amplifica la señal inalámbrica recibida a través de la antena 921 y aplica la conversión de frecuencia a la misma para obtener la señal de recepción. A continuación, la sección 922 de comunicación demodula y decodifica la señal recibida para restaurar los datos de correo electrónico y envía los datos de correo electrónico restaurados al controlador 931. El controlador 931 permite que la unidad 930 de visualización muestre el contenido de los datos de correo electrónico y permite que el medio de almacenamiento de la unidad 929 de grabación/reproducción almacene los datos de correo electrónico.
La unidad 929 de grabación/reproducción incluye un medio de almacenamiento legible/grabable arbitrariamente. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento incorporado, tal como la RAM y la memoria flash y puede ser un medio de almacenamiento montado externamente, tal como el disco duro, el disco magnético, el disco magneto-óptico, el disco óptico, una memoria USB, y una tarjeta de memoria.
En el modo de obtención de imagen, por ejemplo, la unidad 926 de cámara toma una imagen de un objeto para generar los datos de imagen y envía los datos de imagen generados al procesador 927 de imagen. El procesador 927 de imagen codifica la entrada de datos de imagen desde la unidad 926 de cámara, y almacena que el flujo codificado en el medio de almacenamiento de la unidad 929 de grabación/reproducción.
Además, en el modo televisión-teléfono, el demultiplexador 928 multiplexa el flujo de vídeo codificado por la procesador 927 de imágenes y un flujo de audio introducido desde el códec 923 de audio y envía el flujo multiplexado a la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula el flujo para generar la señal de transmisión. A continuación, la unidad 922 de comunicación transmite la señal de transmisión generada a la estación base (no se ilustra) a través de la antena 921. Además, la unidad 922 de comunicación amplifica la señal inalámbrica recibida a través de la antena 921 y aplica la conversión de frecuencia a la misma para obtener la señal de recepción. La señal de transmisión y la señal de recepción pueden incluir el flujo de bits codificado. A continuación, la unidad 922 de comunicación restaura el flujo demodulando y decodificando la señal de recepción y envía el flujo restablecido al demultiplexor 928. El demultiplexor 928 separa el flujo de vídeo y el flujo de audio del flujo de entrada y envía el flujo de vídeo y el flujo de audio al procesador 927 de imágenes y al códec 923 de audio, respectivamente. El procesador 927 de imágenes decodifica el flujo de vídeo para generar datos de vídeo. Los datos de vídeo se suministran a la unidad 930 de visualización, y la unidad 930 de visualización muestra una serie de imágenes. El códec 923 de audio expande el flujo de audio y D/A los convierte para generar la señal de audio analógica. A continuación, el códec 923 de audio suministra la señal de audio generada al altavoz 924 para el audio.
En el teléfono móvil 920 configurado de esta manera, el procesador 927 de imágenes tiene las funciones del dispositivo 10 de codificación de imágenes y del dispositivo 50 de decodificación de imágenes según la realización descrita anteriormente. Por lo tanto, cuando las imágenes se codifican y decodifican en el teléfono móvil 920, el proceso de filtrado de desbloqueo puede aplicar el filtrado apropiadamente.
[Tercer ejemplo de aplicación]
La figura 37 ilustra un ejemplo de una configuración esquemática del dispositivo de grabación/reproducción al que se aplica la realización descrita anteriormente. El dispositivo 940 de grabación/reproducción codifica los datos de audio y los datos de vídeo de un programa de transmisión recibido para grabar en el medio de grabación, por ejemplo. Además, el dispositivo 940 de grabación/reproducción puede codificar los datos de audio y los datos de vídeo obtenidos de otro aparato para grabar en el medio de grabación, por ejemplo. Además, el dispositivo 940 de grabación/reproducción reproduce los datos grabados en el medio de grabación por un monitor y el altavoz según las instrucciones del usuario. En este caso, el dispositivo 940 de grabación/reproducción decodifica los datos de audio y los datos de vídeo.
El dispositivo 940 de grabación/reproducción incluye un sintonizador 941, una interfaz externa 942, un codificador 943, una HDD (unidad de disco duro) 944, una unidad 945 de disco, un selector 946, un decodificador 947, un OSD (visualización en pantalla) 948, un controlador 949, y una interfaz 950 de usuario.
El sintonizador 941 extrae una señal de un canal deseado a partir de la señal de transmisión recibida a través de una antena (no se ilustra), y demodula la señal extraída. A continuación, el sintonizador 941 envía al selector 946 un flujo de bits codificado obtenido por demodulación. Es decir, el sintonizador 941 sirve como el medio de transmisión en el dispositivo 940 de grabación/reproducción.
La interfaz externa 942 es una interfaz para conectar el dispositivo 940 de grabación/reproducción y el dispositivo externo o la red. La interfaz externa 942 puede ser una interfaz IEEE 1394, una interfaz de red, una interfaz<u>S<b>, una interfaz de memoria flash y similares, por ejemplo. Por ejemplo, los datos de vídeo y los datos de audio recibidos a través de la interfaz externa 942 se introducen en el codificador 943. Es decir, la interfaz externa 942 sirve como el medio de transmisión en el dispositivo 940 de grabación/reproducción.
El codificador 943 codifica los datos de vídeo y los datos de audio cuando los datos de vídeo y los datos de audio introducidos desde la interfaz externa 942 no están codificados. A continuación, el codificador 943 envía el flujo de bits codificado al selector 946.
La HDD 944 graba el flujo de bits codificado en el que se comprimen los datos de contenido tales como el vídeo y el audio, varios programas y otros datos en un disco duro interno. La HDD 944 lee los datos del disco duro cuando reproduce el vídeo y el audio.
La unidad 945 de disco graba y lee los datos en y desde el medio de grabación montado. El medio de grabación montado en la unidad 945 de disco puede ser el disco DVD (un DVD-vídeo, un DVD-RAM, un DVD-R, un DVD-RW, un DVD+, un DVD+RW o similares), un disco Blu-ray (marca registrada) y similares, por ejemplo. El selector 946 selecciona la entrada de flujo de bits codificado desde el sintonizador 941 o el codificador 943, y envía el flujo de bits codificado seleccionado a la HDD 944 o a la unidad 945 de disco cuando se graba el vídeo y el audio. Además, el selector 946 envía la entrada del flujo de bits codificado desde la HDD 944 o la unidad 945 de disco al decodificador 947 cuando reproduce el vídeo y el audio.
El decodificador 947 decodifica el flujo de bits codificado para generar los datos de vídeo y los datos de audio. A continuación, el descodificador 947 envía los datos de vídeo generados al OSD 948. Además, el decodificador 904 envía los datos de audio generados a un altavoz externo. El OSD 948 reproduce los datos de vídeo introducidos desde el decodificador 947 para mostrar un vídeo. La OSD 948 también puede superponer la imagen de la GUI, tal como el menú, el botón y el cursor, por ejemplo, en el vídeo mostrado.
El controlador 949 incluye un procesador, tal como la CPU, y la memoria, tal como una RAM o una ROM. La memoria almacena el programa ejecutado por la CPU, los datos del programa y similares. El programa almacenado en la memoria es leído por la CPU que se ejecutará en la activación del dispositivo 940 de grabación/reproducción, por ejemplo. La CPU controla la operación del dispositivo 940 de grabación/reproducción según una entrada de señal de operación desde la interfaz 950 de usuario, por ejemplo, mediante la ejecución del programa.
La interfaz 950 de usuario está conectada al controlador 949. La interfaz 950 de usuario incluye un botón y un interruptor por el usuario para operar el dispositivo 940 de grabación/reproducción y un receptor para una señal de control remoto, por ejemplo. La interfaz 950 de usuario detecta una operación del usuario a través de estos componentes para generar genera una señal de operación, y envía la señal de operación generada al controlador 949.
En el dispositivo 940 de grabación/reproducción configurado de esta manera, el codificador 943 tiene las funciones del dispositivo 10 de codificación de imágenes según la realización descrita anteriormente. Además, el decodificador 947 tiene las funciones del dispositivo 50 de decodificación de imágenes según la realización descrita anteriormente.
Por lo tanto, cuando las imágenes se codifican y decodifican en el dispositivo 940 de grabación/reproducción, el proceso de filtrado de desbloqueo puede aplicar el filtrado apropiada.
[Cuarto ejemplo de aplicación]
La figura 38 ilustra un ejemplo de una configuración esquemática de un dispositivo de obtención de imágenes al que se aplica la realización descrita anteriormente. Un dispositivo 960 de obtención de imagen crea una imagen de un objeto para generar la imagen, codifica los datos de la imagen, y los graba en un medio de grabación.
El dispositivo 960 de obtención de imágenes incluye un bloque óptico 961, una unidad 962 de obtención de imágenes, un procesador 963 de señales, un procesador 964 de imágenes, una unidad 965 de visualización, una interfaz externa 966, una memoria 967, una unidad 968 de medios, un OSD 969, un controlador 970, una interfaz 971 de usuario, y un bus 972.
El bloque óptico 961 incluye una lente de enfoque, un mecanismo de tope de apertura, y similares. El bloque óptico 961 forma una imagen óptica del objeto en una superficie de obtención de imágenes de la unidad 962 de obtención de imágenes. La unidad 962 de obtención de imágenes incluye un sensor de imagen, tal como un CCD y un CMOS, y convierte la imagen óptica formada en la superficie de obtención de imágenes en una señal de imagen como una señal eléctrica mediante conversión fotoeléctrica. A continuación, la unidad 962 de obtención de imágenes envía la señal de imagen al procesador 963 de señales.
El procesador 963 de señales realiza varios procesos de señal de cámara, tales como corrección Knee, corrección gamma, corrección de color para la entrada de señal de imagen desde la unidad 962 de obtención de imágenes. El procesador 963 de señales envía los datos de imagen después del proceso de señal de cámara al procesador 964 de imagen.
El procesador 964 de imagen codifica la entrada de datos de imagen desde el procesador 963 de señales para generar los datos codificados. A continuación, el procesador 964 de imágenes envía los datos codificados generados a la interfaz externa 966 o a la unidad 968 de medios. Además, el procesador 964 de imagen decodifica la entrada de datos codificados desde la interfaz externa 966 o la unidad 968 de medios para generar datos de imagen. A continuación, el procesador 964 de imagen envía los datos de imagen generados a la unidad 965 de visualización. El procesador 964 de imagen también puede enviar la entrada de datos de imagen desde el procesador 963 de señales a la unidad 965 de visualización para mostrar la imagen. El procesador 964 de imágenes también puede superponer datos para la visualización obtenidos desde el OSD 969, sobre la salida de imagen a la unidad 965 de visualización.
La OSD 969 genera la imagen de GUI, tal como el menú, el botón y el cursor, por ejemplo, y envía la imagen generada al procesador 964 de imágenes.
La interfaz externa 966 está configurada como un terminal de entrada/salida USB, por ejemplo. La interfaz externa 966 conecta el dispositivo 960 de obtención de imágenes y una impresora cuando se imprime una imagen, por ejemplo. Además, se conecta una unidad a la interfaz externa 966 según sea necesario. El medio extraíble, tal como el disco magnético y el disco óptico, está montado en la unidad, por ejemplo, y el programa leído desde el medio extraíble puede instalarse en el dispositivo 960 de obtención de imágenes. Además, la interfaz externa 966 puede configurarse como una interfaz de red conectada a la red, tal como una LAN, y el Internet. Es decir, la interfaz externa 966 sirve como el medio de transmisión en el dispositivo 960 de obtención de imágenes.
El medio de grabación montado en la unidad 968 de medios puede ser un medio extraíble legible/grabable arbitrario tal como el disco magnético, el disco magneto-óptico, el disco óptico y la memoria semiconductora, por ejemplo. Además, el medio de grabación puede montarse de forma fija en la unidad 968 de medios para formar una unidad de almacenamiento no portable, tal como una unidad de disco duro integrada o una SSD (unidad de estado sólido), por ejemplo.
El controlador 970 incluye un procesador, tal como la CPU, y la memoria, tal como una RAM o una ROM. La memoria almacena el programa ejecutado por la CPU y los datos del programa. El programa almacenado en la memoria es leído por la CPU al encender el dispositivo 960 de obtención de imágenes para ejecutarlo, por ejemplo. La CPU controla la operación del dispositivo 960 de obtención de imágenes según la entrada de señal de operación desde la interfaz 971 de usuario, por ejemplo, mediante la ejecución del programa.
La interfaz 971 de usuario está conectada al controlador 970. La interfaz 971 de usuario incluye un botón, un interruptor y similares para el usuario para operar el dispositivo 960 de obtención de imágenes, por ejemplo. La interfaz 971 de usuario detecta una operación del usuario a través de estos componentes para generar la señal de operación, y envía la señal de operación generada al controlador 970.
El bus 972 conecta el procesador 964 de imágenes, la interfaz externa 966, la memoria 967, la unidad 968 de medios, el OSD 969 y el controlador 970 entre sí.
En dispositivo 960 de obtención de imágenes configurado de esta manera, el procesador 964 de imágenes tiene las funciones del dispositivo 10 de codificación de imágenes y del dispositivo 50 de decodificación de imágenes según la realización descrita anteriormente. Por lo tanto, cuando las imágenes se codifican y decodifican en el dispositivo 960 de obtención de imágenes, el proceso de filtrado de desbloqueo puede aplicar el filtrado apropiadamente.
En la presente memoria descriptiva, se ha descrito un ejemplo en el que varios tipos de información, tales como los parámetros relacionados con el proceso de recorte para un filtrado fuerte, se multiplexan en flujos codificados y se transmiten desde el lado de codificación al lado de decodificación. Sin embargo, un método para transmitir estos elementos de información no se limita a este ejemplo. Por ejemplo, estos elementos de información pueden transmitirse o grabarse como datos separados asociados con el flujo de bits codificado en lugar de multiplexarse en el flujo de bits codificado. En la presente memoria, el término “ asociar” significa que la imagen (o parte de la imagen, tal como un segmento y un bloque) incluida en el flujo de bits y la información correspondiente a la imagen pueden vincularse entre sí en el momento de la decodificación. Es decir, la información puede transmitirse en una línea de transmisión distinta a la de la imagen (o flujo de bits). Además, la información puede grabarse en otro medio de grabación (o en otra área de grabación del mismo medio de grabación) diferente del utilizado para las imágenes (o flujos de bits). Además, la información y la imagen (o flujo de bits) pueden asociarse entre sí en unidades opcionales, tales como una pluralidad de fotogramas, un fotograma o una parte del fotograma, por ejemplo.
Lista de señales de referencia
10: Dispositivo de codificación de imágenes
11: Convertidor A/D
12, 57: Búfer de reordenamiento de tramas
13: Sustractor
14: T ransformador ortogonal
15: Cuantificador
16: Codificador sin pérdidas
17: Búfer de acumulación
18: Controlador de velocidad
21, 53: Cuantificador inverso
22, 54: Transformador ortogonal inverso
23, 55: Sumador
24, 56: Unidad de filtrado de desbloqueo
25, 61: Memoria de tramas
26, 62, 65: Selector
31, 63: Intrapredictor
32: Estimador/compensador de movimiento
33: Unidad de selección de modo óptimo/imagen predicha
50: Dispositivo de decodificación de imágenes
51: Búfer de acumulación
52: Decodificador sin pérdidas
61: Memoria de tramas
64: Unidad de compensación de movimiento
71: Memoria de imágenes
72, 72-1: Unidad de determinación del límite de bloque
72-2: Unidad de determinación del límite de líneas/límite de bloque 73, 73-1: Unidad de determinación de la intensidad de filtro
73-2: Unidad de determinación de la intensidad de filtro del límite de línea 74, 74-1: Unidad de operación de filtro
74-2: Unidad de operación de filtro del límite de línea
75: Selector
76: Memoria de coeficientes
77: Controlador
77A, 77B: Unidad de determinación de línea intra-LCU
241: Memoria de líneas
242: Unidad de detección del límite de líneas
243: Unidad de determinación de la intensidad de filtro
244: Memoria de coeficientes
245: Unidad de operación de filtro
246: Controlador de filtro
2451: Unidad de almacenamiento de datos
2452: Unidad de selección de datos
2453, 2455, 2456: Unidad de procesamiento aritmético
2457: Unidad de selección de datos
2461: Unidad de determinación del límite de línea

Claims (11)

  1. REIVINDICACIONES Un dispositivo de procesamiento de imágenes que comprende: •una unidad (242) de determinación de filtro configurada para determinar si aplicar un filtro de desbloqueo a píxeles vecinos a un límite de bloque dentro de una imagen decodificada localmente en un proceso de codificación, el filtro de desbloqueo incluye un primer filtro de desbloqueo y un segundo filtro de desbloqueo tiene una intensidad de filtro mayor que la del primer filtro de desbloqueo; •una unidad (243) de determinación de la intensidad de filtro configurada para que, cuando la unidad (242) de determinación de filtro determina que se va a aplicar el filtrado de desbloqueo, determinar si aplicar el primer filtro de desbloqueo o aplicar el segundo filtro de desbloqueo; •una unidad (245) de filtrado configurada para aplicar, cuando la unidad (243) de determinación de la intensidad de filtro determina aplicar el segundo filtro de desbloqueo, el segundo filtro de desbloqueo para aplicar un proceso de recorte a un valor de diferencia obtenido por el segundo filtro de desbloqueo utilizando un segundo valor de recorte pv, que es 1 a 8 veces el de un primer valor de recorte tc, que se utiliza en caso de que se aplique un proceso de recorte a un valor de diferencia obtenido por el primer filtro de desbloqueo y generar una imagen filtrada; y •una unidad (16) de codificación configurada para codificar una imagen utilizando la imagen filtrada. El dispositivo de procesamiento de imágenes según la reivindicación 1, en donde la unidad de filtrado está configurada para aplicar el segundo filtro de desbloqueo utilizando las siguientes expresiones:
  2. en donde pv es el segundo valor de recorte, p0', p1', p2', q0', q1', q2' son los valores de píxel después de aplicar el segundo filtro de desbloqueo, y p0, p1, p2, q0, q1, q2 son los valores de píxel antes de aplicar el segundo filtro de desbloqueo.
  3. 3. El dispositivo de procesamiento de imágenes según la reivindicación 2, en donde el segundo valor de recorte pv es 2*tc.
  4. 4. El dispositivo de procesamiento de imágenes según la reivindicación 3, en donde la unidad de filtrado está configurada para aplicar el segundo filtro de desbloqueo a los componentes de luminancia de los píxeles vecinos al límite de bloque dentro de la imagen decodificada localmente.
  5. 5. El dispositivo de procesamiento de imágenes según la reivindicación 4, en donde el límite de bloque es un límite de una unidad de transformación como una unidad de transformación ortogonal o un límite de una unidad de predicción como una unidad de proceso de predicción.
  6. 6. El dispositivo de procesamiento de imágenes según la reivindicación 5, en donde la unidad de codificación comprende: °un transformador ortogonal inverso configurado para realizar una transformación ortogonal en la imagen para generar datos de coeficiente de transformación; °un cuantificador configurado para realizar la cuantificación en los datos del coeficiente de transformación para generar datos cuantificados; y un codificador aritmético configurado para codificar los datos cuantificados para generar el flujo codificado.
  7. 7. El dispositivo de procesamiento de imágenes según la reivindicación 6, en donde la unidad de codificación está configurada para codificar la imagen sobre una base de unidad de codificación, en donde la unidad de codificación se forma dividiendo de forma recurrente una unidad de codificación más grande en unidades de codificación más pequeñas como división de bloques.
  8. 8. El dispositivo de procesamiento de imágenes según la reivindicación 7, en donde la unidad de codificación se divide de forma recurrente según una estructura de bloque de árbol cuaternario.
  9. 9. El dispositivo de procesamiento de imágenes según la reivindicación 8, en donde la unidad de codificación más grande es la unidad de codificación en una capa raíz según la estructura de bloques de árbol cuaternario.
  10. 10. El dispositivo de procesamiento de imágenes según la reivindicación 9, en donde la unidad de codificación más grande es un bloque de tamaño de bloque fijo a nivel de secuencia, y la unidad de codificación es un bloque de tamaño de bloque variable.
  11. 11. Un método realizado por un dispositivo de procesamiento de imágenes, comprendiendo el método los pasos de: •determinar, mediante una unidad (242) de determinación de filtro del dispositivo de procesamiento de imágenes, si aplicar un filtro de desbloqueo a píxeles vecinos a un límite de bloque dentro de una imagen decodificada localmente en un proceso de codificación, el filtro de desbloqueo incluye un primer filtro de desbloqueo y un segundo filtro de desbloqueo tiene una intensidad de filtro mayor que la del primer filtro de desbloqueo; •determinar, mediante una unidad (243) de determinación de la intensidad de filtro del dispositivo de procesamiento de imágenes, cuando la unidad (242) de determinación de filtro determina que se debe aplicar el filtrado de desbloqueo, si aplicar el primer filtro de desbloqueo o aplicar el segundo filtro de desbloqueo; •aplicar, mediante una unidad (245) de filtrado del dispositivo de procesamiento de imágenes, cuando la unidad de determinación de la intensidad de filtro determina aplicar el segundo filtro de desbloqueo, el segundo filtro de desbloqueo para aplicar un proceso de recorte a un valor de diferencia obtenido por el segundo filtro de desbloqueo utilizando un segundo valor de recorte pv, que es de 1 a 8 veces el de un primer valor de recorte tc, que se utiliza en caso de que se aplique un proceso de recorte a un valor de diferencia obtenido mediante el primer filtro de desbloqueo, y generar, mediante la unidad (245) de filtrado, una imagen filtrada; y •codificar, mediante una unidad (16) de codificación del dispositivo de procesamiento de imágenes, una imagen utilizando la imagen filtrada.
ES21209484T 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium Active ES3011360T3 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011143461 2011-06-28
JP2011240550 2011-11-01
JP2011243839 2011-11-07
JP2012009326 2012-01-19

Publications (1)

Publication Number Publication Date
ES3011360T3 true ES3011360T3 (en) 2025-04-07

Family

ID=47423858

Family Applications (3)

Application Number Title Priority Date Filing Date
ES21209484T Active ES3011360T3 (en) 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium
ES21209483T Active ES3010151T3 (en) 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium
ES17205948T Active ES2893754T3 (es) 2011-06-28 2012-05-28 Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes

Family Applications After (2)

Application Number Title Priority Date Filing Date
ES21209483T Active ES3010151T3 (en) 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium
ES17205948T Active ES2893754T3 (es) 2011-06-28 2012-05-28 Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes

Country Status (25)

Country Link
US (9) US10291937B2 (es)
EP (7) EP3001684A3 (es)
JP (6) JP6070553B2 (es)
KR (8) KR102010160B1 (es)
CN (15) CN113347419A (es)
AU (3) AU2012277049B2 (es)
BR (2) BR122015001053B1 (es)
CA (2) CA2837055C (es)
CO (1) CO6842008A2 (es)
DK (3) DK3313074T3 (es)
ES (3) ES3011360T3 (es)
FI (2) FI4009637T3 (es)
HU (3) HUE069925T2 (es)
LT (2) LT4009637T (es)
MX (2) MX356762B (es)
MY (1) MY167204A (es)
PH (2) PH12013502653B1 (es)
PL (2) PL4009637T3 (es)
PT (2) PT4009638T (es)
RU (4) RU2608476C2 (es)
SG (3) SG10201404907QA (es)
SI (2) SI4009638T1 (es)
TW (3) TWI637626B (es)
WO (1) WO2013001957A1 (es)
ZA (1) ZA201309214B (es)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
SG10201400975QA (en) 2011-02-10 2014-07-30 Sony Corp Image Processing Device And Image Processing Method
EP3001684A3 (en) * 2011-06-28 2016-07-20 Sony Corporation Image processing device and image processing method
JP5596884B2 (ja) * 2011-11-03 2014-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ フィルタリング方法およびフィルタリング装置
CA2840036C (en) * 2011-11-25 2018-12-18 Panasonic Corporation Image processing method and image processing apparatus
US8921511B2 (en) 2012-07-27 2014-12-30 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
JP6256341B2 (ja) 2012-09-20 2018-01-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
KR102664196B1 (ko) * 2016-12-28 2024-05-20 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
CN114979633B (zh) * 2017-10-09 2023-10-27 佳能株式会社 用于对样本块进行滤波的方法、装置和存储介质
US10448009B1 (en) * 2017-12-14 2019-10-15 Amazon Technologies, Inc. Determining sample adaptive offset filter parameters
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
MX2020009875A (es) * 2018-03-29 2020-10-12 Sony Corp Aparato de procesamiento de imagen y metodo de procesamiento de imagen.
JPWO2019225459A1 (ja) * 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2020063555A1 (en) 2018-09-24 2020-04-02 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
BR112021006909A2 (pt) * 2018-10-12 2021-07-20 Huawei Technologies Co., Ltd. aparelho e método para filtro de desblocagem em codificação de vídeo
EP3881542A4 (en) 2018-11-14 2022-12-28 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
US12382032B2 (en) 2021-03-31 2025-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Extra-long tap deblocking
US12266082B2 (en) * 2022-01-28 2025-04-01 V-Silicon Semiconductor (Hefei) Co., Ltd 2D recursive de-banding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0206777A (pt) * 2001-11-29 2004-02-25 Matsushita Electric Industrial Co Ltd Método de remoção de distorção de codificação, método de codificação de vìdeo e aparelho e programa para o mesmo
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
CN1578477B (zh) * 2003-07-16 2011-05-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100614647B1 (ko) 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
RU2276355C1 (ru) * 2005-01-27 2006-05-10 Олег Федорович Меньших Устройство распознавания внутренних неоднородностей объекта
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
TWI384437B (zh) * 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
WO2008084996A1 (en) 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
WO2009051917A1 (en) * 2007-10-15 2009-04-23 Joseph Schweiray Lee Providing error correction to unwritten pages and for identifying unwritten pages in flash memory
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
US8532199B2 (en) * 2008-01-24 2013-09-10 Panasonic Corporation Dynamic image compression device
KR101705138B1 (ko) * 2008-04-11 2017-02-09 톰슨 라이센싱 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101073150B1 (ko) * 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
CN103369323B (zh) 2010-06-04 2016-12-28 索尼公司 图像处理设备和方法
BR122020013166B1 (pt) 2010-12-07 2021-10-05 Sony Corporation Dispositivo e método de processamento de imagem
CN103229506B (zh) 2010-12-07 2016-11-09 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
WO2012096614A2 (en) * 2011-01-14 2012-07-19 Telefonaktiebolaget L M Ericsson (Publ) A method for filter control and a filtering control device
SG10201400975QA (en) 2011-02-10 2014-07-30 Sony Corp Image Processing Device And Image Processing Method
BR122020013607B1 (pt) 2011-03-11 2023-10-24 Sony Corporation Aparelho e método de processamento de imagem
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP3001684A3 (en) * 2011-06-28 2016-07-20 Sony Corporation Image processing device and image processing method
RU2642364C2 (ru) 2012-06-29 2018-01-24 Вилос Медиа Интернэшнл Лимитед Устройство кодирования и способ кодирования
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding

Also Published As

Publication number Publication date
JP6468381B2 (ja) 2019-02-13
PT4009638T (pt) 2025-02-20
EP3313074B1 (en) 2021-09-22
MX2013015405A (es) 2015-10-27
US20140112396A1 (en) 2014-04-24
BR122015001053A2 (pt) 2018-03-20
TW201707450A (zh) 2017-02-16
RU2643468C1 (ru) 2018-02-01
CN110602492A (zh) 2019-12-20
KR20190088573A (ko) 2019-07-26
JP2018113698A (ja) 2018-07-19
JP6459005B2 (ja) 2019-01-30
SG10201507034QA (en) 2015-10-29
US10298958B2 (en) 2019-05-21
PH12013502653A1 (en) 2014-02-10
EP4482143A3 (en) 2025-02-26
US10291937B2 (en) 2019-05-14
SI4009638T1 (sl) 2025-05-30
JP2015136147A (ja) 2015-07-27
BR122015001053B1 (pt) 2019-07-09
FI4009638T3 (fi) 2025-01-30
EP4009637A1 (en) 2022-06-08
CN107318019B (zh) 2020-02-28
MX356762B (es) 2018-06-12
KR102166220B1 (ko) 2020-10-15
AU2012277049A1 (en) 2013-12-12
CN110611811A (zh) 2019-12-24
KR102071201B1 (ko) 2020-01-29
US11647231B2 (en) 2023-05-09
CN113347419A (zh) 2021-09-03
JPWO2013001957A1 (ja) 2015-02-23
CN104113764B (zh) 2017-10-27
CN107454400B (zh) 2020-10-20
PT4009637T (pt) 2025-02-07
EP3313075A1 (en) 2018-04-25
US20190191186A1 (en) 2019-06-20
RU2015103069A (ru) 2015-06-20
CA2837055C (en) 2019-12-31
CN110611812B (zh) 2021-07-06
CO6842008A2 (es) 2014-01-20
CA3059756A1 (en) 2013-01-03
EP4009638B1 (en) 2024-11-27
ES3010151T3 (en) 2025-04-01
ES2893754T3 (es) 2022-02-10
US20240056611A1 (en) 2024-02-15
RU2680349C1 (ru) 2019-02-19
DK3313074T3 (da) 2021-10-25
KR102067369B1 (ko) 2020-01-16
RU2607243C2 (ru) 2017-01-10
KR20190090066A (ko) 2019-07-31
JP2018113697A (ja) 2018-07-19
KR102105497B1 (ko) 2020-04-29
KR20170055554A (ko) 2017-05-19
ZA201309214B (en) 2014-06-25
CN107426571B (zh) 2019-12-10
CA2837055A1 (en) 2013-01-03
US11838556B2 (en) 2023-12-05
PH12013502653B1 (en) 2018-12-14
JP2017060202A (ja) 2017-03-23
CA3059756C (en) 2022-10-18
WO2013001957A1 (ja) 2013-01-03
HUE069925T2 (hu) 2025-04-28
KR102009050B1 (ko) 2019-08-08
CN110519592B (zh) 2021-06-01
EP4009638A1 (en) 2022-06-08
JP2018113699A (ja) 2018-07-19
SG10201507031PA (en) 2015-10-29
CN110611811B (zh) 2021-07-06
US20160286240A1 (en) 2016-09-29
PL4009637T3 (pl) 2025-03-03
TWI637626B (zh) 2018-10-01
EP4482143A2 (en) 2024-12-25
CN107318019A (zh) 2017-11-03
EP4009637B1 (en) 2024-11-27
PH12018501265A1 (en) 2021-01-18
EP3001684A3 (en) 2016-07-20
KR20190090888A (ko) 2019-08-02
MX352108B (es) 2017-11-09
AU2017202655A1 (en) 2017-05-11
US20240031610A1 (en) 2024-01-25
US12167044B2 (en) 2024-12-10
AU2012277049B2 (en) 2017-04-06
LT4009637T (lt) 2025-02-10
CN110611810B (zh) 2021-06-01
JP6468380B2 (ja) 2019-02-13
JP6477939B2 (ja) 2019-03-06
HUE069923T2 (hu) 2025-04-28
EP3001684A2 (en) 2016-03-30
KR102477475B1 (ko) 2022-12-14
EP3313075B1 (en) 2021-12-29
CN104113764A (zh) 2014-10-22
EP2728870A4 (en) 2015-01-14
US20230232049A1 (en) 2023-07-20
CN110611812A (zh) 2019-12-24
KR102067368B1 (ko) 2020-01-16
TW201304550A (zh) 2013-01-16
AU2015213302B2 (en) 2017-04-06
CN110519592A (zh) 2019-11-29
US20250039465A1 (en) 2025-01-30
LT4009638T (lt) 2025-02-10
DK4009638T3 (da) 2025-01-27
EP2728870A1 (en) 2014-05-07
CN113347420A (zh) 2021-09-03
SI4009637T1 (sl) 2025-03-31
TW201603560A (zh) 2016-01-16
MY167204A (en) 2018-08-13
RU2013156835A (ru) 2015-06-27
JP6065037B2 (ja) 2017-01-25
TWI542195B (zh) 2016-07-11
AU2017202655B2 (en) 2018-07-26
CN110611810A (zh) 2019-12-24
US20210344965A1 (en) 2021-11-04
JP6070553B2 (ja) 2017-02-01
CN107426571A (zh) 2017-12-01
BR112013033183B1 (pt) 2019-07-16
CN103609126A (zh) 2014-02-26
US11051043B2 (en) 2021-06-29
KR20140043758A (ko) 2014-04-10
CN107454401A (zh) 2017-12-08
HUE056075T2 (hu) 2022-01-28
AU2015213302A1 (en) 2015-09-03
CN107454401B (zh) 2019-11-19
CN107295335B (zh) 2020-03-17
KR20200115675A (ko) 2020-10-07
CN107295335A (zh) 2017-10-24
US11039172B2 (en) 2021-06-15
US20190230383A1 (en) 2019-07-25
KR20200024958A (ko) 2020-03-09
BR112013033183A2 (pt) 2017-03-01
FI4009637T3 (fi) 2025-02-18
PL4009638T3 (pl) 2025-03-10
CN103609126B (zh) 2017-09-08
CN107318018B (zh) 2019-11-01
KR20190092623A (ko) 2019-08-07
CN107454400A (zh) 2017-12-08
KR102010160B1 (ko) 2019-08-12
EP3313074A1 (en) 2018-04-25
US12132936B2 (en) 2024-10-29
CN110602492B (zh) 2021-06-01
CN107318018A (zh) 2017-11-03
DK4009637T3 (da) 2025-01-27
SG10201404907QA (en) 2014-10-30
TWI571104B (zh) 2017-02-11
RU2608476C2 (ru) 2017-01-18

Similar Documents

Publication Publication Date Title
ES3011360T3 (en) Image processing device, image processing method, program, and storage medium
HK1240729B (zh) 图像处理装置和图像处理方法
HK1238055A1 (en) Image processing device and image processing method
HK1240732B (zh) 图像处理装置和图像处理方法
HK1240731B (zh) 图像处理装置和图像处理方法
HK1238055B (zh) 图像处理装置和图像处理方法