KR102051197B1

KR102051197B1 - 비디오 코딩에서의 인터 예측으로의 팔레트 코딩 방법

Info

Publication number: KR102051197B1
Application number: KR1020177026536A
Authority: KR
Inventors: 웨이지아 주; 카이 장; 샹구오 장
Original assignee: 미디어텍 싱가폴 피티이. 엘티디.
Priority date: 2015-03-20
Filing date: 2016-03-18
Publication date: 2019-12-02
Anticipated expiration: 2036-03-18
Also published as: CN107409227B; KR20170118873A; US10148981B2; EP3266212A4; US20180041774A1; WO2016150343A1; EP3266212A1; CN107409227A

Abstract

인터 복사 모드를 포함하는 팔레트 코딩 모드를 사용한 비디오 코딩 방법 및 장치가 개시된다. 인터 복사 모드가 선택되었을 때, 현재 블록의 하나 이상의 연속적인 현재 샘플 또는 인덱스는 대응 위치에서 참조 블록의 하나 이상의 연속적인 참조 샘플 또는 인덱스에 의해 예측된다. 참조 블록을 위치 지정하기 위한 모션 벡터(MV) 정보가 현재 블록의 비트스트림으로 시그널링될 수 있다. 모션 벡터 정보는 인터 예측 코딩 유닛(CU)에 대응하는 참조 블록의 MV 또는 인트라 블록 카피(인트라BC) 코딩 블록에 대한 블록 벡터(BV)와 관련될 수 있다. 참조 블록의 위치는 현재 블록에 대해 비트스트림으로 시그널링되는 참조 블록의 위치 정보 없이 암시적으로 결정될 수 있다.

Description

비디오 코딩에서의 인터 예측으로의 팔레트 코딩 방법

본 출원은 2015년 3월 20일에 출원된 PCT 특허 출원 번호 PCT/CN2015/074728호 및 2015년 6월 20일에 출원된 PCT 특허 출원 번호 PCT/CN2015/081374호를 우선권으로 주장한다. 이 PCT 특허 출원들은 그 전체가 참조로서 본원에 통합된다.

본 발명은 비디오 데이터에 대한 팔레트 코딩에 관한 것이다. 특히 본 발명은 비국소 예측자(non-local predictor)를 사용하는 팔레트 코딩에 관한 것이다.

고효율 비디오 코딩(High Efficiency Video Coding, HEVC)은 최근에 개발된 새로운 코딩 표준이다. 고효율 비디오 코딩(HEVC) 시스템에서, H.264/AVC의 고정 크기 매크로블록이, 코딩 유닛(coding unit, CU)으로 명칭된 플렉서블 블록(flexible block)에 의해 대체된다. CU 내의 픽셀은 코딩 효율을 향상시키기 위해 동일한 코딩 파라미터를 공유한다. CU는 HEVC에서 코딩 트리 유닛(coded tree unit, CTU)으로도 칭해지는는 최대 CU(largest CU, LCU)로 시작할 수 있다. 코딩 유닛의 개념에 추가하여, 예측 유닛(prediction unit, PU)의 개념이 또한 HEVC에 도입된다. CU 계층 트리의 분할이 행해지면, 각각의 리프(leaf) CU는 예측 유형 및 PU 구획(partition)에 따라 하나 이상의 예측 유닛(PU)으로 추가로 분할된다.

고효율 비디오 코딩(HEVC) 표준 개발과 함께, HEVC의 확장의 개발이 또한 시작되었다. HEVC 확장은 스크린 콘텐츠 코딩(screen content coding, SCC)을 포함한다. 스크린 콘텐츠의 특유의 특성으로 인해, 코딩 툴이 개발되었고 코딩 효율면에서 상당한 이득이 입증되었다. 그 중에서, 색 인덱스 코딩(예를 들면, 주요 색 기반 코딩) 기술은 팔레트(즉, 주요 색)으로부터의 인덱스를 사용하여 픽셀들의 블록을 표시하고 공간 중복성을 이용함으로써 팔레트 및 인덱스를 인코딩한다. 가능한 색 조합의 총 수가 거대한 반면, 픽처(picture) 영역에서의 색의 수는 보통 일반적인 스크린 콘텐츠에 대해 매우 제한된다. 팔레트 모드 뒤에 숨은 기본 아이디어는, CU 내의 샘플이 작은 세트의 대표적인 색 값에 의해 표시될 수 있다는 것이다. 이 세트의 대표적인 색 값은 블록에 대한 팔레트로 칭해진다. 이스케이프 심벌을 시그널링하여, 양자화될 수 있는 성분 값이 뒤따름으로써 팔레트 외측에 있는 샘플을 표시하는 것이 또한 가능하다. 블록 내의 각각의 샘플은 팔레트 내의 가장 가까운 인덱스에 할당될 수 있다. 도 1은 현재 블록(110) 내의 픽셀이 팔레트(120)로부터의 팔레트 인덱스에 의해 표시된 팔레트 코딩의 예를 예시한다. 도 1에 도시된 바와 같이, 최상부 행 상의 최초 3개의 픽셀은, 각 팔레트 인덱스에 대응하는 팔레트 인덱스 "2", "0" 및 "3"으로 맵핑된다. 교차선으로 채워진 픽셀 "X"는, 팔레트에서 대응하는 색을 찾을 수 없는 픽셀을 표시한다. 이 픽셀은 픽셀 값과 함께 이스케이프 심벌을 사용하여 코딩된다. 각각의 픽셀이 작은 크기 팔레트로부터 하나의 팔레트 인덱스에 의해 표시될 수 있기 때문에, 따라서 색 인덱스 코딩은 스크린 콘텐츠 자료(materials)에 대해 매우 효과적이게 된다.

블록에 대한 팔레트 인덱스(즉, 인덱스 맵)는 2개의 메인 런 모드: 'INDEX' 및 'COPY_ABOVE'를 사용하여 코딩된다. 이스케이프 심벌은 'INDEX' 모드로서 시그널링된다. 최대 팔레트 크기와 동일한 인덱스가 할당된다. 모드는 최상부 행을 제외하고, 또는 이전 모드가 COPY_ABOVE 모드일 때 플래그를 사용하여 시그널링된다. COPY_ABOVE 모드에서, 현재 인덱스 및 N1개의 뒤따르는 팔레트 인덱스는 상측 행의 대응하는 인덱스로부터 복사되고, 여기서 N1은 정수이다. 상측 행의 픽셀들이 코딩되었기 때문에, COPY_ABOVE 모드에 대해 임의의 인덱스 값을 시그널링할 필요가 없다. INDEX 모드에서, N2개의 뒤따르는 인덱스는 현재 위치에서의 인덱스와 동일한 인덱스 값을 갖고, 여기서 N2는 정수이다. 팔레트 인덱스는 INDEX 모드에 대해 명시적으로(explicitly) 시그널링된다. INDEX 및 COPY_ABOVE 모드 둘 다에 대해, 동일한 모드를 사용하여 또한 코딩되는 후속 샘플의 수를 특정하기 위해 런 값이 시그널링된다. 이스케이프 심벌이 INDEX 또는 COPY_ABOVE 모드에서 런의 일부일 때, 이스케이프 성분 값이 각각의 이스케이프 심벌에 대해 시그널링된다.

도 2는 팔레트 코딩 프로세스의 예를 예시한다. 현재 블록(210)의 샘플은 빈 배경 및 2개의 상이한 채움 패턴에 의해 표시된 바와 같이 3개의 상이한 픽셀 값만으로 구성된다. 샘플 값은 팔레트(220)를 사용하여 3개의 팔레트 인덱스(225)로 맵핑된다. 팔레트 인덱스 "2"는 이스케이프 심벌에 대응한다. 인덱스 맵(230)은 팔레트에 기반하여 생성되고, 팔레트 코딩은 인덱스 맵에 적용된다. 전술한 바와 같이, 용어 '인덱스 맵'은 블록 내의 픽셀들의 인덱스를 지칭한다. 제2행이 코딩될 때, "1"과 같은 인덱스 값을 갖는 3개의 연속적인 인덱스(240)가 3과 동일한 런 길이를 갖는 INDEX 모드로 코딩될 수 있다. 제3행은 제2행 후에 코딩될 수 있고, 5개의 연속적인 인덱스(250)가 5와 동일한 런 길이를 갖는 COPY_ABOVE 모드를 사용하여 코딩될 수 있다.

문헌에서, INDEX 모드는 인덱스 복사(copy index) 모드로도 칭해진다. COPY_ABOVE 모드는 상측(copy above) 복사 모드로도 칭해진다.

팔레트 코딩에서의 COPY_ABOVE 모드는 상측 행에서의 샘플의 팔레트 인덱스만을 지칭한다. 팔레트 코딩에 대해 유용할 수 있는, 도 3에 도시된 바와 같은 스크린 픽처 내의 비국소 중복 콘텐츠가 있을 수 있다. 도 3에서, 스크린 콘텐츠 픽처(310)에 대해, 영역(320) 내의 스크린 콘텐츠에 대해 영역(330) 내의 비국소 중복 콘텐츠가 존재한다. 그럼에도 불구하고, 기존의 팔레트 코딩에 따른 COPY_ABOVE 모드는 비국소 중복 인덱스를 다룰 수 없다. 비국소 중복 콘텐츠를 사용하여 팔레트 코딩을 찾는 기술을 개발하는 것이 바람직하다.

인터 복사(copy inter) 모드를 포함하는 팔레트 코딩 모드를 사용하는 비디오 코딩에 대한 방법 및 장치가 개시된다. 인터 복사 모드가 선택되었을 때, 현재 블록의 하나 이상의 연속적인 현재 샘플 또는 인덱스는 대응 위치에서 참조 블록의 하나 이상의 연속적인 참조 샘플 또는 인덱스에 의해 예측된다. 모션 벡터 정보가 현재 블록에 대한 비트스트림으로 시그널링될 수 있고, 여기서 모션 벡터 정보는 참조 블록을 위치 지정(locate)하기 위해 사용된다. 모션 벡터 정보는 인터 예측(Inter-prediction) 2N×2N 코딩 유닛(CU)에 대응하는 참조 블록에 대한 모션 벡터(MV)와 관련될 수 있다. 모션 벡터 정보는 블록 벡터(BV)와 또한 관련될 수 있고, 모션 벡터 정보는 인트라 블록 카피(인트라BC) 모드에서의 BV 시그널링과 동일한 방식으로 비트스트림으로 시그널링된다. 참조 블록의 위치는 현재 블록에 대해 비트스트림으로 시그널링되는 참조 블록의 위치 정보 없이 암시적으로(implicitly) 결정될 수 있다.

참조 블록은 현재 픽처 또는 현재 뎁스(depth) 이미지 내에 있을 수 있다. 참조 블록은 현재 픽처와는 상이한 픽처 내에 또는 현재 뎁스 이미지와는 상이한 뎁스 이미지 내에 또한 있을 수 있다. 참조 블록은 현재 블록의 재구성 픽처/재구성 뎁스 이미지로부터 또는 예측 픽처/예측 뎁스 이미지로부터 기인할 있다.

인터 복사 모드를 인에이블할지의 여부를 특정하는 제어 플래그가 비트스트림으로 시그널링될 수 있고, 한 세트의 코딩 모드는 인터 복사 모드가 인에이블됨을 제어 플래그가 표시하면 인터 복사 모드를 포함한다. 제어 플래그는 각각의 블록이고, 블록은 코딩 유닛(CU), 예측 유닛(PU) 또는 변환 유닛(transform unit, TU)에 대응한다. 또한, 제어 플래그는 문맥 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC)에 의해 코딩될 수 있다. 인터 복사 모드를 인에이블할지의 여부는 디코더에서 암시적으로 또한 결정될 수 있다. 인터 복사 모드를 인에이블할지의 여부에 관한 결정은 현재 블록의 크기, 형상, 구획 유형, 코딩 모드, MV 정보 또는 BV 정보에 의존할 수 있고, 현재 블록은 현재 코딩 유닛(CU), 현재 예측 유닛(PU) 또는 현재 변환 유닛(TU)에 대응한다.

인터 복사 모드에 대해 선택된 참조 블록은 참조 샘플을 포함할 수 있고, 참조 샘플들은 참조 블록이 현재 블록의 현재 인덱스를 예측하기 위해 사용되기 전에 참조 인덱스로 변환된다. 참조 블록의 각각의 참조 샘플은 참조 팔레트로부터 가장 가까운 인덱스를 선택함으로써 하나의 참조 인덱스로 변환될 수 있다. 참조 블록은 참조 샘플들이 참조 인덱스로 변환되기 전에 수평으로, 수직으로, 또는 수평 및 수직 둘 다로 반전될 수 있다. 참조 블록은 또한 참조 샘플들이 참조 인덱스로 변환되기 전에 시계방향 또는 반시계방향으로 회전되거나, 전치되거나, 또는 임의의 함수를 사용하여 변환될 수 있다.

참조 블록은 다수의 참조 블록 후보로부터 선택될 수 있고, 참조 블록의 선택은 인코더에 의해 명시적으로 시그널링되거나, 또는 디코더에 의해 암시적으로 도출될 수 있다.

현재 블록에 대한 현재 팔레트는 참조 블록의 참조 팔레트에 의해 예측되거나 또는 참조 블록의 참조 팔레트로부터 복사될 수 있다.

도 1은 현재 블록 내의 픽셀이 팔레트로부터의 팔레트 인덱스에 의해 표시되는 팔레트 코딩의 예를 예시한다.
도 2는 블록 내의 샘플들이 INDEX 모드 또는 COPY_ABOVE 모드를 사용하여 코딩되는 팔레트 코딩 프로세스의 예를 예시한다.
도 3은 팔레트 코딩에 유용할 수 있는, 스크린 픽처 내의 중복 콘텐츠가 비국소 영역에 나타나는 스크린 픽처의 예를 예시한다.
도 4는 현재 블록의 샘플을 예측하기 위한 비국소 예측 모드(non-local prediction mode; NLP 모드)를 포함하는 복사 모드의 예를 예시한다.
도 5는 현재 블록의 인덱스 맵의 인덱스들을 예측하기 위한 비국소 예측 모드(NLP 모드)를 포함하는 복사 모드의 예를 예시한다.
도 6은 본 발명의 일 실시형태에 따른, 참조 블록의 샘플들을 사용하여 비국소 인덱스 맵의 인덱스들을 도출하고 도출된 비국소 인덱스 맵을 사용하여 현재 인덱스 맵을 예측하는 예를 예시한다.
도 7은 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 수평으로 반전시킨 예를 예시한다.
도 8은 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 수직으로 반전시킨 예를 예시한다.
도 9는 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 수직 및 수평으로 반전시킨 예를 예시한다.
도 10은 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 시계방향으로 회전시킨 예를 예시한다.
도 11은 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 반시계방향으로 회전시킨 예를 예시한다.
도 12는 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 전치시킨 예를 예시한다.
도 13은 본 발명의 일 실시형태에 따른, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 다수의 스테이지 변환으로 변환시킨 예를 예시한다.
도 14는 본 발명의 일 실시형태에 따른, 다수의 후보로부터 참조 블록을 생성하는 예를 예시한다.
도 15는 본 발명의 일 실시형태에 따른, 다수의 비국소 인덱스 맵으로부터 하나의 비국소 인덱스 맵을 선택하는 예를 예시한다.
도 16은 본 발명의 일 실시형태에 따른, 인터 복사 모드를 포함하는 팔레트 코딩 모드를 사용하는 비디오 인코더에 대한 예시적인 흐름도이다.
도 17은 본 발명의 일 실시형태에 따른, 인터 복사 모드를 포함하는 팔레트 코딩 모드를 사용하는 비디오 디코더에 대한 예시적인 흐름도이다.

이하의 설명은 본 발명을 실시함에서의 최상으로 고려되는 모드에 관한 것이다. 본 설명은 본 발명의 일반적인 원리를 예시할 목적을 위해 구성되며 제한적인 의미로 해석되어서는 안된다. 본 발명의 범위는 첨부된 특허 청구범위에 따라서 최상으로 결정된다.

팔레트 코딩에 대한 코딩 효율을 향상시키기 위해, 비국소 예측(NLP)을 사용하는 방법이 개시된다. NLP 방법에 따르면, 비국소 예측은 현재 블록 내의 샘플들을 예측하기 위해 사용될 수 있다. 상측 행의 하나 이상의 픽셀 또는 하나 이상의 좌측 픽셀과의 국부적 상관성만을 찾는 종래의 팔레트 코딩과 비교하면, 본 발명은 비국소 상관성을 찾기 위해 비국소 예측을 또한 사용한다. 따라서, 본 발명은 종래의 팔레트 코딩보다 코딩 효율을 향상시킬 수 있다.

일 실시형태에서, 하나의 비국소 이미지 블록이 먼저 위치 지정되고, 그 다음에 현재 블록 내의 하나 이상의 샘플들이 비국소 이미지 블록 내의 대응하는 샘플들을 직접 복사함으로써 재구성될 수 있다.

일 실시형태에서, 현재 블록의 인덱스 맵의 하나 이상의 인덱스를 예측하기 위해 비국소 인덱스 맵이 사용될 수 있다.

또 다른 실시형태에서, 현재 블록 내의 각각의 샘플은 자신의 좌측 이웃, 자신의 상측 이웃 또는 자신의 비국소 예측[이들은 각각 좌측 복사 모드(즉, INDEX 모드), 상측 복사 모드(즉, COPY_ABOVE 모드) 및 비국소 예측 모드에 대응함]의 샘플을 복사할 수 있다. 본 개시에서, 좌측 복사 모드는 인덱스 복사 모드로도 칭해지고, 비국소 예측 모드는 인터 복사 모드로도 칭해진다. 인코더는 샘플마다 어떤 복사 모드를 사용할지 결정할 수 있다. 이들 복사 모드를 사용함으로써, 현재 블록은 2-투플(2-tuple)(m, l) 코드에 의해 표시될 수 있고, 여기서 m은 각각의 시작 샘플에 대한 복사 모드를 표시하고 l은 모드(m)와 연관된 각 참조 샘플로부터 복사된 연속 샘플의 수를 표시하는 길이이다. 도 4는 현재 블록의 예측 샘플에 대한 비국소 예측 모드(즉, NLP 모드)를 포함하는 복사 모드의 예를 예시한다. 도 4에서, 영역(410) 내의 샘플은 비국소 영역 내의 각 참조 샘플(415)에 의해 예측되고, 여기서 9개의 연속적인 샘플이 참조 블록으로부터 복사될 수 있다. NLP 모드 및 9와 동일한 런 길이가 NLP 모드에 대해 시그널링될 수 있다. 영역(420) 내의 샘플은 동일한 샘플 값(즉, "0")을 갖는 3개의 연속적인 샘플로 구성되고, 3개의 샘플은 3과 동일한 런 길이를 갖는 좌측 복사 모드(즉, 인덱스 복사 모드)를 사용하여 코딩될 수 있다. 또한, 영역(430) 내의 샘플들은 상측 행 내의 샘플과 동일하다. 따라서, 영역(430) 내의 샘플은 4와 동일한 런 길이를 갖는 상측 복사 모드로 코딩될 수 있다.

현재 블록(I)은 좌측 복사 모드에 대해 I(x+i)=I(x-1+i)에 따라 재구성될 수 있고, 여기서 i는 0 내지 l이며, l은 현재 디코딩된 2-투플의 제2 요소이다. 상측 복사 모드에 대해, 현재 블록(I)은 I(x+i)=I(x-w+i)에 따라 재구성될 수 있고, 여기서 w는 현재 블록의 폭이다. 비국소 예측 모드에 대해, 현재 블록(I)은 I(x+i)=R(x+i)에 따라 재구성될 수 있고, 여기서 R은 참조 블록 내의 샘플들을 표시한다.

또 다른 실시형태에서, 현재 블록의 인덱스 맵 내의 각각의 인덱스는 각각 좌측 복사 모드, 상측 복사 모드 또는 비국소 예측 모드에 대응하는 자신의 좌측 이웃, 자신의 상측 이웃 또는 자신의 비국소 예측의 인덱스를 복사할 수 있다. 인코더는 각각의 인덱스에 대해 어떤 복사 모드를 사용할지 결정할 수 있다. 이들 복사 모드를 사용함으로써, 인덱스 맵은 이전의 실시형태에서의 2-투플(m, l) 코드와 유사한 2-투플(m, l) 코드에 의해 표시될 수 있고, 여기서 복사 모드가 현재 블록의 샘플에 적용된다. 도 5는 현재 블록의 인덱스 맵의 예측 인덱스에 대한 비국소 예측 모드(NLP 모드)를 포함하는 복사 모드의 예를 예시한다. 도 5에서, 영역(510) 내의 인덱스 맵의 인덱스는 비국소 영역 내의 각 참조 인덱스(515)에 의해 예측되고, 여기서 9개의 연속적인 인덱스가 참조 블록으로부터 복사될 수 있다. NLP 모드 및 9와 동일한 런 길이가 NLP 모드에 대해 시그널링된다. 영역(520) 내의 인덱스 맵의 인덱스는 동일한 인덱스 값(즉, "1")을 갖는 3개의 연속적인 인덱스로 구성되고, 3개의 인덱스는 3과 동일한 런 길이를 갖는 좌측 복사 모드(즉, 인덱스 복사 모드)를 사용하여 코딩될 수 있다. 또한, 영역(530) 내의 인덱스 맵의 인덱스는 상측 행의 인덱스와 동일하다. 따라서, 영역(530) 내의 인덱스 맵의 인덱스는 4와 동일한 런 길이를 갖는 상측 복사 모드로 코딩된다. 현재 블록의 인덱스 맵의 인덱스는 현재 블록의 예측 샘플에 대한 이전의 실시형태와 동일한 재구성 프로세스에 따라 재구성될 수 있다.

또 다른 실시형태에서, 현재 블록에 대한 비국소 인덱스 맵이 먼저 결정되고, 그 다음에 비국소 인덱스 맵 내의 대응하는 인덱스를 직접 복사함으로써 현재 인덱스 맵 내의 인덱스가 도출될 수 있다. 복사 후에, 현재 블록 내의 샘플이 팔레트 내의 대응하는 인덱스에 의해 표시된 색을 사용함으로써 재구성될 수 있다. 각각 W 및 H와 동일한 폭 및 높이를 갖는 참조 블록에 대해 예시적인 복사 프로세스가 설명된다. R(x, y)(x는 0 내지 W-1, y는 0 내지 H-1)이 비국소 인덱스 맵 내의 인덱스이면, 복사 프로세스 후에, 현재 블록 내의 샘플 S(x, y)는 S(x, y)=P[R(x, y)][R(x, y)는 0 내지 N-1]에 따라 인덱스로부터 재구성되고, 여기서 P는 현재 블록의 팔레트이고 N은 팔레트 내의 색의 수(즉, 팔레트 크기)이다.

또 다른 실시형태에서, 현재 블록 내의 모든 샘플은 전술한 바와 같이 비국소 예측 모드를 포함하는 복사 방법에 의해 재구성된다. 다른 실시형태에서, 현재 블록 내의 1개 또는 일부 샘플들은 전술한 바와 같이 비국소 예측 모드를 포함하는 복사 방법에 의해 재구성된다. 그러나, 현재 블록 내의 적어도 하나의 다른 샘플은 다른 방법에 의해 재구성된다.

또 다른 실시형태에서, 비국소 인덱스 맵은 참조 샘플을 포함하는 참조 블록으로부터 도출된다. 도 6에 도시된 바와 같이, 참조 블록(610)이 먼저 획득되고, 그 다음에 색 양자화 알고리즘이 사용되어 참조 블록의 참조 샘플로부터 비국소 인덱스 맵(620)의 인덱스들을 도출한다. 그 다음에, 도출된 비국소 인덱스 맵이 사용되어 현재 인덱스 맵(630)을 예측한다. 색 양자화는 샘플을 인덱스로 변환하기 위한 프로세스이고, 여기서 각각의 샘플은 일부 기준에 따라 대응하는 인덱스가 할당된다. 예를 들면, 대응하는 인덱스는, 임의의 거리 측정에 기반한, 현재 블록의 가장 가까운 팔레트 엔트리의 인덱스이다.

또 다른 실시형태에서, 현재 블록의 팔레트는 참조 블록의 팔레트에 의해 예측될 수 있다. 또 다른 실시형태에서, 현재 블록의 팔레트는 참조 블록의 팔레트로서 복사될 수 있다.

비국소 예측 모드에 대한 참조 블록은 현재 블록의 동일한 픽처 내에 있을 수 있다. 그러나, 비국소 예측 모드에 대한 참조 블록은 현재 블록의 상이한 픽처 내에 또한 있을 수 있다. 다시 말해서, 비국소 예측 모드는 인터 픽처 예측뿐만 아니라 인트라 픽처 예측에 적용될 수 있다.

참조 블록은 현재 픽처의 재구성된 이미지 또는 예측 이미지로부터 기인할 수 있다. 비디오 코딩 분야에 공지된 바와 같이, 재구성된 이미지 데이터는, 재구성된 이미지 데이터가 예측 이미지 데이터로서 사용될 수 있기 전에 프로세싱되어야 할 수 있다. 예를 들어, 참조 블록과 연관된 모션 벡터가 분수 픽셀 해상도를 가지면, 재구성된 이미지 데이터는 예측 이미지 데이터를 생성하기 위해 보간되어야 한다.

참조 블록의 위치는 인코더로부터 디코더로 명시적으로 시그널링될 수 있다. 따라서, 디코더는 시그널링된 위치 정보에 따라 참조 블록을 위치 지정할 수 있다. 또한, 참조 블록의 위치는 JCTVC-T1005[2015년 2월 10일부터 18일까지 스위스 제네바에서 개최된 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 비디오 코딩에 대한 합동 협력 팀(JCT-VC)의 14차 회의에서 죠시(Joshi) 등이 발표한 'HEVC 스크린 콘텐츠 코딩 드래프트 텍스트 3'(HEVC Screen Content Coding Draft Text 3)의 명칭으로 발표된 문서 JCTVC-T1005]에서 특정된 바와 같이 인트라 블록 복사(Intra block copy; IBC) 모드에서의 블록 벡터(BV)의 시그널링 방법과 동일한 방식으로 인코더로부터 디코더로 명시적으로 시그널링될 수 있고, 여기서 BV의 차(즉, BV 차)가 시그널링된다. 그러나, 참조 블록의 위치는 다른 실시형태에 따라 디코더에 의해 암시적으로 또한 도출될 수 있다.

또 다른 실시형태에서, 도 7에 도시된 바와 같이, 참조 블록(710)은 비국소 인덱스 맵(730)을 생성하기 위해 사용되기 전에 반전된 참조 블록(720)으로 수평으로 반전된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 현재 블록의 상이한 픽처 내에 있을 수 있다. W와 동일한 폭을 갖는 참조 블록에 대해 예시적인 반전 프로세스가 설명된다. R(x, y)가 참조 블록 내의 샘플이면(x는 0 내지 W-1), 반전된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(W-1-x, y)로서 도출될 수 있다.

유사하게, 도 8에 도시된 바와 같이, 참조 블록(810)은 비국소 인덱스 맵(830)을 생성하기 위해 사용되기 전에 수직으로 반전된 참조 블록(820)을 생성하도록 수직으로 반전될 수 있다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. H와 동일한 참조 블록의 높이를 갖는 참조 블록에 대해 예시적인 반전 프로세스가 설명된다. R(x, y)(y는 0 내지 H-1)가 참조 블록 내의 샘플이면, 반전된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(x, H-1-y)로서 도출될 수 있다.

또 다른 실시형태에서, 도 9에 도시된 바와 같이, 참조 블록(910)은 비국소 인덱스 맵(930)을 생성하기 위해 사용되기 전에 반전된 참조 블록(920)을 생성하도록 수직으로 반전된 다음에 수평으로 반전되거나, 또는 수평으로 반전된 다음에 수직으로 반전된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. W와 동일한 폭 및 H와 동일한 높이를 갖는 참조 블록에 대해 예시적인 반전 프로세스가 설명된다. R(x, y)(x는 0 내지 W-1, y는 0 내지 H-1)가 참조 블록 내의 샘플이면, 반전된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(W-1-x, H-1-y)로서 도출될 수 있다.

또 다른 실시형태에서, 도 10에 도시된 바와 같이, 참조 블록(1010)은 비국소 인덱스 맵(1030)을 생성하기 위해 사용되기 전에 시계 방향으로 회전되어 회전된 참조 블록(1020)으로 된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. H와 동일한 높이를 갖는 참조 블록에 대해 예시적인 회전 프로세스가 설명된다. R(x, y)(y는 0 내지 H-1)가 참조 블록 내의 샘플이면, 회전된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(H-1-y, x)로서 도출될 수 있다.

또 다른 실시형태에서, 도 11에 도시된 바와 같이, 참조 블록(1110)은 비국소 인덱스 맵(1130)을 생성하기 위해 사용되기 전에 반시계 방향으로 회전되어 회전된 참조 블록(1120)으로 된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. W와 동일한 폭을 갖는 참조 블록에 대해 예시적인 회전 프로세스가 설명된다. R(x, y)(x는 0 내지 W-1)가 참조 블록 내의 샘플이면, 회전된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(y, W-1-x)로서 도출될 수 있다.

또 다른 실시형태에서, 도 12에 도시된 바와 같이, 참조 블록(1210)은 비국소 인덱스 맵(1230)을 생성하기 위해 사용되기 전에 전치되어 전치(transpose)된 참조 블록(1220)으로 된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. 예시적인 전치 프로세스는 다음과 같이 설명된다. R(x, y)가 참조 블록 내의 샘플이면, 전치된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(y, x)로서 도출될 수 있다.

또 다른 실시형태에서, 참조 블록은 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 임의로 변환된다. 참조 블록은 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. 예시적인 변환 프로세스는 다음과 같이 설명된다. R(x, y)가 참조 블록 내의 샘플이면, 변환된 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=R(f(x, y), g(x, y))로서 도출될 수 있고, 여기서 f 및 g는 임의의 함수이다. 함수(f)는 x에만, 또는 y에만, 또는 둘 다에 의존할 수 있다. 함수(g)는 x에만, 또는 y에만, 또는 둘 다에 의존할 수 있다. 함수(f)는 현재 블록 또는 참조 블록의 크기, 폭, 높이, 형상 또는 코딩 모드에 의존할 수 있다. 함수(g)는 현재 블록 또는 참조 블록의 크기, 폭, 높이, 형상 또는 코딩 모드에 의존할 수 있다. 함수(f)는 현재 또는 참조 픽처 또는 슬라이스의 유형에 의존할 수 있다. 함수 g는 현재 또는 참조 픽처 또는 슬라이스의 유형에 의존할 수 있다. 함수(f)는 선형 또는 비선형 함수일 수 있다. 함수(g)는 선형 또는 비선형 함수일 수 있다. f 및 g는 동일할 수도 있고 상이할 수도 있다.

또 다른 실시형태에서, 참조 블록은 비국소 인덱스 맵을 생성하기 위해 사용되기 전에, 수평 반전, 수직 반전, 시계방향 회전, 반시계방향 회전, 전치 및 임의의 변환과 같은 2개 이상의 변환 방법의 조합에 의해 변환된다. 변환은 직렬(cascade) 방식으로 행해질 수 있고, 여기서 참조 블록은 도 13에 도시된 바와 같이 현재 블록을 예측하기 위해 사용되기 전에 순차적으로 변환된다. 이전 변환으로부터의 출력은 후속 변환에 대한 입력으로서 취급된다.

또 다른 실시형태에서, 다수의 블록 후보가 참조 블록을 생성하기 위해 함께 결합된다. 도 14는 본 실시형태에 따른, 다수의 후보로부터 참조 블록을 생성하는 예를 예시한다. 결합 유닛(1420)은 N개의 후보(1410, 1412, 1414, 1416)로부터 참조 블록(1430)을 어떻게 생성할지를 결정한다. 비국소 인덱스 맵(1440)은 색 양자화를 사용하여 참조 블록(1430)으로부터 도출된다. 다수의 후보는 현재 블록의 동일 픽처 내에 있거나, 또는 현재 블록의 상이한 픽처 내에 있을 수 있다. 예시적인 결합 프로세스가 다음과 같이 설명된다. 각각의 후보의 폭 및 높이가 각각 W 및 H이고, N이 후보의 개수이며, R(k, x, y)(x는 0 내지 W-1, y는 0 내지 H-1)가 k번째 후보 내의 샘플이면, 참조 블록 내의 샘플 R'(x, y)은 R'(x, y)=f(R(1, x, y), R(2, x, y), ...R(k, x, y))로서 도출될 수 있고, 여기서 f는 임의의 함수일 수 있다. 예를 들어, f는 평균 함수일 수 있고, 참조 블록은 다음과 같이 도출된다.

전술한 실시형태는 참조 샘플을 포함하는 참조 블록을 색 양자화와 같은 변환 방법을 사용하여 비국소 인덱스 맵으로 변환하는 기술을 개시한다. 또한, 참조 블록을 비국소 인덱스 맵을 생성하기 위해 사용되기 전에 변환하는 다양한 기술이 개시된다. 예를 들어, 참조 블록을 수평으로, 수직으로, 또는 수평 및 수직 둘 다로 반전시켜 반전된 참조 블록을 생성하는 것과 같은 반전 기술은, 참조 블록이 비국소 인덱스 맵으로 변환되기 전에 반전된 참조 블록을 생성하는 것으로 위에서 개시되었다. 변환 기술은 또한 회전(시계방향 또는 반시계방향), 전치, 또는 임의의 재형성(reforming)에 대응할 수 있다. 다른 실시형태에서, 비국소 인덱스 맵은 현재 인덱스 맵을 예측하기 위해 사용될 수 있다. 반전, 회전 및 전치를 포함하는 변환 기술은 현재 인덱스 맵을 예측하기 위해 사용되기 전에 비국소 인덱스 맵에 또한 적용될 수 있다. 참조 블록에 대해 위에서 개시된 변환 기술의 설명은 색 양자화가 적용되지 않는 것을 제외하고 비국소 인덱스 맵에 적용가능하다. 이 경우, R(x, y)은 비국소 인덱스 맵 내의 인덱스에 대응하고, R'(x, y)은 반전, 회전 또는 전치에 의해 비국소 인덱스 맵 내의 미리 프로세싱된 인덱스를 표시한다.

또 다른 실시형태에서, 인코더는 비국소 인덱스 예측 방법을 사용할지의 여부를 결정하고 이 정보를 디코더에 시그널링할 수 있다. 이 정보는 매크로 블록(macro-block, MB), 코딩 트리 유닛(CTU), 코딩 유닛(CU), 변환 유닛(TU) 또는 예측 유닛(PU)에 대해 시그널링될 수 있다. 인코더는 레이트 왜곡 최적화(rate-distortion optimization, RDO) 기준 또는 다른 기준에 기반하여 결정을 행할 수 있다.

또 다른 실시형태에서, 디코더는 블록에 대한 비국소 인덱스 예측 방법을 사용할지의 여부를 암시적으로 추론할 수 있다. 이 경우, 비국소 인덱스 예측 방법을 적용할지의 여부를 표시하기 위한 어떠한 정보도 인코더로부터 명시적으로 시그널링되지 않는다.

또 다른 실시형태에서, 다수의 비국소 인덱스 맵이 예측 후보로서 제공된다. 인코더는 어떤 비국소 인덱스 맵을 사용할지 결정하고 이 정보를 디코더에 시그널링할 수 있다. 도 15는 본 실시형태에 따른, 다수의 비국소 인덱스 맵으로부터 비국소 인덱스 맵을 선택하는 예를 예시한다. 선택 유닛(1520)은 최상의 비국소 인덱스 맵(1530)을 선택하고 선택된 최상의 비국소 인덱스 맵을 사용하여 현재 인덱스 맵(1540)을 예측한다. 이 정보는 매크로 블록(MB), 코딩 트리 유닛(CTU), 코딩 유닛(CU), 변환 유닛(TU), 또는 예측 유닛(PU)에 대해 시그널링될 수 있다. 인코더는 레이트 왜곡 최적화(RDO) 기준 또는 다른 기준에 기반하여 결정을 행할 수 있다.

또 다른 실시형태에서, 다수의 비국소 인덱스 맵이 예측 후보로서 제공될 수 있다. 디코더는 현재 인덱스 맵에 대해 비국소 인덱스 맵 중 하나를 사용할지의 여부를 암시적으로 추론할 수 있다. 비국소 인덱스 복사를 적용할지의 여부를 표시하기 위한 어떠한 정보도 인코더로부터 명시적으로 시그널링되지 않는다.

비국소 인덱스 예측 방법은 팔레트 모드 코딩 또는 임의의 다른 인덱스 기반 코딩 방식에 또한 적용될 수 있다.

비국소 인덱스 예측 방법은 크기가 M×N인 블록에 적용될 수 있고, 여기서 M 및 N은 임의의 양의 정수이다. M은 N과 동일할 수 있거나(즉, 정사각형 블록), 또는 M은 N과 동일하지 않을 수 있다(즉, 비정사각형 블록). 다른 예에서, M은 a*N과 동일할 수 있고, 여기서 a는 2 이상의 양의 정수이다. 다른 예에서, N은 b*M과 동일할 수 있고, 여기서 b는 2 이상의 양의 정수이다. 다른 예로서 M 또는 N은 1일 수 있다.

비국소 인덱스 예측 방법은 이미지의 모든 성분에 적용될 수 있다. 예를 들면, 비국소 인덱스 예측 방법은 Y/U/V 성분 또는 G/R/B 성분에 적용될 수 있다. 비국소 인덱스 예측 방법은 이미지의 색 성분 중 일부에 적용될 수 있다. 비국소 인덱스 예측 방법은 3D 비디오/이미지 코딩를 위한 뎁스 성분에 또한 적용될 수 있다.

비국소 인덱스 예측 방법은, 비국소 인덱스 예측 방법을 적용할지의 여부를 결정하고 이 정보를 각각의 블록에 시그널링하기 위해 성분에 대해 분리적으로 적용될 수 있다. 대안적으로, 모든 성분들이 동일한 방식으로 취급되고 단일 정보만이 하나의 블록에 대해 시그널링될 수 있다.

비국소 인덱스 예측 방법은 블록에 대해 비국소 인덱스 예측 방법을 적용할지의 여부에 관하여 각각의 성분에 대해 디코더에서 암시적으로 분리적으로 추론될 수 있다. 대안적으로, 모든 성분들이 블록에 대해 동일한 방식으로 취급될 수 있다.

다수의 비국소 인덱스 맵이 제공되면, 비국소 인덱스 예측 방법은 비국소 인덱스 맵을 선택하고 이 정보를 블록에 시그널링하기 위해 각각의 성분에 대해 분리적으로 행해질 수 있다. 대안적으로, 모든 성분들이 동일한 방식으로 취급되고 단일 정보만이 블록에 대해 시그널링될 수 있다.

다수의 비국소 인덱스 맵이 제공되면, 비국소 인덱스 예측 방법은 디코더에서 추론에 의해 블록에 대한 비국소 인덱스 맵을 암시적으로 선택하기 위해 각각의 성분에 대해 분리적으로 행해질 수 있다. 대안적으로, 모든 성분들이 블록에 대해 동일한 방식으로 취급될 수 있다.

또 다른 실시형태에서, 비국소 인덱스 예측 방법을 적용할지의 여부는 현재 블록 또는 현재 CU/TU/PU의 크기, 형상 또는 코딩 모드에 따라 결정되거나 또는 추론될 수 있다.

다수의 비국소 인덱스 맵이 제공되면, 사용될 예측 인덱스 맵은 현재 블록 또는 현재 CU/TU/PU의 크기, 형상 또는 코딩 모드에 따라 결정되거나 또는 추론될 수 있다.

또 다른 실시형태에서, 비국소 인덱스 예측 방법은 팔레트 모드를 갖는 CU에 대해서만 허용된다. 또 다른 실시형태에서, 비국소 인덱스 예측 방법은 구획 크기가 2N×2N인 CU에 대해서만 허용된다.

또 다른 실시형태에서, 현재 인덱스 맵에 대해 비국소 인덱스 예측이 사용될지의 여부를 표시하는 플래그가 CU, TU 또는 PU에 대해 문맥 적응 이진 산술 코딩(CABAC)에 의해 코딩될 수 있다. 이웃 블록 내의 플래그는 현재 블록에 대한 플래그를 코딩하기 위한 문맥 모델(context model)을 결정하기 위해 사용될 수 있다. 플래그는, 시그널링되지 않으면 0으로서 취급된다. 대안적으로, 플래그는, 시그널링되지 않으면 1로서 취급된다.

또 다른 실시형태에서, 다수의 비국소 인덱스 맵이 제공되면, 현재 인덱스 맵에 대해 어떤 비국소 인덱스 맵이 사용될지를 표시하기 위하여 CU, TU 또는 PU에 대해 문맥 적응 이진 산술 코딩(CABAC)에 의해 다수의 플래그가 코딩된다. 이웃 블록 내의 플래그는 현재 블록에 대한 플래그를 코딩하기 위한 문맥 모델을 결정하기 위해 사용된다. 플래그는, 시그널링되지 않으면 0으로서 취급된다. 대안적으로, 플래그는, 시그널링되지 않으면 1로서 취급된다.

전술한 비국소 인덱스 예측은 아래에 리스트된 조건들의 다양한 조합에 대해 인에이블되거나 디스에이블될 수 있고, 여기서 비국소 인덱스 예측은 비국소 인덱스 예측이 허용되는 경우에만 사용될 수 있다. 블록에 대한 비국소 인덱스 예측에 관한 정보는 비국소 인덱스 예측이 허용된 경우에만 시그널링된다.

ㆍ 현재 CU가 팔레트 모드로 코딩된다;

ㆍ 현재 CU가 2N×2N 구획 모드로 코딩된다;

ㆍ 현재 CU가 M×M보다 작은 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 PU가 M×M보다 작은 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 TU가 M×M보다 작은 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 CU가 M×M보다 큰 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 PU가 M×M보다 큰 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 TU가 M×M보다 큰 크기로 코딩되고, M은 64, 32, 16, 8 및 4와 같은 임의의 정수일 수 있다;

ㆍ 현재 PU 크기는 2N×2N이다;

ㆍ 현재 PU 크기는 N×N이다;

ㆍ 현재 PU 크기는 2N×N이다;

ㆍ 현재 PU 크기는 N×2N이다.

본 발명의 다른 양태는 비국소 인덱스 예측(NLIP) 방법의 수행을 더욱 향상시키는 기술을 개시한다. 일 실시형태에서, 코딩 런 길이와 연관된 재구성된 인덱스는 참조 블록 내의 인덱스로부터 복사함으로써 획득될 수 있다. 다른 실시형태에서, 코딩 런 길이와 연관된 재구성된 샘플은 참조 블록 내의 샘플로부터 복사함으로써 획득될 수 있다.

각각의 픽셀은 좌측 복사 모드, 상측 복사 모드, 또는 비국소 인덱스 예측 모드를 선택할 수 있다. 선택된 모드를 표시하도록 다수의 플래그가 코딩될 수 있다. 디코더는 현재 픽셀에 대한 선택된 결과를 암시적으로 추론할 수 있다.

또 다른 실시형태에서, 선택된 결과를 표시하기 위해 사용되는 플래그는 CABAC 코딩 또는 문맥 코딩될 수 있다. 이웃 픽셀들의 플래그가 또한 현재 플래그에 대한 문맥으로서 사용될 수 있다.

일 실시형태에서, 현재 픽셀은, 이전 픽셀이 비국소 인덱스 예측 방법을 선택하면 비국소 인덱스 예측 방법을 선택하도록 허용되지 않는다.

전술한 복사 모드에 대해, 코딩된 런이 현재 블록의 최종 런인지의 여부를 표시하기 위해 하나 이상의 비트가 각각의 런에 대해 코딩될 수 있다.

일부 샘플이 파싱(parsing) 프로세스에서 이용할 수 없기 때문에, 그 샘플들에 대해 인덱스 중복 제거가 수행될 수 없다. 예를 들어, 현재 인덱스가 인덱스 복사 모드에서 코딩되고 좌측 샘플이 인터 복사 모드에서 코딩되면, 좌측 픽셀의 샘플 값 또는 인덱스는 모션 보상 단계까지 획득될 수 없다. 따라서, 파싱 단계에서 중복 제거가 수행될 수 없다. 이 문제를 해결하기 위해, 하나 이상의 추가적인 정제 비트(refinement bit)를 코딩하는 것이 수행되고, 인덱스 중복 제거는 모든 샘플에 대해 항상 수행될 수 있다.

일 실시형태에서, 파싱 아웃된(parsed out) 인덱스가 MAX_INDEX-1과 동일하면, 하나의 추가의 정제 비트가 파싱되어야 한다. 정제 비트가 1과 동일하면, 재구성된 인덱스는 MAX_INDEX-1이다. 그렇지 않으면, 재구성된 인덱스는 MAX_INDEX-2이다. 변수 MAX_INDEX는 팔레트 내의 엔트리의 최대 개수를 표시한다.

일부 샘플이 파싱 프로세스에서 이용할 수 없기 때문에, 그 샘플들에 대해 인덱스 중복 제거가 수행될 수 없다. 이 문제를 해결하기 위해, 모든 인덱스를 코딩하기 전에 모든 런 타입 플래그를 코딩하는 것이 다른 실시형태에 따라 개시된다. 그리고 인덱스 중복 제거는 NLP 샘플에 대해 수행되지 않는다.

팔레트 코딩을 위한 예시적인 구문(syntax) 구조가 아래의 표에 도시되고, 여기서 본 발명에 밀접하게 관련되지 않은 구문 선은 배제된다.

표 1에서, 주해(Note)(1-1)에 의해 표시된 바와 같은, "if(MaxPaletteIndex>0)" 다음에 줄이 채워진 배경(line-filled background)을 갖는 개방 중괄호가 삭제된다. 주해(1-2)에 의해 표시된 바와 같은, 본 발명의 실시형태에 따른 새로운 구문 요소 copy_inter_flag가 포함된다. 1과 동일한 구문 요소 copy_inter_flag는 현재 코딩 유닛이 인터 팔레트 모드에 의해 코딩되는 것을 특정하고, 0과 동일한 copy_inter_flag는 현재 코딩 유닛이 인터 팔레트 모드에 의해 코딩되지 않는 것을 표시한다. copy_inter_flag가 없을 때, copy_inter_flag는 0과 동일한 것으로 추론된다. 주해(1-3)에 의해 표시된 바와 같은, copy_inter_flag가 1의 값을 가질 때, 주해(1-4)에 의해 표시된 바와 같은 구문 요소 last_copy_inter_run_type_flag가 포함된다. 1과 동일한 구문 요소 last_copy_inter_run_type_flag는 최종의 1개의 런 타입이 COPY_INTER 모드인 것을 특정한다. 주해(1-5)에 의해 표시된 바와 같은, last_copy_inter_run_type_flag가 0이면, 최종의 런 모드가 상측 복사 모드인지 또는 인덱스 복사 모드인지의 여부를 특정하기 위해 주해(1-6)에 의해 표시된 바와 같은 구문 요소 last_palette_run_type_flag가 포함된다.

주해(1-8)에 의해 표시된 바와 같은 copy_inter_flag가 1과 동일할 때, 디코딩된 블록 벡터에 의해 표시된 블록의 인덱스 맵 내부의 동일 위치에서 현재 팔레트 인덱스가 팔레트 인덱스와 동일한지의 여부를 표시하기 위해, 주해(1-9)에 의해 표시된 바와 같은 구문 요소 copy_inter_run_type_flag[xC][yC]가 포함된다. 주해(1-9)에 의해 표시된 바와 같은 비국소 예측이 분리적으로 표시되기 때문에, 주해(1-10)에 의해 표시된 바와 같은 copy_inter_run_type_flag[xC][yC]가 1과 동일할 때, 주해(1-11)에 의해 표시된 바와 같은 구문 요소 palette_run_type_flag[xC][yC]가 시그널링되지 않는다.

표 1에서, 주해(1-12)에 의해 표시된 바와 같은 구문 요소 copy_inter_flag가 1과 동일할 때, 주해(1-13)에 의해 표시된 바와 같은 PU에 대한 구문 요소(즉, prediction_unit())가 포함된다.

다른 실시형태에서, 현재 픽셀에 대한 런 타입은, 이전 픽셀에 대한 런 타입이 COPY_INTER 모드이면 COPY_INTER 모드를 사용하도록 허용되지 않는다. 이 실시형태와 관련된 예시적인 구문 구조가 아래의 구문표에 도시된다. 표 2에 도시된 바와 같이, 구문 copy_inter_run_type_flag는, 구문 요소 copy_inter_flag가 1의 값을 갖고 이전 픽셀이 COPY_INTER 모드에서 코딩되지 않을 때(즉, palette_run_type_flag[xcPrev][ycPrev] != COPY_INTER)만을 포함한다.

표 1에서, 팔레트 코딩를 위한 구문 구조 내의 다양한 변경이 본 발명의 다양한 실시형태를 통합하도록 예시되었다. 그러나, 구문 구조 내의 변경은 본 발명의 실시형태에 따른 예로서 역할하도록 의도된다. 이들은 본 발명을 제한하는 것으로 해석되지 않아야 한다. 또한, 이러한 변경은 본 발명을 구현하기 위해 반드시 모두 포함되어야 하는 것은 아니다.

도 16은 본 발명의 실시형태에 따른, 인터 복사 모드를 포함하는 팔레트 코딩 모드를 사용하는 비디오 인코더에 대한 예시적인 흐름도를 예시한다. 단계 1610에서, 인코더가 현재 픽처 내의 현재 블록과 연관된 입력 데이터를 수신한다. 단계 1620에서, 현재 블록의 N1개의 연속적인 현재 인덱스가 동일한 인덱스 값을 갖는지의 여부가 체크된다. 결과가 "예"이면, 단계 1630이 수행된다. 그렇지 않으면(즉, "아니오" 경로), 단계 1630이 스킵된다. 단계 1630에서, 시스템이 현재 블록의 N1개의 연속적인 현재 인덱스에 대해 인덱스 복사 모드를 시그널링한다. 단계 1640에서, N2개의 연속적인 현재 인덱스가 현재 블록의 상측 행의 대응하는 인덱스와 동일한 인덱스 값을 갖는지의 여부가 체크된다. 결과가 "예"이면, 단계 1650이 수행된다. 그렇지 않으면(즉, "아니오" 경로), 단계 1650이 스킵된다. 단계 1650에서, 시스템이 현재 블록의 N2개의 연속적인 현재 인덱스에 대해 상측 복사 모드를 시그널링한다. 단계 1660에서, N3개의 연속적인 현재 인덱스가 참조 블록의 연속적인 참조 인덱스에 의해 예측되는지의 여부가 체크된다. 결과가 "예"이면 단계 1670이 수행된다. 그렇지 않으면(즉, "아니오" 경로), 단계 1670이 스킵된다. 단계 1670에서, 시스템이 현재 블록의 N3개의 연속적인 현재 인덱스에 대해 인터 복사 모드를 시그널링한다.

도 17은 본 발명의 실시형태에 따른, 인터 복사 모드를 포함하는 팔레트 코딩 모드를 사용하는 비디오 디코더에 대한 예시적인 흐름도를 예시한다. 단계 1710에서, 시스템이 현재 픽처 내의 현재 블록과 연관된 입력 비트스트림을 수신한다. 단계 1720에서, 현재 블록의 하나 이상의 연속적인 현재 인덱스에 대해 한 세트의 코딩 모드로부터 선택된 코딩 모드와 연관된 코딩 정보가 입력 비트스트림으로부터 파싱된다. 단계 1730에서, 인덱스 복사 모드가 선택되면, 현재 블록의 하나 이상의 연속적인 현재 인덱스가 동일한 제1 인덱스 값으로 디코딩된다. 단계 1740에서, 상측 복사 모드가 선택되면, 현재 블록의 하나 이상의 연속적인 현재 인덱스가 현재 블록의 상측 행의 대응하는 하나 이상의 연속적인 현재 인덱스와 동일한 제2 인덱스 값으로 디코딩된다. 단계 1750에서, 인터 복사 모드가 선택되면, 현재 블록의 하나 이상의 연속적인 현재 인덱스가 대응 위치에서 참조 블록의 동일한 하나 이상의 연속적인 참조 인덱스로 디코딩된다.

전술한 흐름도는 본 발명의 실시형태를 통합한 시스템의 예를 설명하기 위한 것으로 의도된다. 당업자라면 본 발명의 정신으로부터 벗어나지 않고 본 발명을 실시하기 위해 각 단계를 수정하거나, 단계들을 재배열하거나, 단계를 분할하거나 또는 단계들을 결합할 수 있다. 본 명세서에서 특정 구문 및 어의론은 본 발명의 실시형태를 구현하는 예를 설명하기 위해 사용되었다. 당업자라면 본 발명의 정신으로부터 벗어나지 않고 상기 구문 및 어의론을 등가적인 구문 및 어의론으로 대체하여 본 발명을 실시할 수 있다.

전술한 설명은 당업자가 특정 응용 및 그 필요조건과 관련하여 제공된 대로 본 발명을 실시할 수 있게 하기 위해 제시된다. 당업자에게는 설명한 실시형태에 대한 각종 수정이 명백할 것이고, 여기서 규정된 일반 원리는 다른 실시형태에 적용될 수 있다. 그러므로 본 발명은 도시되고 설명된 특정 실시형태로 제한되지 않고, 여기서 개시된 원리 및 신규 특징과 일치하는 최광의의 범위로 고려되어야 한다. 전술한 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 각종의 특정 세부들이 설명되었다. 그러나 당업자라면 그러한 세부 없이 본 발명이 실시될 수 있다는 것을 이해할 것이다.

전술한 본 발명의 실시형태는 각종 하드웨어, 소프트웨어 코드 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 본 발명의 실시형태는 여기서 설명한 프로세스를 수행하도록 비디오 압축 칩에 집적된 하나 이상의 전자 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 또한 여기서 설명한 프로세스를 수행하도록 디지털 시그널 프로세서(DSP)에서 실행되는 프로그램 코드일 수 있다. 본 발명은 컴퓨터 프로세서, 디지털 시그널 프로세서, 마이크로프로세서 또는 현장 프로그램가능 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 또한 수반할 수 있다. 이러한 프로세서들은 본 발명에 의해 구현되는 특수 방법들을 규정하는 기계 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 상기 소프트웨어 코드는 다른 타겟 플랫폼용으로 또한 컴파일될 수 있다. 그러나 소프트웨어 코드의 다른 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 태스크를 수행하도록 코드를 구성하는 다른 수단은 본 발명의 정신 및 범위로부터 벗어나지 않을 것이다.

본 발명은 그 정신 또는 본질적 특성으로부터 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 예들은 모든 점에서 예시하는 것이지 제한하는 것이 아닌 것으로 생각하여야 한다. 그러므로 본 발명의 범위는 전술한 상세한 설명보다는 첨부된 특허 청구범위에 의해 규정된다. 특허 청구범위의 균등물의 의미 및 범위 내에 있는 모든 변화들은 본 발명의 범위 내에 포함되어야 한다.

Claims

픽처(picture) 또는 뎁스(depth) 이미지 내의 블록에 대한 비디오 디코딩 방법에 있어서,
현재 픽처 또는 현재 뎁스 이미지 내의 현재 블록과 연관된 입력 비트스트림을 수신하는 단계;
상기 현재 블록의 하나 이상의 연속적인 현재 샘플 또는 인덱스에 대해 한 세트의 코딩 모드로부터 선택된 코딩 모드와 연관된 코딩 정보를, 상기 입력 비트스트림으로부터 파싱(parsing)하는 단계;
인덱스 복사(copy-index) 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 동일한 제1 샘플 값 또는 제1 인덱스 값으로 디코딩하는 단계;
상측 복사(copy-above) 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 상기 현재 블록의 상측 행의 대응하는 하나 이상의 연속적인 현재 샘플 또는 인덱스와 동일한 제2 샘플 값 또는 제2 인덱스 값으로 디코딩하는 단계; 및
인터 복사(copy-inter) 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 대응 위치에서 참조 블록의 동일한 하나 이상의 연속적인 참조 샘플 또는 인덱스로 디코딩하는 단계
를 포함하고,
상기 인터 복사 모드에 대해 선택된 상기 참조 블록은 참조 샘플을 포함하고, 상기 참조 샘플은 상기 참조 블록이 상기 현재 블록의 현재 인덱스를 예측하기 위해 사용되기 전에 참조 인덱스로 변환되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 입력 비트스트림으로부터 모션 벡터 정보를 파싱하는 단계를 더 포함하고, 상기 모션 벡터 정보는 상기 참조 블록을 위치 지정(locate)하기 위해 사용되는 것인, 비디오 디코딩 방법.
제2항에 있어서, 상기 모션 벡터 정보는, 인터 예측(Inter-prediction) 2N×2N 코딩 유닛(coding unit, CU)에 대응하는 상기 참조 블록에 대한 모션 벡터(motion vector, MV)와 관련되는 것인, 비디오 디코딩 방법.
제2항에 있어서, 상기 모션 벡터 정보는 블록 벡터(block vector, BV)와 관련되고, 상기 모션 벡터 정보는 인트라 블록 카피(Intra Block Copy, IntraBC) 모드에서의 BV 시그널링과 동일한 방식으로 상기 입력 비트스트림으로 시그널링되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록의 위치는, 상기 입력 비트스트림으로 시그널링되는 상기 참조 블록의 위치 정보 없이 암시적으로(implicitly) 결정되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은, 상기 현재 픽처 또는 상기 현재 뎁스 이미지 내에 있는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은, 상기 현재 픽처와는 상이한 픽처 또는 상기 현재 뎁스 이미지와는 상이한 뎁스 이미지 내에 있는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은, 상기 현재 블록의 재구성된 픽처/재구성된 뎁스 이미지 또는 예측 픽처/예측 뎁스 이미지로부터 기인하는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 인터 복사 모드를 인에이블할지의 여부를 특정하는 제어 플래그를 상기 입력 비트스트림으로부터 파싱하는 단계를 더 포함하고, 상기 한 세트의 코딩 모드는 상기 인터 복사 모드가 인에이블됨을 상기 제어 플래그가 표시하면 상기 인터 복사 모드를 포함하는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 인터 복사 모드를 인에이블할지의 여부는 디코더에서 암시적으로 결정되고, 상기 한 세트의 코딩 모드는 상기 인터 복사 모드가 인에이블되면 상기 인터 복사 모드를 포함하는 것인, 비디오 디코딩 방법.
삭제
제1항에 있어서, 상기 참조 블록의 각각의 참조 샘플은, 참조 팔레트로부터 가장 가까운 인덱스를 선택함으로써 하나의 참조 인덱스로 변환되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은, 상기 참조 샘플이 상기 참조 인덱스로 변환되기 전에 수평으로, 수직으로, 또는 수평 및 수직 둘 다로 반전되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은, 상기 참조 샘플이 상기 참조 인덱스로 변환되기 전에 시계방향 또는 반시계방향으로 회전되거나, 전치되거나, 또는 임의의 함수를 사용하여 변환되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 참조 블록은 다수의 참조 블록 후보로부터 선택되고, 상기 참조 블록의 선택은 인코더에 의해 명시적으로(explicitly) 시그널링되거나 또는 디코더에 의해 암시적으로 도출되는 것인, 비디오 디코딩 방법.
제1항에 있어서, 상기 현재 블록에 대한 현재 팔레트는 상기 참조 블록의 참조 팔레트에 의해 예측되거나, 또는 상기 참조 블록의 참조 팔레트로부터 복사되는 것인, 비디오 디코딩 방법.
픽처 또는 뎁스 이미지 내의 블록에 대한 비디오 인코딩 방법에 있어서,
현재 픽처 또는 현재 뎁스 이미지 내의 현재 블록과 연관된 입력 데이터를 수신하는 단계;
상기 현재 블록의 하나 이상의 연속적인 현재 샘플 또는 인덱스에 대해 인덱스 복사 모드, 상측 복사 모드 및 인터 복사 모드를 포함하는 한 세트의 코딩 모드로부터 코딩 모드를 결정하는 단계로서,
상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스가 모두 동일한 제1 샘플 값 또는 제1 인덱스 값을 가지면 상기 인덱스 복사 모드가 선택되고;
상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스가 모두 상기 현재 블록의 상측 행의 대응하는 하나 이상의 연속적인 현재 샘플 또는 인덱스와 동일한 제2 샘플 값 또는 제2 인덱스 값을 가지면 상기 상측 복사 모드가 선택되며;
상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스가 대응 위치에서 참조 블록의 하나 이상의 연속적인 참조 샘플 또는 인덱스에 의해 예측되면 상기 인터 복사 모드가 선택되고,
상기 인터 복사 모드에 대해 선택된 상기 참조 블록은 참조 샘플을 포함하고, 상기 참조 샘플은 상기 참조 블록이 상기 현재 블록의 현재 인덱스를 예측하기 위해 사용되기 전에 참조 인덱스로 변환되는 것인, 상기 코딩 모드를 결정하는 단계; 및
상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스에 대해 선택된 상기 코딩 모드와 연관된 코딩 정보를 시그널링하는 단계
를 포함하는, 비디오 인코딩 방법.
제17항에 있어서, 상기 현재 블록에 대한 비트스트림으로 모션 벡터 정보를 시그널링하는 단계를 더 포함하고, 상기 모션 벡터 정보는 상기 참조 블록을 위치 지정하기 위해 사용되는 것인, 비디오 인코딩 방법.
제18항에 있어서, 상기 모션 벡터 정보는 인터 예측 2N×2N 코딩 유닛(CU)에 대응하는 상기 참조 블록에 대한 모션 벡터(MV)와 관련되거나, 또는 상기 모션 벡터 정보는 블록 벡터(BV)와 관련되고 상기 모션 벡터 정보는 인트라 블록 카피(IntraBC) 모드에서의 BV 시그널링과 동일한 방식으로 상기 비트스트림으로 시그널링되는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 참조 블록의 위치는, 상기 현재 블록에 대한 비트스트림으로 시그널링되는 상기 참조 블록의 위치 정보 없이 암시적으로 결정되는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 참조 블록은 상기 현재 픽처, 상기 현재 뎁스 이미지, 상기 현재 픽처와는 상이한 픽처, 또는 상기 현재 뎁스 이미지와는 상이한 뎁스 이미지 내에 있는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 참조 블록은, 상기 현재 블록의 재구성된 픽처/재구성된 뎁스 이미지 또는 예측 픽처/예측 뎁스 이미지로부터 기인하는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 인터 복사 모드를 인에이블할지의 여부를 특정하는 제어 플래그를 상기 현재 블록에 대한 비트스트림으로 시그널링하는 단계를 더 포함하고, 상기 한 세트의 코딩 모드는 인터 복사 모드가 인에이블됨을 상기 제어 플래그가 표시하면 상기 인터 복사 모드를 포함하는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 인터 복사 모드를 인에이블할지의 여부에 관한 결정은 상기 현재 블록의 크기, 형상, 구획 유형, 코딩 모드, MV 정보 또는 BV 정보에 의존하고, 상기 현재 블록은 현재 코딩 유닛(CU), 현재 예측 유닛(PU) 또는 현재 변환 유닛(TU)에 대응하는 것인, 비디오 인코딩 방법.
삭제
제17항에 있어서, 상기 참조 블록의 각각의 참조 샘플은, 참조 팔레트로부터 가장 가까운 인덱스를 선택함으로써 하나의 참조 인덱스로 변환되는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 참조 샘플이 상기 참조 인덱스로 변환되기 전에 상기 참조 블록에 프로세스가 적용되고, 상기 프로세스는 블록 수평 반전 프로세스, 블록 수직 반전 프로세스, 블록 시계방향 회전 프로세스, 블록 반시계방향 회전 프로세스, 블록 전치 프로세스, 및 블록 임의의 변환 프로세스 중 하나 또는 이들의 조합을 포함하는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 참조 블록은 다수의 참조 블록 후보로부터 선택되고, 상기 참조 블록의 선택은 인코더에 의해 명시적으로 시그널링되거나 또는 디코더에 의해 암시적으로 도출되는 것인, 비디오 인코딩 방법.
제17항에 있어서, 상기 현재 블록에 대한 현재 팔레트는, 상기 참조 블록의 참조 팔레트에 의해 예측되거나 상기 참조 블록의 참조 팔레트로부터 복사되는 것인, 비디오 인코딩 방법.
하나 이상의 전자 회로를 포함하는 픽처 또는 뎁스 이미지 내의 블록의 비디오 디코딩을 위한 장치에 있어서, 상기 하나 이상의 전자 회로는,
현재 픽처 또는 현재 뎁스 이미지 내의 현재 블록과 연관된 입력 비트스트림을 수신하고;
상기 현재 블록의 하나 이상의 연속적인 현재 샘플 또는 인덱스에 대해 한 세트의 코딩 모드로부터 선택된 코딩 모드와 연관된 코딩 정보를 상기 입력 비트스트림으로부터 파싱하며;
인덱스 복사 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 동일한 제1 샘플 값 또는 제1 인덱스 값으로 디코딩하고;
상측 복사 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 상기 현재 블록의 상측 행의 대응하는 하나 이상의 연속적인 현재 샘플 또는 인덱스와 동일한 제2 샘플 값 또는 제2 인덱스 값으로 디코딩하며;
인터 복사 모드가 선택되면, 상기 현재 블록의 상기 하나 이상의 연속적인 현재 샘플 또는 인덱스를, 대응 위치에서 참조 블록의 동일한 하나 이상의 연속적인 참조 샘플 또는 인덱스로 디코딩하도록 구성되고,
상기 인터 복사 모드에 대해 선택된 상기 참조 블록은 참조 샘플을 포함하고, 상기 참조 샘플은 상기 참조 블록이 상기 현재 블록의 현재 인덱스를 예측하기 위해 사용되기 전에 참조 인덱스로 변환되는 것인, 비디오 디코딩 장치.
삭제
삭제