KR20180069905A - 기준 프레임 버퍼 추적을 통한 모션 벡터 기준 선택 - Google Patents
기준 프레임 버퍼 추적을 통한 모션 벡터 기준 선택 Download PDFInfo
- Publication number
- KR20180069905A KR20180069905A KR1020187014591A KR20187014591A KR20180069905A KR 20180069905 A KR20180069905 A KR 20180069905A KR 1020187014591 A KR1020187014591 A KR 1020187014591A KR 20187014591 A KR20187014591 A KR 20187014591A KR 20180069905 A KR20180069905 A KR 20180069905A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- motion vector
- frames
- reference frame
- buffer index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 claims description 76
- 230000015654 memory Effects 0.000 claims description 31
- 230000011664 signaling Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 신호를 인코딩 또는 디코딩하는 것은 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 것을 포함하며, 후보 모션 벡터들은 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함한다. 제1 모션 벡터와 연관된 기준 프레임 식별자는, 제2 프레임의 현재의 블록을 예측하기 위해 사용되는 기준 프레임의 기준 버퍼 인덱스와 비교될 수 있다. 기준 프레임 식별자가 기준 버퍼 인덱스와 동일한 조건 시에, 제1 모션 벡터는 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 전진된다.
Description
[0001] 디지털 비디오 스트림들은 통상적으로, 프레임들 또는 스틸 이미지들의 시퀀스를 사용하는 비디오를 표현한다. 각각의 프레임은 다수의 블록들을 포함할 수 있으며, 그 블록들은 차례로 픽셀들에 대한 컬러, 밝기 또는 다른 속성들의 값을 설명하는 정보를 포함할 수 있다. 통상적인 비디오 스트림의 데이터의 양은 크며, 비디오의 송신 및 저장은 상당한 컴퓨팅 또는 통신 리소스들을 사용할 수 있다. 비디오 데이터에 수반되는 많은 양의 데이터로 인해, 높은 성능 압축이 송신 및 저장을 위해 필요하다. 블록-기반 코덱들에서, 이것은 모션 벡터들을 사용하는 예측을 포함하는 예측 기법들을 수반한다.
[0002] 본 개시내용은 일반적으로, 컴퓨팅 디바이스를 사용하여 비디오 스트림 데이터와 같은 시각 데이터를 인코딩 및 디코딩하는 것에 관한 것이며, 비디오 스트림은 프레임들의 시퀀스를 갖고, 각각의 프레임은 블록들을 가지며, 각각의 블록은 픽셀들을 갖는다. 본 개시내용은, 프레임들의 시퀀스의 제1 프레임을 인코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 것, 저장 이후 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 복수의 기준 프레임들을 업데이팅하는 것, 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 것 － 다수의 후보 모션 벡터들은 제1 프레임 내의 콜로케이팅된(collocated) 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －, 제2 모션 벡터를 생성하기 위해 업데이팅 이후, 복수의 기준 프레임들 중 일 기준 프레임 내에서 현재의 블록에 대한 모션 탐색을 수행하는 것, 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스와, 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 것, 및 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스가 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 현재의 블록을 인코딩하기 위해 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 제1 모션 벡터를 전진시키는 것을 포함한다.
[0003] 본 명세서의 개시내용의 일 양상은 시각 데이터를 인코딩 및 디코딩하는 것을 포함하며, 여기서, 제2 프레임은 시퀀스에서 제1 프레임에 후속하고, 복수의 기준 프레임들 중 하나는 현재의 프레임이 인코딩되기 전에 시퀀스 내의 마지막 프레임을 포함하고, 기준 프레임 식별자로서 마지막 프레임 식별자를 가지며, 복수의 기준 프레임들을 업데이팅하는 것은, 마지막 프레임 식별자와 연관된 기준 버퍼 인덱스를 제1 기준 프레임의 기준 버퍼 인덱스로 업데이팅하는 것을 포함한다. 복수의 기준 프레임들은 골든(golden) 프레임 및 교체(alternate) 기준 프레임을 포함하며, 복수의 기준 프레임들을 업데이팅하는 것은 마지막 프레임 식별자와 연관된 기준 버퍼 인덱스만을 업데이팅하는 것을 포함한다. 복수의 기준 프레임들은 기준 프레임 식별자로서 골든 프레임 식별자를 갖는 골든 프레임 및 기준 프레임 식별자로서 교체 기준 프레임 식별자를 갖는 교체 기준 프레임을 포함하며; 그리고 복수의 기준 프레임들을 업데이팅하는 것은, 교체 기준 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 교체 기준 프레임의 기준 버퍼 인덱스로 업데이팅하는 것을 포함하는 것; 또는 복수의 기준 프레임들을 업데이팅하는 것은 골든 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 골든 프레임의 기준 버퍼 인덱스로 업데이팅하는 것을 포함하는 것 중 적어도 하나가 행해진다.
[0004] 본 명세서의 개시내용의 일 양상은 시각 데이터를 인코딩 및 디코딩하는 것을 포함하며, 여기서, 복수의 기준 프레임들을 업데이팅하는 것은 저장 이후 각각의 기준 프레임 식별자들과 연관된 적어도 2개의 기준 프레임들을 업데이팅하는 것을 포함하고, 다수의 후보 모션 벡터들은 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제3 모션 벡터를 포함하며, 그 양상은 제4 모션 벡터를 생성하기 위해 업데이팅 이후 복수의 기준 프레임들의 상이한 기준 프레임 내에서 제2 블록에 대한 제2 모션 탐색을 수행하는 것, 및 제2 모션 탐색을 수행할 시에 사용되는 기준 프레임의 기준 버퍼 인덱스와, 제3 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 것을 더 포함하고, 현재의 블록을 인코딩하기 위해 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 제1 모션 벡터를 전진시키는 것은 제3 모션 벡터를 인코딩하기 위해 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 제1 모션 벡터를 전진시키는 것을 포함하고, 그 양상은, 제2 모션 탐색을 수행할 시에 사용된 기준 프레임의 기준 버퍼 인덱스가 제3 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 제4 모션 벡터를 인코딩하기 위해 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 제2 모션 벡터를 전진시키는 것을 더 포함한다.
[0005] 본 명세서에 설명된 장치의 일 양상은 프로세서, 및 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 비-일시적인 메모리를 포함하며, 그 방법은, 프레임들의 시퀀스의 제1 프레임을 인코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 단계, 저장 이후 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 복수의 기준 프레임들을 업데이팅하는 단계, 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 단계 － 다수의 후보 모션 벡터들은 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －, 제2 모션 벡터를 생성하기 위해 업데이팅 이후, 복수의 기준 프레임들 중 일 기준 프레임 내에서 현재의 블록에 대한 모션 탐색을 수행하는 단계, 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스와, 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계, 및 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스가 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 현재의 블록을 인코딩하기 위해 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 제1 모션 벡터를 전진시키는 단계를 포함한다.
[0006] 실시예들은 또한, 적합한 컴퓨터 장치 상에서 실행되는 경우 본 명세서에 설명된 방법들 및 장치를 실시하도록 배열되는 컴퓨터 프로그램 코드를 포함하는 하나 또는 그 초과의 컴퓨터 판독가능 매체들을 제공한다.
[0007] 본 개시내용의 이들 및 다른 양상들은 다음의 상세한 설명, 첨부된 청구범위 및 첨부한 도면들에서 부가적으로 상세히 설명된다.
[0008] 본 명세서의 설명은 아래에 설명되는 첨부한 도면들을 참조하며, 도면에서, 유사한 참조 번호들은 수 개의 도면들 전반에 걸쳐 유사한 부분들을 지칭한다.
[0009] 도 1은 비디오 인코딩 및 디코딩 시스템의 개략도이다.
[0010] 도 2는 송신 스테이션 또는 수신 스테이션을 구현할 수 있는 컴퓨팅 디바이스의 일 예의 블록 다이어그램이다.
[0011] 도 3은 인코딩되고 후속하여 디코딩될 비디오 스트림의 다이어그램이다.
[0012] 도 4는 본 명세서의 교시들의 일 양상에 따른 비디오 압축 시스템의 블록 다이어그램이다.
[0013] 도 5는 본 명세서의 교시들의 다른 양상에 따른 비디오 압축해제 시스템의 블록 다이어그램이다.
[0014] 도 6은 기준 프레임 버퍼 추적을 통해 모션 벡터 기준을 선택하기 위한 프로세스의 흐름도 다이어그램이다.
[0015] 도 7은 도 6의 프로세스를 설명하는데 사용되는 기준 버퍼 업데이팅의 일 예의 다이어그램이다.
[0010] 도 2는 송신 스테이션 또는 수신 스테이션을 구현할 수 있는 컴퓨팅 디바이스의 일 예의 블록 다이어그램이다.
[0011] 도 3은 인코딩되고 후속하여 디코딩될 비디오 스트림의 다이어그램이다.
[0012] 도 4는 본 명세서의 교시들의 일 양상에 따른 비디오 압축 시스템의 블록 다이어그램이다.
[0013] 도 5는 본 명세서의 교시들의 다른 양상에 따른 비디오 압축해제 시스템의 블록 다이어그램이다.
[0014] 도 6은 기준 프레임 버퍼 추적을 통해 모션 벡터 기준을 선택하기 위한 프로세스의 흐름도 다이어그램이다.
[0015] 도 7은 도 6의 프로세스를 설명하는데 사용되는 기준 버퍼 업데이팅의 일 예의 다이어그램이다.
[0016] 비디오 스트림은, 비디오 스트림을 송신 또는 저장하는데 요구되는 대역폭을 감소시키도록 다양한 기법들에 의해 압축될 수 있다. 비디오 스트림은 비트스트림으로 인코딩되고(이는, 압축을 수반할 수 있음), 그 후, 디코더로 송신될 수 있으며, 디코더는 뷰잉 또는 추가적인 프로세싱을 위해 그 비디오 스트림을 준비하도록 비디오 스트림을 디코딩 또는 압축해제할 수 있다. 비디오 스트림의 압축은 종종 공간 및/또는 모션 보상 예측을 통한 비디오 신호들의 공간적 및 시간적 상관을 활용한다. 예컨대, 인터-예측은 이전에 인코딩 및 디코딩된 픽셀들을 사용하여 인코딩될 현재의 블록과 닮은 블록(또한, 예측 블록으로 지칭됨)을 생성하기 위해 하나 또는 그 초과의 모션 벡터들을 사용한다. 모션 벡터(들)를 인코딩함으로써 그리고 2개의 블록들 사이의 차이에 의해, 인코딩된 신호를 수신하는 디코더는 현재의 블록을 재생성할 수 있다.
[0017] 예측 블록을 생성하기 위해 사용되는 각각의 모션 벡터는 현재의 프레임, 즉 기준 프레임 이외의 프레임을 지칭한다. 기준 프레임들은 비디오 스트림의 시퀀스에서 현재의 프레임 이전 또는 이후에 로케이팅될 수 있다. 예컨대, 현재의 프레임을 인코딩하기 위한 하나의 공통 기준 프레임은, 시퀀스에서 현재의 프레임 직전의 프레임인 마지막 프레임이다. 1개 초과의 모션 벡터가 예측 블록을 생성하기 위해 사용되는 경우, 각각의 모션 벡터는 별개의 기준 프레임으로 지칭될 수 있다. 단일 예측 블록을 사용하여 예측되는(예컨대, 단일 모션 벡터를 사용하여 생성되는) 블록은 본 명세서에서 단일 기준 경우로 지칭되는 반면, 1개 초과의 기준 블록을 사용하여 예측되는(예컨대, 2개 또는 그 초과의 모션 벡터들을 사용하여 생성되는) 블록은 본 명세서에서 복합 기준 경우로 지칭된다.
[0018] 모션 벡터 기준은 인터-예측의 프로세스에서 유용할 수 있다. 일반적으로, 모션 벡터 기준은, 현재의 블록 이전의 상이한 블록을 인코딩하는 것으로부터 이미 결정된 모션 벡터이다. 모션 벡터 기준은 현재의 블록을 인코딩하기 위해 사용되는 모션 벡터를 차동적으로 인코딩(및 그에 따라 디코딩)하기 위해 사용될 수 있다. 이러한 방식으로 모션 벡터를 차동적으로 인코딩하는 것은, 예컨대, 인코딩된 모션 벡터가 작은 고정된 수의 비트들로서 비디오 스트림에 포함되게 허용할 수 있다. 대안적으로 또는 부가적으로, 모션 벡터 기준은 현재의 블록을 인코딩하기 위해 사용되는 모션 벡터를 결정하기 위한 다수의 후보 모션 벡터들 중 하나로서 사용될 수 있다. 모션 벡터 기준은 현재의 블록에 공간적으로 인접한 블록들로부터 획득될 수 있다. 모션 벡터 기준은 또한, 코-로케이팅된(co-located) 블록으로 또한 지칭되는(이는, 그 블록이 자신의 프레임에 대해, 인코딩될 현재의 블록과 동일한 픽셀 포지션들에 로케이팅되기 때문임) 시간적으로 이웃한 블록으로부터 결정되는 시간적 모션 벡터 기준일 수 있다.
[0019] 언급된 바와 같이, 각각의 모션 벡터는 수개의 이용가능한 기준 프레임들 중 하나를 지칭할 수 있다. 따라서, 각각의 모션 벡터 기준은 수개의 이용가능한 기준 프레임들 중 하나를 지칭할 수 있다. 모션 벡터 기준을 포함하는 기준 프레임이 이용가능한 기준 프레임들 중 하나라는 것을 표시하는 신호가 전송될 수 있다. 비트들의 비교적 긴 시퀀스일 수 있는 프레임 식별자 그 자체를 시그널링하는 것 대신, 신호는 기준 프레임의 타입을 식별하는 비트들의 더 짧은 시퀀스일 수 있다. 예컨대, 몇몇 비디오 코덱들에서, 3개의 타입들의 기준 프레임들, 즉 마지막 프레임(LAST_FRAME), 골든 프레임(GOLDEN_FRAME), 및 대안적인 기준 프레임(ALTREF_FRAME)이 존재한다.
[0020] 개시된 양상들은, 이전에 코딩된 프레임 내의 코-로케이팅된 블록을 예측하기 위해 사용되는 모션 벡터의 기준 프레임이 현재의 블록에 대해 사용되고 있는 기준 프레임과 동일한 타입인지 여부를 체크할 수 있다. 그들이 동일한 타입이면, 모션 벡터는 이러한 테스트를 충족하지 않은 임의의 다른 모션 벡터들보다 현재의 모션 벡터를 코딩하기 위한 더 높은 우선순위에 있는 것으로 고려된다. 예컨대, 현재의 블록이 LAST_FRAME을 선택하고, 이전의 프레임 내의 그의 콜로케이팅된 블록이 또한 LAST_FRAME을 선택하면, 콜로케이팅된 블록의 모션 벡터는 현재의 모션 벡터의 코딩을 위한 모션 벡터 기준으로서 더 높은 우선순위에 있는 것으로 고려될 수 있다.
[0021] 각각의 프레임을 코딩한 이후, 기준 버퍼가 업데이팅될 것이고, 결과적으로 기준 버퍼 내의 하나 또는 그 초과의 프레임들이 새로이 코딩된 프레임에 의해 대체될 수 있다는 사실에서 위의 접근법에는 문제가 존재할 수 있다. 따라서, 이전의 프레임 및 현재의 프레임 내의 블록들 둘 모두가 동일한 기준 프레임, 예컨대, LAST_FRAME을 각각 선택하더라도, 그들은 실제로 동일한 기준 프레임 버퍼로 포인팅될 수 없다. 개시된 구현들의 양상들은, 이전의 프레임 내의 콜로케이팅된 블록이 현재의 블록과 동일한 기준 프레임들을 사용하는지 여부를 식별함으로써 이러한 문제를 다룬다. 그 대답이 참인 경우에만, 콜로케이팅된 블록의 모션 벡터 또는 벡터들이 현재의 모션 벡터를 코딩하기 위해 다른 모션 벡터 기준들보다 더 높은 우선순위로 처리될 것이다.
[0022] 본 명세서의 교시들이 사용될 수 있는 환경의 초기 논의 이후에 추가적인 세부사항들이 설명된다.
[0023] 도 1은 비디오 인코딩 및 디코딩 시스템(100)의 개략도이다. 송신 스테이션(102)은, 예컨대, 도 2에 설명된 것과 같은 하드웨어의 내부 구성을 갖는 컴퓨터일 수 있다. 그러나, 송신 스테이션(102)의 다른 적합한 구현들이 가능하다. 예컨대, 송신 스테이션(102)의 프로세싱은 다수의 디바이스들 사이에 분배될 수 있다.
[0024] 네트워크(104)는 비디오 스트림의 인코딩 및 디코딩을 위해 송신 스테이션(102)과 수신 스테이션(106)을 연결시킬 수 있다. 구체적으로, 비디오 스트림은 송신 스테이션(102)에서 인코딩될 수 있고, 인코딩된 비디오 스트림은 수신 스테이션(106)에서 디코딩될 수 있다. 네트워크(104)는, 예컨대, 인터넷일 수 있다. 네트워크(104)는 또한, 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 가상의 사설 네트워크(VPN), 셀룰러 텔레폰 네트워크 또는 송신 스테이션(102)으로부터 이러한 예에서는 수신 스테이션(106)으로 비디오 스트림을 전달하는 임의의 다른 수단일 수 있다.
[0025] 일 예에서, 수신 스테이션(106)은 도 2에 설명된 것과 같은 하드웨어의 내부 구성을 갖는 컴퓨터일 수 있다. 그러나, 수신 스테이션(106)의 다른 적합한 구현들이 가능하다. 예컨대, 수신 스테이션(106)의 프로세싱은 다수의 디바이스들 사이에 분배될 수 있다.
[0026] 비디오 인코딩 및 디코딩 시스템(100)의 다른 구현들이 가능하다. 예컨대, 일 구현은 네트워크(104)를 생략할 수 있다. 다른 구현에서, 비디오 스트림은 인코딩되며, 그 후, 추후의 시간에 수신 스테이션(106) 또는 메모리를 갖는 임의의 다른 디바이스로의 송신을 위해 저장될 수 있다. 일 구현에서, 수신 스테이션(106)은 (예컨대, 네트워크(104), 컴퓨터 버스, 및/또는 몇몇 통신 통로를 통해) 인코딩된 비디오 스트림을 수신하고, 추후의 디코딩을 위해 비디오 스트림을 저장한다. 예시적인 구현에서, 실시간 전송 프로토콜(RTP)이 네트워크(104)를 통한 인코딩된 비디오의 송신을 위해 사용된다. 다른 구현에서, RTP 이외의 전송 프로토콜, 예컨대, 하이퍼텍스트 전송 프로토콜(HTTP)-기반 비디오 스트리밍 프로토콜이 사용될 수 있다.
[0027] 예컨대, 비디오 회의 시스템에서 사용되는 경우, 송신 스테이션(102) 및/또는 수신 스테이션(106)은 아래에 설명되는 바와 같이 비디오 스트림을 인코딩 및 디코딩 둘 모두를 행하기 위한 능력을 포함할 수 있다. 예컨대, 수신 스테이션(106)은, 디코딩 및 뷰잉하기 위해 비디오 회의 서버(예컨대, 송신 스테이션(102))로부터 인코딩된 비디오 비트스트림을 수신하고, 다른 참가자들에 의한 디코딩 및 뷰잉을 위해 그 자신의 비디오 비트스트림을 추가로 인코딩하고 비디오 회의 서버에 송신하는 비디오 회의 참가자일 수 있다.
[0028] 도 2는 송신 스테이션 또는 수신 스테이션을 구현할 수 있는 컴퓨팅 디바이스(200)의 일 예의 블록 다이어그램이다. 예컨대, 컴퓨팅 디바이스(200)는 도 1의 송신 스테이션(102) 및 수신 스테이션(106) 중 하나 또는 둘 모두를 구현할 수 있다. 컴퓨팅 디바이스(200)는, 다수의 컴퓨팅 디바이스들을 포함하는 컴퓨팅 시스템의 형태이거나, 또는 단일 컴퓨팅 디바이스, 예컨대 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
[0029] 컴퓨팅 디바이스(200) 내의 CPU(202)는 중앙 프로세싱 유닛일 수 있다. 대안적으로, CPU(202)는 현재-존재하거나 이후에 개발되는 정보를 조작 또는 프로세싱할 수 있는 임의의 다른 타입의 디바이스 또는 다수의 디바이스들일 수 있다. 개시된 구현들이 도시된 바와 같은 단일 프로세서, 예컨대, CPU(202)를 이용하여 실시될 수 있지만, 속도 및 효율에서의 이점들은 1개 초과의 프로세서를 사용하여 달성될 수 있다.
[0030] 컴퓨팅 디바이스(200) 내의 메모리(204)는 일 구현에서 판독 전용 메모리(ROM) 디바이스 또는 랜덤 액세스 메모리(RAM) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(204)로서 사용될 수 있다. 메모리(204)는 버스(212)를 사용하여 CPU(202)에 의해 액세스되는 코드 및 데이터(206)를 포함할 수 있다. 메모리(204)는 운영 시스템(208) 및 애플리케이션 프로그램들(210)을 더 포함할 수 있으며, 애플리케이션 프로그램들(210)은 CPU(202)가 본 명세서에 설명되는 방법들을 수행하게 허용하는 적어도 하나의 프로그램을 포함한다. 예컨대, 애플리케이션 프로그램들(210)은, 본 명세서에 설명되는 방법들을 수행하는 비디오 코딩 애플리케이션을 더 포함하는 애플리케이션들 1 내지 N을 포함할 수 있다. 컴퓨팅 디바이스(200)는 또한, 예컨대 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는 2차 저장소(214)를 포함할 수 있다. 비디오 통신 세션들이 상당한 양의 정보를 포함할 수 있기 때문에, 그들은 2차 저장소(214)에 전체적으로 또는 부분적으로 저장되고, 프로세싱을 위해 필요할 때 메모리(204)로 로딩될 수 있다.
[0031] 컴퓨팅 디바이스(200)는 또한, 디스플레이(218)와 같은 하나 또는 그 초과의 출력 디바이스들을 포함할 수 있다. 일 예에서, 디스플레이(218)는 터치 입력들을 감지하도록 동작가능한 터치 감지 엘리먼트와 디스플레이를 결합하는 터치 감지 디스플레이일 수 있다. 디스플레이(218)은 버스(212)를 통해 CPU(202)에 커플링될 수 있다. 사용자가 컴퓨팅 디바이스(200)를 프로그래밍하게 하거나 그렇지 않으면 사용하게 허용하는 다른 출력 디바이스들이 디스플레이(218)에 부가하여 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 그를 포함하는 경우, 디스플레이는 액정 디스플레이(LCD), 음극선관(CRT) 디스플레이 또는 발광 다이오드(LED) 디스플레이, 이를테면 유기 LED(OLED) 디스플레이를 포함하는 다양한 방식들로 구현될 수 있다.
[0032] 컴퓨팅 디바이스(200)는 또한, 이미지-감지 디바이스(220), 예컨대 카메라, 또는 컴퓨팅 디바이스(200)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 현재 존재하거나 이후에 개발되는 임의의 다른 이미지-감지 디바이스(220)를 포함하거나 그와 통신할 수 있다. 이미지-감지 디바이스(220)는, 그 디바이스가 컴퓨팅 디바이스(200)를 동작시키는 사용자를 향해 지향되도록 포지셔닝될 수 있다. 일 예에서, 이미지-감지 디바이스(220)의 포지션 및 광학 축은 시야가 영역을 포함하도록 구성될 수 있으며, 그 영역은 디스플레이(218)에 직접 인접하고 그 영역으로부터 디스플레이(218)가 가시적이다.
[0033] 컴퓨팅 디바이스(200)는 또한, 사운드-감지 디바이스(222), 예컨대 마이크로폰, 또는 컴퓨팅 디바이스(200) 근처의 사운드들을 감지할 수 있는 현재 존재하거나 이후에 개발되는 임의의 다른 사운드-감지 디바이스를 포함하거나 그와 통신할 수 있다. 사운드-감지 디바이스(222)는, 그 디바이스가 컴퓨팅 디바이스(200)를 동작시키는 사용자를 향해 지향되도록 포지셔닝될 수 있고, 사용자가 컴퓨팅 디바이스(200)를 동작시키는 동안 사용자에 의해 만들어진 사운드들, 예컨대, 스피치 또는 다른 발언(utterance)들을 수신하도록 구성될 수 있다.
[0034] 도 2가 단일 유닛으로 통합되는 것으로 컴퓨팅 디바이스(200)의 CPU(202) 및 메모리(204)를 도시하지만, 다른 구성들이 이용될 수 있다. CPU(202)의 동작들은, 로컬 영역 또는 다른 네트워크를 통해 또는 직접 커플링될 수 있는 다수의 머신들(각각의 머신은 프로세서들 중 하나 또는 그 초과를 가짐)에 걸쳐 분산될 수 있다. 메모리(204)는 컴퓨팅 디바이스(200)의 동작들을 수행하는 다수의 머신들 내의 메모리 또는 네트워크-기반 메모리와 같이 다수의 머신들에 걸쳐 분산될 수 있다. 단일 버스로서 본 명세서에 도시되지만, 컴퓨팅 디바이스(200)의 버스(212)는 다수의 버스들로 구성될 수 있다. 추가로, 2차 저장소(214)는 컴퓨팅 디바이스(200)의 다른 컴포넌트들에 직접 커플링될 수 있거나, 또는 네트워크를 통해 액세스될 수 있으며, 메모리 카드와 같은 단일의 통합된 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 컴퓨팅 디바이스(200)는 광범위하게 다양한 구성들로 구현될 수 있다.
[0035] 도 3은 인코딩되고 후속하여 디코딩될 비디오 스트림(300)의 일 예의 다이어그램이다. 비디오 스트림(300)은 비디오 시퀀스(302)를 포함한다. 다음의 레벨에서, 비디오 시퀀스(302)는 다수의 인접한 프레임들(304)을 포함한다. 3개의 프레임들이 인접한 프레임들(304)로서 도시되지만, 비디오 시퀀스(302)는 임의의 수의 인접한 프레임들(304)을 포함할 수 있다. 그 후, 인접한 프레임들(304)은 개별 프레임들, 예컨대, 프레임(306)으로 추가로 세분될 수 있다. 다음의 레벨에서, 프레임(306)은 일련의 평면들 또는 세그먼트들(308)로 분할될 수 있다. 세그먼트들(308)은 예컨대, 병렬 프로세싱을 허용하는 프레임들의 서브세트들일 수 있다. 세그먼트들(308)은 또한, 비디오 데이터를 별개의 컬러들로 분리시킬 수 있는 프레임들의 서브세트들일 수 있다. 예컨대, 컬러 비디오 데이터의 프레임(306)은 휘도 평면 및 2개의 크로미넌스(chrominance) 평면들을 포함할 수 있다. 세그먼트들(308)은 상이한 해상도들로 샘플링될 수 있다.
[0036] 프레임(306)이 세그먼트들(308)로 분할되는지 여부에 관계없이, 프레임(306)은 블록들(310)로 추가로 세분될 수 있으며, 그 블록들은, 예컨대 프레임(306) 내의 16×16 픽셀들에 대응하는 데이터를 포함할 수 있다. 블록들(310)은 또한, 픽셀 데이터의 하나 또는 그 초과의 평면들로부터의 데이터를 포함하도록 배열될 수 있다. 블록들(310)은 또한, 4×4 픽셀들, 8×8 픽셀들, 16×8 픽셀들, 8×16 픽셀들, 16×16 픽셀들, 또는 그 초과와 같은 임의의 다른 적합한 사이즈를 가질 수 있다. 프레임들(306)의 파티셔닝으로부터 초래되는 블록들(310) 또는 다른 구역들은 아래에 더 상세히 논의되는 바와 같이 본 명세서의 교시들에 따라 파티셔닝될 수 있다. 즉, 인코딩될 구역들은 더 작은 서브-블록들 또는 구역들로 파티셔닝되는 더 큰 구역들일 수 있다. 특히, 인코딩될 현재의 구역은, 예컨대, 상이한 예측 모드들을 사용하여 인코딩되는 픽셀들의 더 작은 그룹들로 분할될 수 있다. 픽셀들의 이들 그룹들은 예측 서브-블록들, 예측 서브-구역들, 또는 예측 유닛들로 본 명세서에서 지칭될 수 있다. 몇몇 경우들에서, 구역이 하나의 예측 모드만을 사용하여 인코딩되므로, 인코딩될 전체 구역을 포함하는 하나의 예측 서브-구역만이 존재한다. 달리 언급되지 않으면, 아래의 도 4 및 도 5에서 블록을 인코딩 및 디코딩하는 것의 설명은 더 큰 구역의 예측 서브-블록들, 예측 서브-구역들, 또는 예측 유닛들에 동등하게 적용된다.
[0037] 도 4는 일 구현에 따른 인코더(400)의 블록 다이어그램이다. 인코더(400)는 위에서 설명된 바와 같이, 이를테면 메모리, 예컨대 메모리(204)에 저장된 컴퓨터 소프트웨어 프로그램을 제공함으로써 송신 스테이션(102)에서 구현될 수 있다. 컴퓨터 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우 송신 스테이션(102)으로 하여금 도 4에 설명된 방식으로 비디오 데이터를 인코딩하게 하는 머신 명령들을 포함할 수 있다. 인코더(400)는 또한, 예컨대 송신 스테이션(102)에 포함된 특수화된 하드웨어로서 구현될 수 있다. 인코더(400)는, 입력으로서 비디오 스트림(300)을 사용하여, 인코딩된 또는 압축된 비트스트림(420)을 생성하기 위해 (실선의 연결 라인들에 의해 도시된) 순방향 경로에서 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 인트라/인터 예측 스테이지(402), 변환 스테이지(404), 양자화 스테이지(406), 및 엔트로피 인코딩 스테이지(408)를 갖는다. 인코더(400)는 또한, 미래의 블록들의 인코딩을 위해 프레임을 재구성하기 위한 (점선 연결 라인들에 의해 도시된) 재구성 경로를 포함할 수 있다. 도 4에서, 인코더(400)는 재구성 경로에서 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 역양자화 스테이지(410), 역변환 스테이지(412), 재구성 스테이지(414), 및 루프 필터링 스테이지(416)를 갖는다. 인코더(400)의 다른 구조적 변경들이 비디오 스트림(300)을 인코딩하기 위해 사용될 수 있다.
[0038] 비디오 스트림(300)이 인코딩을 위해 제시되는 경우, 각각의 프레임(306)은 예로서 블록들과 같은 픽셀들(예컨대, 구역들)의 단위들로 프로세싱될 수 있다. 인트라/인터 예측 스테이지(402)에서, 각각의 블록은 인트라-프레임 예측(또한 인트라 예측으로 지칭됨) 또는 인터-프레임 예측(또한 본 명세서에서 인터 예측 또는 인터-예측으로 지칭됨)을 사용하여 인코딩될 수 있다. 임의의 경우에서, 예측(또는 예측기) 블록이 형성될 수 있다. 인트라-예측의 경우, 예측 블록은 이전에 인코딩 및 재구성되었던 현재의 프레임 내의 샘플들로부터 형성될 수 있다. 인터-예측의 경우, 예측 블록은 하나 또는 그 초과의 이전에 구성된 기준 프레임들 내의 샘플들로부터 형성될 수 있다.
[0039] 다음으로, 도 4를 계속 참조하면, 예측 블록은 잔차 블록(또한 잔차로 지칭됨)을 생성하기 위해 인트라/인터 예측 스테이지(402)에서 현재의 블록으로부터 감산될 수 있다. 변환 스테이지(404)는 예컨대, 블록-기반 변환들을 사용하여 주파수 도메인의 변환 계수들로 잔차를 변환한다. 그러한 블록-기반 변환들은, 예컨대, 이산 코사인 변환(DCT) 및 비대칭 이산 사인 변환(ADST)를 포함한다. 다른 블록-기반 변환들이 가능하다. 추가로, 상이한 변환들의 결합들이 단일 잔차에 적용될 수 있다. 변환의 적용의 일 예에서, DCT는 잔차 블록을 주파수 도메인으로 변환하며, 여기서 변환 계수값들은 공간 주파수에 기반한다. 가장 낮은 주파수(DC) 계수는 매트릭스의 좌측-상단에 있고, 가장 높은 주파수 계수는 매트릭스의 우측-하단에 있다. 예측 블록의 사이즈 및 그에 따른 결과적인 잔차 블록이 변환 블록의 사이즈와 상이할 수 있다는 것을 유의할 가치가 있다. 예컨대, 잔차 블록 또는 구역은, 별개의 변환들이 적용되는 더 작은 블록들 또는 구역들로 분할될 수 있다.
[0040] 양자화 스테이지(406)는 양자화기 값 또는 양자화 레벨을 사용하여, 양자화된 변환 계수들로 지칭되는 이산 양자 값들로 변환 계수들을 변환한다. 예컨대, 변환 계수들은 양자화기 값에 의해 분할되고 절단(truncate)될 수 있다. 그 후, 양자화된 변환 계수들은 엔트로피 인코딩 스테이지(408)에 의해 엔트로피 인코딩된다. 엔트로피 코딩은 토큰 및 바이너리 트리(binary tree)들을 포함하는 임의의 수의 기법들을 사용하여 수행될 수 있다. 그 후, 엔트로피-인코딩된 계수들은, 블록을 디코딩하는데 사용되는 다른 정보(예컨대, 이는 사용된 예측의 타입, 변환 타입, 모션 벡터들 및 양자화기 값을 포함할 수 있음)와 함께, 압축된 비트스트림(420)으로 출력된다. 압축된 비트스트림(420)은 또한, 인코딩된 비디오 스트림 또는 인코딩된 비디오 비트스트림으로 지칭될 수 있으며, 용어들은 본 명세서에서 상호교환가능하게 사용될 것이다.
[0041] (점선의 연결 라인들에 의해 도시된) 도 4의 재구성 경로는, 인코더(400) 및 디코더(500)(아래에서 설명됨) 둘 모두가 압축된 비트스트림(420)을 디코딩하기 위해 동일한 기준 프레임들을 사용한다는 것을 보장하기 위해 사용될 수 있다. 재구성 경로는, 파생(derivative) 잔차 블록(또한 파생 잔차로 지칭됨)을 생성하기 위해 역양자화 스테이지(410)에서 양자화된 변환 계수들을 역양자화하는 것 및 역변환 스테이지(412)에서 역양자화된 변환 계수들을 역변환하는 것을 포함하는, 아래에서 더 상세히 논의되는 디코딩 프로세스 동안 발생하는 기능들과 유사한 기능들을 수행한다. 재구성 스테이지(414)에서, 인트라/인터 예측 스테이지(402)에서 예측되었던 예측 블록은 재구성된 블록을 생성하기 위해 파생 잔차에 부가될 수 있다. 루프 필터링 스테이지(416)는 블로킹 아티팩트들과 같은 왜곡을 감소시키기 위해, 재구성된 블록에 적용될 수 있다.
[0042] 인코더(400)의 다른 변경들이 압축된 비트스트림(420)을 인코딩하기 위해 사용될 수 있다. 예컨대, 비-변환 기반 인코더(400)는 특정한 블록들 또는 프레임들에 대한 변환 스테이지(404) 없이 잔차 신호를 직접 양자화할 수 있다. 다른 구현에서, 인코더(400)는 단일 스테이지로 결합된 양자화 스테이지(406) 및 역양자화 스테이지(410)를 가질 수 있다. 인코더(400)는 이러한 기법에 따라 픽셀들의 임의의 사이즈 또는 형상 그룹들을 인코딩할 수 있다. 따라서, 인코딩될 픽셀들의 그룹들은 더 일반적으로 구역들로 지칭될 수 있다.
[0043] 도 5는 다른 구현에 따른 디코더(500)의 블록 다이어그램이다. 디코더(500)는, 예컨대 메모리(204)에 저장된 컴퓨터 소프트웨어 프로그램을 제공함으로써 수신 스테이션(106)에서 구현될 수 있다. 컴퓨터 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우 수신 스테이션(106)으로 하여금 도 5에 설명된 방식으로 비디오 데이터를 디코딩하게 하는 머신 명령들을 포함할 수 있다. 디코더(500)는 또한, 예컨대 송신 스테이션(102) 또는 수신 스테이션(106)에 포함된 하드웨어로 구현될 수 있다.
[0044] 위에서 논의된 인코더(400)의 재구성 경로와 유사한 디코더(500)는 일 예에서, 압축된 비트스트림(420)으로부터 출력 비디오 스트림(516)을 생성하기 위해 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 엔트로피 디코딩 스테이지(502), 역양자화 스테이지(504), 역변환 스테이지(506), 인트라/인터 예측 스테이지(508), 재구성 스테이지(510), 루프 필터링 스테이지(512) 및 디블록킹 필터링 스테이지(514)를 포함한다. 디코더(500)의 다른 구조적 변경들이 압축된 비트스트림(420)을 디코딩하기 위해 사용될 수 있다.
[0045] 압축된 비트스트림(420)이 디코딩을 위해 제시되는 경우, 압축된 비트스트림(420) 내의 데이터 엘리먼트들은 양자화된 변환 계수들의 세트를 생성하도록 엔트로피 디코딩 스테이지(502)에 의해 디코딩될 수 있다. 역양자화 스테이지(504)는 (예컨대, 양자화된 변환 계수들을 양자화기 값과 곱함으로써) 양자화된 변환 계수들을 역양자화하고, 역변환 스테이지(506)는, 인코더(400)의 역변환 스테이지(412)에 의해 생성된 것과 동일할 수 있는 파생 잔차를 생성하기 위해, 선택된 변환 타입을 사용하여, 역양자화된 변환 계수들을 역변환한다. 압축된 비트스트림(420)으로부터 디코딩된 헤더 정보를 사용하여, 디코더(500)는 인코더(400), 예컨대 인트라/인터 예측 스테이지(402)에서 생성되었던 것과 동일한 예측 블록을 생성하기 위해 인트라/인터 예측 스테이지(508)를 사용할 수 있다. 재구성 스테이지(510)에서, 예측 블록은 재구성된 블록을 생성하기 위해 파생 잔차에 부가될 수 있다. 루프 필터링 스테이지(512)는 블로킹 아티팩트들을 감소시키기 위해, 재구성된 블록에 적용될 수 있다. 다른 필터링이 재구성된 블록에 적용될 수 있다. 이러한 예에서, 디블록킹 필터링 스테이지(514)는 블록킹 왜곡을 감소시키기 위해, 재구성된 블록에 적용되며, 결과가 출력 비디오 스트림(516)으로서 출력된다. 출력 비디오 스트림(516)은 또한, 디코딩된 비디오 스트림으로 지칭될 수 있으며, 용어들은 본 명세서에서 상호교환가능하게 사용될 것이다.
[0046] 디코더(500)의 다른 변경들이 압축된 비트스트림(420)을 디코딩하기 위해 사용될 수 있다. 예컨대, 디코더(500)는 디블록킹 필터링 스테이지(514) 없이 출력 비디오 스트림(516)을 생성할 수 있다. 설명의 간략화를 위해 블록들을 참조하여 설명되지만, 디코더(500)는 이러한 기법에 따라 픽셀들(예컨대, 구역들)의 임의의 사이즈 또는 형상 그룹들을 디코딩할 수 있다.
[0047] 위에서 간략히 언급된 바와 같이, 프레임 또는 프레임의 구역은 마지막 프레임 모션 벡터 파티셔닝에 의해, 즉 모션 벡터를 사용하여 마지막 프레임의 파티셔닝을 조정함으로써 인코딩 또는 디코딩을 위해 파티셔닝될 수 있다. 일반적으로, 구역은, 새로운 구역의 모션 벡터에 의해 커버되는 모션 벡터들 중 하나에 의해 이전의 프레임 파티션들을 시프팅함으로써 별개의 구역들로 분할된다.
[0048] 도 6은 본 개시내용의 일 구현에 따른, 비디오 스트림을 인코딩 또는 디코딩하기 위한 프로세스(600)의 흐름도 다이어그램이다. 방법 또는 프로세스(600)는 비디오 스트림의 인코딩 또는 디코딩을 보조하기 위해 컴퓨팅 디바이스(200)와 같은 시스템에서 구현될 수 있다. 프로세스(600)는, 예컨대, 송신 스테이션(102) 또는 수신 스테이션(106)과 같은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 프로그램으로서 구현될 수 있다. 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우, 컴퓨팅 디바이스로 하여금 프로세스(600)를 수행하게 하는, 메모리(204)와 같은 메모리에 저장된 머신-판독가능 명령들을 포함할 수 있다. 프로세스(600)는 또한, 전체적으로 또는 부분적으로 하드웨어를 사용하여 구현될 수 있다. 위에서 설명된 바와 같이, 몇몇 컴퓨팅 디바이스들은 다수의 메모리들 및 다수의 프로세서들을 가질 수 있으며, 프로세스(600)의 단계들 또는 동작들은 그러한 경우들에서, 상이한 프로세서들 및 메모리들을 사용하여 분산될 수 있다. 본 명세서에서 단수형의 용어들 "프로세서" 및 "메모리"의 사용은, 오직 하나의 프로세서 또는 하나의 메모리만을 갖는 컴퓨팅 디바이스들 뿐만 아니라 반드시 모든 언급된 단계들일 필요는 없는 몇몇 단계들의 실행에서 각각 사용될 수 있는 다수의 프로세서들 또는 메모리들을 갖는 디바이스들을 포함한다.
[0049] 설명의 간략화를 위해, 프로세스(600)는 일련의 단계들 또는 동작들로서 도시 및 설명된다. 그러나, 본 개시내용에 따른 단계들 및 동작들은 다양한 순서들로 그리고/또는 동시에 발생할 수 있다. 부가적으로, 본 개시내용에 따른 단계들 또는 동작들은 본 명세서에 제시 및 설명되지 않은 다른 단계들 또는 동작들과 함께 발생할 수 있다. 또한, 예시된 모든 단계들 또는 동작들이 개시된 요지에 따라 방법을 구현하는데 요구되지는 않을 수 있다. 프로세스(600)는 입력 신호의 각각의 프레임의 각각의 블록에 대해 반복될 수 있다. 몇몇 구현들에서, 하나 또는 그 초과의 프레임들의 몇몇 블록들만이 프로세스(600)에 따라 프로세싱된다. 예컨대, 인트라-예측 모드들을 사용하여 인코딩된 블록들은 프로세스(600)를 수행할 경우 생략될 수 있다.
[0050] 프로세스(600)가 인코딩 프로세스인 경우, 입력 신호는, 예컨대 비디오 스트림(300)일 수 있다. 입력 신호는, 임의의 수의 방식들로 프로세스(600)를 수행하는 컴퓨터에 의해 수신될 수 있다. 예컨대, 입력 신호는 이미지-감지 디바이스(220)에 의해 캡쳐되거나, 또는 버스(212)에 연결된 입력을 통해 다른 디바이스로부터 수신될 수 있다. 다른 구현에서, 입력 신호는 2차 저장소(214)로부터 리트리브될 수 있다. 입력 신호를 수신하는 다른 방식들 및 입력 신호의 다른 소스들이 가능하다. 예컨대, 프로세스(600)가 디코딩 프로세스인 경우, 입력 신호는 압축된 비트스트림(420)과 같은 인코딩된 비트스트림일 수 있다.
[0051] 비디오 스트림을 사용하여, 단계(602)에서 프로세스(600)는 비디오 스트림의 프레임들의 시퀀스의 제1 프레임을 인코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장한다. 단계(602)는 도 7을 참조하여 설명될 수 있다. 도 7은 LAST_FRAME(702), GOLDEN_FRAME(704) 및 ALTREF_FRAME(706)을 포함하는 기준 프레임들(700)을 도시한다. 이들 3개의 기준 프레임들(700) 중 하나는 블록 헤더 내의 각각의 블록에 대한 기준 프레임(700)으로서 시그널링될 것이다. 프레임 헤더 레벨에서, 기준 프레임(700)으로부터 기준 가상 식별자 또는 인덱스(708)로의 1-대-1 맵핑이 비트스트림에 기입될 것이다. 기준 가상 인덱스(708)로부터 기준 버퍼 식별자 또는 인덱스(710)로 맵핑하기 위하여 각각의 프레임에 대해 다른 1-대-1 맵핑이 유지될 것이다. 2개의 연속하는 인터 프레임들에 대해, 2개의 기준 프레임들(700)이 동일한 기준 버퍼 인덱스(710)에 맵핑되는 경우, 프로세스(600)는 그들이 동일한 기준들이라는 것을 표시한다. 도 7의 예는 8개의 이용가능한 기준 가상 인덱스들(708) 및 8개의 기준 버퍼 인덱스들(710)을 갖는다.
[0052] 이전의 콜로케이팅된 블록이 현재의 블록의 기준과 동일한 기준을 사용하는지 여부를 추적하기 위해, 인코더 및 디코더 둘 모두는 기준 프레임(700) 버퍼 업데이트들을 추적하고, 이전에 코딩된 프레임에 대한 기준 버퍼 인덱스(710) 맵핑들을 저장할 수 있다. 따라서, 인코더 및 디코더는, 콜로케이팅된 블록에 의해 그리고 현재의 블록에 의해 사용된 2개의 기준 프레임들이 동일한 기준 버퍼 인덱스(710)에 맵핑되는지 여부를 식별할 수 있다. 예컨대, 각각의 프레임의 코딩의 종료에 의해, 기준 프레임 버퍼의 업데이팅 이전에, 각각의 기준 프레임(700)에 대응하는 기준 버퍼 인덱스(710) 표가 인코더 및 디코더 둘 모두에 저장될 수 있다.
[0053] 콜로케이팅된 블록의 모션 벡터를 체크할 경우, 프로세스(600)는 먼저, 콜로케이팅된 블록에 대해 사용되는 기준 프레임(700)을 식별할 수 있다. 현재의 블록과 직접적으로 비교하는데 이러한 기준 프레임(700) 값을 사용하는 것 대신, 디코더 또는 인코더는 자신의 기준 버퍼 인덱스(710)를 식별할 수 있다. 현재의 블록의 기준 프레임(700)에 대한 기준 버퍼 인덱스(710)는 콜로케이팅된 블록에 대한 기준 버퍼 인덱스들(710)과 비교된다. 그들이 동일하면, 콜로케이팅된 블록의 모션 벡터는 더 높은 우선순위로 현재의 모션 벡터에 대한 모션 벡터 기준으로서 취해질 것이다.
[0054] 도 6을 참조하면, 프로세스(600)는 단계(604)에서 기준 프레임(700) 및 기준 프레임(700)과 연관된 기준 가상 인덱스(708)를 업데이팅한다. 단계(606)에서, 프로세스(600)는 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하며, 다수의 후보 모션 벡터들은 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함한다. 단계(608)에서, 프로세스(600)는 제2 모션 벡터를 생성하기 위해 업데이팅 이후, 복수의 기준 프레임들(700) 중 일 기준 프레임(700) 내의 현재의 블록에 대한 모션 탐색을 수행한다. 단계(610)에서, 프로세스(600)는 모션 탐색을 수행할 시에 사용되는 기준 프레임(700)의 기준 버퍼 인덱스(710)와, 제1 모션 벡터와 연관된 기준 프레임(700)의 기준 가상 인덱스(708)와 함께 저장된 기준 버퍼 인덱스(710)를 비교한다.
[0055] 단계(612)에서, 프로세스(600)는, 모션 탐색을 수행할 시에 사용되는 기준 프레임(700)의 기준 가상 인덱스(708)가 제1 모션 벡터와 연관된 기준 버퍼 인덱스(710)와 매칭하는지를 결정한다. 매치가 발견되면, 프로세스(600)는 단계(614)로 진행하며, 여기서, 제1 모션 벡터는 현재의 블록을 인코딩하기 위해 복수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 전진될 수 있고; 그렇지 않으면, 프로세스(600)는 단계(602)로 복귀하여 다른 블록을 프로세싱한다.
[0056] 현재의 블록을 인코딩하기 위해 나머지 후보 모션 벡터들에 앞서 제1 모션 벡터를 전진시키는 것은 선택된 모션 벡터로 하여금 현재의 모션 벡터를 더 정확하게 예측하게 할 수 있다. 따라서, 예측된 모션 벡터와 현재의 모션 벡터 사이의 차이는 작을 것이고, 작은 수의 비트들로 비디오 스트림에서 표현될 수 있으며, 그에 의해, 대역폭을 절약한다.
[0057] 개시된 구현들의 양상들은 현재의 프레임의 현재의 블록이 양방향-예측을 사용하여 예측되는 경우들에서 모션 벡터들을 예측할 수 있으며, 여기서, 2개의 기준 프레임들이 현재의 블록을 예측하기 위해 사용될 수 있다. 양방향-예측에서, 모션 벡터 예측을 위해 사용되는 현재의 프레임 및 이전의 프레임 둘 모두는, LAST_FRAME(702) 또는 GOLDEN_FRAME(704) 중 어느 하나를 사용하여 순방향 예측되거나, 또는 ALTREF_FRAME(706)을 사용하여 역방향 예측될 수 있다. 도 6과 관련하여 위에서 개시된 바와 같이, 개시된 양상들은, 모션 예측을 위해 사용된 이전의 프레임이 현재의 프레임과 동일한 기준 프레임을 가질 수 있는지를 결정할 수 있다. 현재의 프레임 및 이전의 프레임이 양방향-예측을 사용하여 예측되는 경우들에서, 이전의 프레임 내의 코-로케이팅된 블록으로부터의 모션 벡터 후보들은 다음의 단계들을 사용하여 기준 프레임 버퍼의 업데이트들을 추적하는 것을 통해 결정될 수 있다.
[0058] (1) 다음의 체킹 규칙들을 사용하여, 이전의 프레임 및 이전의 프레임 전의 프레임 둘 모두에 대한 기준 프레임 버퍼 업데이트들을 추적하는 것을 통해 3개의 연속하는 프레임들에 걸쳐 평활한 모션이 존재하는지 여부를 체크하며: 현재의 블록 및 그의 코-로케이팅된 블록의 쌍에 대해, 둘 모두는 자신의 이전에 코딩된 프레임을 자신의 기준으로서 사용하고, 기준 프레임들 둘 모두는 순방향 예측을 위한 동일한 부호의 바이어스를 갖는다.
[0059] (2) 예컨대, 복합 모드가 현재의 블록에 대해 이용가능한 경우, 현재의 블록에 대한 제2 프레임이 존재하면, 제2 프레임에 대해 존재하는 평활한 모션이 존재하는지 여부를 체크하도록 제2 프레임에 대해 단계 (1)을 반복한다.
[0060] (3) 다음의 규칙을 사용하여, 부호 바이어스가 현재의 블록 및 그의 코-로케이팅된 블록 둘 모두에 대한 역방향 예측을 표시하는지 및 동일한 프레임들이 블록들 둘 모두에 대한 기준으로서 사용되었는지를 체크하며: 먼저, 역방향 모션이 고려된다는 것을 표시하는 ALTREF_FRAME(706)을 현재의 블록들이 자신의 기준 프레임으로서 사용하는지를 체크하고; 사용한다면, 코-로케이팅된 블록의 기준 프레임의 부호 바이어스를 식별함으로써 그 코-로케이팅된 블록이 역방향 예측을 또한 사용하는지 여부를 체크하고; 또한 사용한다면, 현재의 블록 및 그의 코-로케이팅된 블록이 그들의 기준들로서 동일한 프레임을 사용하는지 여부를 체크한다. 사용한다면, 나머지 후보 모션 벡터들에 앞서 이전의 프레임과 연관된 모션 벡터를 전진시킨다.
[0061] (4) 예컨대, 복합 모드가 현재의 블록에 대해 고려되는 경우, 현재의 블록에 대한 제2 프레임이 존재하면, 현재의 블록 및 코-로케이팅된 블록들 둘 모두에 대한 역방향 예측이 존재하는지 및 블록들 둘 모두가 역방향 예측을 위해 동일한 프레임을 사용하는지를 체크하도록 제2 프레임에 대해 단계 (3)을 반복한다. 존재하고 사용한다면, 나머지 후보 모션 벡터들에 앞서 이전의 프레임과 연관된 모션 벡터를 전진시킨다.
[0062] (5) 현재의 블록 및 코-로케이팅된 블록이 그들의 기준 프레임들로서 동일한 프레임을 사용하는지 여부를 체크한다. 사용한다면, 나머지 후보 모션 벡터들에 앞서 이전의 프레임과 연관된 모션 벡터를 전진시킨다.
[0063] (6) 예컨대, 복합 모드가 현재의 블록에 대해 고려되는 경우, 현재의 블록에 대한 제2 프레임이 존재하면, 현재의 블록 및 코-로케이팅된 블록 둘 모두에 대해 그들의 기준들로서 사용되는 동일한 프레임이 존재하는지 여부를 체크하도록 제2 프레임에 대해 단계 (5)를 반복한다. 존재한다면, 나머지 후보 모션 벡터들에 앞서 이전의 프레임과 연관된 모션 벡터를 전진시킨다.
[0064] 위에서 설명된 인코딩 및 디코딩의 양상들은 인코딩 및 디코딩 기법들의 몇몇 예들을 예시한다. 그러나, 인코딩 및 디코딩이 청구항들에서 사용되는 바와 같이, 그 인코딩 및 디코딩이 데이터의 압축, 압축해제, 변환, 또는 임의의 다른 프로세싱 또는 변화를 의미할 수 있다는 것이 이해될 것이다.
[0065] 단어 "예" 또는 "양상"은 예, 예시, 또는 예증으로서 기능하는 것을 의미하도록 본 명세서에서 사용된다. "예" 또는 "양상"으로서 본 명세서에 설명된 임의의 양상 또는 설계는 다른 양상들 또는 설계들에 비해 반드시 바람직하거나 유리한 것으로서 해석될 필요는 없다. 오히려, 단어 "예" 또는 "양상"의 사용은 구체적인 방식으로 개념들을 제시하도록 의도된다. 본 출원에서 사용된 바와 같이, 용어 "또는"은 배타적인 "또는" 보다는 포괄적인 "또는"을 의미하도록 의도된다. 즉, 달리 명시되거나 문맥상 명확하지 않으면, "X는 A 또는 B를 포함한다"는 본래의 포괄적인 치환들 중 임의의 치환을 의미하도록 의도된다. 즉, X는 A를 포함하거나; X는 B를 포함하거나; 또는 X는 A 및 B 둘 모두를 포함한다면, "X는 A 또는 B"를 포함한다"는 전술한 예시들 중 임의의 예시 하에서 충족된다. 부가적으로, 본 출원 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현들은 달리 명시되지 않거나 단수 형태로 지시되는 것으로 문맥상 명확하지 않으면, "하나 또는 그 초과"를 의미하도록 일반적으로 해석되어야 한다. 또한, 용어 "일 구현" 또는 "하나의 구현"의 전반에 걸친 사용은, 동일한 실시예 또는 구현으로서 설명되지 않으면, 동일한 실시예 또는 구현을 의미하도록 의도되지 않는다.
[0066] 송신 스테이션(102) 및/또는 수신 스테이션(106)(및 이들 상에 저장된 그리고/또는 (인코더(400) 및 디코더(500)에 의한 것을 포함하여) 이들에 의해 실행되는 알고리즘들, 방법들, 명령들 등)의 구현들은 하드웨어, 소프트웨어, 또는 이들의 임의의 결합으로 실현될 수 있다. 하드웨어는, 예컨대, 컴퓨터들, 지적 재산(IP) 코어들, 주문형 집적 회로(ASIC)들, 프로그래밍가능 로직 어레이들, 광학 프로세서들, 프로그래밍가능 로직 제어기들, 마이크로코드, 마이크로제어기들, 서버들, 마이크로프로세서들, 디지털 신호 프로세서들 또는 임의의 다른 적합한 회로를 포함할 수 있다. 청구항들에서, 용어 "프로세서"는 전술한 하드웨어 중 임의의 하드웨어를 단일로 또는 결합으로 포함하는 것으로 이해되어야 한다. 용어들 "신호" 및 "데이터"는 상호교환가능하게 사용된다. 추가로, 송신 스테이션(102) 및 수신 스테이션(106)의 일부들은 반드시 동일한 방식으로 구현될 필요는 없다.
[0067] 추가로, 일 양상에서, 예컨대, 송신 스테이션(102) 또는 수신 스테이션(106)은 실행될 경우, 본 명세서에 설명된 각각의 방법들, 알고리즘들 및/또는 명령들 중 임의의 것을 수행하는 컴퓨터 프로그램으로 범용 컴퓨터 또는 범용 프로세서를 사용하여 구현될 수 있다. 부가적으로 또는 대안적으로, 예컨대, 본 명세서에 설명된 방법들, 알고리즘들, 또는 명령들 중 임의의 것을 수행하기 위한 다른 하드웨어를 포함할 수 있는 특수 목적 컴퓨터/프로세서가 이용될 수 있다.
[0068] 송신 스테이션(102) 및 수신 스테이션(106)은, 예컨대, 비디오 회의 시스템의 컴퓨터들 상에서 구현될 수 있다. 대안적으로, 송신 스테이션(102)은 서버 상에서 구현될 수 있고, 수신 스테이션(106)은 서버와는 별개의 디바이스, 이를테면 핸드-헬드 통신 디바이스 상에서 구현될 수 있다. 이러한 예시에서, 송신 스테이션(102)은 인코더(400)를 사용하여 콘텐츠를 인코딩된 비디오 신호로 인코딩하고, 인코딩된 비디오 신호를 통신 디바이스에 송신할 수 있다. 차례로, 그 후, 통신 디바이스는 인코딩된 비디오 신호를 디코더(500)를 사용하여 디코딩할 수 있다. 대안적으로, 통신 디바이스는 통신 디바이스 상에 로컬적으로 저장된 콘텐츠, 예컨대, 송신 스테이션(102)에 의해 송신되지 않았던 콘텐츠를 디코딩할 수 있다. 다른 적합한 송신 및 수신 구현 방식들이 이용가능하다. 예컨대, 수신 스테이션(106)은 휴대용 통신 디바이스보다는 일반적으로 정지형 개인용 컴퓨터일 수 있고 그리고/또는 인코더(400)를 포함하는 디바이스는 또한 디코더(500)를 포함할 수 있다.
[0069] 추가로, 본 개시내용의 구현들 중 전부 또는 일부는, 예컨대 유형의 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체로부터 액세스가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는, 예컨대, 임의의 프로세서에 의해 또는 그와 관련하여 사용을 위한 프로그램을 유형으로 포함, 저장, 통신, 또는 전달할 수 있는 임의의 디바이스일 수 있다. 매체는, 예컨대, 전자, 자기, 광학, 전자기, 또는 반도체 디바이스일 수 있다. 다른 적합한 매체들이 또한 이용가능하다.
[0070] 위에서-설명된 실시예들, 구현들 및 양상들은 본 발명의 용이한 이해를 허용하기 위해 설명되었으며, 본 발명을 제한하지 않는다. 대조적으로, 본 발명은 첨부된 청구항의 범위 내에 포함되는 다양한 변형들 및 동등한 어레인지먼트들을 커버하도록 의도되며, 그 범위는 그러한 모든 변형들 및 법률 하에서 허용되는 것과 동등한 구조를 포함하도록 가장 넓은 해석에 부합할 것이다.
Claims (21)
- 컴퓨팅 디바이스를 사용하여 비디오 스트림을 인코딩하기 위한 방법으로서,
상기 비디오 스트림은 프레임들의 시퀀스를 갖고, 상기 프레임들은 블록들을 가지며, 상기 블록들은 픽셀들을 갖고,
상기 방법은,
상기 프레임들의 시퀀스의 제1 프레임을 인코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 단계;
상기 저장 이후 상기 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 상기 복수의 기준 프레임들을 업데이팅하는 단계;
상기 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 단계 － 상기 다수의 후보 모션 벡터들은 상기 제1 프레임 내의 콜로케이팅된(collocated) 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －;
제2 모션 벡터를 생성하기 위해 상기 업데이팅 이후, 상기 복수의 기준 프레임들 중 일 기준 프레임 내에서 상기 현재의 블록에 대한 모션 탐색을 수행하는 단계;
상기 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계; 및
상기 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제1항에 있어서,
상기 제2 프레임은 상기 시퀀스에서 상기 제1 프레임에 후속하고;
상기 복수의 기준 프레임들 중 하나는, 현재의 프레임이 인코딩되기 전에 상기 시퀀스 내의 마지막 프레임을 포함하고, 상기 기준 프레임 식별자로서 마지막 프레임 식별자를 가지며; 그리고
상기 복수의 기준 프레임들을 업데이팅하는 단계는, 상기 마지막 프레임 식별자와 연관된 기준 버퍼 인덱스를 상기 제1 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제2항에 있어서,
상기 복수의 기준 프레임들은 골든(golden) 프레임 및 교체(alternate) 기준 프레임을 포함하며; 그리고
상기 복수의 기준 프레임들을 업데이팅하는 단계는 상기 마지막 프레임 식별자와 연관된 기준 버퍼 인덱스만을 업데이팅하는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제2항에 있어서,
상기 복수의 기준 프레임들은 상기 기준 프레임 식별자로서 골든 프레임 식별자를 갖는 골든 프레임 및 상기 기준 프레임 식별자로서 교체 기준 프레임 식별자를 갖는 교체 기준 프레임을 포함하며; 그리고
상기 복수의 기준 프레임들을 업데이팅하는 단계가, 상기 교체 기준 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 교체 기준 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계를 포함하는 것; 또는
상기 복수의 기준 프레임들을 업데이팅하는 단계가, 상기 골든 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 골든 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계를 포함하는 것
중 적어도 하나가 행해지는, 비디오 스트림을 인코딩하기 위한 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
모션 벡터 예측기로서 상기 제1 모션 벡터를 사용하여 상기 제2 모션 벡터를 인코딩하는 단계를 더 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계는, 상기 제1 모션 벡터를 사용하여 상기 모션 탐색을 초기화함으로써 상기 모션 탐색을 수행하는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제6항에 있어서,
모션 벡터 예측기로서 상기 제1 모션 벡터를 사용하여 상기 제2 모션 벡터를 인코딩하는 단계를 더 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 제1항에 있어서,
상기 복수의 기준 프레임들을 업데이팅하는 단계는 상기 저장 이후 각각의 기준 프레임 식별자들과 연관된 적어도 2개의 기준 프레임들을 업데이팅하는 단계를 포함하고;
상기 다수의 후보 모션 벡터들은 상기 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제3 모션 벡터를 포함하고;
상기 방법은,
제4 모션 벡터를 생성하기 위해 상기 업데이팅 이후 상기 복수의 기준 프레임들의 상이한 기준 프레임 내에서 제2 블록에 대한 제2 모션 탐색을 수행하는 단계; 및
상기 제2 모션 탐색을 수행할 시에 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제3 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계를 더 포함하고;
상기 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계는, 상기 제3 모션 벡터를 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계를 포함하며; 그리고
상기 방법은, 상기 제2 모션 탐색을 수행할 시에 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제3 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 제4 모션 벡터를 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제2 모션 벡터를 전진시키는 단계를 더 포함하는, 비디오 스트림을 인코딩하기 위한 방법. - 비디오 스트림을 인코딩하기 위한 장치로서,
상기 비디오 스트림은 프레임들의 시퀀스를 갖고, 상기 프레임들은 블록들을 가지며, 상기 블록들은 픽셀들을 갖고,
상기 장치는,
프로세서; 및
상기 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 메모리를 포함하며,
상기 방법은,
상기 프레임들의 시퀀스의 제1 프레임을 인코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 단계;
상기 저장 이후 상기 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 상기 복수의 기준 프레임들을 업데이팅하는 단계;
상기 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 단계 － 상기 다수의 후보 모션 벡터들은 상기 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －;
제2 모션 벡터를 생성하기 위해 상기 업데이팅 이후, 상기 복수의 기준 프레임들 중 일 기준 프레임 내에서 상기 현재의 블록에 대한 모션 탐색을 수행하는 단계;
상기 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계; 및
상기 수행에서 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항에 있어서,
상기 메모리와는 별개인 제2 메모리를 더 포함하며,
상기 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스는 상기 제2 메모리 내의 기준 프레임에 대한 고유한 위치를 표현하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항 또는 제10항에 있어서,
상기 명령들은,
상기 제1 모션 벡터 및 상기 제1 모션 벡터와 연관된 기준 프레임을 사용하여 상기 콜로케이팅된 블록을 인코딩함으로써 상기 제1 프레임을 인코딩된 비디오 비트스트림으로 인코딩하고;
상기 제1 모션 벡터와 연관된 기준 프레임을 기준 가상 인덱스와 연관시키고, 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 버퍼 인덱스와 상기 기준 가상 인덱스를 연관시키며; 그리고
상기 인코딩된 비디오 비트스트림 내에서 상기 기준 가상 인덱스를 시그널링함으로써 상기 제1 모션 벡터와 연관된 기준 프레임을 디코더에 시그널링하기
위한 명령들을 더 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항에 있어서,
상기 복수의 기준 프레임들은 3개의 기준 프레임들을 포함하고;
상기 3개의 기준 프레임들 중 제1 기준 프레임은 제1 고유 기준 프레임 식별자 및 제1 고유 기준 버퍼 인덱스와 연관되고;
상기 3개의 기준 프레임들 중 제2 기준 프레임은 제2 고유 기준 프레임 식별자 및 제2 고유 기준 버퍼 인덱스와 연관되고;
상기 3개의 기준 프레임들 중 제3 기준 프레임은 제3 고유 기준 프레임 식별자 및 제3 고유 기준 버퍼 인덱스와 연관되며; 그리고
상기 저장하는 단계는, 상기 3개의 기준 프레임들 중 제1 기준 프레임을 상기 제1 고유 기준 프레임 식별자 및 상기 제1 고유 기준 버퍼 인덱스와 연관시키고, 상기 3개의 기준 프레임들 중 제2 기준 프레임을 상기 제2 고유 기준 프레임 식별자 및 상기 제2 고유 기준 버퍼 인덱스와 연관시키며, 그리고 상기 3개의 기준 프레임들 중 제3 기준 프레임을 상기 제3 고유 기준 프레임 식별자 및 상기 제3 고유 기준 버퍼 인덱스와 연관시키는 표를 저장하는 단계를 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제12항에 있어서,
상기 명령들은, 상기 메모리 내에 상기 표를 저장하기 위한 명령들을 더 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항에 있어서,
상기 명령들은,
상기 프레임들의 시퀀스의 제2 프레임을 인코딩한 이후 제2 시간 동안 상기 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하고;
상기 제2 시간 동안의 저장 이후 상기 제2 시간 동안 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 상기 복수의 기준 프레임들을 업데이팅하고;
상기 제2 시간 동안의 업데이팅 이후 제3 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하고 － 상기 다수의 후보 모션 벡터들은 상기 제2 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －;
상기 제3 프레임의 현재의 블록에 대한 제2 모션 벡터를 생성하기 위해, 상기 제2 시간 동안의 업데이팅 이후, 상기 복수의 기준 프레임들 중 일 기준 프레임 내에서 상기 제3 프레임의 현재의 블록에 대한 모션 탐색을 수행하고;
상기 제3 프레임의 현재의 블록에 대한 모션 탐색을 수행할 시에 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제2 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하며; 그리고
상기 제3 프레임의 현재의 블록에 대한 모션 탐색을 수행할 시에 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제2 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 제3 프레임의 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 후보 벡터들에 앞서, 상기 제2 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 전진시키기
위한 명령들을 더 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항에 있어서,
상기 제2 프레임은 상기 시퀀스에서 상기 제1 프레임에 후속하고;
상기 복수의 기준 프레임들은, 현재의 프레임이 인코딩되기 전에 상기 시퀀스 내의 마지막 프레임을 포함하고, 상기 기준 프레임 식별자로서 마지막 프레임 식별자를 갖고;
상기 복수의 기준 프레임들은,
상기 기준 프레임 식별자로서 골든 프레임 식별자를 갖는 골든 프레임; 및
상기 기준 프레임 식별자로서 교체 기준 프레임 식별자를 갖는 교체 기준 프레임을 포함하며; 그리고
상기 복수의 기준 프레임들을 업데이팅하는 단계는,
상기 마지막 프레임 식별자와 연관된 기준 버퍼 인덱스를 제1 기준 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계;
상기 교체 기준 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 교체 기준 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계; 또는
상기 골든 프레임 식별자와 연관된 기준 버퍼 인덱스를 새로운 골든 프레임의 기준 버퍼 인덱스로 업데이팅하는 단계
중 적어도 하나를 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항 내지 제15항 중 어느 한 항에 있어서,
상기 명령들은, 모션 벡터 예측기로서 상기 제1 모션 벡터를 사용하여 상기 제2 모션 벡터를 인코딩하기 위한 명령들을 더 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 제9항 내지 제16항 중 어느 한 항에 있어서,
상기 명령들은, 상기 제1 모션 벡터를 사용하여 상기 모션 탐색을 초기화함으로써 상기 현재의 블록을 인코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키기 위한 명령들을 더 포함하는, 비디오 스트림을 인코딩하기 위한 장치. - 인코딩된 비디오 비트스트림을 디코딩하기 위한 장치로서,
상기 인코딩된 비디오 비트스트림은 프레임들의 시퀀스를 갖고, 상기 프레임들은 블록들을 가지며, 상기 블록들은 픽셀들을 갖고,
상기 장치는,
프로세서; 및
상기 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 메모리를 포함하며,
상기 방법은,
상기 프레임들의 시퀀스의 제1 프레임을 디코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 단계;
상기 저장 이후 상기 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 상기 복수의 기준 프레임들을 업데이팅하는 단계;
상기 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 단계 － 상기 다수의 후보 모션 벡터들은 상기 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －;
상기 제2 프레임의 현재의 블록을 예측하기 위해 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계; 및
상기 제2 프레임의 현재의 블록을 예측하기 위해 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 현재의 블록을 디코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계를 포함하는, 인코딩된 비디오 비트스트림을 디코딩하기 위한 장치. - 제18항에 있어서,
상기 메모리와는 별개인 제2 메모리를 더 포함하며,
상기 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스는 상기 제2 메모리 내의 기준 프레임에 대한 고유한 위치를 표현하는, 인코딩된 비디오 비트스트림을 디코딩하기 위한 장치. - 제18항 또는 제19항에 있어서,
상기 명령들은,
상기 인코딩된 비디오 비트스트림 내에서 기준 가상 인덱스를 수신하고 ― 상기 기준 가상 인덱스는 상기 제1 모션 벡터와 연관된 기준 프레임과 연관됨 ―;
상기 제1 모션 벡터 및 상기 제1 모션 벡터와 연관된 기준 프레임을 사용하여 상기 콜로케이팅된 블록을 디코딩함으로써 상기 제1 프레임을 디코딩하며; 그리고
상기 제1 모션 벡터와 연관된 기준 프레임의 기준 버퍼 인덱스와 상기 기준 가상 인덱스를 연관시키기
위한 명령들을 더 포함하는, 인코딩된 비디오 비트스트림을 디코딩하기 위한 장치. - 인코딩된 비디오 비트스트림을 디코딩하기 위한 방법으로서,
상기 인코딩된 비디오 비트스트림은 프레임들의 시퀀스를 갖고, 상기 프레임들은 블록들을 가지며, 상기 블록들은 픽셀들을 갖고,
상기 방법은,
상기 프레임들의 시퀀스의 제1 프레임을 디코딩한 이후 복수의 기준 프레임들 각각에 대한 기준 버퍼 인덱스와 함께 기준 프레임 식별자를 저장하는 단계;
상기 저장 이후 상기 기준 프레임 식별자와 연관된 기준 프레임을 업데이팅함으로써 상기 복수의 기준 프레임들을 업데이팅하는 단계;
상기 업데이팅 이후 제2 프레임의 현재의 블록에 대한 다수의 후보 모션 벡터들을 결정하는 단계 － 상기 다수의 후보 모션 벡터들은 상기 제1 프레임 내의 콜로케이팅된 블록을 예측하기 위해 사용되는 제1 모션 벡터를 포함함 －;
상기 제2 프레임의 현재의 블록을 예측하기 위해 사용되는 기준 프레임의 기준 버퍼 인덱스와, 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스를 비교하는 단계; 및
상기 제2 프레임의 현재의 블록을 예측하기 위해 사용되는 기준 프레임의 기준 버퍼 인덱스가 상기 제1 모션 벡터와 연관된 기준 프레임의 기준 프레임 식별자와 함께 저장된 기준 버퍼 인덱스와 매칭하는 조건 시에, 상기 현재의 블록을 디코딩하기 위해 상기 다수의 후보 모션 벡터들 중 나머지 모션 벡터들에 앞서 상기 제1 모션 벡터를 전진시키는 단계를 포함하는, 인코딩된 비디오 비트스트림을 디코딩하기 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/074,329 | 2016-03-18 | ||
| US15/074,329 US9866862B2 (en) | 2016-03-18 | 2016-03-18 | Motion vector reference selection through reference frame buffer tracking |
| PCT/US2016/067980 WO2017160366A1 (en) | 2016-03-18 | 2016-12-21 | Motion vector reference selection through reference frame buffer tracking |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180069905A true KR20180069905A (ko) | 2018-06-25 |
| KR102097285B1 KR102097285B1 (ko) | 2020-04-06 |
Family
ID=57822051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187014591A Active KR102097285B1 (ko) | 2016-03-18 | 2016-12-21 | 기준 프레임 버퍼 추적을 통한 모션 벡터 기준 선택 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9866862B2 (ko) |
| JP (1) | JP6767488B2 (ko) |
| KR (1) | KR102097285B1 (ko) |
| CN (1) | CN107205149B (ko) |
| AU (1) | AU2016398050B2 (ko) |
| CA (1) | CA3008890C (ko) |
| DE (2) | DE202016008192U1 (ko) |
| GB (1) | GB2548449B (ko) |
| WO (1) | WO2017160366A1 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11445223B2 (en) * | 2016-09-09 | 2022-09-13 | Microsoft Technology Licensing, Llc | Loss detection for encoded video transmission |
| US10972738B2 (en) * | 2018-03-29 | 2021-04-06 | Mediatek Inc. | Video encoding apparatus having reconstruction buffer with fixed size and/or bandwidth limitation and associated video encoding method |
| WO2019183906A1 (zh) | 2018-03-29 | 2019-10-03 | 华为技术有限公司 | 帧间预测的方法和装置 |
| US10397603B1 (en) * | 2018-05-08 | 2019-08-27 | Tencent America LLC | Method and apparatus for video coding |
| US11394960B2 (en) | 2018-06-29 | 2022-07-19 | Interdigital Vc Holdings, Inc. | Virtual temporal affine candidates |
| CN113170108B (zh) * | 2018-11-27 | 2025-07-08 | Op方案有限责任公司 | 使用显式和隐式信令对不可用参考帧进行自适应块更新 |
| CN116866605A (zh) * | 2019-01-03 | 2023-10-10 | 北京大学 | 视频处理方法和装置 |
| WO2020156541A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Data storage in buffers for intra block copy in video coding |
| KR102662448B1 (ko) | 2019-02-02 | 2024-05-02 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼내 데이터 저장 |
| WO2020177660A1 (en) | 2019-03-01 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Block vector representation for intra block copy in video coding |
| KR20210125506A (ko) | 2019-03-04 | 2021-10-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리 |
| MY210124A (en) * | 2019-04-25 | 2025-08-28 | Op Solutions Llc | Signaling of global motion vector in picture header |
| MX2022000102A (es) | 2019-07-06 | 2022-02-03 | Beijing Bytedance Network Tech Co Ltd | Bufer de prediccion virtual para la copia intra-bloque en codificacion de video. |
| CN117395398A (zh) | 2019-07-10 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的样点标识 |
| WO2021043299A1 (en) | 2019-09-05 | 2021-03-11 | Beijing Bytedance Network Technology Co., Ltd. | Range constrains for block vector in intra-block copy mode |
| KR102735189B1 (ko) | 2019-09-23 | 2024-11-28 | 두인 비전 컴퍼니 리미티드 | 가상 파이프라인 데이터 유닛에 기초한 인트라 블록 복사 가상 버퍼의 설정 |
| CN115362674A (zh) | 2020-03-18 | 2022-11-18 | 抖音视界有限公司 | 帧内块复制缓冲区和调色板预测值更新 |
| WO2022115999A1 (zh) * | 2020-12-01 | 2022-06-09 | 深圳市大疆创新科技有限公司 | 一种数据处理方法及数据处理设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8995536B2 (en) | 2003-07-23 | 2015-03-31 | Broadcom Corporation | System and method for audio/video synchronization |
| US7933335B2 (en) * | 2004-11-30 | 2011-04-26 | Panasonic Corporation | Moving picture conversion apparatus |
| EP2106665B1 (en) * | 2007-01-12 | 2015-08-05 | ActiveVideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| US20100309981A1 (en) * | 2009-06-04 | 2010-12-09 | Texas Instruments Incorporated | Reuse of a search region in motion estimation of multiple target frames |
| US8917769B2 (en) * | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
| CN102045557B (zh) | 2009-10-20 | 2012-09-19 | 鸿富锦精密工业（深圳）有限公司 | 视频编解码方法及使用其的视频编码、解码装置 |
| US8824560B2 (en) | 2010-07-07 | 2014-09-02 | Netzyn, Inc. | Virtual frame buffer system and method |
| JP5485851B2 (ja) | 2010-09-30 | 2014-05-07 | 日本電信電話株式会社 | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム |
| JP2012191298A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
| GB2488815C (en) | 2011-03-09 | 2018-03-28 | Canon Kk | Video decoding |
| US9900615B2 (en) * | 2011-12-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Representative motion information for temporal motion prediction in video encoding and decoding |
| EP2842337B1 (en) * | 2012-04-23 | 2019-03-13 | Google LLC | Managing multi-reference picture buffers for video data coding |
| US9014266B1 (en) * | 2012-06-05 | 2015-04-21 | Google Inc. | Decimated sliding windows for multi-reference prediction in video coding |
| US9485515B2 (en) * | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| GB2521227B (en) | 2013-12-16 | 2020-11-25 | Advanced Risc Mach Ltd | Invalidation of index items for a temporary data store |
| US10757437B2 (en) * | 2014-07-17 | 2020-08-25 | Apple Inc. | Motion estimation in block processing pipelines |
| US9762919B2 (en) * | 2014-08-28 | 2017-09-12 | Apple Inc. | Chroma cache architecture in block processing pipelines |
| CN104811721B (zh) | 2015-05-26 | 2017-09-22 | 珠海全志科技股份有限公司 | 视频解码数据存储方法及运动向量数据的计算方法 |
-
2016
- 2016-03-18 US US15/074,329 patent/US9866862B2/en active Active
- 2016-12-19 GB GB1621543.6A patent/GB2548449B/en not_active Expired - Fee Related
- 2016-12-21 WO PCT/US2016/067980 patent/WO2017160366A1/en not_active Ceased
- 2016-12-21 DE DE202016008192.7U patent/DE202016008192U1/de active Active
- 2016-12-21 KR KR1020187014591A patent/KR102097285B1/ko active Active
- 2016-12-21 AU AU2016398050A patent/AU2016398050B2/en not_active Ceased
- 2016-12-21 CA CA3008890A patent/CA3008890C/en active Active
- 2016-12-21 DE DE102016125094.5A patent/DE102016125094A1/de active Pending
- 2016-12-21 JP JP2018531153A patent/JP6767488B2/ja not_active Expired - Fee Related
- 2016-12-27 CN CN201611224939.1A patent/CN107205149B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102097285B1 (ko) | 2020-04-06 |
| US20170272773A1 (en) | 2017-09-21 |
| DE202016008192U1 (de) | 2017-06-01 |
| GB201621543D0 (en) | 2017-02-01 |
| WO2017160366A1 (en) | 2017-09-21 |
| AU2016398050A1 (en) | 2018-04-26 |
| CN107205149B (zh) | 2020-03-03 |
| GB2548449B (en) | 2020-06-03 |
| JP6767488B2 (ja) | 2020-10-14 |
| CN107205149A (zh) | 2017-09-26 |
| GB2548449A8 (en) | 2018-03-21 |
| CA3008890A1 (en) | 2017-09-21 |
| CA3008890C (en) | 2019-10-29 |
| US9866862B2 (en) | 2018-01-09 |
| GB2548449A (en) | 2017-09-20 |
| AU2016398050B2 (en) | 2019-05-09 |
| JP2019508918A (ja) | 2019-03-28 |
| DE102016125094A1 (de) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102097285B1 (ko) | 기준 프레임 버퍼 추적을 통한 모션 벡터 기준 선택 | |
| US10555000B2 (en) | Multi-level compound prediction | |
| CN107027038B (zh) | 动态参考运动矢量编码模式 | |
| US10462457B2 (en) | Dynamic reference motion vector coding mode | |
| US10798402B2 (en) | Same frame motion estimation and compensation | |
| CN107205156B (zh) | 通过缩放的运动矢量预测 | |
| US10880573B2 (en) | Dynamic motion vector referencing for video coding | |
| US10462482B2 (en) | Multi-reference compound prediction of a block using a mask mode | |
| US20170280143A1 (en) | Smart reordering in recursive block partitioning for advanced intra prediction in video coding | |
| GB2547754A (en) | Dynamic reference motion vector coding mode | |
| WO2019036080A1 (en) | ESTIMATION OF CONSTRAINED MOTION FIELD FOR INTERPRETING | |
| CN110692247B (zh) | 复合运动补偿的预测 | |
| US10448013B2 (en) | Multi-layer-multi-reference prediction using adaptive temporal filtering | |
| US10412383B2 (en) | Compressing groups of video frames using reversed ordering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20180523 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190807 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200220 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200331 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200331 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230315 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240312 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250311 Start annual number: 6 End annual number: 6 |