[go: up one dir, main page]

KR20060069838A - 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한방법 및 장치 - Google Patents

하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한방법 및 장치 Download PDF

Info

Publication number
KR20060069838A
KR20060069838A KR1020067003409A KR20067003409A KR20060069838A KR 20060069838 A KR20060069838 A KR 20060069838A KR 1020067003409 A KR1020067003409 A KR 1020067003409A KR 20067003409 A KR20067003409 A KR 20067003409A KR 20060069838 A KR20060069838 A KR 20060069838A
Authority
KR
South Korea
Prior art keywords
prediction
intra
block
inter
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020067003409A
Other languages
English (en)
Other versions
KR101089738B1 (ko
Inventor
알렉산드로스 투라피스
질 맥도널드 보이스
펭 윙
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20060069838A publication Critical patent/KR20060069838A/ko
Application granted granted Critical
Publication of KR101089738B1 publication Critical patent/KR101089738B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

하이브리드 인트라-인터 양방향 예측(또는 다중-예측) 코딩 모드는 현재 매크로블록 또는 서브블록을 하이브리드-인코딩하기 위해 인트라프레임(인트라)(도 5에서 310) 및 인터프레임(인터)(도 5에서 302) 예측 모두가 함께 결합되도록 한다. 양방향 예측은 또한 I-화상에 사용될 수 있어서, 2개의 상이한 인트라 예측 방향을 이용하는 2개의 인트라 예측을 결합한다. 비디오 인코더(700)는 종래에 상업적으로 이용가능한 비디오 카메라에 의해 발생된 2차원 비디오 이미지를 나타내는 데이터를 처리한다. 비디오 인코더는 현재 매크로블록을 코딩하기 위해, 인트라 인코딩 모드, P-프레임 인터 인코딩 모드, B-프레임 양방향 예측 인터 모드와 하이브리드 인트라-인터 양방향 예측 인코딩 모드 사이에서 선택하도록 적응된다. 비디오 디코더(800)는 하이브리드 인트라-인터 양방향 예측 인코딩 모드에 따라 인코딩된 블록/매크로블록을 포함할 수 있는 데이터 스트림을 수신하고 디코딩한다.

Description

하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING HYBRID INTRA-INTER CODED BLOCKS}
본 출원은, 그 전체가 본 명세서에 참고용으로 병합된, 2003년 8월 26일에 출원된 "METHOD AND APPARATUS FOR HYBRID MACROBLOCK MODES FOR VIDEO CODECS"라는 명칭의 미국 가특허 출원 번호 60/497,816의 이익을 청구한다.
본 발명은 일반적으로 디지털 비디오 코덱에 관한 것으로, 더 구체적으로 매크로블록을 위한 인트라 및 인터 코딩 모두의 하이브리드 이용에 관한 것이다.
비디오 인코더는 이미지 시퀀스의 하나 이상의 프레임을 디지털 정보로 인코딩하는데 사용될 수 있다. 이러한 디지털 정보는 그 후 수신기로 송신될 것이고, 이 수신기에서 이미지 또는 이미지 시퀀스는 이 때 재구성(디코딩)될 수 있다. 송신 채널 자체는 송신을 위한 다수의 가능한 채널 중 인의의 채널을 포함할 수 있다. 예를 들어, 송신 채널은 무선 방송을 위한 무선 채널 또는 다른 수단, 동축 케이블 텔레비전 케이블, GSM 모바일 폰 TDMA 채널, 고정된 라인 전화 링크, 또는 인터넷일 수 있다. 이러한 송신 수단의 목록은 단지 예시에 불과하고, 모든 것을 포함하는 것을 의미하는 것은 아니다.
비디오 인코딩 및 송신을 위한 다양한 국제 표준이 협정되었다. 일반적으로, 표준은 이미지의 프레임에 관련된 데이터를 압축하고 인코딩하기 위한 규칙을 제공한다. 이들 규칙은 이미지에 대해 본래 제공된 관찰 카메라보다 더 적은 데이터를 송신하기 위해 이미지 데이터를 압축하고 인코딩하는 방식을 제공한다. 이 때 이렇게 감소된 데이터량은 송신을 위한 더 적은 채널 대역폭을 요구한다. 수신기는, 송신기가 압축 및 인코딩을 수행하는데 사용한 규칙을 알고 있는 경우 송신된 데이터로부터 이미지를 재구성(또는 디코딩)할 수 있다. H.264 표준은 이전 프레임으로부터 매크로블록의 움직임 보상된 예측을 이용함으로써 이미지의 부분의 중복 송신을 최소화한다.
MPEG-2 및 JVT/H.264/MPEG 4 Part10/AVC와 같은 비디오 압축 구조 및 표준은 각 매크로블록의 인코딩을 위한 인트라프레임("인트라") 코딩 또는 인터프레임("인터") 코딩 방법 중 하나만을 이용하여 매크로블록을 인코딩한다. 인터프레임 움직임 예측/보상에 있어서, 인코딩될 비디오 프레임은 비-중복(non-overlapping) 직사각형의 픽셀 블록, 또는 가장 일반적으로는 정사각형의 픽셀 블록으로 분할된다. 이들 매크로블록 각각에 대해, 최상의 매칭 매크로블록은 미리 결정된 매칭 에러 기준에 따라 미리 결정된 검색 윈도우에서 기준 프레임으로부터 검색된다. 그 다음에, 매칭된 매크로블록은 현재 매크로블록을 예측하는데 사용되고, 예측 에러 매크로블록은 추가로 처리되어 디코더로 송신된다. 본래 매크로블록에 대해 기준 매크로블록의 수평 및 수직 방향에서의 상대적인 시프트(shift)는 그룹화되어, 또한 디코더로 송신되는 본래 매크로블록의 움직임 벡터(MV)로 지칭된다. 움직임 추정의 주요 목적은, 기준 및 현재 매크로블록의 차이로부터 얻어진 차이 매크로블록이 인 코딩시 가장 낮은 비트 수를 생성하도록 매크로블록을 예측하는 것이다.
인트라 코딩에 대해, 화상 내의 매크로블록(MB) 또는 서브-매크로블록은 공간 예측 방법을 이용하여 예측된다. 인터 코딩에 대해, 시간 예측 방법(즉 움직임 추정/보상)이 사용된다. 일반적으로, 인터 예측(코딩) 방법은 일반적으로 인트라 코딩 방법보다 더 효과적이다. 기존의 구조/표준에서, 디코더로의 송신을 위해 인코딩될 수 있는 인트라 또는 인터 MB 유형을 규정하거나 제한하는 특정 화상 또는 슬라이스 유형이 한정된다. 인트라(I) 화상 또는 슬라이스에서, 인트라 MB 유형만이 인코딩될 수 있는 반면, 예측(P) 및 양방향 예측(B) 화상 또는 슬라이스 상에서, 인트라 및 인터 MB 유형 모두가 인코딩될 수 있다.
I-화상 또는 I-슬라이스는 인트라 코딩된 매크로블록만을 포함하고, 시간 예측을 이용하지 않는다. 현재 매크로블록의 픽셀 값은 먼저 이웃한 픽셀 값으로부터 공간적으로 예측된다. 잔여 정보는 그 다음에 N×N 변환(예를 들어, 4×4 또는 8×8 DCT 변환)을 이용하여 변환되고, 그 다음에 양자화된다.
B-화상 또는 B-슬라이스는 양방향(또는 일반화 다중-예측에서) 인터 코딩된 매크로블록 유형의 개념을 도입하고, 여기서 매크로블록(MB) 또는 서브-블록은 2개(또는 그 이상)의 인터프레임 예측에 의해 예측된다. 양방향 예측으로 인해, B 화상은 일반적으로 I 및 P 화상 모두보다 코딩시 더 효과적이 되는 경향이 있다.
P-화상 또는 B-화상은 상이한 슬라이스 유형, 및 상이한 방법에 의해 인코딩된 매크로블록을 포함할 수 있다. 슬라이스는 I(인트라), P(예측된), B(양방향-예측된), SP(스위칭 P), 및 SI(스위칭 I) 유형일 수 있다.
인트라 및 인터 예측 방법은 MPEG-2 및 H.264와 같은 비디오 코딩 구조 및 표준 내에서 개별적으로 사용된다. 인트라 코딩된 매크로블록에 대해, 동일한 프레임 또는 화상 내의 이용가능한 공간 샘플은 현재 매크로블록을 예측하는데 사용되는 한편, 인터 예측에서, 다른 화상 또는 다른 프레임 내의 시간 샘플이 그 대신 사용된다. H.264 표준에서, 2개의 상이한 인트라 코딩 모드, 즉 매크로블록 내에서 4×4 블록마다 예측 프로세스를 수행하는 4×4 인트라 모드; 및 단일 단계에서 전체 매크로블록에 대한 예측이 수행되는 16×16 인트라 모드가 존재한다.
비디오 시퀀스의 각 프레임은 소위 "매크로블록"으로 분리되고, 상기 매크로블록은 휘도(Y) 정보 및 연관된(칼라 공간에 따라 잠재적으로 공간적으로 서브-샘플링된) 크로미넌스(U,V) 정보를 포함한다. 매크로블록은 휘도(루마) 정보의 4개의 8×8 블록으로서 본래 이미지에서의 16×16 이미지 픽셀 영역을 표현함으로써 형성되고, 각 휘도 블록은 휘도(Y) 값의 8×8 어레이; 및 8×8 크로미넌스(U, V) 값의 대응하는 어레이를 초래하기 위해 수평 및 수직 방향으로 2의 인자만큼 서브-샘플링된 2개의 공간적으로 대응하는 크로미넌스 성분(U 및 V)을 포함한다.
16×16 공간(인트라) 예측 모드에서, 전체 16×16 매크로블록의 루마 값은 MB의 에지 주위의 픽셀로부터 예측된다. 16×16 인트라 예측 모드에서, 16×16 루마 블록의 바로 위 및/또는 좌측에 있는 33개의 이웃 샘플은 현재 매크로블록의 예측에 사용되고, 단지 4개의 모드(0 수직, 1 수평, 2 DC, 및 3 평면 예측)가 사용된다.
도 1은 관련 기술의 H.264 표준에서 4×4 인트라 모드에 대한 인트라프레임( 인트라) 예측 샘플링 방법을 도시한다. 도 1에서 픽셀(a 내지 p)을 포함하는 인트라 인코딩될 4×4 루마 블록(110)의 샘플은 이웃 블록으로부터 도 1에서의 근처 픽셀(A 내지 M)을 이용하여 예측된다. 디코더에서, 동일한 화상/프레임의 이전 매크로블록으로부터 샘플(A 내지 M)은 일반적으로 이미 디코딩되었고, 그 다음에 현재 매크로블록(110)의 예측에 사용될 수 있다.
도 2는 도 1의 4×4 루마 블록(110)에 대해, 0, 1, 3, 4, 5, 6, 7, 8로 표시된 8개의 인트라 예측 모드를 도시한다. 모드 2는 'DC-예측'이다. 다른 모드(1, 3, 4, 5, 6, 7, 8)는 도 2에서 화살표로 표시된 예측 방향을 나타낸다.
H.264 표준에서 한정된 인트라 매크로블록 유형은 다음 표 1과 같다:
인트라 매크로블록 유형
mb_type mb_type의 명칭 MbPartPredMode (mb_type,0) Intra16×16 PredMode CodedBlock PatternChro CodedBlock PatternLuma
0 I_4×4 Intra_4×4 NA NA NA
1 I_16×16_0_0_0 Intra_16×16 0 0 0
2 I_16×16_1_0_0 Intra_16×16 1 0 0
3 I_16×16_2_0_0 Intra_16×16 2 0 0
4 I_16×16_3_0_0 Intra_16×16 3 0 0
5 I_16×16_0_1_0 Intra_16×16 0 1 0
6 I_16×16_1_1_0 Intra_16×16 1 1 0
7 I_16×16_2_1_0 Intra_16×16 2 1 0
8 I_16×16_3_1_0 Intra_16×16 3 1 0
9 I_16×16_0_2_0 Intra_16×16 0 2 0
10 I_16×16_1_2_0 Intra_16×16 1 2 0
11 I_16×16_2_2_0 Intra_16×16 2 2 0
12 I_16×16_3_2_0 Intra_16×16 3 2 0
13 I_16×16_0_0_1 Intra_16×16 0 0 15
14 I_16×16_1_0_1 Intra_16×16 1 0 15
15 I_16×16_2_0_1 Intra_16×16 2 0 15
16 I_16×16_3_0_1 Intra_16×16 3 0 15
17 I_16×16_0_1_1 Intra_16×16 0 1 15
18 I_16×16_1_1_1 Intra_16×16 1 1 15
19 I_16×16_2_1_1 Intra_16×16 2 1 15
20 I_16×16_3_1_1 Intra_16×16 3 1 15
21 I_16×16_0_2_1 Intra_16×16 0 2 15
22 I_16×16_1_2_1 Intra_16×16 1 2 15
23 I_16×16_2_2_1 Intra_16×16 2 2 15
24 I_16×16_3_2_1 Intra_16×16 3 2 15
25 I_PCM Intra_16×16 NA NA NA
도 3은, 2개의 화상(301 및 302)의 블록 중에서 최상의 매치(BM) 사이에서 움직임 벡터(즉, MV: Motion Vector)를 추정함으로써 공간 예측 대신에 시간 예측을 이용하여 P-프레임 또는 P-슬라이스에서 인터 코딩될 현재 매크로블록(310)을 도시한다. 인터 코딩에서, 현재 프레임(301)에서의 현재 블록(310)은 이전 프레임(302)에서 변위된 매칭 블록(BM)으로부터 예측된다. 모든 인터 코딩된 블록(예를 들어, 310)은 움직임 파라미터 세트{움직임 벡터 및 기준 인덱스(ref_idx)}와 연관되고, 이러한 움직임 파라미터 세트는 블록(310)에서의 모든 픽셀이 예측될 수 있는 ref_idx와 연관된 기준 화상(302) 내의 대응하는 위치를 디코더에 제공한다. 본래 블록(310)과 그 예측(BM) 사이의 차이는 압축되어 변위 움직임 벡터(MV)와 함께 송신된다. 움직임은 16×16 매크로블록 또는 임의의 서브-매크로블록 분할: 16×8, 8×16, 8×8, 8×4, 4×8, 4×4에 대해 독립적으로 추정될 수 있다. 8×8 매크로블록 분할은 서브-매크로블록(또는 서브블록)으로 알려져 있다. 이후에, "블록"이라는 용어는 일반적으로 전체 16×16 매크로블록 및/또는 서브-매크로블록 분할과 같이 임의의 크기로 된 인접한 픽셀의 직사각형 그룹으로 지칭된다. 서브-매크로블록 분할당 하나의 움직임 벡터(MV)만이 허용된다. 움직임은, 매크로블록의 ref_idx을 이용하여 매크로블록을 선택된 프레임과 연관시킴으로써 과거 또는 미래에 상이한 프레임으로부터의 각 매크로블록에 대해 추정될 수 있다.
P-슬라이스는 인트라 코딩된 매크로블록을 또한 포함할 수 있다. P-슬라이스 내의 인트라 코딩된 매크로블록은 I-슬라이스에서의 인트라 코딩된 매크로블록과 동일한 방식으로 압축된다. 인터 코딩된 블록은 움직임 추정 및 보상 전략을 이용하여 예측된다.
전체 프레임의 모든 매크로블록이 인트라 모드를 이용하여 인코딩되고 송신되면, '인트라 프레임'(I-프레임 또는 I-화상)의 송신으로 지칭된다. 그러므로, 인트라 프레임은 인트라 매크로블록으로만 구성된다. 일반적으로, 인트라 프레임은, 수신기가 지금까지 어떠한 수신된 매크로블록도 유지하지 않을 때 이미지 송신 시작시 송신되어야 한다. 프레임이 인터 매크로블록으로서 매크로블록 일부 또는 전부를 인코딩하여 인코딩되고 송신되면, 이 프레임은 '인터 프레임'이라 지칭된다. 일반적으로, 인터 프레임은 인트라 프레임보다 송신을 위한 더 적은 데이터를 포함한다. 그러나, 인코더는, 가장 효과적인 방식을 따라 인트라 코딩된 매크로블록 또는 인터 코딩된 매크로블록으로서 송신되는 지를 결정한다.
P-슬라이스에서 인터 코딩될 모든 16×16 매크로블록은 16×8, 8×16, 및 8×8 분할로 분할될 수 있다. 서브-매크로블록 자체는 8×4, 4×8, 또는 4×4 서브-매크로블록 분할로 분할될 수 있다. H.264에서 각 매크로블록 분할 또는 서브-매크로블록 분할은 고유한 움직임 벡터에 할당된다. 인터 코딩된 매크로블록 및 매크로블록 분할은 고유 예측 모드 및 항목(index)을 갖는다. 인터 및 인트라 예측이 동일한 매크로블록의 상이한 분할에서 선택되고 함께 혼합되는 것이 현재 H.264 표준에서 허용되지 않는다. 2002년 2월에 채택된 H.264/AVC 설계에서, Wiegand 등으로부터 처음에 채택된 분할 방식은 서브-매크로블록(4×4 크로마를 갖는 8×8 루마)에 기초하여 인트라와 인터 사이의 스위칭의 지원을 포함하였다. 이러한 능력은 디코딩 복잡도를 감소시키기 위해 이후에 제거되었다.
P-화상 및 P-슬라이스에서, 다음의 추가 블록 유형이 한정된다:
P 슬라이스에 대한 인터 매크로블록 유형
mb_type mb_type의 명칭 NumMbPart (mb_type) MbPartPredMode (mb_type,0) MbPartPredMode (mb_type,1) MbPartWidth (mb_type) MbPartHeight (mb_type)
0 P_LO_16×16 1 Pred_L0 NA 16 16
1 P_LO_L0_16×8 2 Pred_L0 Pred_L0 16 8
2 P_LO_L0_8×16 2 Pred_L0 Pred_L0 8 16
3 P_8×8 4 NA NA 8 8
4 P_8×8ref0 4 NA NA 8 8
암시 P_Skip 1 Pred_L0 NA 16 16
도 4는 B-화상 또는 B-슬라이스에서 매크로블록을 인터 코딩하기 위한 2개(시간)의 예측의 결합을 도시한다.
도 4에 도시된 바와 같이, 현재 매크로블록에 대해 하나의 "최상의 매치"(BM) 예측자(예측)만을 이용하는 것 대신에, B-화상 또는 B-슬라이스 내에서 인터 코딩될 매크로블록(410)에 대해, 2개의(시간) 예측(BML0 및 BML1)이 현재 매크로블록(410)에 사용되고, 이것은 최종 예측을 형성하기 위해 함께 평균화될 수 있다. B-화상 또는 B-슬라이스에서, 서브-매크로블록 분할당 2개의 움직임 예측을 나타내는 최대 2개의 움직임 벡터(MVL0 및 MVL1)는 시간 예측을 위해 허용된다. 상기 움직임 벡터는 이후 또는 이전에 임의의 기준 화상(목록 0 기준 및 목록 1 기준)으로부터 나올 수 있다. (목록 0 및 목록 1) 기준 화상에서 최상의 매칭된 블록(BML0 및 BML1)에서의 픽셀 값의 평균은 예측자로서 사용된다. 이러한 표준은 또한 각 최상의 매칭된 블록(BML0 및 BML1)의 픽셀 값을 평균화하는 것 대신에 이들을 가중화시킨다. 이것은 가중된 예측 모드로 지칭되고, 페이딩(fading)과 같은 특수한 비디오 효과의 존재시 유용하다. B-슬라이스는 또한 특수 모드, 즉 직접 모드(Direct mode)를 갖는다. MotionCopy 스킵 모드 및 직접 모드에 사용된 공간 방법은 매크로블록(픽셀) 자체가 아닌 움직임 파라미터의 추정에만 제한되고, 어떠한 공간적으로 인접한 샘플도 사용되지 않는다. 직접 모드에서, 매크로블록에 대한 움직임 벡터는 명백하게 송신되지 않는다.
다음의 매크로블록 유형은 B-화상 및 B-슬라이스에 사용하기 위해 한정된다:
B 슬라이스에 대한 인터 매크로블록 유형
mb_type mb_type의 명칭 NumMbPart (mb_type) MbPartPredMode (mb_type,0) MbPartPredMode (mb_type,1) MbPartWidth (mb_type) MbPartHeight (mb_type)
0 B_Direct_16×16 NA Direct NA 8 8
1 B_LO_16×16 1 Pred_L0 NA 16 16
2 B_L1_16×16 1 Pred_L1 NA 16 16
3 B_Bi_16×16 1 BiPred NA 16 16
4 B_LO_L0_16×8 2 Pred_L0 Pred_L0 16 8
5 B_LO_L0_8×16 2 Pred_L0 Pred_L0 8 16
6 B_L1_L1_16×8 2 Pred_L1 Pred_L1 16 8
7 B_L1_L1_8×16 2 Pred_L1 Pred_L1 8 16
8 B_LO_L1_16×8 2 Pred_L0 Pred_L1 16 8
9 B_LO_L1_8×16 2 Pred_L0 Pred_L1 8 16
10 B_L1_L0_16×8 2 Pred_L1 Pred_L0 16 8
11 B_L1_L0_8×16 2 Pred_L1 Pred_L0 8 16
12 B_LO_Bi_16×8 2 Pred_L0 BiPred 16 8
13 B_LO_Bi_8×16 2 Pred_L0 BiPred 8 16
14 B_L1_Bi_16×8 2 Pred_L1 BiPred 16 8
15 B_L1_Bi_8×16 2 Pred_L1 BiPred 8 16
16 B_Bi_L0_16×8 2 BiPred Pred_L0 16 8
17 B_Bi_L0_8×16 2 BiPred Pred_L0 8 16
18 B_Bi_L1_16×8 2 BiPred Pred_L1 16 8
19 B_Bi_L1_8×16 2 BiPred Pred_L1 8 16
20 B_Bi_Bi_16×8 2 BiPred BiPred 16 8
21 B_Bi_Bi_8×16 2 BiPred BiPred 8 16
22 B_8×8 4 NA NA 8 8
암시 B_Skip NA Direct NA 8 8
B-슬라이스에서, 상기 표 3에 도시된 바와 같이, 2개의 시간 예측은 동일한 블록 유형을 이용하는 것에 항상 제한된다.
필터를 디블록킹(deblocking)하는 것과, 중복 블록 움직임 보상(OBMC: Overlapped Block Motion Compensation)은 일부 공간 상관을 이용한다. 이들 방법에 따라, 연관된 잔여물의 예측 및 추가 이후에 재구성된 픽셀은 그러한 모드(인트라 또는 인터), 위치(MB/블록 에지, 내부 픽셀 등), 움직임 정보, 연관된 잔여물, 및 주변의 픽셀 차이에 따라 공간적으로 처리/필터링된다. 이러한 프로세스는 블록킹 결함을 크게 감소시키고 품질을 향상시킬 수 있지만, 다른 한 편으로 또한 복잡도를 크게 증가시킬 수 있다(특히 디코더 내에서). 이러한 프로세스는 또한 최상의 결과를 항상 초래하는 것은 아니며, 자체적으로 에지 상에 추가적인 흐릿함(blurring)을 야기할 수 있다.
기존의 비디오 압축 표준(예를 들어, MPEG-2 및 H.264)은 현재 매크로블록 또는 서브블록을 인코딩하기 위해 인트라프레임(인트라) 및 인터프레임(인터) 예측이 (인터-전용 양방향 예측에서 2개의 인터프레임 예측의 결합과 같이) 함께 결합되도록 하지 않는다. 본 발명의 원리에 따라, 주어진 매크로블록, 서브블록, 또는 분할의 인코딩 및 디코딩에서 인트라 예측과 인터 예측의 결합이 제공된다. 인트라 및 인터 예측의 결합은 이득 및/또는 인코딩 효율을 개선시킬 수 있고 및/또는 비디오 데이터 에러 전파를 추가로 감소시킬 수 있다.
본 발명의 일실시예는 현재 블록의 제 1 예측과 현재 블록의 제 2 예측을 결합함으로써 블록을 비디오 인코딩하는 것을 제공한다; 여기서 현재 블록의 제 1 예측은 인트라 예측이고, 현재 블록의 제 2 예측은 인터 예측이다.
다음 설명 동안, 매크로블록의 휘도(루마) 성분이 4개의 8×8 블록 어레이로서 배열된 16×16 픽셀을 포함하고, 연관된 크로미넌스 성분이 8×8 블록을 형성하기 위해 수평 및 수직 방향으로 2의 인자만큼 공간적으로 서브-샘플링된다는 것이 가정될 것이다. 다른 블록 크기 및 다른 서브-샘플링 방식에 대한 설명의 부연은 당업자에게 명백할 것이다. 본 발명은 16×16 매크로블록 구조에 의해 한정되지 않고, 임의의 분할(segmentation) 기반의 비디오 코딩 시스템에 사용될 수 있다.
본 발명의 상기 특징은 첨부 도면을 참조하여 본 발명의 예시적인 실시예를 구체적으로 설명함으로써 더 명백해질 것이다.
도 1은 H.264 표준에 따라 인트라 코딩될 4×4 픽셀 루마 블록 근처의 샘플을 도시한 도면.
도 2는 H.264 표준에 따라 도 1의 4×4 블록에 대한 9개의 예측 인코딩 방향을 도시한 도면.
도 3은 H.264 표준에 따라 움직임 벡터를 추정함으로써 인터 코딩되는 매크로블록을 도시한 도면.
도 4는 H.264 표준에 따라 2개의 인터 코딩을 결합함으로써 매크로블록의 양방향 예측을 도시한 도면.
도 5는 본 발명의 원리에 따라 인터 및 인트라 예측을 결합하는 4×4 블록의 인트라-인터 하이브리드 양방향 예측을 도시한 도면.
도 6은 본 발명의 원리에 따라 비디오 인코더 및 비디오 디코더를 도시한 블록도.
도 7은 본 발명의 원리에 따라 비디오 인코더를 도시한 블록도.
도 8은 본 발명의 원리에 따라 비디오 디코더를 도시한 블록도.
도 9a 및 도 9b는 도 7의 인코더 또는 도 8의 디코더에서 인트라 및 인터 예측을 결합하기 위한 회로를 도시한 블록도.
도 5는, 동일한 4×4 블록이 인터 및 인트라 예측을 이용하여 예측되는 하이 브리드 인트라-인터 양방향 예측의 일례를 도시한다. 도 5는 관련 기술의 인트라-전용(도 1 및 도 2) 및 인터-전용(도 3 및 도 4) 예측 모드와 구별되는, 본 명세서에서 인트라-인터 하이브리드 코딩 모드라 불리는 새로운 양방향 예측 모드 유형을 도시하는데, 이러한 모드는 관련 기술과 달리, 현재 매크로블록 또는 현재 서브블록(110)을 양방향 예측 인코딩하기 위해 공간("A 내지 M"; 301) 및 시간(MV; 302) 예측 모두를 결합할 수 있다. 이러한 새로운 양방향 예측(또는 다중-예측) 모드는, 하나 이상의 인트라 예측을 포함할 수 있는 2개(또는 그 이상)의 예측이 주어진 블록 또는 매크로블록의 최종 예측을 이루기 위해 사용(결합)된다는 것을 제공한다. 양방향 예측은 결합된 인트라-인트라 예측으로 또한 I-화상에 사용될 수 있다. 이들 2개의 인트라 예측은 2개의 상이한 인트라 예측 방향을 이용할 수 있다.
개시된 하이브리드 양방향 예측 코딩 모드는 현재 매크로블록, 서브-매크로블록, 또는 분할을 인코딩하기 위해 인트라 프레임(인트라) 및 인터프레임(인터) 예측이 함께 결합(예를 들어, 평균화, 또는 가중화)되도록 한다. 본 발명의 원리에 따라, 예측(양방향 예측 또는 다중-예측)을 결합하는 종래 기술의 방법은 주어진 매크로블록, 서브-매크로블록, 또는 분할의 인코딩을 위해 인트라 예측 및 인터 예측의 결합을 제공함으로써 확장된다. 인트라 및 인터 예측의 결합은 개선된 이득 및/또는 인코딩 효율을 허용하고 및/또는 비디오 데이터 에러 전파를 감소시킬 수 있다.
본 발명의 실시예는, 비디오 인코더 및 디코더 내에 통합될 수 있고 기존의 구조에 비해 성능을 추가로 개선시킬 수 있는 새로운 여러 매크로블록 모드/유형을 제공한다. 새로운 매크로블록 모드는, 각 매크로블록 또는 서브-블록에 대해 2개 이상의 예측을 이용한다는 관점에서 MPEG-2 및 H.264와 같은 여러 인코딩 구조 및 표준에 이미 사용된 양방향 예측(또는 다중-예측) 매크로블록 모드와 유사하지만, 이러한 새로운 매크로블록 모드가 종래의 인터-전용(시간) 양방향 예측과 대조하면 인트라 프레임(공간) 예측을 또한 사용(또는 단지 사용)할 수 있다는 관점에서 차이가 있다. 예를 들어, 2개의 상이한 인트라 예측의 결합 또는 인터와 인트라 예측의 결합된 이용이 주어진 매크로블록에 대해 더 나은 예측을 제공할 수 있는 한편, 인접한 공간 샘플이 개시된 양방향 예측 코딩 방법의 실행 동안 고려될 수 있다고 가정하면 블록킹 결함을 감소시키는데 또한 유리할 수 있다. 동일한 매크로블록 또는 서브블록을 코딩하기 위해 인트라 및 인터 예측을 결합하는 개시된 방법은, 더 높은 성능을 초래할 수 있는데, 이는 a) 어느 하나의 예측은 단지 하나의 예측만이 사용된 경우 보존되지 않는 중요한 별개의 정보를 포함할 수 있고, b) 어느 하나의 화상은 평균화 또는 가중화를 통해 감소될 수 있는 상이한 인코딩 결함을 포함할 수 있고, c) 잡음 감소 메커니즘 등으로서 평균화 기능을 포함할 수 있기 때문이다.
더욱이, 개시된 양방향 예측(또는 다중-예측) 매크로블록 코딩 모드는 동일한 분할 유형을 이용하도록 제약되지 않는 인터 예측 모드를 지원하고, 표 1 내지 표 3에서 한정되는 인트라 및 단일-목록 인터 유형의 모든 가능한 결합의 이용을 허용한다. 개시된 양방향 예측(또는 다중-예측) 매크로블록 코딩 모드는 코딩될 동일한 매크로블록의 상이한 분할에 기초하여 수행될 인터 및 인트라 예측을 지원한 다. 예를 들어, 매크로블록당 최대 2개(양방향)의 예측만이 하이브리드 인트라-인터 코딩된 매크로블록에 대해 허용되면, 제 1 예측은 인트라 4×4(표 1에서 mb_type 0)일 수 있는 한편, 제 2 예측은 16×8 목록 1 블록 예측(표 3에서 mb_type 6)일 수 있다.
구문 및 서브모드 유형
각 매크로블록을 하이브리드-인코딩하는데 이용된 예측 유형(들)은 결합된 형태(H.264에서 B-슬라이스에 사용된 형태와 같이) 또는 개별적으로(즉, 트리 구조를 이용하여) 비트스트림 내에서 시그널링(signaled)된다. 선택적으로, 예측의 수(예를 들어, 1, 2 또는 그 이상)는 또한 비트스트림 내에서 시그널링될 수 있다. 관련 기술에 이용된 결합된 시그널링 방법은 예측 유형(들)의 모든 가능하거나 가장 가능성 있는 결합의 열거(enumeration)를 필요로 하고, 가장 높은 압축 이득을 초래하지 않을 수 있다. 압축 이득은 개별적인 트리-구조화 구조를 이용하여, 각 예측 모드를 개별적으로 시그널링함으로써 최적화될 수 있다. 이러한 방법은 구문을 간단히 유지시키면서, 표 1 내지 표 3에 한정되는 인트라 및 단일-목록 인터 유형의 모든 가능한 결합의 이용을 허용한다. 예를 들어, 매크로블록당 최대 2개(양방향) 예측만이 하이브리드-코딩된 매크로블록에 대해 허용되면, 제 1 예측은 인트라 4×4(표 1에서 mb_type 0)일 수 있는 한편, 제 2 예측은 16×8 목록 1 블록 예측(표 3에서 mb_type 6)일 수 있다. 이들 추가 서브모드에 대해, 인트라 방향 및/또는 연관된 참조 항목 및 움직임 벡터와 같이 연관된 파라미터도 또한 송신될 필요가 있다. 이러한 접근법은, 양쪽/모든 예측이 인트라이지만 상이한 방향을 갖는 것, 또는 상이한-목록 예측이거나, 상이한 블록 분할을 이용하는 것과 같이 다양한 결합을 허용한다.
H.264 표준에 제공된 서브모드에 대해 조정 및 확장을 하는 것이 또한 바람직할 수 있는데, 이는 (a) 일부 결합이 동일하고, (b) 몇몇 경우에 매크로블록에 대해 단일 예측을 이용하는 것이 바람직할 수 있기 때문이다. 예를 들어, (a)의 경우에 있어서, 동일한 예측 모드를 허용하지 않을 수 있고 서브모드 유형을 자동으로 조정할 수 있는 한편, (b)의 경우에 있어서, 어떠한 예측도 암시하지 않는 새로운 널(Null) 블록 예측 유형을 한정하는 다음의 추가 모드를 도입할 수 있다:
널 서브매크로블록 유형
B_Null_L0_16×8 2 널 Pred_L0 16 8
B_Null_L0_8×16 2 널 Pred_L0 8 16
B_Null_L1_16×8 2 널 Pred_L1 16 8
B_Null_L1_8×16 2 널 Pred_L1 8 16
B_L0_Null_16×8 2 Pred_L0 널 16 8
B_L0_Null_8×16 2 Pred_L0 널 8 16
B_L1_Null_16×8 2 Pred_L1 널 16 8
B_L1_Null_8×16 2 Pred_L1 널 8 16
동일한 서브 분할에 대한 2개의 널 예측 블록 유형(예를 들어, B_Null_L0_8×16 및 B_Null_L1_8×16)의 결합은 금지되는데, 이것은 다시 관련 기술의 mb_type 표에 적응하는 것이 추가 장점을 제공한다는 것을 암시한다. 8×8 서브블록/분할에 대해 확장이 이루어질 수 있다. 표 3에 한정된 모든 양방향 예측 모드가 개시된 하이브리드 모드에 의해 지원될 수 있기 때문에, 양방향 예측 모드는 중복으로서 제거될 수 있다.
하이브리드 인트라-인터 양방향 예측을 이용한 직접 모드 확장
H.264에 사용된 공간 직접 모드는 본 발명의 하이브리드 인트라-인터 양방향 예측 모드 실시예로 확장될 수 있다. 현재, 직접 모드 블록에 대한 움직임 벡터는 3개의 이웃 블록의 움직임 벡터의 중간값(median)에 기초하여 결정된다.
적어도 하나의 이웃의 양방향 예측 모드가 하이브리드(인터-인트라)이면, 현재 (직접 모드) 블록의 예측 모드도 또한 하이브리드(인터-인트라)일 수 있다. 이러한 예측 방법은 이웃 블록에 의해 이용된 예측 목록의 이용가능성에 따라 제한될 수 있다. 예를 들어, 양쪽 목록이 공간적인 이웃에 이용가능하면, 직접 모드 블록의 움직임 벡터는 이웃 중 하나가 하이브리드 예측을 이용하는 경우에 상관없이 중간 예측을 이용하여 다시 계산된다. 다른 한 편으로, 하나의 목록만이 이용가능한 경우(예를 들어, list_1), 이웃 중 하나가 하이브리드 예측을 이용하지만, 직접 모드 블록은 하이브리드 예측으로 또한 예측되는 한편 동일한 이용가능한 목록을 이용할 것이다. 더욱이, 하나를 초과하는 인접 블록이 하이브리드 예측을 이용하면, 몇몇 간단한 규칙은 예측에 사용될 인트라 모드에 관해 한정될 수 있다. 예를 들어, 인트라 16×16은 이 경우에 예측을 위한 간략함으로 인해 인트라 4×4를 대신할 수 있다. 인트라 4×4는 또한 직접 모드 블록 내에서 허용가능하지 않을 수 있지만, 사용된 경우, 모든 4×4 블록 방향은 이용가능한 경우 외부 매크로블록 예측을 이용하여 초기에 예측될 수 있다. 어떠한 외부 인트라 4×4 매크로블록도 이용가능하지 않으면, 인접 블록으로부터 이용가능한 가장 낮은 인트라 mb_type이 사용된다. 일반적으로, 공간적으로 이웃한 블록 중 하나를 초과하는 블록의 예측 모드가 인트라이면, 가장 낮은 순서의 인트라 예측이 사용되는 것이 바람직하지만, 인트라는 양쪽 목록이 이용가능한 경우 사용되지 않는 것이 바람직하다. 인트라는 또한 예측에 필요한 샘플이 이용가능하지 않은 경우 사용되지 않는다.
인-루프 디블록킹 필터
H.264/AVC 표준에 따른 비디오 인코더는, 주로 블록에서의 인접 픽셀과 매크로블록 MB 에지 사이의 상관을 증가시키고 디코딩된 화상에 도입된 블록킹(블록킹 결함)을 감소시키기 위해 인-루프 디블록킹 필터(in-loop deblocking filter)를 이용할 수 있다. 필터링된 디코딩된 화상은 다른 화상에 대한 움직임을 예측하는데 사용된다. 디블록킹 필터는 매크로블록의 압축 모드(인트라 또는 인터), 양자화 파라미터, 움직임 벡터, 프레임 또는 필드 코딩 결정 및 픽셀 값에 따라 그 세기를 조정하는 적응 필터이다. 더 작은 양자화 크기에 대해, 필터는 자체적으로 차단된다. 이러한 필터는 또한 슬라이스 레벨에서 인코더에 의해 명백히 차단될 수 있다. 디블록킹 필터에 대한 상이한 세기 및 방법은 인접한 블록 코딩 유형, 움직임 및 송신된 잔여물에 따라 이용된다. 본 발명의 실시예의 특징을 이용함으로써, 하이브리드 인트라-인터 매크로블록 유형이 인코딩 동안 인접한 픽셀을 고려하는 인트라 예측자를 이미 포함하기 때문에, 디블록킹 필터의 세기는 이에 따라 변형될 수 있다. 예를 들어, 블록이 하이브리드 코딩되고 그 예측 모드가 2개(또는 그 이상)의 예측(그 중 하나는 인트라)을 이용하고 추가 계수를 가지면, 대응하는 에지에 대한 필터 세기는 감소될 수 있다(예를 들어, 1만큼).
도 6은 본 발명의 일실시예에 따라 비디오 인코더(604) 및 비디오 디코더(605)를 도시하는 개략적인 블록도를 도시한다. 인코더(604)는 비디오 소스(602), 예를 들어 카메라로부터 이미지 시퀀스에 대한 데이터를 수신한다. 본 명세서에 개시된 방법에 따라 카메라로부터 데이터를 압축 및 인코딩 한 후에, 인코더(604)는 그 정보를 송신 시스템(606)으로 전달한다. 송신기(606)는 채널 매체(611)를 통해 하이브리드-인코딩된 매크로블록을 포함하는 비트스트림을 송신한다. 송신 채널 매체(611)는 무선, 케이블, 또는 임의의 다른 송신 또는 라우팅 구성일 수 있다. 인코더(604) 또는 디코더(605)의 회로는 예를 들어 모바일 또는 휴대용 2방향 무선, 또는 모바일 전화의 일부를 형성할 수 있다.
채널 매체(611)의 디코딩 측 상의 이동 이미지 디코딩 장치{디코더(605)}는 비트스트림 버퍼(631)에서 비트스트림을 수신하고, 이러한 비트스트림을 {비트스트림 분석기-프로세서(633)를 통해} 분석하고, 인트라 코딩된 프레임(A)으로부터 인코딩된 이미지 데이터를 디코딩하고, 프레임 A의 디코딩된 이미지 데이터를 프레임 메모리(635)에 저장한다. 인터 인코딩된 차이 데이터를 수신하자마자, 디코딩 장치{디코더(605)}는 프레임 A의 디코딩된 데이터로부터 움직임 보상 예측된 이미지를 생성한다. 프레임 A의 수신된 데이터에 에러가 없으면, 프레임 A의 디코딩된 이미지가 인코딩 장치{인코더(604)} 측 상에 프레임 A의 국부 디코딩된 이미지에 매칭하기 때문에, 이러한 디코딩된 데이터로부터 생성된 움직임 보상 예측된 이미지는 인코딩 장치{인코더(604)} 측 상에 움직임 보상 예측된 이미지에 매칭한다. 인코딩 장치{인코더(604)}가 본래 이미지와 움직임 보상 예측된 이미지 사이의 차이 이미지를 송신 출력하기 때문에, 디코딩 장치는 움직임 보상 예측된 이미지를 수신된 차이 이미지에 추가함으로써 프레임 B의 디코딩된 이미지를 생성할 수 있다. 디코딩 장치에 의해 수신된 프레임 A의 데이터가 에러를 포함하면, 프레임 A의 정확한 디코딩된 이미지가 생성될 수 없다. 그 결과, 움직임 보상 예측된 이미지의 에러 포함 부분으로부터 생성된 모든 이미지는 에러가 있는 데이터가 된다. 이러한 에러 있는 데이터는 리프레시 처리(refresh processing)가 인트라-인코딩에 의해 수행될 때까지 그 상태로 남아있다.
디코더(605)가 하이브리드-인코딩된 양방향 예측 데이터를 수신할 때, 인트라 코딩된 정보를 포함하는 하이브리드-코딩된 블록 데이터는 이미지 데이터 에러의 전파를 방지하거나 저지시키기 위해 디코더에서 이용될 수 있다. 이미지 또는 이미지 시퀀스의 일부 부분 또는 영역 또는 그 안의 대상은 다른 영역보다 에러에 더 중요하거나 에러에 더 영향을 받기 쉬운 것으로 사용자 또는 인코딩 장치에 의해 식별가능할 수 있다. 따라서, 인코딩 장치{인코더(604)}는 프레임 시퀀스에서 더 중요한 영역 또는 대상에서 매크로블록을 선택적으로 하이브리드-인코딩하도록 적응될 수 있어서, 이들 영역에서의 이미지 데이터 에러 전파는 방지되거나 감소된다.
도 7은 본 발명의 일실시예에 따라 일반적으로 참조 번호 700으로 표시된 예시적인 인코더를 도시한다. 인코더(700)는 합산 블록(714)의 양의 입력에 신호 통신 상태로 연결되는 비디오 입력 단자(712)를 포함한다. 합산 블록(714)은 계수를 제공하기 위해 정수 변환을 구현하기 위한 기능 블록(716)에 다시 연결된다. 기능 블록(716)은 출력 비트스트림을 제공하기 위해 엔트로피 코딩(entropy coding)을 구현하기 위한 엔트로피 코딩 블록(718)에 연결된다. 기능 블록(716)은 스케일링(scaling) 및 역변환 블록(722)에서 인-루프 부분(720)에 추가로 연결된다. 기능 블록(722)은 합산 블록(724)에 연결되고, 상기 합산 블록은 다시 인트라-프레임 예측 블록(726)에 연결된다. 인트라-프레임 예측 블록(726)은 결합 유닛(727)의 제 1 입력이고, 상기 결합 유닛(727)의 출력은 합산 블록(724)의 제 2 입력에 연결되고, 합산 블록(714)의 반전 입력에 연결된다.
합산 블록(724)의 출력은 디블록킹 필터(740)에 연결된다. 디블록킹 필터(740)는 프레임 저장부(728)에 연결된다. 프레임 저장부(728)는 움직임 보상(인터-프레임 예측) 블록(730)에 연결되고, 상기 움직임 보상 블록은 결합 유닛(727)의 제 2 입력에 연결된다.
결합 유닛(727)은 인트라-프레임 예측 블록(726)으로부터의 제 1 (인트라) 예측을 움직임 보상(인터-프레임 예측) 블록(730)으로부터의 제 2 (인터) 예측과 결합하여, 결과적인 결합된 (하이브리드 인트라-인터) 예측을 합산 블록(724)의 제 2 입력 및 합산 블록(714)의 반전 입력으로 출력한다. 본 발명의 몇몇 실시예에서, 결합 유닛(727)은 하나 이상의 이득 블록(도 9a를 참조)에 동작가능하게 연결된 합산 블록{예를 들어, 합산 블록(724 또는 714)과 유사한}으로서 구현될 수 있어서, 입력 인트라 및 인터 예측의 "평균", 또는 인트라 및 인터 예측의 상이하게 가중된 결합을 발생시킨다. 본 발명의 다른 실시예에서, 결합 유닛(727)은 순차적 가산기 회로로서 구현될 수 있는데, 상기 가산기 회로는 인트라-프레임 예측 블록(726)으로부터의 제 1 인트라 예측을 인트라-프레임 예측 블록(726)으로부터의 제 2 (예를 들어, 순차적) 인트라 예측과 결합하도록 적응되고; 인트라-프레임 예측 블록(726)으로부터의 제 1 (인트라) 예측을 움직임 보상 (인터-프레임 예측) 블록(730)으로부터의 제 2 (인터) 예측과 결합하도록 추가로 적응된다.
비디오 입력 단자(712)는 움직임 벡터를 제공하기 위해 움직임 추정 블록(719)에 추가로 연결된다. 디블록킹 필터(740)는 움직임 추정 (인터-프레임 예측) 블록(719)의 제 2 입력에 연결된다. 움직임 추정 블록(719)의 출력은 움직임 보상(인터-프레임 예측) 블록(730) 뿐 아니라 엔트로피 코딩 블록(718)의 제 2 입력에 연결된다.
비디오 입력 단자(712)는 코더 제어 블록(760)에 추가로 연결된다. 코더 제어 블록(760)은 인코더(700)의 동작을 제어하기 위한 제어 신호를 제공하기 위해 블록(716, 718, 719, 722, 726, 730 및 740) 각각의 입력을 제어하도록 연결된다.
도 8은 본 발명의 일실시예에 따라 일반적으로 참조 번호(800)로 표시된 예시적인 디코더를 도시한다. 디코더(800)는 입력 비트스트림을 수신하기 위한 엔트로피 디코딩 블록(810)을 포함한다. 디코딩 블록(810)은 스케일링 및 역변환 블록(822)에서 계수를 인-루프 부분(820)에 제공하기 위해 연결된다. 역변환 블록(822)은 합산 블록(824)에 연결되고, 상기 합산 블록(824)은 다시 인트라-프레임 예측 블록(826)에 연결된다. 인트라-프레임 예측 블록(826)은 결합 유닛(827)의 제 1 입력에 연결되고, 상기 결합 유닛(827)의 출력은 합산 블록(824)의 제 2 입력에 연결된다.
합산 블록(824)의 출력은 출력 이미지를 제공하기 위해 디블록킹 필터(840)에 연결된다. 디블록킹 필터(840)는 프레임 저장부(828)에 연결된다. 프레임 저장부(828)는 움직임 보상 (인터-프레임 예측) 블록(830)에 연결되고, 상기 움직임 보상 블록(830)은 결합 유닛(827)의 제 2 입력에 연결된다. 디코딩 블록(810)은 움직임 벡터를 움직임 보상 (인터-프레임 예측) 블록(830)의 제 2 입력에 제공하기 위해 추가로 연결된다.
디코더 결합 유닛(827)은, 인트라-프레임 예측 블록(826)으로부터의 제 1 (인트라) 예측을 움직임 보상 (인터-프레임 예측) 블록(830)으로부터의 제 2 (인터) 예측과 결합하여, 결과적인 결합된 (하이브리드 인트라-인터) 예측을 합산 블록(824)의 제 2 입력에 출력한다는 점에서 도 7의 인코더에서 결합 유닛(727)과 기능상 유사하다. 본 발명의 몇몇 실시예에서, 결합 유닛(827)은 하나 이상의 이득 블록(도 9a를 참조)에 동작가능하게 연결된 합산 블록{예를 들어, 합산 블록(824)과 유사함}으로서 구현될 수 있어서, 입력 인트라 및 인터 예측의 "평균", 또는 인트라 및 인터 예측의 상이하게 가중된 결합을 발생시킨다. 본 발명의 다른 실시예에서, 결합 유닛(827)은 순차 가산기 회로로서 구현될 수 있는데, 상기 순차 가산기 회로는 인트라-프레임 예측 블록(826)으로부터의 제 1 인트라 예측을 인트라-프레임 예측 블록(826)으로부터의 제 2 (예를 들어, 후속적) 인트라 예측과 결합하도록 적응되고; 인트라-프레임 예측 블록(826)으로부터의 제 1 (인트라) 예측을 움직임 보상 (인터-프레임 예측) 블록(830)으로부터의 제 2 (인터) 예측과 결합하도록 추가로 적응된다.
엔트로피 디코딩 블록(810)은 디코더 제어 블록(862)에 대한 입력을 제공하기 위해 추가로 연결된다. 디코더 제어 블록(862)은 제어 신호를 전달하고 디코더(800)의 동작을 제어하기 위해 블록(822, 826, 830, 840) 각각의 입력을 제어하도록 연결된다.
도 9a 및 도 9b는, 제 1 및 제 2 예측을 누적 결합하기 위한, 예를 들어 인트라 및 인터 예측을 누적 결합하기 위한 회로를 포함하는, 도 7의 인코더 또는 도 8의 디코더에서 결합 유닛(예를 들어, 727 또는 827)의 예시적인 실시예를 각각 도시하는 개략적인 블록도이다. 도 9a는 가산기 회로(Σ 신호로 표시됨)(A27)를 포함하는 예시적인 결합 회로(x27a){예를 들어 결합 회로(727 및 827)를 구현하기 위한}를 도시하는데, 상기 가산기 회로(A27)는 연결된 인트라-프레임 예측 블록(예를 들어, 726 또는 826)으로부터의 제 1 인트라 예측을 인트라-프레임 예측 블록(예를 들어, 726 또는 826)으로부터의 제 2 (예를 들어, 후속적) 인트라 예측과 결합하도록 적응되고; 인트라-프레임 예측 블록(예를 들어, 726 또는 826)으로부터의 제 1 (인트라) 예측을 움직임 보상 (인터-프레임 예측) 블록(예를 들어, 730 또는 830)으로부터의 제 2 (인터) 예측과 결합하도록 추가로 적응된다. 디지털 이득 블록(G1, G2, G3)은 결합될 복수의(예를 들어, 2) 예측의 가중화(또는 간단히 평균화)를 제공한다. 본 발명의 대안적인 실시예에서, 3개미만(예를 들어, 1 또는 2)의 디지털 이득 블록이 예를 들어 도 9b에 도시된 바와 같이 2개의 예측을 결합하도록 제공될 수 있음을 당업자는 인식할 것이다.
도 9b는 가산기 회로(Σ 신호로 표시됨)(A27)를 포함하는 예시적인 결합 유닛(x27b)(예를 들어, 727 및 827)을 도시하며, 상기 가산기 회로(A27)는 인트라-프레임 예측 블록(예를 들어, 726 또는 826)으로부터의 제 1 인트라 예측을 인트라-프레임 예측 블록(예를 들어 726 또는 826)으로부터의 제 2 (예를 들어, 후속적) 인트라 예측으로 평균화하도록 적응되고; 인트라-프레임 예측 블록(예를 들어, 726 또는 826)으로부터의 제 1 (인트라) 예측을 움직임 보상 (인터-프레임 예측) 블록(예를 들어, 730 또는 830)으로부터의 제 2 (인터) 예측으로 평균화하도록 추가로 적응된다. 절반(1/2)의 이득 값에서 고정되는 디지털 이득 블록(G3)은 가산기 회로(Σ 신호로 표시됨)(A27)로부터 출력된 2개의 예측 합의 나눗셈(평균화)을 제공한다.
본 발명의 다양한 양상은 범용 컴퓨터 또는 임의의 다른 적합한 컴퓨팅 환경에서 실행될 수 있는 소프트웨어로 구현될 수 있다. 본 발명은, 컴퓨터 판독가능 매체 상에 저장되는, 본 발명의 프레임간 디지털 비디오 인코딩을 수행하기 위한 컴퓨터-실행가능 지령을 실행하기 위해, 개인용 컴퓨터, 범용 컴퓨터, 서버 컴퓨터, 핸드-헬드 디바이스, 랩탑 디바이스, 멀티프로세서, 마이크로프로세서, 셋톱 박스, 프로그래밍가능 가전 기기, 네트워크 PC, 마이크로컴퓨터, 대형 컴퓨터(mainframe computer), 분산형 컴퓨팅 환경 등과 같은 다수의 범용 또는 특수용 컴퓨팅 환경에서 동작가능하다. 본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같이 컴퓨터-실행가능 지령으로서 부분적으로 또는 전체적으로 구현될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정한 추상적 데이터 유형을 구현하기 위해 루틴, 프로그램, 대상, 구성 요소, 데이터 구조를 포함한다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 국부 또는 원격 저장 디바이스에 위치할 수 있다.
본 발명의 예시적인 실시예는 위에서 설명되었고, 도면에 도시된다. 그러나, 본 발명은 전술한 예시적인 실시예에 한정되지 않고, 본 발명의 사상 및 범주 내에서 당업자에 의해 변경 및 변형이 달성될 수 있음이 명백하다. 그러므로, 예시적인 실시예는 제한이 아닌 예로서 이해되어야 한다. 본 발명의 범주는 상기 설명에 의해 결정되지 않고 첨부된 청구범위에 의해 결정되고, 첨부된 청구범위 및 등가물에 의해 한정된 바와 같이 본 발명의 범주에서 벗어나지 않고도 본 발명의 실시예에 대한 변경 및 변형이 이루어질 수 있다.
상술한 바와 같이, 본 발명은 일반적으로 디지털 비디오 코덱에 관한 것으로, 더 구체적으로 매크로블록을 위한 인트라 및 인터 코딩 모두의 하이브리드 이용 등에 이용된다.

Claims (33)

  1. 블록을 비디오 인코딩하는 방법으로서,
    현재 블록의 제 1 예측을 현재 블록의 제 2 예측과 결합하는 단계로서, 상기 현재 블록의 제 1 예측은 인트라 예측이고, 상기 현재 블록의 제 2 예측은 인터 예측인, 결합 단계를
    포함하는, 블록을 비디오 인코딩하는 방법.
  2. 제 1항에 있어서, 상기 블록을 인코딩하는 방법은 현재 블록의 제 1 예측 및 제 2 예측과 제 3 예측을 결합하는 단계를 포함하는, 블록을 비디오 인코딩하는 방법.
  3. 제 1항에 있어서, 상기 현재 블록은 직접(Direct) 모드 블록으로서 코딩되는, 블록을 비디오 인코딩하는 방법.
  4. 제 1항에 있어서, 상기 현재 블록에 인접한 픽셀 사이의 상관을 증가시키도록 적응된 디블록킹 필터(deblocking filter)의 필터 세기를 감소시키는 단계를 더 포함하는, 블록을 비디오 인코딩하는 방법.
  5. 제 1항에 있어서, 상기 제 2 예측은 널(null) 블록 예측인, 블록을 비디오 인코딩하는 방법.
  6. 제 1항에 있어서, 상기 제 1 예측 및 제 2 예측은 상기 제 1 예측 및 상기 제 2 예측을 평균화함으로써 결합되는, 블록을 비디오 인코딩하는 방법.
  7. 제 1항에 있어서, 상기 제 1 예측 및 제 2 예측은 상기 제 1 예측 및 제 2 예측 각각을 가중화(weighting)함으로써 결합되는, 블록을 비디오 인코딩하는 방법.
  8. 제 1항에 있어서, 상기 현재 블록은 16×16 매크로블록인, 블록을 비디오 인코딩하는 방법.
  9. 제 1항에 있어서, 상기 현재 블록은 서브-매크로블록인, 블록을 비디오 인코딩하는 방법.
  10. 제 1항에 있어서, 상기 현재 블록은 4×4 서브-매크로블록 분할인, 블록을 비디오 인코딩하는 방법.
  11. 송신을 위한 2차원 이미지 시퀀스의 프레임을 압축 및 인코딩하는 비디오 인코딩 방법으로서,
    상기 이미지 시퀀스의 프레임을 블록으로 나누는 단계와,
    상기 블록을 선택하는 단계와,
    송신을 위해 양방향 예측 하이브리드 인트라-인터 인코딩 모드로 상기 선택된 블록을 비트스트림으로 인코딩하는 단계를
    포함하는, 송신을 위한 2차원 이미지 시퀀스의 프레임을 압축 및 인코딩하는 비디오 인코딩 방법.
  12. 제 11항에 있어서, 인트라-인터 인코딩된 블록을 포함하는 상기 비트스트림을 송신하는 단계를 더 포함하는, 송신을 위한 2차원 이미지 시퀀스의 프레임을 압축 및 인코딩하는 비디오 인코딩 방법.
  13. 2차원 이미지의 시퀀스의 프레임 내에서 블록을 인코딩하기 위한 비디오 인코더로서,
    결합 유닛에 동작가능하게 연결되고 블록의 제 1 인트라 예측을 출력하기 위한 인트라-프레임 예측 블록과;
    상기 결합 유닛에 동작가능하게 연결되고 상기 블록의 제 1 인터 예측을 출력하기 위한 인터-프레임 예측 블록을 포함하며,
    상기 결합 유닛은 상기 제 1 인트라 예측과 상기 제 1 인터 예측을 결합하고 하이브리드 인트라-인터 코딩된 블록을 출력하도록 적응되는, 비디오 인코더.
  14. 제 13항에 있어서, 상기 결합 유닛은 상기 블록의 제 1 인트라 예측 및 상기 블록의 제 1 인터 예측을 누적 결합하기 전에 이들 중 적어도 하나를 가중화하도록 적응되는, 비디오 인코더.
  15. 제 13항에 있어서, 상기 결합 유닛은 상기 블록의 제 1 인트라 예측 및 상기 블록의 제 1 인터 예측을 함께 평균화하도록 적응되는, 비디오 인코더.
  16. 제 13항에 있어서, 상기 하이브리드 인트라-인터 코딩된 블록은 상기 제 1 인트라 예측 및 상기 제 1 인터 예측의 평균인, 비디오 인코더.
  17. 제 13항에 있어서, 상기 인트라-프레임 예측 블록은 상기 블록의 제 2 인트라 예측을 출력하도록 적응되고, 상기 결합 유닛은 상기 제 1 인트라 예측과 상기 제 2 인트라 예측을 누적 결합하도록 더 적응되는, 비디오 인코더.
  18. 제 13항에 있어서, 상기 인터-프레임 예측 블록은 상기 블록의 제 2 인터 예측을 출력하도록 더 적응되고; 상기 결합 유닛은 상기 제 1 인터 예측과 상기 제 2 인터 예측을 결합하도록 더 적응되는, 비디오 인코더.
  19. 송신을 위해 2차원 이미지 시퀀스의 프레임을 압축 및 인코딩하기 위한 비디오 인코더로서,
    상기 비디오 인코더는, 상기 이미지 시퀀스의 적어도 하나의 프레임으로부터 블록을 선택하고, 제 1 예측과 제 2 예측을 결합함으로써 상기 선택된 블록을 인코딩하도록 적응되고, 여기서 상기 적어도 제 1 예측은 현재 블록의 인트라 예측인, 비디오 인코더.
  20. 제 19항에 있어서, 상기 제 2 예측은 상기 현재 블록의 인터 예측인, 비디오 인코더.
  21. 제 19항에 있어서, 상기 제 2 예측은 상기 현재 블록의 인트라 예측인, 비디오 인코더.
  22. 제 19항에 있어서, 상기 인코더는 관련 기술의 인트라 인코딩 모드, 상기 관련 기술의 인터 인코딩 모드, 및 하이브리드 인트라-인터 인코딩 모드 사이에서 상기 현재 블록을 코딩하기 위해 선택하도록 더 적응되는, 비디오 인코더.
  23. 제 22항에 있어서, 상기 하이브리드 인트라-인터 인코딩 모드에서 현재 블록을 코딩하는 상기 단계는 상기 현재 블록의 인트라 예측과 상기 현재 블록의 인터 예측의 평균을 출력하는, 비디오 인코더.
  24. 제 22항에 있어서, 상기 하이브리드 인트라-인터 인코딩 모드에서 현재 블록 을 코딩하는 상기 단계는 상기 현재 블록의 인트라 예측과 상기 현재 블록의 인터 예측의 가중된 누적 결합을 출력하는, 비디오 인코더.
  25. 제 13항에 기재된 비디오 인코더를 포함하는, 모바일 전화.
  26. 멀티미디어 단말기로서,
    움직임 보상된 예측을 이용하여 디지털 비디오 시퀀스를 인코딩하도록 적응된 비디오 인코더를 포함하며, 상기 디지털 비디오 시퀀스는 다수의 프레임을 포함하고, 상기 비디오 인코더는, 상기 이미지 시퀀스의 적어도 하나의 프레임으로부터 블록을 선택하고 상기 선택된 블록을 인코딩하도록 적응되고, 상기 블록 각각을 인코딩하는 것은 제 1 예측과 제 2 예측을 결합하는 것을 포함하고, 상기 적어도 제 1 예측은 현재 블록의 인트라 예측인, 멀티미디어 단말기.
  27. 컴퓨터 시스템으로 하여금 제 1항의 방법을 수행하도록 하기 위해 그 안에 내장된 컴퓨터-판독가능 프로그램 코드를 갖는 컴퓨터-이용가능 매체.
  28. 컴퓨터 시스템으로 하여금 제 1항의 방법을 수행하도록 하기 위해 컴퓨터에 의해 판독가능한 프로그램을 저장하는 리코딩 매체.
  29. 블록을 비디오 인코딩하는 방법으로서,
    현재 블록에 대한 제 1 예측 유형을 현재 블록에 대한 제 2 예측 유형과 결합하는 단계를 포함하며,
    상기 제 1 예측 유형과 제 2 예측 유형의 결합은 하이브리드 예측 유형을 형성하는, 블록을 비디오 인코딩하는 방법.
  30. 제 29항에 있어서, 상기 결합 단계는 합산 블록을 이용하여 실행되는, 블록을 비디오 인코딩하는 방법.
  31. 제 29항에 있어서, 상기 2개의 예측 유형을 결합하는 단계는 상기 2개의 예측 유형의 간단한 평균을 수행함으로써 달성되는, 블록을 비디오 인코딩하는 방법.
  32. 제 29항에 있어서, 상기 2개의 예측 유형을 결합하는 단계는 상기 2개의 예측 유형의 가중된 결합을 적용함으로써 달성되는, 블록을 비디오 인코딩하는 방법.
  33. 인트라 및 인터 예측 데이터 모두로부터 결합된 예측 데이터를 포함하는 디지털 비디오 데이터 신호.
KR1020067003409A 2003-08-26 2004-08-24 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치 Expired - Lifetime KR101089738B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US49781603P 2003-08-26 2003-08-26
US60/497,816 2003-08-26
PCT/US2004/027434 WO2005022920A1 (en) 2003-08-26 2004-08-24 Method and apparatus for encoding hybrid intra-inter coded blocks

Publications (2)

Publication Number Publication Date
KR20060069838A true KR20060069838A (ko) 2006-06-22
KR101089738B1 KR101089738B1 (ko) 2011-12-07

Family

ID=34272608

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020067003409A Expired - Lifetime KR101089738B1 (ko) 2003-08-26 2004-08-24 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치
KR1020067003635A Expired - Lifetime KR101050828B1 (ko) 2003-08-26 2004-08-24 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020067003635A Expired - Lifetime KR101050828B1 (ko) 2003-08-26 2004-08-24 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US8085845B2 (ko)
EP (2) EP1658728A1 (ko)
JP (3) JP5052891B2 (ko)
KR (2) KR101089738B1 (ko)
CN (3) CN1843038B (ko)
BR (2) BRPI0413647A (ko)
MX (2) MXPA06002210A (ko)
WO (2) WO2005022920A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383436B1 (ko) * 2010-07-28 2014-04-11 퀄컴 인코포레이티드 Gpb 프레임들에서의 양방향 움직임 벡터들의 공동 코딩
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
KR20200128065A (ko) * 2018-02-28 2020-11-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합

Families Citing this family (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
CN1843038B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
KR20070033364A (ko) * 2004-05-25 2007-03-26 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 디지털 비디오 데이터 인코딩 방법 및 장치
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
US8311113B2 (en) * 2004-11-12 2012-11-13 Broadcom Corporation Method and system for using motion prediction to equalize video quality across intra-coded frames
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
KR101147744B1 (ko) * 2005-02-22 2012-05-25 엘지전자 주식회사 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN101578883A (zh) * 2005-09-26 2009-11-11 皇家飞利浦电子股份有限公司 改进视频错误隐藏的编解码方法及装置
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock
JP4666255B2 (ja) * 2005-12-27 2011-04-06 日本電気株式会社 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
EP2323405A1 (en) 2006-04-28 2011-05-18 NTT DoCoMo, Inc. Image predictive coding and decoding device, method and program
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
US9204173B2 (en) * 2006-07-10 2015-12-01 Thomson Licensing Methods and apparatus for enhanced performance in a multi-pass video encoder
JPWO2008012918A1 (ja) * 2006-07-28 2009-12-17 株式会社東芝 画像符号化と復号の方法及び装置
KR100904444B1 (ko) * 2006-09-07 2009-06-26 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
FR2906433B1 (fr) * 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
FR2908007A1 (fr) * 2006-10-31 2008-05-02 Thomson Licensing Sas Procede de codage d'une sequence d'images
KR101375669B1 (ko) 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN101554058B (zh) * 2006-11-07 2011-09-21 三星电子株式会社 基于帧内预测进行编码和解码的方法和装置
RU2387094C1 (ru) * 2006-11-09 2010-04-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования/декодирования видеосигнала
US7742532B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for applying de-blocking filter to a video signal
US20080159407A1 (en) 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
US20100118943A1 (en) * 2007-01-09 2010-05-13 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding image
KR101365569B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
KR101475365B1 (ko) 2007-04-09 2014-12-23 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JP5372341B2 (ja) * 2007-05-18 2013-12-18 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP5372352B2 (ja) * 2007-04-09 2013-12-18 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8681855B2 (en) * 2007-10-12 2014-03-25 Thomson Licensing Method and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
WO2010035730A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
TWI498003B (zh) * 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
US20110286513A1 (en) * 2009-02-05 2011-11-24 Yunfei Zheng Methods and apparatus for adaptive mode video encoding and decoding
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US20100246675A1 (en) * 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
WO2011004027A2 (en) 2009-07-10 2011-01-13 British Broadcasting Corporation Compression of pictures
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US8971400B2 (en) * 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US9118929B2 (en) 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US8521006B2 (en) * 2010-05-06 2013-08-27 Intel Corporation Boundary detection in media streams
HRP20230003T1 (hr) * 2010-12-22 2023-02-17 Lg Electronics Inc. Postupak internog predviđanja i uređaj koji upotrebljava navedeni postupak
SG191845A1 (en) * 2011-01-12 2013-08-30 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
US9066104B2 (en) 2011-01-14 2015-06-23 Google Inc. Spatial block merge mode
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
JP5415495B2 (ja) * 2011-08-15 2014-02-12 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
CN102387364B (zh) * 2011-10-27 2013-10-23 江苏大学 一种快速帧内模式选择算法
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US8737824B1 (en) * 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JPWO2014049981A1 (ja) * 2012-09-28 2016-08-22 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
CA2928495C (en) 2013-10-14 2020-08-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
EP3720132A1 (en) 2013-10-14 2020-10-07 Microsoft Technology Licensing LLC Features of color index map mode for video and image coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
CN105612749A (zh) * 2013-10-17 2016-05-25 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP3114842A4 (en) 2014-03-04 2017-02-22 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
KR102780333B1 (ko) 2014-06-19 2025-03-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
EP3217663A4 (en) * 2014-11-06 2018-02-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
CN104601989A (zh) * 2015-01-19 2015-05-06 北京北方常安铁路电务工程技术有限公司 视频编码方法
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP2015146599A (ja) * 2015-03-11 2015-08-13 インテル コーポレイション レイヤ間画素サンプル予測
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
CA2997097C (en) * 2015-08-28 2022-06-07 Kt Corporation Method and device for processing video signal
CN115941949A (zh) * 2016-01-27 2023-04-07 韩国电子通信研究院 通过使用预测对视频进行编码和解码的方法和装置
US10404989B2 (en) * 2016-04-26 2019-09-03 Google Llc Hybrid prediction modes for video coding
EP3985967B1 (en) * 2016-07-05 2025-08-20 KT Corporation Method and apparatus for processing video signal
EP3301915A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
WO2018066863A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117041560A (zh) 2016-12-07 2023-11-10 株式会社Kt 对图像信号进行解码或编码的方法和存储视频数据的设备
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
EP3487177A1 (en) * 2017-11-21 2019-05-22 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
CN117176958A (zh) * 2017-11-28 2023-12-05 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
WO2019124191A1 (ja) 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019124193A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR20230021187A (ko) * 2018-02-14 2023-02-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
KR20250099255A (ko) 2018-04-04 2025-07-01 닛폰 호소 교카이 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
EP3793193A4 (en) * 2018-05-10 2022-05-25 Samsung Electronics Co., Ltd. ENCODING METHODS AND RELATED DEVICE, AND DECODING METHODS AND RELATED DEVICE
FR3081657A1 (fr) * 2018-06-27 2019-11-29 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
CA3219332A1 (en) 2018-07-04 2020-01-09 Ru Ling Liao Encoder, decoder, encoding method, and decoding method
TWI720551B (zh) 2018-07-18 2021-03-01 聯發科技股份有限公司 一種視訊編解碼的幀間預測方法及裝置
US11051010B2 (en) * 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
JP7228980B2 (ja) * 2018-09-21 2023-02-27 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
WO2020056798A1 (zh) 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
RU2766152C1 (ru) 2018-11-08 2022-02-08 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ и устройство для кодирования/декодирования сигнала изображения
CN117528075A (zh) 2018-11-12 2024-02-06 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
US11310515B2 (en) 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode
WO2020098803A1 (en) * 2018-11-15 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Harmonization between affine mode and other inter coding tools
US11652984B2 (en) * 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
WO2020098782A1 (en) * 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Weights in combined inter intra prediction mode
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020103877A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Coding and decoding of video coding modes
KR20240024335A (ko) 2018-11-22 2024-02-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN111294590A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 用于多假设编码的加权预测方法及装置
NZ777166A (en) 2018-12-07 2022-11-25 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
AU2019398124B2 (en) 2018-12-11 2025-04-17 Interdigital Vc Holdings, Inc. Method and apparatus for deblocking an image
JP7418152B2 (ja) 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
GB2580036B (en) * 2018-12-19 2023-02-01 British Broadcasting Corp Bitstream decoding
JP7351908B2 (ja) * 2019-01-17 2023-09-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
JP2020150340A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
CN117176969A (zh) 2019-05-11 2023-12-05 抖音视界有限公司 用于视频编解码的去方块滤波器
WO2020228662A1 (en) 2019-05-11 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Boundary strength determination for deblocking filters in video processing
FI3989582T3 (fi) * 2019-06-23 2024-08-30 Lg Electronics Inc Menetelmä ja laite syntaksisignalointia varten videon-/kuvankoodausjärjestelmässä
US11336900B2 (en) * 2019-06-26 2022-05-17 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
KR102808776B1 (ko) 2019-08-13 2025-05-15 두인 비전 컴퍼니 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
WO2021052507A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
CN119996675A (zh) * 2019-09-23 2025-05-13 韩国电子通信研究院 图像编码/解码方法和装置及存储比特流的记录介质
WO2023224280A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 혼합 성분간 예측을 사용하는 비디오 코딩을 위한 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0380784A (ja) 1989-08-24 1991-04-05 Sony Corp テレビ信号の符号化装置
US5365604A (en) * 1993-01-14 1994-11-15 Rca Thomson Licensing Corporation Error concealment apparatus for video signal processors
GB2286740B (en) 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
JPH07274176A (ja) 1994-03-30 1995-10-20 Toshiba Corp 動画像伝送装置
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
JP2002359852A (ja) 1996-05-28 2002-12-13 Matsushita Electric Ind Co Ltd 画像予測復号化装置及び方法
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
EP0949822A3 (en) 1998-04-07 2004-07-28 Matsushita Electric Industrial Co., Ltd. Video coding control method and apparatus
US7313318B2 (en) * 1998-06-17 2007-12-25 Victor Company Of Japan, Limited Video signal encoding and recording apparatus with variable transmission rate
AU717480B2 (en) 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US6898243B1 (en) 1999-11-12 2005-05-24 Conexant Systems, Inc. Apparatus and methods for down-conversion video de-interlacing
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
US6532264B1 (en) * 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
CA2468087C (en) * 2001-11-21 2013-06-25 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US7173971B2 (en) * 2002-11-20 2007-02-06 Ub Video Inc. Trailing artifact avoidance system and method
US7657111B2 (en) 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
CN1843038B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383436B1 (ko) * 2010-07-28 2014-04-11 퀄컴 인코포레이티드 Gpb 프레임들에서의 양방향 움직임 벡터들의 공동 코딩
US9357229B2 (en) 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
KR20200128065A (ko) * 2018-02-28 2020-11-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합
KR20230074302A (ko) * 2018-02-28 2023-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합

Also Published As

Publication number Publication date
KR101089738B1 (ko) 2011-12-07
KR20070033309A (ko) 2007-03-26
EP1658728A1 (en) 2006-05-24
JP2007503775A (ja) 2007-02-22
US20070047648A1 (en) 2007-03-01
CN1843037B (zh) 2010-09-22
JP2007503777A (ja) 2007-02-22
JP5052891B2 (ja) 2012-10-17
KR101050828B1 (ko) 2011-07-21
WO2005022920A1 (en) 2005-03-10
EP1658729A1 (en) 2006-05-24
CN1843038B (zh) 2010-09-22
BRPI0413647A (pt) 2006-10-17
MXPA06002210A (es) 2006-05-19
MXPA06002212A (es) 2006-05-19
WO2005022919A1 (en) 2005-03-10
BRPI0413988A (pt) 2006-11-07
CN1843038A (zh) 2006-10-04
US8085845B2 (en) 2011-12-27
CN101917621A (zh) 2010-12-15
JP2011211734A (ja) 2011-10-20
CN1843037A (zh) 2006-10-04

Similar Documents

Publication Publication Date Title
KR101089738B1 (ko) 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치
US8085846B2 (en) Method and apparatus for decoding hybrid intra-inter coded blocks
US10536704B2 (en) Inter-prediction method and apparatus for same
EP2537344B1 (en) Block type signalling in video coding
US8665964B2 (en) Video coding based on first order prediction and pre-defined second order prediction mode
US20090110066A1 (en) Method and Apparatus for Selecting a Coding Mode
US20080025397A1 (en) Intra-Frame Flicker Reduction in Video Coding
US12126815B2 (en) Inter-prediction method and apparatus for same
US20230362402A1 (en) Systems and methods for bilateral matching for adaptive mvd resolution
WO2025250368A1 (en) Improvements on frame level motion vector for temporal interpolated prediction
Wu et al. A real-time H. 264 video streaming system on DSP/PC platform
Schäfer et al. H. 264/AVC
HK1103896A (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20060220

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20090819

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20101026

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110921

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20111129

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20111130

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20141107

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20141107

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20151030

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20151030

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20161028

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20171027

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20181112

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20181112

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201119

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20211119

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231121

Start annual number: 13

End annual number: 13

PC1801 Expiration of term

Termination date: 20250224

Termination category: Expiration of duration