KR100984612B1

KR100984612B1 - 비디오 화상에 대한 글로벌 모션 보상

Info

Publication number: KR100984612B1
Application number: KR1020047008210A
Authority: KR
Inventors: 스예베르그리카르트; 아이나르슨토르뵈예른; 프뢰즈드흐페르
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2001-11-30
Filing date: 2002-11-29
Publication date: 2010-09-30
Anticipated expiration: 2022-11-29
Also published as: CY1110811T1; CN100380973C; EP1449383B1; BR0214328A; WO2003047268A3; BRPI0214328B1; US20030123738A1; AU2002353749B2; RU2004119839A; DE60236886D1; CA2467496A1; RU2307478C2; PT1449383E; CN1633812A; AU2002353749A1; ATE472899T1; JP4440640B2; JP2005510983A; ZA200403131B; WO2003047268A2

Abstract

본 발명은 비디오 데이터를 코딩 및 디코딩하는 시스템 및 방법에 관한 것이다. 비디오 데이터 압축 시스템 및 방법에서, 비디오 프레임(32)은 영상 블록(38)의 시퀀스로 분할되는데, 여러 가능한 블록-코딩 모드중 하나는 예측된 모션 벡터만큼 변위되는 사전 프레임(32)으로부터 픽셀을 복제하는데 사용되는 암시적 글로벌 모션 보상(IGMC) 모드이다. 본 발명의 비디오 데이터 압축 시스템 및 방법의 또 다른 실시예에서, 비디오 프레임(32)은 슬라이스(36)의 시퀀스로 세그먼트되는데, 각 슬라이스(36)는 다수의 매크로블록(38)을 포함한다. 각 슬라이스(36)는 엔코딩되고, 신호는 엔코딩된 슬라이스(40)의 헤더(44)에 포함되어 슬라이스(40)가 인에이블되는 GMC 인지 여부, 즉 글로벌 모션 보상이 엔코딩된 슬라이스를 재구성하는데 사용되는지 여부를 나타낸다. 만일 그렇다면, 한 세트의 모션 벡터(42a-42d)를 나타내는 정보와 같은 GMC 정보에는 슬라이스가 포함된다. 통상적인 실시예에서, 프레임(32)의 각 슬라이스(36)는 동일한 GMC 정보를 포함하여, 에러에 대한 복원력을 향상시킨다. 또 다른 실시예에서, 프레임(32)의 상이한 슬라이스(36)는 상이한 GMC 정보를 포함한다. 어느 한 실시예에서, 특정 엔코딩된 슬라이스(40)의 각 영상에 대한 모션 벡터(42a-42d)는 특정 엔코딩된 슬라이스에만 포함되는 GMC 정보를 사용하여 재구성될 수 있다.

슬라이스, 프레임, 모션 벡터, 매크로블록, 영상 블록

Description

비디오 화상에 대한 글로벌 모션 보상{GLOBAL MOTION COMPENSATION FOR VIDEO PICTURES}

관련 출원의 교차 참조

본 특허 출원은 2001년 11월 30일에 출원된 공동 계류중인 미국 가특허 출원 60/334,979의 우선권의 이점을 주장하고 이 출원의 전체 내용을 참조한 것이다.

본원에 개시되고 주장된 본 발명은 일반적으로, 비디오 신호 데이터를 압축하는 방법에 관한 것이다. 특히, 본 발명은 글로벌 모션 보상(global motion compensation)을 사용하는 상기 유형의 방법에 관한 것이다. 특히, 본 발명의 일부 실시예들은 매크로블록(macroblocks)이 슬라이스로 그룹화되고 글로벌 모션 보상이 엔코딩된 슬라이스로 전송되는 상기 유형의 방법에 관한 것이다.

본 발명의 실시예들은 비디오 화상회의 시스템의 부분으로서 그리고 비디오를 디코딩하기 위한 PCs, 랩탑 등을 포함한 컴퓨터에서, 표준 텔레비젼 디코더(SDTV) 및 고 선명 디지털 TV(HDTV) 신호들과 관련하여 사용될 수 있다. 이들 실시예들은 또한, 디지털 시네마 프로젝트내의 디코더의 부분으로서 그리고 비디오 레코더, 플레이어 및 가정 오락 시스템에서, 이동 전화 및 PDAs와 같은 이동 장치에 사용될 수 있다. 그러나, 본 발명은 이와 같은 실시예들로 제한되지 않는다.

비압축된 형태의 디지털 비디오 신호는 통상적으로, 대량의 데이터를 포함한다. 그러나, 실제 필요한 정보 내용은 높은 일시적이고 공간적인 상관으로 인해 상당히 작게된다. 따라서, 비디오 압축 또는 코딩은 비디오 신호의 저장 또는 한 위치에서 또 다른 위치로 비디오 신호를 전송과 같은 어떤 작업에 실제 필요한 데이터 량을 감소시키는데 사용된다. 코딩 공정에서, 일시적인 용장성은 소위 모션 압축 예측을 행함으로써 사용될 수 있는데, 이 예측에서 비디오 프레임의 영역은 사전 프레임의 유사한 영역으로부터 예측된다. 즉, 사전 프레임의 대응 부분으로부터 거의 또는 전혀 변경되지 않는 프레임 부분이 존재할 수 있다. 따라서, 이와 같은 영역은 스킵되거나 비-코딩되어, 압축 효율을 최대화 한다. 다른 한편으로, 사전 프레임과의 양호한 정합이 발견될 수 없는 경우, 프레임 내의 예측은 공간 용장도를 감소시키는데 사용될 수 있다. 성공적인 예측 방식에 따라서, 예측 에러는 작게되고 코딩되어야 하는 정보량은 상당히 감소된다. 게다가, 예를 들어 이산 코사인 변환에 의해 픽셀을 주파수 도메인으로 변환시킴으로써, 공간 상관은 효율성면에서 보다 큰 이득을 제공한다.

본원에서, 용어 "화상" 및 "프레임"은 호환가능하게 사용되어 비디오 시퀀스에서 영상 데이터의 프레임과 관련한다.

높은 일시적인 상관은 비디오의 특성이다. 그러므로, 비디오 압축을 최적화하고자 하는 많은 노력은 프레임의 영역에 대한 정확한 일시적인 예측을 행하는데 중점을 두고 있다. 예측이 양호하면 양호할수록, 불일치성을 코딩하는데 필요한 비트는 작게된다. 예측 자체는 사전에 코딩된 영역을 어떻게 변환시키며, 심지어 어떻게 스케일링하거나 회전시키는지에 대한 명령에 따라 코딩된다. 많은 프레임 영역이 팬 또는 줌(pan or zoom)에서 처럼 유사한 모션을 갖는 경우, 별도로 글로벌 모션을 코딩함으로써 압축 효율이 더욱 개선될 수 있으며, 이는 프레임의 모든 영역 또는 일부 영역에 인가된다. 이 기술을 종종, 글로벌 모션 보상(GMC)라 한다.

그러나, 글로벌 모션 보상이 사용될 때 전체 프레임을 처리하지 않아야만 하는 여러가지 이유가 존재한다. 첫번째 이유는 에러 복원력(error resilience) 때문이다. 파손된 영상 부분으로터 에러 전파되는 것을 방지하기 위하여, 예측은 종종, 슬라이스라 칭하는 경계진 세그먼트(bounded segments)내에서 구속된다. 그러므로, 각 프레임의 슬라이스는 또한, 글로벌 모션 정보에 관하여 자체 포함되어야 한다. 또 다른 이유는, 프레임의 보다 작은 부분이 각 부분에 개별적으로 가해지는 글로벌 모션 보상으로부터의 이점을 얻을지라도 글로벌 모션 보상이 전체 프레임동안 관련될 수 없기 때문이다.

정지 영상 코딩 대 모션 보상

ITU-R Recommendation H.261 및 H.263, MPEG-1 part 2, MPEG-2 part 2(H.262), 또는 MPEG-4 part 2와 같은 전형적인 비디오 코덱은 비디오 시퀀스를 한 프레임 씩 순차적으로 엔코딩함으로써 동작된다. 프레임은 또한, 최상부 좌측 코너에서 시작하여 최하부 우측 코너에서 종료하는, 한 행(row)씩 순차적으로 코딩되는 블록으로 분할된다. 전형적인 블록 크기는 16×16 루미넌스 픽셀(luminance pixels)을 커버하는 매크로블록(MB)의 크기이다.

이 시퀀스에서 제1 프레임은 내부 프레임(intra frame)이라 칭하는 정지 영상으로서 엔코딩된다. 이와 같은 프레임은 자체 포함되고 사전 코딩된 프레임에 좌우되지 않는다. 그러나, 이들은 시퀀스의 시작에서 사용될 뿐만 아니라, 화면 컷(scene cut)과 같이 비디오가 급작스럽게 변경되는 순간 또는 랜덤-액세스 포인트를 갖는 경우에 유용하게 사용될 수 있으며, 상기 랜덤-액세스 포인트로부터, 디코더는 사전에 비트스트림 부분을 디코딩함이 없이 디코딩을 시작할 수 있다. 내부-코딩된 매크로블록의 픽셀 값은 통상적으로, 예를 들어, 최종 비트스트림의 크기를 감소시키기 위하여 양자화된 변환 계수 및 이산 코사인 변환을 사용하여 주파수 도메인으로 변환된다.

대조적으로, 내부 프레임은 초기 프레임에 대해 모션-보상된 차 영상으로서 코딩된다. 기준으로서 이미 디코딩된 프레임(재구성된 프레임)을 사용함으로써, 비디오 코더는 각 매크로블록에 대해 한 세트의 모션 벡터(MVs) 및 계수를 신호화될 수 있다. 모션 벡터(매크로블록이 분할되는 방법에 따라 하나 또는 여러개)는 기준 프레임의 대응 영역을 공간적으로 변환시키는 방법을 디코더에 통지하여, 고려중인 매크로블록에 대해 예측을 행한다. 이를 모션 보상이라 한다. 예측 및 원래 간의 차이는 변환 계수에 의해 엔코딩된다. 그러나, 프레임 간의 모든 매크로블록이 모션 보상을 필요로 하지는 않는다. 기준 매크로블록으로부터 현재 매크로블록으로의 변경이 작은 경우, 매크로블록은 복제(COPY) 모드로 코딩될 수 있는데, 즉 그 자체가 코딩되는 것이 아니라 복제되어 신호화될 수 있다. COPY 모드 구현방식의 예는 ITU-T Recommendation H.263 "Coded macroblock indication(COD)(1 bit)"의 5.3.1 장을 참조하라. 다른 한편으로, 매크로블록이 실질적으로 상이한 경우, 이를 내부 매크로블록으로서 코딩하는 것이 보다 양호하다.

H.263에서 글로벌 모션 보상

단지 블록을 토대로 모션 보상을 처리하는 대신에, 개별적으로 프레임의 글로벌 모션을 추출하여 각 블록에 대한 글로벌 모션으로부터의 편차(deviation)를 코딩하는 것이 유용하다. 통과 또는 줌잉 시퀀스에서 또는 큰 물체가 프레임에 걸쳐 이동할 때, 전체 모션 정보는 이와 같은 방식에 의해 최소로 유지될 것이다. 널리 공지된 기술은 프레임 간 코딩되기 전 코딩 공정에서 가산 단계를 부가하는 것이다. H.263의 부록 P "Reference Picture Resampling"은 프레임의 코너 픽셀의 변위를 규정하는 4개의 변위 벡터

가 제공된 기준 화상을 "랩핑(wraping)"하는 방법을 제공한다. 도1은 기준 프레임을 도시한 것인데, 이들 벡터 각각은 코너 픽셀(8)로부터 각각 확장된다. 모든 다른 픽셀의 변위는 이들 벡터에 대한 쌍일차 보간으로 제공된다.

여기서(x,y)는 픽셀의 초기 위치이며, H 및 V는 기준 프레임에서 코너 픽셀 의 위치를 나타낸다.

이들 식을 실행하기 위한 상세한 설명은 Recommendation H.263을 참조하여 행해진다. 이 글로벌 보상이 다음 또는 프레임 간에 대해 사용될 때, 기준 프레임은 상기 보간을 사용하여 한 픽셀씩 재샘플링된다. 재샘플링이 수행된 후, 코더는 재샘플링된 기준 프레임을 토대로 프레임 간 코딩으로 계속될 수 있다.

MPEG-4 part 2에서 글로벌 모션 보상

글로벌 모션 보상은 또한, 소위 S(GMC)-VOPs를 사용하는 MPEG-4 가시 표준에서 규정된다. 여기서, 글로벌 모션 보상은 H.263 부록 P.에 대한 것으로서 한 픽셀씩 적용된다. 그러나, (보간된) 글로벌 모션 보상된 기준 프레임이 사용되는지 여부를 매크로블록 레벨상에서 선택할 수 있다.

H.26L을 위하여 제안된 글로벌 모션 보상

ITU-T는 새로운 비디오 코딩 표준, 즉 Recommendation H.26L을 현재 개발중인데, 이는 또한, MPEG-4 AVC(ISO/IEC 14496-10)이라 칭하는 ISO/IEC에 의한 국제 표준으로서 함께 공개될 것이다. 현재 H.26L 표준은 프레임 및 매크로블록과 함께 상술된 일반적인 비디오 코딩 설계를 따르는데, 여기서 각 화상은 화상 매크로블록 보다 앞서 화상 헤더에 의해 엔코딩된다. 이 표준이 도8-9와 관련하여 보다 상세히 후술된다.

비디오 프레임에 대한 글로벌 모션 보상을 사용시 큰 단점은 전체 프레임을 처리함으로써 야기된 에러 복원력 및 유연성의 손실이다. 따라서, 글로벌 모션 벡터가 예를 들어, 화상의 맨 처음에서 화상에 대해 단지 1회 코딩되고 이 비트스트림 부분이 전송동안 상실되는 경우, 전체 화상은 파손될 것이다. 따라서, 화상 전체에 걸쳐서 블록에 대한 모션 벡터는 디코딩될 수 없고 감춰져야만 한다. 이와 같은 에러는 또한, 다음 화상이 화상간에 있을 수 있기 때문에, 적시에 전파될 수 있어, 파손된 화상을 기준으로서 사용하게 한다. 특히, H.26L 표준에 대한 제안된 글로벌 모션 벡터 코딩(GMVC) 설계에 관한 또 다른 문제는 프레임의 부분에 대한 상이한 글로벌 모션이 규정될 수 없다는 것이다.

본 발명은 글로벌 모션 보상을 슬라이스로 세그먼트된 프레임에 적용함으로써 프레임에 대한 글로벌 모션 보상을 사용하여 상술된 문제를 처리하는 것이다. 각 슬라이스는 예측을 위하여 그 자체 외부의 매크로블록으로부터 모션 벡터를 사용하지 않는 자체 포함된 유닛으로서 처리된다. 각 슬라이스에 대한 글로벌 모션 벡터를 코딩함으로써, 슬라이스 내의 모든 모션 벡터는 자체 포함되는 방식으로 구성되거나 디코딩될 수 있다. 게다가, 글로벌 모션 벡터는 각 슬라이스에 상이하게 인가되거나, 전체 프레임을 기준화하는 글로벌 모션 벡터를 반복하도록 사용될 수 있다. 각 슬라이스에 대한 글로벌 모션 보상을 시그널링함으로써, 글로벌 모션 보상의 장점은 에러 복원력을 무시함이 없이 실현될 수 있다. 게다가, 압축 효율성은 본 발명이 글로벌 모션을 보다 작은 영역에 대해 보다 양호하게 부합되도록 하기 때문에 개선될 수 있다.

부가적인 이점으로서, 본 발명은 (IGMC: Implicit Global Motion Compensation)이라 칭하는 글로벌 모션 보상을 위한 새로운 모드를 도입한다. 이 모드는 COPY 모드 보다 유용한 MB 모드를 필요로 하는 많은 코딩 시나리오에서 도구로서 사용되어, 모션 벡터에 필요한 총 비트 수를 최소화한다. COPY 모드에서, 모션 벡터는 항상 제로이다. 대조적으로, IGMC는 예측되는 암시적 모션 벡터(implicit motion vectors)를 사용한다.

본 발명은 비디오 프레임을 블록 시퀀스로 분할함으로써 유도된 영상 블록에 사용하기 위한 비디오 데이터 압축 방법에 관한 것이다. 바람직한 실시예에서, 블록은 16×16(루미넌스) 픽셀을 포함하는 매크로블록이며, 여러 가능한 매크로블록 코딩 모드 중 하나는 IGMC 모드이다. 이 모드는 현재 프레임의 이웃하는 영상 블록으로부터 예측되는 모션 벡터만큼 변위되는 나란히 배열된 블록의 사전 프레임으로부터 픽셀을 복제하는데 사용된다.

본 발명의 또 다른 부분은 비디오 프레임을 슬라이스의 시퀀스로 세그먼트화함으로써 유도된 슬라이스와 함께 사용하기 위한 비디오 데이터 압축 방법에 관한 것이며, 각 슬라이스는 다수의 영상 블록을 포함한다. 이 방법은 대응하는 엔코딩된 슬라이스를 생성하기 위하여 각 슬라이스의 데이터를 엔코딩하는 단계, 글로벌 모션 보상(GMC)이 대응하는 원래 슬라이스를 재구성하는데 사용되는지 여부를 나타내기 위하여 신호를 각 엔코딩된 슬라이스에 인가하는 단계 및, 만일 그렇다면, 엔코딩된 슬라이스를 지닌 GMC 정보를 포함하는 단계를 포함한다. 바람직하게는, 엔코딩된 슬라이스의 각 영상 블록의 모션 벡터는 슬라이스 내에 포함된 GMC 정보 만을 사용하여 재구성될 수 있다. 일 실시예에서, 2개 이상의 엔코딩된 슬라이스는 동일한 GMC 정보를 포함한다. 또 다른 실시예에서, 2개 이상의 엔코딩된 슬라이스는 상이한 GMC 정보를 포함한다. 통상적으로, 프레임 각각의 슬라이스에 의해 포함된 GMC 정보는 비디오 프레임에 각각 기준으로 된 글로벌 모션 벡터를 포함한다.

바람직한 실시예에서, 소정의 엔코딩된 슬라이스에 포함된 GMC 정보는 엔코딩된 글로벌 모션(GM) 벡터의 세트를 포함하거나 나타낸다. GM 벡터 세트는 쌍일차 보간과 함께 사용되어, 소정의 엔코딩된 슬라이스에 포함된 각 픽셀에 대한 글로벌 모션 보상을 계산한다. 대안적으로, GM 벡터는 쌍일차 보간과 함께 사용되어, 소정 엔코딩된 슬라이스를 포함하는 4×4 픽셀 블록의 어레이내의 각 블록에 대한 글로벌 모션 보상을 계산한다.

또 다른 실시예에서, 특정 엔코딩된 슬라이스는 비디오 프레임으로부터 유도된 글로벌 모션 보상된 기준 프레임에 위치된 각 대응하는 영상 블록을 복제함으로써 특정 엔코딩된 슬라이스의 영상 블록의 엔코딩을 신호화하는 매크로블록 복제 모드를 갖는다.

도1은 H.263 비디오 압축 표준에 따른 프레임의 글로벌 모션 보상을 도시한 개요도.

도2는 본 발명의 실시예에 따른 비디오 정보를 압축, 전송 및 디코딩하는 간단화된 시스템을 도시한 개요도.

도3은 도2에 도시된 시스템의 압축기에 대한 어떤 구성요소를 도시한 블록도.

도4는 비디오 시퀀스로부터의 프레임을 매크로블록을 포함한 각 슬라이스로 분할하는 것을 도시한 개요도.

도5는 매크로블록의 각 픽셀 블록과 관계된 모션 벡터를 도시한 개요도.

도6-7은 본 발명의 실시예를 도시하기 위한 매크로블록의 시퀀스를 포함한 슬라이스를 각각 도시한 개요도.

도8은 화상 및 매크로블록 레벨에 대한 H.26L 설계의 비트스트림 신택스(syntax)를 나타내는 개요도.

도9는 화상 및 매크로블록 레벨에 대한 H.26L의 제안된 글로벌 모션 압축을 나타내는 개요도.

도10은 H.26L 비디오 압축 표준을 따른 본 발명의 실시예를 도시하는 4×4 매크로블록을 포함한 슬라이스를 도시한 개요도.

도2를 참조하면, 비디오 카메라와 같은 비디오 정보의 소스(10)가 도시되어 있다. 연속적인 비디오 프레임을 포함하는 정보는 비디오 코더 또는 압축기(120에 결합되며, 이 압축기는 본원에 설명된 바와 같이 본 발명의 실시예에 따라 연속적인 데이터 프레임을 압축한다. 압축된 데이터를 나타내는 비트 스트림은 통신 채널(22)을 통해서 전송되며, 이 채널은 송신기914)로부터 수신기(16)로의 무선 통신 채널일 수 있다. 수신된 데이터는 디코더(18)에 인가되어, 비디오 정보를 복구한다.

도3을 참조하면, 도4에 도시된 바와 같은 비디오 프레임의 시퀀스에서 프레임을 분할함으로써 유도된, 16×16 픽셀 매크로블록(20)을 처리하는 압축기(12)의 어떤 종래 구성요소가 도시되어 있다. 도3에 도시된 구성요소는 이산 퓨리에 변환 모듈(24)과 같은 변환 모듈, 양자화기(26) 및 2진 엔코더(28)를 포함한다.

종래 기술에 공지된 바와 같이, 변환 모듈(24)은 매크로블록(20)의 픽셀의 그레이 스케일 레벨(루미넌스) 및 컬러 레벨(크로미넌스) 각각을 포함하는 정수 어레이를 수신한다. 모듈(24)은 이 변환을 픽셀 레벨에 인가하여, 변환 계수의 출력 어레이를 생성시킨다. 널리 공지된 바와 같이, 양자화기(26)는 각 변환 계수를 대응하는 스텝 크기 또는 양자화 레벨로 나눈다. 양자화기(26)의 출력은 2진 엔코더(28)로 향하며, 이 엔코더는 채널(22)을 통한 전송을 위하여 대응하는 디지털 비트(30) 스트림을 생성시킨다.

지금부터 도4를 참조하면, 비디오 시퀀스(34) 내의 프레임 중 하나를 포함한 프레임(32)이 도시되어 있다. 도4는 다수의 슬라이스(36a-d)로 세그먼트된 프레임(32)을 도시하며, 각 슬라이스(36a-d)는 매크로블록(38)의 시퀀스를 포함한다. 각 매크로블록은 프레임(32)으로부터의 픽셀 어레이를 포함한다. 이하에 보다 상세하게 설명되는 바와 같이, 슬라이스(36)는 본 발명의 실시예에 따라서, 매크로블록(38) 및/또는 프레임(32)에 속하는 GMC 정보를 포함한다.

도4는 또한, 슬라이스 경계가 프레임의 어떤 매크로블록 다음에 나타난다는 것을 강조하기 위하여 보다 상세하게 슬라이스(36a)를 도시한다. 슬라이스(36b)는 프레임의 여러 행(37)에 위치된 매크로블록을 포함하도록 도시된다. 게다가, 슬라이스(36b)는 슬라이스의 좌측 프레임 경계로부터 몇개의 매크로블록을 시작하여 최종 슬라이스 행에 대한 우측 프레임 경계 전 몇 개의 매크로블록에서 종료된다. 따라서, 일부 슬라이스는 한 행(37) 이상에 걸쳐있고, 이 행(37)은 슬라이스(36c 및 36d)를 포함하는 최하부 행과 같이 하나 이상의 슬라이스를 포함할 수 있다.

도5를 참조하면, 사전 프레임의 픽셀 블록(40a'-40d')은 현재 프레임의 블록(40a-40d)를 예측하는데 사용된다. 모션 벡터(42a-42d)는 제1 프레임으로부터의 픽셀을 현재 프레임의 블록(40a-40d)에 복제하는 위치를 설명한다. 이는 픽셀 블록(40a-40d)이 모션 벡터(42a-42d)와 함께 사전에 디코딩된 프레임을 사용함으로써 손쉽게 결정되거나 재구성된다는 것을 예시한다.

도6을 참조하면, 도4에 도시된 슬라이스(36b)와 같은 슬라이스를 엔코딩함으로써 생성된 엔코딩된 슬라이스(40)가 도시되어 있다. 엔코딩된 슬라이스(40)는 매크로블록 또는 영상 블록(42)을 포함하고 헤더(44)를 포함한다. 본 발명의 일 실시예에서, 신호는 예를 들어 헤더(44)내의 신호를 포함함으로써 엔코딩된 슬라이스(40)에 제공되어, 글로벌 모션 보상(GMC)이 대응하는 원래 슬라이스(36)를 재구성하는데 사용되는지 여부를 나타낸다. GMC가 슬라이스 구성에 사용되는 경우, 헤더(44)는 또한, GMC 정보를 포함한다. 이와 같은 GMC 정보는 모션 벡터 정보를 유용하게 포함하거나 나타내는데, 이 정보로부터 슬라이스(40)의 블록(42) 각각에 대한 모션 벡터가 디코더에서 재구성될 수 있다. 따라서, 슬라이스(40) 내의 모든 모션 벡터는 슬라이스(40)에 포함된 정보로부터 배타적으로 유도될 수 있다.

또 다른 유용한 실시예에서, 상기와 관련된 비디오 프레임(32)의 각 슬라이스(36)로부터 엔코딩된 모든 슬라이스(40)는 동일한 GMC 정보를 포함한다. 예를 들어, GMC 정보는 도1과 관련하여 상술된 GM 벡터

의 엔코딩된 세트를 포함한다. 이들 벡터는 도1에 도시된 바와 같이 전체 랩핑된 비디오 프레임과 관련되고, 상술된 관계에 따라서 도시된 코너 픽셀 변위 벡터로부터 유도된다. 복원력은 각 엔코딩된 슬라이스 내에서 이 정보를 반복함으로서 크게 향상되는데, 그 이유는 일부 슬라이스가 전송 채널에서 상실되는 경우 조차도 이 정보가 디코더에 도달하기 때문이다. 엔코딩된 GM 벡터는 상술된 식(1)에 따라서 쌍일차 보간에 의해 사용되어, 슬라이스(40)에 포함된 각 픽셀에 대한 글로벌 모션 보상을 계산한다.

부가적인 실시예에서, 각 엔코딩된 슬라이스(40)는 글로벌 모션 벡터

를 포함하는 GMC 정보를 갖는데, 상기 벡터는 전체 프레임이 아니라 슬라이스의 경계 박스(bounding box)와 관련된다. 도6을 또한 참조하면, 슬라이스를 포함할 수 있는 최소 직사각형을 포함하는 슬라이스(40)의 경계 박스(46)가 도시되어 있다. 도6은 경계 박스(46)의 각 코너에서 코너 픽셀(46a-d)를 도시하는데, 이 경우에 벡터

는 전체 프레임이라기 보다 오히려 경계 박스의 각 코너 픽셀의 변위를 규정한다. 이 4개의 벡터

는 전체 프레임의 코너 픽셀 변위에 대한 H.263과 관련하여 상술된 동일한 관계로 인한 코너 픽셀 벡터로부터 결정될 수 있다. 경계(46)에 대해 코딩된 4개의 벡터로부터, 슬라이스(40)내에 포함된 각 픽셀에 대한 글로벌 모션 보상은 수학식(1)에 따라서 쌍일차 보간을 사용하여 손쉽게 계산될 수 있다. 이 실시예에서, 상이한 엔코딩된 슬라이스(40)가 상이한 GMC 정보를 포함한다는 명백하게 알 수 있을 것이다.

도7을 참조하면, 경계 박스(46)를 지닌 엔코딩된 슬라이스(40)가 또 다시 도시된다. 그러나, 단지 2개의 글로벌 모션 벡터(48a 및 48b)가 도시되는데, 이는 슬라이스(40)를 위한 GMC 정보로 엔코딩된다. 이들 벡터는 경계 박스(46)의 최좌측 및 최우측 픽셀 각각에 관련된다. 슬라이스(40)의 각 픽셀에 대한 글로벌 모션 보상이 이로부터 결정될 수 있다. 수직 축을 따른 픽셀에서, 글로벌 모션 벡터는 동일한 반면에, 수평축을 따른 픽셀은 2개의 코딩된 글로벌 모션 벡터(48a-48b)로부터 선형 보간된다.

부가적인 실시예에서, 슬라이스 내의 모든 GMC 정보는 프레임(32)의 헤더 내에서 처럼 프레임 레벨 또는 화상에 대해 반복될 수 있다.

도8을 참조하면, 화상 및 매크로블록 레벨에 대한 H.26L 표준의 비트스트림 신택스가 도시되어 있다. H.26L에서, 프레임간 매크로블록은 여러 모드들 중 하나를 가지며, 이는 현재 7개의 모드(16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4)간에 4×4에 대해 1개의 내부 모드 및 16 ×16에 대한 23개의 내부 모드를 포함한다. 여기서, N×M은 매크로블록이 분할되는 블록의 크기와 관련된다. MB간에 대해서, 각 블록은 MV를 갖고, 내부 MB들에 대해서, 각 블록은 유닛으로서 예측된다. 게다가, 전혀 MV를 사용하지 않고 계수를 전혀 사용하지 않는 하나의 복제 모드가 존재한다. 이는 신호에 대한 가장 값싼 모드(cheapest mode)이다. 실제로 실행-길이 코딩은 하나의 코드워드로 다수의 복제된(스킵된) 매크로블록을 신호화하는데 사용된다.

글로벌 모션 보상은 H.26L 표준을 위하여 제안된다. 이는 글로벌 모션 벡터를 규정하는 방식의 H.263의 부록 P에 사용된 GMC와 유사하다. 그러나, 주요한 차이점은, 기준 화상이 재샘플링되지 않고 보간된 모션 벡터가 픽셀에 적용되는 것이 아니라 오히려 픽셀의 블록에 대해서 적용된다는 것이다. (x, y)로서 상부-좌측 픽셀을 지닌 영상 블록의 모션 벡터는 다음과 같이 유도될 수 있다.

여기서,

는 H. 263 부록 P에 대한 것처럼

과 관계된다. 그러나, 이들 모션 벡터는 4×4 픽셀로 이루어진 영상 블록에 적용된다. 특히, 벡터

는 (0, 0), (H-4.0), (0, V-4) 및 (H-4, V-4) 각각에서 상부-좌측 픽셀을 지닌 프레임의 코너 블록에 적용된다.

H.26L에 대한 글로벌 모션 벡터 코딩은 화상의 어떤 매크로블록 모드에 대해서만 적용하도록 제안된다. 이것이 사용되는지 여부는 플래그(GMVC 플래그)에 의한 화상 헤더 내의 각 프레임간에 대해 신호화된다. GMVC가 턴온되는 경우, 4개의 GMVs

는 플래그를 따른다. 이들은 GMVC를 사용하는 모드가 매크로블록에서 신호화될 때마다 현재 화상에 대해 사용된다. 이 제안된 신택스가 도9에 도시되어 있다.

인에이블되는 GMVC를 지닌 프레임 내의 매크로블록에 대한 매크로블록 모드는 2개의 새로운 모드를 갖는다. COPY 모드는 GMVC_COPY로 대체되고, GMVC_16이라 칭하는 가산 모드가 존재한다. 2가지 모드는 4×4 모드간에 있는데, 즉 매크로블록은 4×4 픽셀의 영상 블록으로 분할된다. 각 블록에 대한 모션 벡터는 상기 식에 주어진 바와 같은 보간된 GMVs에 의해 제공된다. GMVC_COPY에 대해, 코딩되는 계수는 없는데, 즉 모션 보상된 기준 화상은 복제되는 반면에, GMVC_16에 대해, 계수가 또한 가산된다.

도10을 참조하면, 매크로블록(52)을 포함한 엔코딩된 슬라이스(50)가 도시되어 있는데, 각 매크로블록(52)은 H.26L 표준에 따라 4×4 영상 블록(54)으로 분할된다. 도10에서, 보간된 GM 벡터는 픽셀이라기 보다 차라리 4×4 블록(54)에 적용된다. 도10을 또한 참조하면, 이들의 변위를 규정하는 관련된 글로벌 모션 벡터(56a-d)를 갖는 코너 블록(54a-d)이 도시되어 있다. 모션 벡터(56a-d)는 슬라이스(50)의 헤더(60)내에 포함되는 GMC 정보로 표시된다. GM 벡터(56a-d)에 관한 정보로부터, 글로벌 모션 압축은 상기 수학식(2)에 따라 선형 보간에 의해 슬라이스(50)의 4×4 블록(54) 각각에 대해 계산될 수 있다.

부가적인 실시예에서, 영상 블록(54) 각각에 대한 글로벌 모션 보상은 경계 박스(58) 내에 포함된 최좌측 및 최우측 4×4 블록의 변위를 규정하는 2개의 엔코딩된 GM 벡터(도시되지 않음)으로부터 계산될 수 있다. 또 다른 실시예에서, 각 블록(54)에 대한 글로벌 모션 보상은 헤더(60) 내에 포함된 GMC 정보를 포함하는 단일의 엔코딩된 GM 벡터로부터 유도될 수 있다.

슬라이스가 인에이블되는 GMC인, 즉 GMC 정보를 나타내는 신호를 포함하는 또 다른 실시예에서, 이 정보는 COPY 모드 신호를 포함한다. 슬라이스의 특정 매크로블록과 관계하는 이 신호에 응답하여, 엔코더는 글로벌 모션 보상된 기준 화상으로부터, 즉 도1에 도시된 바와 같은 랩핑된 프레임으로부터 대응하는 매크로블록을 복제한다. 이 실시예에서, 매크로블록에 관한 계수는 또한 코딩되거나 코딩되지 않을 수 있다.

IGMC에 관한 실시예에서, 명시적(explicit) 모션 벡터는 엔코딩된 슬라이스(40)와 함께 전송되지 않는다. 대신에, 매크로블록 COPY(별칭: SKIP) 모드는 계수 없이 또는 명시적으로 코딩된 모션 벡터 없이 매크로블록 간 모드로서 재해석된다. 매크로블록을 보상하는 모션에 사용되는 모션 벡터는 이웃하는 블록으로부터 예측된다. 특히, 이 실시예를 현재 프레임 내의 특정 영상 블록에 적용시, 모션 벡터만큼 변위되는 사전 프레임에서의 나란히 배열된 블록은 사전 프레임으로부터 복제된다. 이 모션 벡터는 현재 프레임 내의 이웃하는 블록, 즉 특정 영상 블록에 인접 또는 근접하는 블록으로부터 예측된다. IGMC 모드는 영상 블록 코딩시 COPY 모드를 대체하도록 사용될 수 있다.

IGMC 실시예의 또 다른 특징으로서, 코딩된 영상 블록을 나타내는 비트스트림이 IGMC 모드 또는 COPY 모드 중 어느 하나를 나타내도록 해석될 수 있는 신택스형 요소(syntactic element)를 포함할 수 있다. IGMC 및 COPY 모드 간의 스위치는 다른 코드 요소에 의해 암시적으로 신호화될 수 있다. 대안적으로, 이 스위치는 코드 워드에 의해 명시적으로 신호화될 수 있다.

이 실시예의 수정으로서, 하나의 과다 모션 벡터가 슬라이스의 제1 블록간을 예측시에 사용되도록 각 슬라이스를 위하여 전송된다.

명백하게, 상기 개시내용을 고려하여 본 발명의 많은 다른 수정 및 변형을 행할 수 있다. 그러므로, 개시된 개념의 영역내에서, 본 발명은 상술된 바와 달리 실시될 수 있다는 것을 이해할 것이다.

Claims

다수의 영상 블록을 포함한 비디오 프레임과 함께 사용하기 위한 비디오 데이터 압축용 방법에 있어서,

각 영상 블록은 다수의 코딩 모드들 중 하나에 따라 디코딩되며, 현재 프레임 내의 특정 영상 블록을 디코딩하는 하나의 방법이 암시적 글로벌 모션 보상(IGMC) 모드에 따라 수행되며, 상기 IGMC 모드는:

모션 벡터만큼 변위되는 나란히 배열된 블록을 사전 프레임으로부터 복제하는 단계; 및

상기 현재 프레임의 이웃하는 영상 블록으로부터의 모션 벡터에 기초하여 상기 모션 벡터를 예측하는 단계를 포함하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

상기 다수의 모드들 중 하나는 제로 변위를 갖는 나란히 배열된 블록을 복제하도록 사용되는 복제(COPY) 모드라고 칭해지는 모드를 포함하며,

상기 특정 영상 블록을 디코딩시 상기 IGMC 모드가 상기 COPY 모드를 대체하는데 사용되는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 2 항에 있어서,

상기 코딩된 특정 영상 블록을 나타내는 데이터 비트스트림은 상기 IGMC 모드 또는 상기 COPY 모드 중 어느 하나를 나타내도록 해석되는 신택스형 요소(syntactic element)를 포함하는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 3 항에 있어서,

상기 IGMC 및 COPY 모드간의 스위치는 코드 워드에 의해 명시적으로 신호화되는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 3 항에 있어서,

상기 IGMC 및 COPY 모드 간의 스위치는 사전 디코딩된 코드 요소에 의해 암시적으로 신호화되는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

상기 모션 벡터 예측은 3개의 이웃하는 모션 벡터의 중앙값으로서 각 벡터 성분에 대해 개별적으로 계산되는 것을 특징으로 하는 비디오 데이터 압축용 방법.
다수의 코딩 모드들 중 하나에 따라 현재 프레임 내의 영상 블록을 디코딩하는 비디오 디코더에 있어서:

암시적 글로벌 모션 보상(IGMC) 모드에 따라서 모션 벡터만큼 변위되는 나란히 배열된 블록을 사전 프레임으로부터 복제하는 수단; 및

상기 IGMC 모드에 따라서 상기 현재 프레임의 이웃하는 영상 블록으로부터의 모션 벡터에 기초하여 상기 모션 벡터를 예측하는 수단을 포함하는 비디오 디코더.
제 7 항에 있어서,

복제(COPY) 모드에 따라서 제로 변위를 지닌 나란히 배열된 블록을 복제하는 수단; 및

특정 영상 블록을 디코딩시 상기 COPY 모드를 상기 IGMC 모드로 대체하는 수단을 포함하는 것을 특징으로 하는 비디오 디코더.
제 8 항에 있어서,

특정 영상 블록을 디코딩시 상기 COPY 모드 및 상기 IGMC 모드 간을 스위칭하는 수단을 포함하는 것을 특징으로 하는 비디오 디코더.
제 1 항에 있어서,

영상 블록은 단지 하나의 모션 벡터를 갖는 16×16 픽셀을 포함하는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

영상 블록은 하나의 모션 벡터 각각을 갖는 4×4 픽셀 블록으로 분할된 16×16 픽셀을 포함하는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

영상 블록은 하나의 모션 벡터 각각을 갖는 다수의 블록으로 분할되는 16×16 픽셀을 포함하는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

프레임은 슬라이스로 세그먼트되며, 각 슬라이스는 하나 이상의 영상 블록을 포함하는 것을 특징으로 하는 비디오 데이터 압축용 방법.
제 1 항에 있어서,

과다 모션 벡터는 특정 슬라이스의 제1 블록에 대한 모션 벡터를 결정하는데 사용되도록 상기 특정 슬라이스와 함께 전송되는 것을 특징으로 하는 비디오 데이터 압축용 방법.
비디오 프레임을 슬라이스의 시퀀스로 세그먼트함으로써 유도된 슬라이스와 함께 사용하기 위한 비디오 데이터 디코딩용 방법으로서, 각 슬라이스는 하나 이상의 영상 블록을 포함하는, 비디오 데이터 디코딩용 방법에 있어서:

글로벌 모션 보상(GMC)이 슬라이스를 재구성하는데 사용되는지 여부를 나타내는 신호를 각 엔코딩된 슬라이스에서 식별하는 단계;

GMC가 슬라이스를 재구성하는데 사용되는 경우, 엔코딩된 슬라이스에서 GMC 정보를 식별하는 단계; 및,

대응하는 디코딩된 슬라이스를 생성하기 위하여 각 엔코딩된 슬라이스의 데이터를 디코딩하는 단계를 포함하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

특정 엔코딩된 슬라이스의 각 영상 블록에 대한 모션 벡터가 상기 특정 엔코딩된 슬라이스내에만 포함되는 GMC 정보를 사용하여 구성될 수 있는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

상기 엔코딩된 슬라이스들 중 적어도 2개의 엔코딩된 슬라이스는 동일한 GMC 정보를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 17 항에 있어서,

상기 적어도 2개의 엔코딩된 슬라이스에 의해 포함되는 상기 GMC 정보는 상기 비디오 프레임에 관계된 글로벌 모션(GM) 벡터를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

상기 엔코딩된 슬라이스들 중 적어도 2개의 엔코딩된 슬라이스는 상이한 GMC 정보를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

상기 비디오 데이터 디코딩용 방법은 각 엔코딩된 슬라이스에 포함된 모든 GMC 정보가 반복되는 프레임 헤더를 분석하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

소정 엔코딩된 슬라이스에 포함된 상기 GMC 정보는 한 세트의 엔코딩된 GM 벡터를 포함하며,

상기 비디오 데이터 디코딩용 방법은 상기 소정 엔코딩된 슬라이스내에 포함된 각 픽셀에 대한 글로벌 모션 보상을 계산하기 위하여 쌍일차 보간과 함께 상기 GM 벡터 세트를 사용하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 21 항에 있어서,

상기 GM 벡터 세트는 상기 소정 엔코딩된 슬라이스의 경계 박스의 각 코너 픽셀의 변위를 규정하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 21 항에 있어서,

상기 벡터 세트는 상기 소정 엔코딩된 슬라이스의 경계 박스의 최좌측 및 최우측 픽셀 각각의 변위를 규정하는 2개의 코딩된 GM 벡터를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

소정 엔코딩된 슬라이스에 포함되는 상기 GMC 정보는 한 세트의 엔코딩된 GM 벡터를 포함하며,

상기 비디오 데이터 디코딩용 방법은 상기 소정 엔코딩된 슬라이스를 포함하는 4×4 픽셀의 어레이 내의 각 블록에 대해 글로벌 모션 보상을 계산하기 위하여 쌍일차 보간과 함께 상기 GM 벡터 세트를 사용하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 24 항에 있어서,

상기 GM 벡터 세트는 상기 소정 엔코딩된 슬라이스의 경계 박스의 각 코너에 위치되는 4×4 블록의 변위를 규정하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 24 항에 있어서,

상기 벡터 세트는 상기 소정 엔코딩된 슬라이스의 경계 박스의 최좌측 및 최우측 4×4블록 각각의 변위를 규정하는 2개의 엔코딩된 GM 벡터를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 24 항에 있어서,

상기 벡터 세트는 상기 소정 엔코딩된 슬라이스의 각 4×4 블록에 대해 글로벌 모션 보상을 계산하는데 사용하기 위한 단일의 엔코딩된 GM 벡터를 포함하는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 15 항에 있어서,

특정 엔코딩된 슬라이스는 상기 비디오 프레임으로부터 유도된 글로벌 모션 보상된 기준 프레임에 위치된 각 대응하는 영상 블록을 복제함으로써 상기 특정 엔코딩된 슬라이스의 영상 블록의 엔코딩을 신호화하는 매크로블록 복제(COPY) 모드를 갖는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 28 항에 있어서,

모션 보상을 예측하는데 사용하는 계수는 상기 특정 엔코딩된 슬라이스의 각 영상 블록에 대해 엔코딩되지 않는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.
제 28 항에 있어서,

모션 보상을 예측하는데 사용하는 계수는 상기 특정 엔코딩된 슬라이스의 각 영상 블록에 대해 엔코딩되는 것을 특징으로 하는 비디오 데이터 디코딩용 방법.