KR100699835B1

KR100699835B1 - 계층형 움직임 예측기 및 움직임벡터 예측방법

Info

Publication number: KR100699835B1
Application number: KR1020050019569A
Authority: KR
Inventors: 김종선; 임경묵; 서희영; 범재영; 박재홍; 원민호
Original assignee: 삼성전자주식회사
Priority date: 2005-03-09
Filing date: 2005-03-09
Publication date: 2007-03-27
Anticipated expiration: 2025-03-09
Also published as: KR20060098951A; US20060204114A1

Abstract

높은 주파수 성분뿐만 아니라 낮은 주파수 성분을 가지는 영상데이터를 압축할 때 정확하고 빠르며 이에 소비되는 면적이 늘어나지 않는 계층형 움직임 예측기 및 움직임벡터 생성방법을 개시한다. 상기 움직임 예측기는 제1데이터처리블록, 제2데이터처리블록 및 움직임 예측블록을 구비한다. 상기 움직임벡터 생성방법은, 현재영상 계층데이터 생성단계, 기준영상 계층데이터 생성단계 및 움직임벡터 생성단계를 구비한다.

Description

계층형 움직임 예측기 및 움직임벡터 예측방법{A multi-resolution motion estimator and a method for estimating the motion vector}

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 종래의 계층적 움직임 예측에 사용되는 움직임 예측기의 일 예이다.

도 2는 종래의 계층적 움직임 예측에 사용되는 움직임 예측기의 다른 일 예이다.

도 3은 본 발명의 일 실시 예에 따른 계층형 움직임 예측기의 블록 다이어그램이다.

도 4a 내지 도 4c는 8비트 계층데이터들로부터 SAD를 구하는 개념을 설명하기 위한 것이다.

도 4a는 기준 점으로부터 y방향으로 +1만큼 증가시켜 탐색하는 것이고, 도 4b는 y방향으로 +2만큼 증가시켜 탐색하는 것이며, 도 4c는 y방향으로 +3만큼 증가시켜 탐색하는 것을 나타낸다.

본 발명은 동영상의 압축에 관한 것으로서, 특히, 고주파수 성분 및 저주파수 성분을 모두 포함하는 영상데이터신호를 압축하기에 적합한 계층형 움직임 예측기에 관한 것이다.

화상 데이터는 화소(Picture element) 또는 픽셀(Pixel)이라는 가장 작은 단위의 셀(Cell)이 기본이 된다. 픽셀의 데이터들이 결합하여 1개의 화면 정보가 되고, 이들이 계속하여 누적되면 재생되어야 할 화상데이터가 된다. 1개의 화면을 구성하는 픽셀의 수는 780×480과 같이 가로로 배열된 픽셀의 개수 및 세로로 배열된 픽셀의 개수의 곱의 형식으로 표시하는데, 텔레비전 또는 개인용 컴퓨터의 모니터(Monitor)에 재생되는 화상데이터의 양은 상당히 크다.

TV 또는 모니터를 이용하여 상기 화상데이터를 재생하기 위해서는, 화상데이터가 일정한 저장 매체에 저장되어 있어야 하고, 상기 화상데이터가 저장장소에서 상기 TV 또는 모니터까지 전송되어야 한다. 상술한 바와 같이, 화상데이터의 양은 상당히 크기 때문에 이를 저장하기 위해서는 상당히 큰 용량의 메모리가 필요하고 또한 상기 화상데이터를 전송하기 위해서는 상당한 시간의 소요된다. 화상데이터를 저장하거나 전송하는데 발생하는 여러 가지 단점을 극복하기 위하여 상기 화상데이터를 압축하는 기술이 제안되었다.

하나의 화면과 상기 화면의 전후에 재생되는 화면은 시간적 및 공간적으로 상당한 연관성이 있다. 장면의 전환이 일어나는 상황과 같은 특별한 경우를 제외하면, 하나의 화면에 대한 화상데이터는 이전 또는 이후의 화면에 대한 화상데이터와 상당히 유사하게 될 것이다. 따라서 이전 화면에 대하여 이미 생성시킨 화상데이터 를 적절하게 이용하여 현재의 화면에 대한 화상데이터를 생성시킬 수 있다면, 현재의 화면에 대한 화상데이터의 양은 상당히 줄일 수 있다는 것이 데이터 압축기술의 핵심 아이디어이다.

현재의 화면과 이전의 화면을 비교하여, 이전의 화면에서 현재의 화면의 일정한 부분과 동일한 부분이 있는 가를 판단함으로써 데이터의 압축과정이 시작된다. 현재의 화면의 일정한 부분과 동일한 부분이 이전의 화면에서 발견된 경우, 현재의 화면의 일정한 부분에 대한 화상데이터는 이전의 화면의 일정한 부분에 대한 화상데이터를 이용하여 표시한다. 다시 말하면, 상술한 현재의 화면의 일정한 부분에 대한 화상데이터를 저장하지 않고, 이전에 저장된 화상데이터에 움직임 벡터를 추가한 데이터를 저장함으로써 저장될 데이터의 양을 획기적으로 감소시킨다. 여기서 움직임 벡터는 현재의 화면의 일정한 부분과 이전의 화면의 일정한 부분의 위치의 차이를 표시하는 값을 가진다.

하나의 화면과 다른 화면을 비교하기 위한 최소한의 면적 단위로 픽셀을 사용하는 것은, 픽셀이 너무 적은 면적을 표시하기 때문에 적당하지 않다. 따라서 복수 개의 픽셀을 하나로 묶은 매크로 블록(Macro Block)을 사용한다. 매크로 블록은 4×4, 8×8 및 16×16 등 임의로 정할 수 있다.

상술한 바와 같이, 하나의 화면과 다른 화면을 비교하여 동일한 부분의 위치적인 차이를 표시하는 움직임 벡터는 움직임 예측기에서 결정된다. 상기 움직임 예측기는 화상신호 데이터를 압축하여 저장하거나 전송하는데 있어서 필수적으로 사용되는데, 가능하면 복잡하지 않은 방법으로 움직임 예측을 정확하게 할 수 있게 하는 것이 중요하며, 이를 위하여 계층형 움직임 예측이 사용된다.

도 1을 참조하면, 상기 움직임 예측기는, 4개의 탐색레벨(Level)을 가지는데, 현재의 영상(Current Image)에 대한 8비트 데이터와 기준 영상(Reference Image)에 대한 8비트 데이터를 이용하여 움직임 벡터를 예측한다. 계층적 움직임 예측은, 각 레벨(L3 내지 L0)에서 각각 움직임 벡터를 예측하는데 최하위 레벨(L0)에서 움직임 벡터의 최종 값(Final MV)을 구한다.

최상위 레벨(L3)에서는 현재의 영상 및 기준영상을 1/64로 축소시킨 영상에 대하여 코딩한 8비트 데이터를 이용하여 움직임 벡터(MV3)를 예상한다. 나머지 하나의 레벨(L2)은 현재의 영상 및 기준영상을 1/16로 축소시킨 영상에 대하여 코딩한 8비트 데이터 및 최상위 레벨(L3)에서 예측한 움직임 벡터(MV3)를 이용하여 움직임 벡터(MV2)를 예측한다. 또 하나의 레벨(L1)은 현재의 영상 및 기준영상을 1/4로 축소시킨 영상에 대하여 코딩한 8비트 데이터 및 상위 레벨(L2)에서 예상한 움직임 벡터(MV2)를 이용하여 움직임 벡터(MV1)를 예상한다. 최하위 레벨(L0)에서는 현재의 영상 및 기준영상을 그대로 코딩한 8비트 데이터 및 상위 레벨(L1)에서 예상한 움직임 벡터(MV1)를 이용하여 최종의 움직임 벡터(Final MV)를 예상한다. 현재의 영상 및 기준 영상을 축소시키기 위하여 필터(Filter)를 사용한다.

도 1에 도시 된 종래의 계층적 움직임 예측기는 8비트 데이터를 다루기 때문에 단일한 색으로 채색된 벽면을 나타내는 데는 효과적이지만, 기준(Reference) 영상에 대한 상당한 양의 데이터를 불러오기 위한 메모리의 대역폭이 크고 이에 상응 하는 대용량의 메모리도 필요할 뿐만 아니라 움직임 벡터를 계산하기 위한 연산 량이 상당히 많은 단점이 있다.

도 2를 참조하면, 상기 움직임 예측기는, 4개의 탐색레벨(Level)을 가지는데, 현재의 영상(Current Image)에 대한 8비트 데이터 또는 1비트 데이터와 기준 영상(Reference Image)에 대한 8비트 데이터 또는 1비트 데이터를 서로 비교한다. 계층적 움직임 예측은, 해당 화면을 각 레벨(L3 내지 L0)예측하여 각각 8개씩의 데이터를 이용하여 움직임 벡터의 최종 값(Final MV)을 구한다.

최상위 레벨(L3)에서는 현재의 영상 및 기준영상에 대한 8비트 데이터를 이용하여 움직임 벡터(MV3)를 예상하지만, 나머지 레벨(L2 내지 L0)에서는 현재의 영상 및 기준영상에 대한 1비트 데이터를 이용하여 움직임 벡터를 예상한다.

도 1과 비교할 때, 양자화기(Quantizer)가 더 사용되는데, 상기 양자화기는 8비트 데이터를 1비트 데이터로 변환시키는데 사용한다. 하나의 픽셀을 8개의 비트로 표시한다고 할 때, 상기 픽셀의 8비트 데이트가 소정의 기준 값과 비교하여 큰 경우와 작은 경우를 나누어 1비트로 코딩한다.

하나의 픽셀과 그 주변의 픽셀의 값이 상당히 차이가 나는 경우는 상기 2개의 픽셀이 윤곽선을 구성할 때이다. 따라서 하나의 픽셀의 값을 0이라 하면 다른 하나의 픽셀의 값은 1이라고 할 수 있다. 반면에 단일한 색으로 채색된 단순한 벽면을 나타낼 때와 같이, 하나의 픽셀과 주변의 픽셀의 값이 거의 동일 할 때에는 2 개의 픽셀이 모두 0 또는 모두 1로 표시할 수 있다. 이러한 기준을 가지고 8비트로 표시되는 픽셀을 1비트로 표시할 수 있다.

도 2를 참조하면, 최상위 레벨(L3)을 제외한 나머지 탐색 레벨(L2 내지 L0)에서는 1비트 데이터를 사용하기 때문에, 윤곽선과 같이 픽셀 데이터의 급격한 변화가 있는 부분을 나타내는 데는 효과적이지만, 그 외의 경우에 대한 움직임 벡터가 정확하게 예측되지 못하게 되는 단점이 있다.

일반적으로 1비트데이터는 단계가 올라갈수록 원래의 영상이 가지고 있는 정보를 잃어버리게 되기 때문에 정확한 움직임의 예측이 어렵다. 이를 보완하기 위하여 최하위 단계에서는, 서브 샘플링 된 8비트 데이터를 사용한 움직임예측을 한다.(New fast binary pyramid motion estimation for MPEG2 and HDTV encoding, Xudong Song; Tihao Chiang; Xiaobing Lee; Ya-Qin Zhang; Circuits and Systems for Video Technology, IEEE Transaction on, Volume: 10, Issue; 7, Oct. 2000 Pages; 1015-1028)

그러나 상기의 방법을 이용한다 하더라도, 이 후 단계에서 1 비트 데이터만을 움직임예측의 측정치로서 사용하게 되면, 낮은 주파수 성분이 많은 영역에 대해서는 여전히 움직임예측이 정확하게 이루어지지 않는 단점이 개선되지 않는다.

본 발명이 이루고자 하는 기술적 과제는, 높은 주파수 성분뿐만 아니라 낮은 주파수 성분을 가지는 영상데이터를 압축할 때 정확하고 빠르며 이에 소비되는 면적이 늘어나지 않는 계층형 움직임 예측기를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 높은 주파수 성분뿐만 아니라 낮은 주파수 성분을 가지는 영상데이터를 압축할 때 정확하고 빠르며 이에 소비되는 면적이 늘어나지 않는 움직임벡터 생성방법을 제공하는데 있다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 계층형 움직임 예측기는, 제1데이터처리블록, 제2데이터처리블록 및 움직임 예측블록을 구비한다.

상기 제1데이터처리블록은, 현재영상에 대한 제1계층데이터, 현재영상을 제1축소비율로 축소시킨 영상에 대한 제2계층데이터, 현재영상을 제2축소비율로 축소시킨 제2축소영상데이터 및 상기 제2축소영상데이터에 대한 제3계층데이터를 출력한다. 상기 제2데이터처리블록은, 기준영상에 대한 제4계층데이터, 기준영상을 제1축소비율로 축소시킨 영상에 대한 제5계층데이터, 기준영상을 제2축소비율로 축소시킨 제4축소영상데이터 및 상기 제4축소영상데이터에 대한 제6계층데이터를 출력한다. 상기 움직임 예측 블록은, 상기 제1내지 제6계층데이터, 상기 제2축소영상데이터 및 상기 제4축소영상데이터를 이용하여 복수 개의 계층으로 구분하여 움직임 벡터를 생성시키며, 상기 각 계층에서는 상기 제1내지 제6계층데이터, 상기 제2축소영상데이터 및 상기 제4축소영상데이터들 중에서 배타적인 특성을 가지는 계층데이터를 이용하여 움직임 벡터를 생성시킨다.

상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 움직임벡터 생성방법은, 현재영상 계층데이터 생성단계, 기준영상 계층데이터 생성단계 및 움직임벡터 생성단계를 구비한다.

상기 현재영상 계층데이터 생성단계는, 현재영상을 이용하여, 현재영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 현재영상 계층데이터 및 현재영상의 저주파 성분을 압축하기에 적당한 저주파용 현재영상 계층데이터를 생성한다. 상기 기준영상 계층데이터 생성단계는, 기준영상을 이용하여, 기준영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 기준영상 계층데이터 및 기준영상의 저주파 성분을 압축하기에 적당한 저주파용 기준영상 계층데이터를 생성한다. 상기 움직임 벡터를 생성하는 단계는, 상기 복수 개의 고주파용 현재영상 계층데이터, 상기 복수 개의 저주파용 현재영상 계층데이터, 상기 복수 개의 고주파용 기준영상 계층데이터 및 상기 복수 개의 저주파용 기준영상 계층데이터를 이용하여 상기 움직임벡터를 생성한다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

본 발명의 일 실시 예에 따른 계층형 움직임 예측기가 수행하는 계층형 움직임예측은, 레벨(Level)1 내지 레벨3의 3개의 계층으로 구성되며, 레벨3이 가장 상위계층이고 레벨1이 가장 하위계층이다. 그러나 본 발명으로부터 레벨4 또는 그 이상의 레벨로 확장하는 것은 언제나 가능하다.

도 3을 참조하면, 상기 계층형 움직임 예측기(300)는, 제1데이터처리블록(310), 제2데이터처리블록(320) 및 움직임 예측 블록(330)을 구비한다.

제1데이터처리블록(310)은, 제1필터(311), 제2필터(312), 제1양자화기(313), 제2양자화기(314) 및 제3양자화기(315)를 구비한다.

제1필터(311)는, 현재영상(Current Image)을 제1축소비율로 축소시킨 제1축소영상데이터(S1)를 출력한다. 제2필터(312)는, 제1축소영상데이터(S1)를 이용하여 현재영상(Current Image)에 대해 제2축소비율로 축소시킨 제2축소영상데이터(S2)를 출력한다. 제1양자화기(313)는, 현재영상(Current Image)을 제1계층데이터(D1)로 변환시켜 출력한다. 제2양자화기(314)는, 제1축소영상데이터(S1)를 제2계층데이터(D2)로 변환시켜 출력한다. 제3양자화기(315)는 제2축소영상데이터(S2)를 제3계층데이터(D3)로 변환시켜 출력한다.

제2데이터처리블록(320)은, 제4필터(321), 제5필터(322), 제4양자화기(323), 제5양자화기(324) 및 제6양자화기(325)를 구비한다.

제4필터(321)는 기준영상(Reference Image)을 제1축소비율로 축소시킨 제3축소영상데이터(S3)를 출력한다. 제5필터(322)는 제3축소영상데이터(S3)를 이용하여 기준영상(Reference Image)에 비해 제2축소비율로 축소시킨 제4축소영상데이터(S4)를 출력한다. 제4양자화기(323)는 기준영상(Reference Image)을 제4계층데이터(D4)로 변환시켜 출력한다. 제5양자화기(324)는 제3축소영상데이터(S3)를 제5계층데이터(D5)로 변환시켜 출력한다. 제6양자화기(325)는 제4축소영상데이터(S4)를 제6계층데이터(D6)로 변환시켜 출력한다.

움직임 예측 블록(330)은, 제1계층움직임예측장치(331), 제2계층움직임예측장치(332), 제3계층움직임예측장치(333) 및 확장기(334)를 구비한다.

제1계층움직임예측장치(331)는 제1계층데이터(D1), 제4계층데이터(D4), 제4축소영상데이터(S4), 제2확장영상데이터(ED1) 및 제2움직임벡터(MV2)를 이용하여 제1움직임벡터(MV1)를 생성한다. 제2계층움직임예측장치(332)는 제2계층데이터(D2), 제5계층데이터(D5), 제4축소영상데이터(S4), 제1확장영상데이터(ED2) 및 제3움직임벡터(MV3)를 이용하여 제2움직임벡터(MV2)를 생성한다.

제3계층움직임예측장치(333)는 제3계층데이터(D3), 제6계층데이터(D6), 제2축소영상데이터(S2) 및 제4축소영상데이터(S4)를 이용하여 제3움직임벡터(MV3)를 생성한다. 확장기(334)는 제3계층데이터(D3)를 제1확장비율로 확장시킨 제1확장영상데이터(ED2) 및 제3계층데이터(D3)를 현재영상과 동일한 크기로 확장한 제2확장영상데이터(ED1)를 생성하여 출력한다.

여기서, 제1계층움직임예측장치(331)에 제공되는 제1계층데이터(D1) 및 제4계층데이터(D4)는 현재영상(Current Image) 및 기준영상(Reference Image)을 각각 양자화(Quantize)하여 얻은 1비트(one bit) 데이터이다. 제1계층데이터(D1) 및 제4계층데이터(D4)를 이용하여 움직임 벡터를 예측하면, 고 주파수 성분이 많은 데이터를 압축하는데 상당한 효과가 있다. 다시 말하면 사물의 윤곽선을 표시하는 것과 같이 서로 인접한 픽셀들 사이의 값들이 심하게 변화는 경우의 데이터를 압축하는 데 상당한 효과가 있다는 것이다.

반면에 제1계층움직임예측장치(331)에 제공되는 제2확장영상데이터(ED1) 및 제4축소영상데이터(S4)는, 현재영상 및 기준영상을 각각 제2축소비율로 축소시킨 영상에 대한 8비트 데이터이다. 제2확장영상데이터(ED1) 및 제4축소영상데이터(S4)를 이용하여 움직임 벡터를 예측하면, DC 성분이 많은 데이터를 압축하는데 상당한 효과가 있다. 다시 말하면, 단일한 색으로 채색된 벽면과 같이 인접한 픽셀들 사이의 값들의 변화가 거의 없는 경우의 데이터를 압축하는데 상당한 효과가 있다는 것이다.

제2계층움직임예측장치(332)에 제공되는 제2계층데이터(D2) 및 제5계층데이터(D5)는 제1계층움직임예측장치(331)에 제공되는 제1계층데이터(D1) 및 제4계층데이터와 대응되고, 제2계층움직임예측장치(332)에 제공되는 제1확장영상데이터(ED2) 및 제4축소영상데이터(S4)는 제1계층움직임예측장치(331)에 제공되는 제2확장영상데이터(ED1) 및 제4축소영상데이터(S4)에 대응된다. 따라서 제2계층움직임예측장치(332)에 대해서는 제1계층움직임예측장치(331)의 설명으로 대체한다.

제3계층움직임예측장치(333)의 경우도 마찬가지 이유로 설명을 생략한다.

사물의 윤곽선(Contour)을 표시하는 것과 같이 서로 인접한 픽셀들 사이의 값들이 심하게 변화는 경우에 적합한 계층데이터와 단일한 색으로 채색된 벽면과 같이 인접한 픽셀들 사이의 값들의 변화가 거의 없는 경우에 적합한 계층데이터는 서로 배타적인 관계가 있다. 다시 말하면, 한 경우의 장점이 다른 경우의 단점으로 된다는 것이다. 본 발명의 계층형 움직임 예측기에서 사용하는 움직임예측장치(331 및 332)는, 상술한 서로 배타적인 2개의 경우를 모두 고려하여 생성시킨 SAD(Sum of Absolute Difference)를 구한 다음 그 값들을 이용하여 최적의 움직임 벡터를 생성하도록 하는 것이 본 발명의 첫 번째 핵심 아이디어이다.

여기서 SAD는 비교하는 매크로블록의 유사성의 정도를 나타내기 위하여 계산하는 변수(Variable)로서, 픽셀들의 차이 값들의 절대값을 구한 다음 더하여 누적시킨 값이다. 누적시킨 SAD 값이 적으면 비교하는 2개의 매크로블록이 서로 유사하다는 것이고, 반대로 크면 비교하는 2개의 매크로블록이 서로 다르다는 것을 의미한다.

여기서 제1축소비율은 1/4이고, 제2축소비율은 1/16이다. 만일 다른 축소비율을 추가로 사용한다면 1/64가 적당할 것이다. 제1계층데이터(D1), 제2계층데이터(D2), 제4계층데이터(D4) 및 제5계층데이터(D5)는 1비트이고, 제3계층데이터(D3) 및 제6계층데이터(D6)는 1비트이다.

제1확장영상데이터(ED2) 및 제2확장영상데이터(ED1)는 16×16으로 제공되고, 제6계층데이터(D6)는 4×4로 제공된다.

제1계층움직임예측장치(331)는, 제6계층데이터(D6)에 대응되는 데이터를 제2확장영상데이터(ED1)에서 찾아 이들에 대한 SAD(Sum of Absolute Difference)를 구한다. 또한 제2계층움직임예측장치(332)는, 제6계층데이터(D6)에 대응되는 데이터를 제1확장영상데이터(ED2)에서 찾아 이들에 대한 SAD를 구하는데 이렇게 하는 본 발명의 또 다른 핵심 아이디어에 대해서는 도 4에서 설명한다.

도 4a 내지 도 4c는 8비트 계층데이터들로부터 SAD를 구하는 개념을 설명하 기 위한 것이다.

도 4a 내지 도 4c를 참조하면 각 도면의 왼쪽은 종래에 사용하던 것으로 현재매크로블록(Cur. MB)을 구성하는 점들에 대응되는 점들을 기준매크로블록(Ref. MB)을 구성하는 점들로부터 찾는 방식을 나타낸다. 도 4a 내지 도 4c의 오른 쪽에 표시된 탐색 방식은, 왼쪽에 그려진 종래의 탐색방식의 단점을 극복하기 위하여 제안된 것으로, 기준매크로블록을 구성하는 점들에 대응되는 점들을 현재매크로블록을 구성하는 점들로부터 찾는 방식을 나타낸다.

도 4a의 왼쪽을 참조하면, 현재매크로블록의 16개의 점들 중에 8개만이 해당하는 점들(음영)로 표시되어 있다. 만일 탐색 점(Search Point)이 기준 점에서 y축 방향으로 +1인 점에 해당하는 4×4 점들에 대한 SAD(Sum of Absolute Difference)를 구하기 위해서는 화살표로 표시된 두 점간의 차이를 더하여야 한다. 그러나 기준매크로블록에는 이에 대응되는 2개의 점이 존재하지 않는다(x). 도 4b 및 도 4c의 경우도 마찬가지이다. 상술한 바와 같이 존재하지 않는 점들에 대한 정보를 가지고 계산한 SAD를 구하고, 상기 오류가 포함된 SAD를 이용하여 움직임 벡터를 예측할 수밖에 없다는 것이 종래의 기술의 단점이다. 이러한 움직임 벡터를 이용하여 영상데이터를 압축하고, 이렇게 잘못 압축된 영상데이터를 이용하여 재생된 화면의 질에는 문제가 발생할 것이 분명하여 진다.

도 4a의 오른 쪽을 참조하면, 상술한 종래의 방식의 단점을 극복하기 위하여, 본 발명에서는 탐색방향을 종래의 경우와 반대로 하였다. 즉, 기준매크로블록(Ref. MB)을 구성하는 점들과 대응되는 점들을 현재매크로블록(Cur. MB)을 구성하는 점들로부터 찾는 것이다. 왼쪽에 그려진 도면과의 차이는 화살표의 방향으로 쉽게 이해할 수 있다. 이렇게 함으로써, 대응되는 점을 찾지 못하여 발생하게 되는 종래의 기술의 단점을 극복할 수 있다.

제1계층움직임예측장치(331) 및 제2계층움직임예측장치(332)에서 최종적으로 결정되는 SAD는 수학식 1과 같이 표시할 수 있다.

SAD = An×8Bit-SAD + Bn×1Bit-SAD + Cn×B-MV

여기서, A, B 및 C는 상수로서 계층(n, n은 정수)에 따라 그 값이 결정된다. 각 계층에서의 움직임 예측 B-MV는 이전 계층움직임예측장치에서 결정된 움직임 벡터를 의미한다. 8Bit-SAD는 8비트 계층데이터를 이용하여 생성시킨 SAD 값이고 1Bit-SAD는 1비트 계층데이터를 이용하여 생성시킨 SAD 값을 의미한다.

제3계층움직임예측장치(333)에서는 B 및 C가 0(Zero)이 된다.

수학식 1에 표시한 SAD 값을 각각의 계층움직임예측장치에서 구한 후, 가장 적은 SAD 값을 가지는 움직임 벡터를 선택하여 출력함으로써, 상술한 바와 같은 2개의 배타적인 경우를 모두 고려한 움직임 벡터가 생성되는 것이다.

여기서 사용하는 8 비트 계층데이터는 각 계층에 해당하는 별도의 축소된 이미지에 대한 8 비트데이터가 아니라, 제3계층데이터(D3)의 8 비트데이터를 그대로 이용하거나 확장기(334)에서 단순하게 확장하므로, 추가적인 메모리의 사용이 필요하지 않으며 메모리의 데이터의 대역폭(Bandwidth)의 손실이 없고, 4×4 포인트에 대해서만 SAD(Sum of Absolute Differences)를 구하므로 계산 량도 작다.

도 3에 도시 된 계층형 움직임 예측기 및 이들을 구성하는 블록들의 기능을 참조하면, 본 발명의 따른 움직임 벡터를 생성시키는 방법을 쉽게 유추할 수 있다.

본 발명의 일 실시 예에 따른 움직임 벡터 생성방법은, 현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움직임 벡터를 생성하는 것이다.

상기 움직임벡터 생성방법은, 현재영상 계층데이터 생성단계, 기준영상 계층데이터 생성단계 및 움직임벡터를 생성하는 단계를 구비한다.

현재영상 계층데이터 생성단계는,

현재영상 데이터를 이용하여 제1고주파용 현재영상 계층데이터를 생성하여 출력하는 단계; 현재영상 데이터를 이용하여 현재영상을 제1축소비율로 축소한 제1축소 현재영상 데이터를 생성시키고, 상기 제1축소 현재영상 데이터를 이용하여 제2고주파용 현재영상 계층데이터를 생성하여 출력하는 단계; 및 상기 제1축소 현재영상 데이터를 이용하여 현재영상과 비교할 때 제2축소비율로 축소된 제2축소 현재영상 데이터를 생성시켜 상기 저주파용 현재영상 계층데이터로 출력하고, 상기 제2축소영상데이터를 이용하여 제3고주파용 현재영상 계층데이터를 생성하여 출력하는 단계를 구비한다.

기준영상 계층데이터 생성단계는,

기준영상 데이터를 이용하여 제1고주파용 기준영상 계층데이터를 생성하여 출력하는 단계; 기준영상 데이터를 이용하여 현재영상을 제1축소비율로 축소한 제1축소 기준영상 데이터를 생성시키고, 상기 제1축소 기준영상 데이터를 이용하여 제2고주파용 기준영상 계층데이터를 생성하여 출력하는 단계; 및 상기 제1축소 기준영상 데이터를 이용하여 현재영상과 비교할 때 제2축소비율로 축소된 제2축소 기준영상 데이터를 생성시켜 상기 저주파용 기준영상 계층데이터로 출력하고, 상기 제2축소 기준영상데이터를 이용하여 제3고주파용 기준영상 계층데이터를 생성하여 출력하는 단계를 구비한다.

움직임 벡터를 생성하는 단계는,

복수 개의 계층 움직임 벡터 생성단계; 및 상기 저주파용 현재영상 계층데이터를 제1확장비율로 확장한 제1확장 현재영상 계층데이터 및 제2확장비율로 확장한 제2확장 현재영상 계층데이터를 생성하는 단계를 구비한다.

여기서 복수 개의 계층 움직임 벡터를 생성하는 단계는,

상기 제3고주파용 현재영상 계층데이터, 상기 제3고주파용 기준영상 계층데이터, 상기 저주파용 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 예측한 제3계층 움직임벡터를 생성하는 단계; 상기 제2고주파용 현재영상 계층데이터, 상기 제2고주파용 기준영상 계층데이터, 상기 제1확장 현재영상 계층데이터, 상기 저주파용 기준영상 계층데이터 및 상기 제3계층 움직임벡터를 이용하여 예측한 제2계층 움직임벡터를 생성하는 단계; 및 상기 제1고주파용 현재영상 계층데이터, 상기 제1고주파용 기준영상 계층데이터, 상기 제2확장 현재영상 계 층데이터, 상기 저주파용 기준영상 계층데이터 및 상기 제2계층 움직임벡터를 이용하여 예측한 제1계층 움직임벡터를 생성하는 단계를 구비한다.

제3계층 움직임벡터를 생성하는 단계는, 상기 제3고주파용 현재영상 계층데이터 및 상기 제3고주파용 기준영상 계층데이터를 이용하여 제1SAD(3)(Sum of Absolute Difference)를 계산하고, 상기 저주파용 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(3)를 계산한 후, 수학식 2를 만족하는 SAD(3)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제3계층 움직임벡터로 출력하며, A3 및 B3은 임의로 선택되는 상수이다.

SAD(3) = A3×제1SAD(3) + B3×제2SAD(3)

여기서 제2SAD(3)는, 상기 저주파용 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한다.

제2계층 움직임벡터를 생성하는 단계는, 상기 제2고주파용 현재영상 계층데이터 및 상기 제2고주파용 기준영상 계층데이터를 이용하여 제1SAD(2)를 계산하고, 상기 제1확장 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(2)를 계산한 후, 수학식 3을 만족하는 SAD(2)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제2계층 움직임벡터로 출력하며, A2, B2 및 C2는 상수이고, MV3은 상기 제3계층 움직임벡터이다.

SAD(2) = A2×제1SAD(2) + B2×제2SAD(2) + C2×MV3

여기서 제2SAD(2)는, 상기 제1확장 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한다.

제1계층 움직임벡터를 생성하는 단계는, 상기 제1고주파용 현재영상 계층데이터 및 상기 제1고주파용 기준영상 계층데이터를 이용하여 제1SAD(1)를 계산하고, 상기 제2확장 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(1)를 계산한 후, 수학식 4를 만족하는 SAD(1)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제1계층 움직임벡터로 출력하며, A1, B1 및 C1은 상수이고, MV2는 상기 제2계층 움직임벡터이다.

SAD(1) = A1×제1SAD(1) + B1×제2SAD(1) + C1×MV2

여기서 제2SAD(1)는, 상기 제2확장 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한다.

앞에서 설명하지는 않았지만, 현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움 직임 벡터를 생성하는 움직임 벡터 생성방법을 명령어로 변화하여 저장하는 기록매체도 본 발명의 범위에 포함된다. 또한 현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움직임 벡터를 생성하는 움직임 벡터 생성방법을 수행하는 영상데이터 처리장치도 물론 포함될 것이다.

이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따른 계층형 움직임 예측기, 움직임 예측방법, 기록매체 및 영상데이터 처리장치는, 상술한 종래의 1 비트데이터를 이용한 계층형 움직임예측기의 문제점을 해결하기 위하여 1 비트 계층데이터뿐만 아니라 최하위 단계의 8 비트 계층데이터를 이용하여 움직임예측을 함으로써, 높은 주파수 성분이 많은 영역뿐만 아니라 낮은 주파수 성분이 많은 영역에서도 움직임예측이 보다 정확하게 이루어질 수 있다. 이 때 사용하는 8 비트데이터는 각 단계에 해당하는 별도의 축소된 이미지에 대한 8 비트데이터가 아니라 단계 2에서의 8 비트데이터를 확장하거나(현재 매크로블록) 그대로(참조 매크로블록) 이용하므로, 추가적인 메모리 사용이나 대역폭의 손실이 없고, 4×4 포인트에 대해서만 SAD(Sum of Absolute Differences)를 구하므로 계산 량도 작다.

Claims

현재영상에 대한 제1계층데이터, 현재영상을 제1축소비율로 축소시킨 영상에 대한 제2계층데이터, 현재영상을 제2축소비율로 축소시킨 제2축소영상데이터 및 상기 제2축소영상데이터에 대한 제3계층데이터를 출력하는 제1데이터처리블록;

기준영상에 대한 제4계층데이터, 기준영상을 제1축소비율로 축소시킨 영상에 대한 제5계층데이터, 기준영상을 제2축소비율로 축소시킨 제4축소영상데이터 및 상기 제4축소영상데이터에 대한 제6계층데이터를 출력하는 제2데이터처리블록; 및

상기 제1내지 제6계층데이터, 상기 제2축소영상데이터 및 상기 제4축소영상데이터를 이용하여 복수 개의 계층으로 구분하여 움직임 벡터를 생성시키며, 상기 각 계층에서는 상기 제1내지 제6계층데이터, 상기 제2축소영상데이터 및 상기 제4축소영상데이터들 중에서 배타적인 특성을 가지는 계층데이터를 이용하여 움직임 벡터를 생성시키는 움직임 예측 블록을 구비하는 것을 특징으로 하는 계층형 움직임 예측기.
제1항에 있어서, 배타적인 특성을 가지는 계층데이터는,

하나의 픽셀과 그 주변의 픽셀의 데이터가 급격하게 변할 때 적용하면 유리한 계층데이터 및 하나의 픽셀과 그 주변의 픽셀의 데이터가 거의 변화가 없을 때 적용하기에 유리한 계층데이터인 것을 특징으로 하는 계층형 움직임 예측기.
제1항에 있어서,

상기 제1축소비율은 1/4이고,

상기 제2축소비율은 1/16인 것을 특징으로 하는 계층형 움직임 예측기.
제1항에 있어서,

상기 제1계층데이터 내지 상기 제6계층데이터는 1비트 데이터이고,

상기 제2축소영상데이터 및 상기 제4축소영상데이터는 적어도 2비트 이상의 데이터인 것을 특징으로 하는 계층형 움직임 예측기.
제2항에 있어서, 상기 제1데이터처리블록은,

현재영상을 상기 제1축소비율로 축소시킨 제1축소영상데이터를 출력하는 제1필터;

상기 제1축소영상데이터를 이용하여 현재영상에 대해 상기 제2축소비율로 축소시킨 상기 제2축소영상데이터를 출력하는 제2필터;

현재영상을 상기 제1계층데이터로 변환시켜 출력하는 제1양자화기;

상기 제1축소영상데이터를 상기 제2계층데이터로 변환시켜 출력하는 제2양자화기; 및

상기 제2축소영상데이터를 상기 제3계층데이터로 변화시켜 출력하는 제3양자화기를 구비하는 것을 특징으로 하는 계층형 움직임 예측기.
제2항에 있어서, 상기 제2데이터처리블록은,

기준영상을 상기 제1축소비율로 축소시킨 제3축소영상데이터를 출력하는 제3필터;

상기 제3축소영상데이터를 상기 제2축소비율로 축소시킨 제4축소영상데이터를 출력하는 제4필터;

기준영상을 상기 제4계층데이터로 변환시켜 출력하는 제4양자화기;

상기 제3축소영상데이터를 상기 제5계층데이터로 변환시켜 출력하는 제5양자화기; 및

상기 제4축소영상데이터를 상기 제6계층데이터로 변환시켜 출력하는 제6양자화기를 구비하는 것을 특징으로 하는 계층형 움직임 예측기.
제1항에 있어서, 상기 움직임 예측 블록은,

상기 제2축소영상데이터를, 제1확장비율로 확장시킨 제1확장영상데이터 및 현재영상과 동일한 크기로 확장한 제2확장영상데이터를 생성하여 출력하는 확장기(Expander);

상기 제1계층데이터, 상기 제4계층데이터, 상기 제4축소영상데이터, 상기 제2확장영상데이터 및 제2움직임벡터를 이용하여 제1움직임 벡터를 생성하는 제1계층움직임예측장치;

상기 제2계층데이터, 상기 제5계층데이터, 상기 제4축소영상데이터, 상기 제1확장영상데이터 및 제3움직임벡터를 이용하여 상기 제2움직임벡터를 생성하는 제2 계층움직임예측장치; 및

상기 제3계층데이터, 상기 제6계층데이터, 상기 제2축소영상데이터 및 상기 제4축소영상데이터를 이용하여 상기 제3움직임벡터를 생성하는 제3계층움직임예측장치를 구비하는 것을 특징으로 하는 계층형 움직임 예측기.
제7항에 있어서,

상기 제1확장영상데이터 및 상기 제2확장영상데이터는 16×16으로 제공되고,

상기 제4축소영상데이터는 4×4로 제공되는 것을 특징으로 하는 계층형 움직임 예측기.
제8항에 있어서, 상기 제1계층움직임예측장치는,

상기 제1계층데이터 및 상기 제4계층데이터를 이용하여 제1SAD(Sum of Absolute Difference) 값을 구하고,

상기 제4축소영상데이터 및 상기 제2확장영상데이터를 이용하여 제2SAD 값을 구하며,

상기 제2SAD 값은 상기 제4축소영상데이터에 대응되는 데이터를 상기 제2확장영상데이터에서 찾아 구하는 것을 특징으로 하는 계층형 움직임 예측기.
제9항에 있어서, 상기 제1움직임 벡터는,

탐색영역 내의 블록들에 대하여

SAD(1) = A1×제1SAD + B1×제2SAD + C1×MV2를 만족하는 SAD(1)들을 계산하고,

상기 SAD(1)의 값들 중에서 가장 적은 값을 가지는 움직임벡터를 선택하여 상기 제1움직임 벡터로 출력하며,

상기 A1, 상기 B1 및 상기 C1은 상수로서 SAD(1)이 최적의 값을 가지도록 임의로 설정할 수 있으며,

상기 MV2는 상기 제2움직임 벡터인 것을 특징으로 하는 계층형 움직임 예측기.
제8항에 있어서, 상기 제2계층움직임예측장치는,

상기 제2계층데이터 및 상기 제5계층데이터를 이용하여 제3SAD 값을 구하고,

상기 제4축소영상데이터 및 상기 제1확장영상데이터를 이용하여 제4SAD 값을 구하며,

상기 제3SAD 값은 상기 제4축소영상데이터에 대응되는 데이터를 상기 제1확장영상데이터에서 찾아 구하는 것을 특징으로 하는 계층형 움직임 예측기.
제11항에 있어서, 상기 제2계층움직임예측장치에서는,

탐색영역 내의 블록들에 대하여

SAD(2)=A2×제3SAD + B2×제4SAD + C2×MV3을 만족하는 SAD(2)들을 계산하고,

상기 SAD(2)의 값들 중에서 가장 적은 값을 가지는 움직임벡터를 선택하여 상기 제2움직임 벡터로 출력하며,

상기 A2, 상기 B2 및 상기 C2는 상수로서 SAD(2)이 최적의 값을 가지도록 임의로 설정할 수 있으며,

상기 MV3은 상기 제3움직임 벡터인 것을 특징으로 하는 계층형 움직임 예측기.
현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움직임 벡터를 생성하는 움직임 벡터 생성방법에 있어서,

현재영상을 이용하여, 현재영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 현재영상 계층데이터 및 현재영상의 저주파 성분을 압축하기에 적당한 저주파용 현재영상 계층데이터를 생성하는 현재영상 계층데이터 생성단계;

기준영상을 이용하여, 기준영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 기준영상 계층데이터 및 기준영상의 저주파 성분을 압축하기에 적당한 저주파용 기준영상 계층데이터를 생성하는 기준영상 계층데이터 생성단계; 및

상기 복수 개의 고주파용 현재영상 계층데이터, 상기 복수 개의 저주파용 현재영상 계층데이터, 상기 복수 개의 고주파용 기준영상 계층데이터 및 상기 복수 개의 저주파용 기준영상 계층데이터를 이용하여 상기 움직임벡터를 생성하는 움직임 벡터를 생성하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 생성방법.
제13항에 있어서, 상기 현재영상 계층데이터 생성단계는,

현재영상 데이터를 이용하여 제1고주파용 현재영상 계층데이터를 생성하여 출력하는 단계;

현재영상 데이터를 이용하여 현재영상을 제1축소비율로 축소한 제1축소 현재영상 데이터를 생성시키고, 상기 제1축소 현재영상 데이터를 이용하여 제2고주파용 현재영상 계층데이터를 생성하여 출력하는 단계; 및

상기 제1축소 현재영상 데이터를 이용하여 현재영상과 비교할 때 제2축소비율로 축소된 제2축소 현재영상 데이터를 생성시켜 상기 저주파용 현재영상 계층데이터로 출력하고, 상기 제2축소영상데이터를 이용하여 제3고주파용 현재영상 계층데이터를 생성하여 출력하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 생성방법.
제14항에 있어서, 상기 기준영상 계층데이터 생성단계는,

기준영상 데이터를 이용하여 제1고주파용 기준영상 계층데이터를 생성하여 출력하는 단계;

기준영상 데이터를 이용하여 현재영상을 제1축소비율로 축소한 제1축소 기준영상 데이터를 생성시키고, 상기 제1축소 기준영상 데이터를 이용하여 제2고주파용 기준영상 계층데이터를 생성하여 출력하는 단계; 및

상기 제1축소 기준영상 데이터를 이용하여 현재영상과 비교할 때 제2축소비 율로 축소된 제2축소 기준영상 데이터를 생성시켜 상기 저주파용 기준영상 계층데이터로 출력하고, 상기 제2축소 기준영상데이터를 이용하여 제3고주파용 기준영상 계층데이터를 생성하여 출력하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 생성방법.
제15항에 있어서, 상기 움직임 벡터를 생성하는 단계는,

복수 개의 계층 움직임 벡터 생성단계; 및

상기 저주파용 현재영상 계층데이터를 제1확장비율로 확장한 제1확장 현재영상 계층데이터 및 제2확장비율로 확장한 제2확장 현재영상 계층데이터를 생성하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 생성방법.
제16항에 있어서, 상기 움직임 벡터를 생성하는 단계는,

상기 제3고주파용 현재영상 계층데이터, 상기 제3고주파용 기준영상 계층데이터, 상기 저주파용 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 예측한 제3계층 움직임벡터를 생성하는 단계;

상기 제2고주파용 현재영상 계층데이터, 상기 제2고주파용 기준영상 계층데이터, 상기 제1확장 현재영상 계층데이터, 상기 저주파용 기준영상 계층데이터 및 상기 제3계층 움직임벡터를 이용하여 예측한 제2계층 움직임벡터를 생성하는 단계; 및

상기 제1고주파용 현재영상 계층데이터, 상기 제1고주파용 기준영상 계층데 이터, 상기 제2확장 현재영상 계층데이터, 상기 저주파용 기준영상 계층데이터 및 상기 제2계층 움직임벡터를 이용하여 예측한 제1계층 움직임벡터를 생성하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 생성방법.
제17항에 있어서, 상기 제3계층 움직임벡터를 생성하는 단계는,

상기 제3고주파용 현재영상 계층데이터 및 상기 제3고주파용 기준영상 계층데이터를 이용하여 제1SAD(3)(Sum of Absolute Difference)를 계산하고,

상기 저주파용 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(3)를 계산한 후,

SAD(3) = A3×제1SAD(3) + B3×제2SAD(3)을 만족하는 SAD(3)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제3계층 움직임벡터로 출력하며,

상기 A3 및 B3은 임의로 선택되는 상수인 것을 특징으로 하는 움직임 벡터 생성방법.
제18항에 있어서, 상기 제2SAD(3)는,

상기 저주파용 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한 것을 특징으로 하는 움직임벡터 생성방법.
제17항에 있어서, 상기 제2계층 움직임벡터를 생성하는 단계는,

상기 제2고주파용 현재영상 계층데이터 및 상기 제2고주파용 기준영상 계층데이터를 이용하여 제1SAD(2)를 계산하고,

상기 제1확장 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(2)를 계산한 후,

SAD(2) = A2×제1SAD(2) + B2×제2SAD(2) + C2×MV3을 만족하는 SAD(2)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제2계층 움직임벡터로 출력하며,

A2, B2 및 C2는 상수이고, MV3은 상기 제3계층 움직임벡터인 것을 특징으로 하는 움직임 벡터 생성방법.
제20항에 있어서, 상기 제2SAD(2)는,

상기 제1확장 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한 것을 특징으로 하는 움직임벡터 생성방법.
제17항에 있어서, 상기 제1계층 움직임벡터를 생성하는 단계는,

상기 제1고주파용 현재영상 계층데이터 및 상기 제1고주파용 기준영상 계층데이터를 이용하여 제1SAD(1)를 계산하고,

상기 제2확장 현재영상 계층데이터 및 상기 저주파용 기준영상 계층데이터를 이용하여 제2SAD(1)를 계산한 후,

SAD(1) = A1×제1SAD(1) + B1×제2SAD(1) + C1×MV2를 만족하는 SAD(1)의 값을 계산하여 가장 적은 값을 가지는 움직임벡터를 상기 제1계층 움직임벡터로 출력하며,

A1, B1 및 C1은 상수이고, MV2는 상기 제2계층 움직임벡터인 것을 특징으로 하는 움직임 벡터 생성방법.
제22항에 있어서, 상기 제2SAD(1)는,

상기 제2확장 현재영상 계층데이터가 의미하는 소정의 점들과 대응되는 점들을 상기 저주파용 기준영상 계층데이터가 의미하는 소정의 점들로부터 탐색하고, 상기 탐색된 점들 사이의 차이의 절대 값을 구하고, 구한 절대 값들을 누적시켜 구한 것을 특징으로 하는 움직임벡터 생성방법.
현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움직임 벡터를 생성하는 움직임 벡터 생성방법을 명령어로 변화하여 저장하는 기록매체에 있어서,

현재영상을 이용하여, 현재영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 현재영상 계층데이터 및 현재영상의 저주파 성분을 압축하기에 적당한 저주파용 현재영상 계층데이터를 생성하는 현재영상 계층데이터 생성단계;

기준영상을 이용하여, 기준영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 기준영상 계층데이터 및 기준영상의 저주파 성분을 압축하기에 적당한 저주파용 기준영상 계층데이터를 생성하는 기준영상 계층데이터 생성단계; 및

상기 복수 개의 고주파용 현재영상 계층데이터, 상기 복수 개의 저주파용 현재영상 계층데이터, 상기 복수 개의 고주파용 기준영상 계층데이터 및 상기 복수 개의 저주파용 기준영상 계층데이터를 이용하여 상기 움직임벡터를 생성하는 움직임 벡터를 생성하는 단계를 구비하는 것을 특징으로 하는 기록매체.
현재영상을 이용한 복수 개의 계층데이터 및 기준영상을 이용한 복수 개의 계층데이터를 이용하여 현재영상을 압축하기 위한 움직임 벡터를 생성하는 움직임 벡터 생성방법을 수행하는 영상데이터 처리장치에 있어서,

현재영상을 이용하여, 현재영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 현재영상 계층데이터 및 현재영상의 저주파 성분을 압축하기에 적당한 저주파용 현재영상 계층데이터를 생성하는 현재영상 계층데이터 생성단계;

기준영상을 이용하여, 기준영상의 고주파 성분을 압축하기에 적당한 복수 개의 고주파용 기준영상 계층데이터 및 기준영상의 저주파 성분을 압축하기에 적당한 저주파용 기준영상 계층데이터를 생성하는 기준영상 계층데이터 생성단계; 및 상기 복수 개의 고주파용 현재영상 계층데이터, 상기 복수 개의 저주파용 현재영상 계층데이터, 상기 복수 개의 고주파용 기준영상 계층데이터 및 상기 복수 개의 저주파용 기준영상 계층데이터를 이용하여 상기 움직임벡터를 생성하는 움직임 벡터를 생 성하는 단계를 구비하는 것을 특징으로 하는 영상데이터 처리장치.