KR20130011608A - 표본 프로파일 정보 기반 움직임 추정장치 및 방법 - Google Patents
표본 프로파일 정보 기반 움직임 추정장치 및 방법 Download PDFInfo
- Publication number
- KR20130011608A KR20130011608A KR1020110072890A KR20110072890A KR20130011608A KR 20130011608 A KR20130011608 A KR 20130011608A KR 1020110072890 A KR1020110072890 A KR 1020110072890A KR 20110072890 A KR20110072890 A KR 20110072890A KR 20130011608 A KR20130011608 A KR 20130011608A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vmaxline
- hmaxline
- edge
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 표본 프로파일 정보 기반 움직임 추정장치 및 방법에 관한 것으로서, 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부; 상기 에지영상을 입력 받아 움직임 추정대상 블록에서 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 영상 분석부; 및 상기 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하여 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함 한다.
Description
본 발명은 표본 프로파일 정보 기반 움직임 추정장치 및 방법에 관한 것으로서, 보다 상세하게는, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상과 기준(reference) 영상의 에지(edge)를 검출하고 에지정보를 가장 많이 포함하는 수평 라인 및 수직 라인의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 하는 표본 프로파일 정보 기반 움직임 추정장치 및 방법에 관한 것이다.
멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 영상 압축 기술이 있다. 최근 들어 정보의 디지탈화가 급속도로 발전하고 있으며, 이에 따라 영상 압축 기술이 매우 중요하게 부각되고 있다.
일반적으로, PC나 HDTV, 혹은, 모바일 디바이스 등의 디지털 영상장치는 MPEG(Moving Picture Experts Group)-2, MPEG-4, H.264와 같은 영상 압축 방식으로 압축된 영상 신호를 MPEG기반 영상 코덱으로 인코딩하여 표시한다.
이러한 영상 코덱은 블록 정합(Block matching) 방식을 기반으로 시간적인 중복성을 제거한다. 블록 정합 방식은 영상을 작은 블록으로 나누고, 현재 인코딩/디코딩되는 영상의 블록과 유사한 부분을 시간적으로 이전 프레임 또는 이 전에 인코딩/디코딩된 영상에서 찾아서 활용하고 그 차이값을 전송하는 방법으로 압축하게 된다.
이를 위해, 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블록을 찾는 작업이 필요한데, 이를 움직임 추정(Motion Estimation, ME)이라 하며, 블록이 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(Motion Vector, MV)라고 한다.
블록 정합 방식을 이용한 중간 영상 프레임 Fi 합성 개념은 도 1과 같다.
도 1에 도시된 바와 같이, 이전 프레임 Fn-1과 현재 프레임 Fn 사이의 중간 영상 프레임 Fi를 합성하기 위해, 이전 프레임 Fn-1에 있는 블록과 현재 프레임에 있는 블록 Fn 간의 움직임 벡터(MV)의 움직임을 추정하여 중간 영상 프레임 Fi의 블록을 합성한다.
영상 신호 압축을 위한 움직임 추정(motion estimation) 시에는, 현재영상을 매크로블록으로 분할하고, 시간적으로 이전 영상과 SAD(Sum of Absolute Difference)또는 SSD(Sum of Square Difference)와 같은 오차값이 최소가 되는 영역과의 좌표 차를 움직임 벡터로 사용한다.
H.264의 경우, SAD 또는 SSD와 함께 움직임 벡터를 전송하는 데 요구되는 데이터량을 함께 고려한 값을 cost로 하여 cost가 가장 낮은 값을 보이는 움직임 벡터를 움직임 예측에 사용한다.
여기서, 움직임 벡터를 찾기 위해서는 SAD 또는 SSD를 움직임 탐색 영역의 모든 픽셀에 대해 모두 계산하고, 그 중 최소값을 가지는 위치를 찾아야 한다. 예컨대, 블록의 크기가 N x N 픽셀이고 움직임 탐색 영역이 32x32라면 1024*(2NxN-1)번의 덧셈/뺄셈 연산이 필요하며, 영상의 크기가 100Nx80N정도라면 8192000*(2NxN-1)*(NxN)의 연산이 필요하다. 이는 영상 인코딩 시 최대 50%까지의 연산을 차지할 정도로 많은 연산량으로, 시스템 부하를 유발하고 처리 속도를 지연시키는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상과 기준(reference) 영상의 에지(edge)를 검출하고 에지정보를 가장 많이 포함하는 수평 라인 및 수직 라인의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 영상 인코딩이 가능하도록 하는 표본 프로파일 정보 기반 움직임 추정장치 및 방법을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 표본 프로파일 정보 기반 움직임 추정장치는, 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부; 상기 에지영상을 입력 받아 움직임 추정대상 블록에서 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 영상 분석부; 상기 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하여 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함한다.
여기서, 상기 영상 분석부는, 상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하고, 상기 특징정보영상의 수평 프로파일과 수직 프로파일을 다음의 수학식에 적용하여 산출하여 상기 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출할 수 있다.
[수학식 1]
H(x) = ∑NI(x,y)
[수학식 2]
V(y) = ∑MI(x,y)
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) )
여기서 MxN은 블록의 크기이고, (x,y)는 픽셀의 좌표이고, I(x,y)는 (x,y)좌표에서의 픽셀의 휘도(intensity) 값을 나타낸다. 또한 H(x), V(y)는 각각 수평 프로파일과 수직 프로파일이다.
또한, 상기 움직임 벡터 추정부는, 상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 대응되는 픽셀의 휘도값과 기준영상의 해당 픽셀의 휘도값에 기초하여 블록 정합 오차를 산출할 수 있다.
그리고, 상기 움직임 벡터 추정부는, 상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출할 수 있다.
[수학식5]
SAD = {∑|Iref(HmaxLine+X,y+Y) - Icur(HmaxLine,y)|
+ ∑|Iref(x+X,VmaxLine+Y) - Vcur(x,VmaxLine)|}xα
[수학식6]
SSD = {∑|ref(HmaxLine,y) - Hcur(HmaxLine,y)|2
+ ∑|Vref(x,VmaxLine) - Vcur(x,VmaxLine)|2}xα
(여기서, α는 스케일 상수로써 N/2(N=자연수))
한편, 상술한 목적을 달성하기 위한 본 발명의 표본 프로파일 정보 기반 움직임 추정방법은, 현재영상을 입력 받아 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 단계; 상기 에지영상을 입력 받아 블록내 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 단계; 상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상의 블록과 기준영상의 블록 간의 블록 정합 오차를 계산하는 단계; 및 상기 블록 정합 오차가 최소인 블록들의 좌표차를 움직임 벡터로 예측하는 단계를 포함한다.
여기서, 상기 에지영상을 입력 받아 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 단계는, 상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하는 단계; 상기 특징정보영상의 수평 프로파일과 수직 프로파일을 다음의 수학식1 및 2에 적용하여 산출하는 단계;
[수학식 1]
H(x) = ∑NI(x,y)
[수학식 2]
V(y) = ∑MI(x,y)
상기 수평 프로파일과 수직 프로파일 중 상기 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 다음의 수학식3 및 4를 적용하여 검출하는 단계를 포함할 수 있다.
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) )
그리고, 상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계는, 상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 단계를 포함할 수 있다.
[수학식5]
SAD = {∑|Iref(HmaxLine+X,y+Y) - Icur(HmaxLine,y)|
+ ∑|Iref(x+X,VmaxLine+Y) - Vcur(x,VmaxLine)|}xα
[수학식6]
SSD = {∑|ref(HmaxLine,y) - Hcur(HmaxLine,y)|2
+ ∑|Vref(x,VmaxLine) - Vcur(x,VmaxLine)|2}xα
(여기서, α는 스케일 상수로써 N/2(N=자연수))
상술한 바와 같이 본 발명의 표본 프로파일 정보 기반 움직임 추정장치 및 방법은, 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상과 기준(reference) 영상의 에지(edge)를 검출하고 에지정보를 가장 많이 포함하는 수평 라인 및 수직 라인의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 영상 인코딩이 가능케 한다.
도 1은 블록 정합 방식을 이용한 움직임 벡터 예측 상태도,
도 2는 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정장치의 제어 블록도,
도 3은 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정방법의 흐름도이다.
도 2는 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정장치의 제어 블록도,
도 3은 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 2는 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정장치의 제어 블록도이다. 움직임 벡터 추정을 위해서는 현재영상과 기준영상이 필요하다. 여기서, 기준영상은 현재영상보다 시간적으로 이전의 영상, 혹은, 인코딩/디코딩 순서에서 이 전에 처리된 영상을 뜻한다.
도 2에 도시된 바와 같이, 본 발명의 움직임 추정장치는, 에지영상 생성부(110), 영상 분석부(120), 움직임 벡터 추정부(130), 움직임 벡터 저장부(140)를 포함한다.
에지영상 생성부(110)는 입력되는 영상의 에지를 검출(edge detection)하여 에지영상을 생성한다. 영상의 에지는 영상 밝기의 불연속점으로 영상의 밝기가 낮은 값에서 높은 값으로, 또는, 이와 반대로 변화하는 부분을 뜻한다. 즉, 에지는 영상 내 객체의 윤곽선에 해당 되므로 에지를 검출하면 표시된 객체의 윤곽선의 픽셀 좌표를 추출할 수 있다. 에지영상을 생성하는 방법으로는 밝기의 변화율 즉, 기울기를 검출하여 기울기가 소정 기준값 이상일 경우 에지로 취하는 등의 다양한 기술이 사용되고 있다. 이에, 에지영상 생성부(110)는 종래에 소개된 에지 검출 방법을 이용하여 에지영상을 생성한다.
영상 분석부(120)는 에지영상을 입력 받아 에지정보를 가장 많이 포함하고 있는 수평라인 및 수직라인을 검출한다.
영상 분석부(120)는 먼저 에지영상을 특정값 T로 임계처리(thresholding)하여 에지값이 T보다 크면 1로 기록하고 작으면 0으로 기록하여 특징정보영상을 생성한다. 에지값은 영상 밝기의 변화율이므로 임계처리가 완료된 특징정보영상에는 객체의 윤곽선일 가능성이 높은 픽셀만이 1로 기록된다.
영상 분석부(120)는 특징정보영상에서 각 블록 별로 수평 프로파일(horizontal profile)과 수직 프로파일(vertical profile)을 생성한다. 수평 프로파일과 수직 프로파일을 산출하는 식은 다음의 수학식 1 및 수학식 2와 같다.
[수학식 1]
H(x) = ∑NI(x,y)
[수학식 2]
V(y) = ∑MI(x,y)
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) )
여기서 MxN은 블록의 크기이고, (x,y)는 픽셀의 좌표이고, I(x,y)는 (x,y)좌표에서의 픽셀의 휘도(intensity) 값을 나타낸다. 또한 H(X)는 수평 프로파일이고 V(Y)는 수직 프로파일이며, X, Y는 수학식 3,4로 선택된 블록의 수평 라인과 수직 라인을 나타낸다.
수학식 1과 수학식 2를 통해 이해할 수 있듯이, 프로파일이란 2차원 영상에서 동일한 수직라인 또는 수평라인의 화소값을 합산한 값이다.
영상 분석부(120)는 각 블록의 수평 프로파일과 수직 프로파일을 생성한 후, 이들 중 에지정보를 가장 많이 포함하고 있는 수평 라인과 수직 라인을 각각 하나씩 추출한다. 각 블록에서 에지정보를 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 수식은 다음은 수학식 3 및 수학식 4와 같다.
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) )
움직임 벡터 추정부(130)는 기준영상 내의 블록과 현재영상 내 블록의 정합 오차를 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 이용하여 산출한다. 움직임 벡터 추정부(130)에서 SAD(Sum of Absolute Difference) 또는 SSD(Sum of Square Difference)에 대응되는 정합 오차를 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)를 이용하여 산출하는 방법은 다음의 수학식 5 및 수학식 6과 같다.
[수학식 5]
SAD = {∑|Iref(HmaxLine+X,y+Y) - Icur(HmaxLine,y)|
+ ∑|Iref(x+X,VmaxLine+Y) - Vcur(x,VmaxLine)|}xα
[수학식 6]
SSD = {∑|ref(HmaxLine,y) - Hcur(HmaxLine,y)|2
+ ∑|Vref(x,VmaxLine) - Vcur(x,VmaxLine)|2}xα
여기서 Iref(x,y), Icur(x,y)는 각각 기준영상과 현재영상의 (x,y)좌표에서의 휘도(intensity)값을 나타내고, (X,Y)는 후보 움직임 벡터를 나타낸다. 또한 α는 스케일 상수로써 N/2(N=자연수)이다.
움직임 벡터 추정부(130)는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 이용하여 SAD(Sum of Absolute Difference) 또는, SSD(Sum of Square Difference)와 같은 오차값을 산출하고, 이전 영상과의 오차값이 최소가 되는 영역과의 좌표차를 움직임 벡터로 결정한다.
움직임 벡터 저장부(140)에는 추정된 움직임 벡터들이 저장된다.
이상 설명한 바와 같이, 본 발명에서는 현재영상의 각 블록에 대해 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 찾으면 모든 후보 움직임 벡터에 대해 동일하게 사용할 수 있으므로 NxN 크기의 블록 비교 시 (2NxN-1)번의 연산이 4N으로 감소하여 연산시간을 감소시킬 수 있다.
예컨대, N이 8인 경우 종래기술에 따르면 127번의 연산이 필요하지만, 본 발명의 경우 32번으로 감소하므로 제안한 방법은 약 4배의 속도 향상을 가져온다.
도 3은 본 발명에 따른 표본 프로파일 정보 기반 움직임 추정방법의 흐름도이다.
먼저, 에지영상 생성부(110)에서는 현재영상에 대해 에지영상을 생성한다(S110). 영상의 에지는 영상 밝기의 불연속점으로 영상의 밝기가 낮은 값에서 높은 값으로, 또는, 이와 반대로 변화하는 부분을 뜻한다. 즉, 에지는 영상 내 객체의 윤곽선에 해당 되므로 에지를 검출하면 표시된 객체의 윤곽선의 픽셀 좌표를 추출할 수 있다.
영상 분석부(120)는 에지영상 값을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성한다(S112). 에지값은 영상 밝기의 변화율이므로 임계처리가 완료된 특징정보영상에는 객체의 윤곽선일 가능성이 높은 픽셀만이 1로 기록된다.
영상 분석부(120)는 특징정보영상 내의 각 블록에 대해 수평 프로파일 및 수직 프로파일 산출한다(S114). 영상 분석부(120)는 특징정보영상의 수평 프로파일 영상을 생성하는 데에는 전술한 수학식 1을 적용하고, 수직 프로파일 영상을 생성하는 데에는 수학식 2를 적용할 수 있다. 여기서, 프로파일이란 2차원 영상에서 동일한 수직라인 또는 수평라인의 화소값을 합산한 값으로 정의될 수 있다.
영상 분석부(120)는 수평 프로파일 및 수직 프로파일 값에 기초하여 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출한다(S116). 영상 분석부(120)는 수학식 3 및 수학식 4를 적용하여 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출할 수 있다.
이 후, 기준영상의 블록과 현재영상의 블록의 차이를 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)를 이용하여 산출한다(S118). 움직임 벡터 추정부(130)는 오차값을 계산하는 데에는 수학식 5을 이용하여 SAD를 산출하거나, 수학식 6을 이용하여 SSD를 산출할 수 있다.
움직임 벡터 추정부(130)는 움직임 벡터 추정부(130)는 정합 오차값을 계산하여 오차값이 최소가 되는 기준 블록과 현재 블록의 좌표차를 움직임 벡터로 추정한다(S120).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 블록 정합을 위한 움직임 벡터 추정 시 현재(current) 영상과 기준(reference) 영상의 에지(edge)를 검출하고 에지정보를 가장 많이 포함하는 수평 라인 및 수직 라인의 정합 오차를 비교하여 움직임 벡터를 예측하도록 함으로써, 움직임 예측을 위한 연산량을 감소시켜 고속 인코딩이 가능하도록 하는 표본 프로파일 정보 기반 움직임 추정장치 및 방법에 이용할 수 있다.
110 : 에지영상 생성부
120 : 영상 분석부
130 : 움직임 벡터 추정부
140 : 움직임 벡터 저장부
120 : 영상 분석부
130 : 움직임 벡터 추정부
140 : 움직임 벡터 저장부
Claims (7)
- 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 에지영상 생성부;
상기 에지영상을 입력 받아 움직임 추정대상 블록에서 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 영상 분석부; 및
상기 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하여 차이가 가장 작은 블록의 좌표차를 움직임 벡터로 예측하는 움직임 벡터 추정부를 포함하는 표본 프로파일 정보 기반 움직임 추정장치. - 제1항에 있어서,
상기 영상 분석부는,
상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하고, 상기 특징정보영상의 수평 프로파일과 수직 프로파일을 다음의 수학식에 적용하여 산출하여 상기 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 것을 특징으로 하는 표본 프로파일 정보 기반 움직임 추정장치.
[수학식 1]
H(x) = ∑NI(x,y)
[수학식 2]
V(y) = ∑MI(x,y)
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) )
여기서 (x,y)는 픽셀의 좌표이고, I(x,y)는 (x,y)좌표에서의 픽셀의 휘도(intensity) 값을 나타낸다. 또한 H(X), V(Y)는 각각 수평 프로파일과 수직 프로파일이며, 에지영상 E에서의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 나타낸다. - 제1항에 있어서,
상기 움직임 벡터 추정부는,
상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 대응되는 픽셀의 휘도값과 기준영상의 해당 픽셀의 휘도값에 기초하여 블록 정합 오차를 산출하는 것을 특징으로 하는 표본 프로파일 정보 기반 움직임 추정장치.. - 제1항에 있어서,
상기 움직임 벡터 추정부는,
상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 것을 특징으로 하는 표본 프로파일 정보 기반 움직임 추정장치.
[수학식5]
SAD = {∑|Iref(HmaxLine+X,y+Y) - Icur(HmaxLine,y)|
+ ∑|Iref(x+X,VmaxLine+Y) - Vcur(x,VmaxLine)|}xα
[수학식6]
SSD = {∑|ref(HmaxLine,y) - Hcur(HmaxLine,y)|2
+ ∑|Vref(x,VmaxLine) - Vcur(x,VmaxLine)|2}xα
(여기서, α는 스케일 상수로써 N/2(N=자연수)) - 현재영상을 입력 받아 현재영상 내 객체의 윤곽선에 해당 되는 에지를 검출하여 현재영상의 에지영상을 생성하는 단계;
상기 에지영상을 입력 받아 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 단계;
상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계; 및
상기 블록 정합 오차가 최소인 블록들의 좌표차를 움직임 벡터로 예측하는 단계를 포함하는 표본 프로파일 정보 기반 움직임 추정방법. - 제5항에 있어서,
상기 에지영상을 입력 받아 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 검출하는 단계는,
상기 에지영상을 특정값(T)과 비교하여 임계처리 함으로써, 0 과 1로 기록되는 특징정보영상을 생성하는 단계;
상기 특징정보영상의 수평 프로파일과 수직 프로파일을 다음의 수학식1 및 2에 적용하여 산출하는 단계;
[수학식 1]
H(x) = ∑NI(x,y)
[수학식 2]
V(y) = ∑MI(x,y)
상기 수평 프로파일과 수직 프로파일 중 상기 에지정보를 가장 많이 포함하고 있는 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)을 다음의 수학식3 및 4를 적용하여 검출하는 단계를 포함하는 것을 특징으로 하는 표본 프로파일 정보 기반 움직임 추정방법.
[수학식 3]
X = argx Max (∑NE(x,y) )
[수학식 4]
Y = argx Max (∑ME(x,y) ) - 제5항에 있어서,
상기 현재영상의 수평 맥스 라인(HmaxLine) 및 수직 맥스 라인(VmaxLine)에 기초하여 현재영상과 기준영상 간의 블록 정합 오차를 계산하는 단계는,
상기 현재영상과 기준영상 간의 차이를 다음의 수학식을 이용하여 SAD 및 SSD 중 적어도 어느 하나의 값으로 산출하는 단계를 포함하는 것을 특징으로 하는 표본 프로파일 정보 기반 움직임 추정방법.
[수학식5]
SAD = {∑|Iref(HmaxLine+X,y+Y) - Icur(HmaxLine,y)|
+ ∑|Iref(x+X,VmaxLine+Y) - Vcur(x,VmaxLine)|}xα
[수학식6]
SSD = {∑|ref(HmaxLine,y) - Hcur(HmaxLine,y)|2
+ ∑|Vref(x,VmaxLine) - Vcur(x,VmaxLine)|2}xα
(여기서, α는 스케일 상수로써 N/2(N=자연수))
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110072890A KR101777776B1 (ko) | 2011-07-22 | 2011-07-22 | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110072890A KR101777776B1 (ko) | 2011-07-22 | 2011-07-22 | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160142459A Division KR101781560B1 (ko) | 2016-10-28 | 2016-10-28 | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130011608A true KR20130011608A (ko) | 2013-01-30 |
| KR101777776B1 KR101777776B1 (ko) | 2017-09-12 |
Family
ID=47840537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110072890A Active KR101777776B1 (ko) | 2011-07-22 | 2011-07-22 | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101777776B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160015136A (ko) * | 2014-07-30 | 2016-02-12 | 엔트릭스 주식회사 | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| WO2016047890A1 (ko) * | 2014-09-26 | 2016-03-31 | 숭실대학교산학협력단 | 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| KR20180116135A (ko) * | 2017-04-14 | 2018-10-24 | 한화테크윈 주식회사 | 에지 값을 이용한 감시 카메라의 패닝 및 틸팅 제어 방법 |
-
2011
- 2011-07-22 KR KR1020110072890A patent/KR101777776B1/ko active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160015136A (ko) * | 2014-07-30 | 2016-02-12 | 엔트릭스 주식회사 | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| WO2016047890A1 (ko) * | 2014-09-26 | 2016-03-31 | 숭실대학교산학협력단 | 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| KR20180116135A (ko) * | 2017-04-14 | 2018-10-24 | 한화테크윈 주식회사 | 에지 값을 이용한 감시 카메라의 패닝 및 틸팅 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101777776B1 (ko) | 2017-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI565306B (zh) | 視訊解碼裝置、視訊編碼裝置、視訊解碼方法、視訊編碼方法、及儲存媒體（四） | |
| KR100803611B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| KR101440610B1 (ko) | 영상의 부호화/복호화 장치 및 그 방법 | |
| US8204124B2 (en) | Image processing apparatus, method thereof, and program | |
| US20160080767A1 (en) | Encoding system using motion estimation and encoding method using motion estimation | |
| KR101777776B1 (ko) | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| JP5199196B2 (ja) | 動画像復号方法，動画像復号装置および動画像復号プログラム | |
| TW201310392A (zh) | 預測移動向量之估測方法 | |
| KR101810118B1 (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| US8837595B2 (en) | Motion estimation method | |
| CN1965583A (zh) | 搜索全局运动矢量的方法 | |
| KR101787004B1 (ko) | 표본 픽셀 기반 움직임 추정장치 및 방법 | |
| KR101781560B1 (ko) | 표본 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
| KR101798191B1 (ko) | 표본 픽셀 기반 움직임 추정장치 및 방법 | |
| KR101895822B1 (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| Fan et al. | Spatiotemporal segmentation based on two-dimensional spatiotemporal entropic thresholding | |
| CN101001380A (zh) | 视频编码的移动估计方法 | |
| JP2008301270A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| CN107426577B (zh) | 运动估计运动补偿算法中重复性结构的检测方法及系统 | |
| KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| KR20130012421A (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| Hussain et al. | Block matching algorithms for motion estimation–A comparison study | |
| US20090324115A1 (en) | Converting the frame rate of video streams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110722 |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20111102 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20160706 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20110722 Comment text: Patent Application |
|
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20161028 Patent event code: PA01071R01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20161212 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170620 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170906 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170907 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200904 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210830 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220624 Start annual number: 6 End annual number: 6 |