WO2016159613A1

WO2016159613A1 - 영상 합성을 위한 객체 추적 방법 및 시스템

Info

Publication number: WO2016159613A1
Application number: PCT/KR2016/003142
Authority: WO
Inventors: 전수영; 권지용
Original assignee: STARSHIP VENDING-MACHINE CORP
Current assignee: STARSHIP VENDING-MACHINE CORP
Priority date: 2015-03-31
Filing date: 2016-03-28
Publication date: 2016-10-06
Anticipated expiration: 2017-09-30
Also published as: KR101555876B1

Abstract

본 발명은 영상 합성을 위한 객체 추적 방법 및 시스템에 관한 것이다. 본 발명의 제 1 측면에 따르면, 영상합성의 대상인 객체가 합성되는 목표영상에서 객체의 영역을 추적하는 영상합성시스템에 있어서, 복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받는 위치입력부, 상기 목표영상의 각 프레임별로 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산하는 유사도계산부, 상기 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산하는 가속도계산부 및 상기 목표영상의 각 프레임별로 상기 객체가 합성되는 위치를 결정하는 영역결정부를 포함할 수 있다.

Description

영상 합성을 위한 객체 추적 방법 및 시스템

본 발명은 영상 합성을 위한 객체 추적 방법 및 시스템에 관한 것으로, 보다 상세하게는 객체가 합성되는 목표영상에 객체가 합성될 가이드영역를 사용자로부터 입력받고, 입력된 가이드영역에 기초하여, 목표영상의 각 프레임 별로 객체가 합성될 예상영역의 유사도를 계산하여 예상영역을 결정하는 방법 및 시스템에 관한 것이다.

영상 합성이란 임의의 원본영상 내에 특정 객체의 영역인 패치영역만을 임의의 목표영상에 합성하여 새로운 영상을 생성하는 기술을 말한다.

이러한 영상 합성은 전역적인 영상합성과 지역적인 영상합성으로 나뉘는데 지역적 영상합성은 전역적인 영상합성과 달리 특정한 객체의 움직임에 맞추어 합성되어 하는 특징이 있다.

이러한 움직임을 추출하는 대표적인 방법으로 목표영상을 촬영하는 단계에서 합성이 필요한 부분에 마커(marker)를 부착하여 촬영한 뒤, 마커를 시각 인식 기법 등으로 추적하여 특수효과 영상을 합성하고 마커를 지워내는 방법이 있다.

하지만 이러한 방법은 촬영시 반드시 마커를 함께 촬영하기 때문에 영상 합성시 마커를 지워내는 과정이 추가되어야 하는 단점이 있다.

이와 관련하여, 한국공개특허문헌 제 10-2009-0100741 호는 영상합성방법에 관한 것으로, 카메라로부터 수신한 영상신호에서 피사체영역을 검출하는 단계와 피사체영역과 배경영상을 합성하는 단계와 피사체 영역과 배경영상 중의 소정 객체 영역이 겹치는지 여부를 확인하는 단계와 피사체 영역과 배경영역 중의 소정 객체 영역이 겹치면, 겹치는 부분의 픽셀 면적을 계산하는 단계와 계산된 픽셀 면적이 소정 민감도를 초과하면 해당 객체에 대한 터치 이벤트를 발생시키는 단계와 피사체의 이동속도와 객체의 이동속도를 계산하여 피사체와 객체 사이의 충돌속도와 충돌각도를 산출하는 단계를 통해 크로마키를 이용한 영상합성 시에 배경영상과 피사체 간에 인터렉티브한 화면을 구현할 수 있는 효과가 있다. 그러나 상기 공개특허문헌에 개시된 기술은 상술된 문제점을 해결하지 못한다.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명의 일실시예는 사용자가 목표영상 내에 합성되는 객체의 예상 위치를 미리 지정함으로써, 사용자 편의성을 유지하면서도 객체의 위치 추적을 비교적 정확하게 하는 데에 목적이 있다.

또한, 본 발명의 일실시예는 사용자에 의한 객체의 예상위치를 입력 받음으로써 목표영상의 프레임마다 객체의 위치를 추적하기 위한 프레임 상에서의 영역을 한정하여 객체의 위치 추적에 따른 복잡도를 낮추는 데에 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 영상합성의 대상인 객체가 합성되는 목표영상에서 객체의 영역을 추적하는 영상합성시스템에 있어서, 복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받는 위치입력부, 상기 목표영상의 각 프레임별로 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산하는 유사도계산부, 상기 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산하는 가속도계산부 및 상기 목표영상의 각 프레임별로 상기 객체가 합성되는 위치를 결정하는 영역결정부를 포함할 수 있다.

본 발명의 제 2 측면에 따르면, 영상합성시스템이 영상합성의 대상인 객체가 합성되는 목표영상에서 객체의 영역을 추적하는 방법에 있어서, 복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받는 단계, 상기 목표영상의 각 프레임별로 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산하는 단계, 상기 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산하는 단계 및 상기 목표영상의 각 프레임별로 상기 객체가 합성되는 위치를 결정하는 단계를 포함할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 사용자가 목표영상 내에 합성되는 객체의 예상 위치를 미리 지정함으로써, 사용자 편의성을 유지하면서도 객체의 위치 추적을 비교적 정확하게 할 수 있다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자에 의한 객체의 예상위치를 입력받음으로써 목표영상의 프레임마다 객체의 위치를 추적하기 위한 프레임 상에서의 영역을 한정하여 객체의 위치 추적에 따른 복잡도를 낮출 수 있어 빠른 속도로 정확한 객체 추적을 수행할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1 는 본 발명의 일실시예에 따른 영상합성시스템의 구성부를 도시한 블록도이다.

도 2 은 본 발명의 일실시예에 따른 영상합성방법을 설명하기 위한 순서도이다.

도 3 는 본 발명의 일실시예에 따른 영상합성방법을 설명하기 위한 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.

본 발명에서 ‘원본영상’이란 영상합성의 대상이 되는 영상으로 원본영상은 특정 사물 또는 사용자가 선택한 영역 등의 ‘객체' 를 포함하며, 객체가 합성되는 목적지 영상을 ‘목표영상’이라고 한다.

그리고 ‘예상영역’ 이란 목표영상의 각 프레임 상에서 객체가 합성될 영역이고, ‘예상영역의 위치’는 예상영역을 구성하는 픽셀 중 중심이 되는 픽셀의 위치이다.

영상합성시스템(100)은 하나의 전자장치로 구현될 수 있음은 물론, 여러 전자장치로 구현될 수 있다. 예를 들어, 영상합성시스템(100)은, 사용자단말 상에서 구현될 수 있다. 또한 영상합성시스템(100)은, 예를 들어, 클라이언트가 설치된 사용자단말과 상기 클라이언트와 네트워크를 통해 통신하는 서버상에서 구현될 수 있다.

영상합성시스템(100)은 사용자에 의해 선택된 객체를 목표영상에 합성하기 위해 사용자에 의해 선택된 가이드영역 등을 이용하여, 목표영상에서 객체가 합성될 예상영역을 결정할 수 있다.

이하에서는 영상합성시스템(100)을 설명하기 위해 도 1 을 참조하여 영상합성시스템(100)의 각 구성을 설명한다.

우선, 영상합성시스템(100)은 위치입력부(210)를 포함한다. 위치입력부(210)는 복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력 받을 수 있다.

즉, 위치입력부(210)는 목표영상의 프레임별로 사용자로부터 객체가 합성되는 영역을 가이드영역으로 입력받을 수 있고, 각 프레임별로 입력된 가이드영역을 저장할 수 있다.

이때, 목표영상의 시작프레임의 가이드영역은 후술할 유사도계산부(220)에서 각 프레임의 예상영역의 유사도를 계산하기 위한 초깃값으로 이용되기 때문에 사용자로부터 객체가 합성될 정확한 위치를 입력받는 것이 바람직하다.

한편, 영상합성시스템(100)은 유사도계산부(220)를 포함한다. 영상합성시스템(100)의 유사도계산부(220)는 목표영상의 각 프레임별로 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 목표영상의 각 프레임의 예상영역의 유사도를 계산할 수 있다.

즉, 유사도계산부(220)는 목표영상의 복수의 프레임 중 시간 t 에서의 프레임의 예상영역 픽셀값에서 목표영상의 시간 t+1 에서의 프레임의 예상영역 픽셀값의 차이를 계산하여 유사도를 계산할 수 있다.

이를 식으로 보면 다음과 같이 나타낼 수 있다.

수식 1 :

상기 수식 1 에서

은 프레임간 예상영역의 유사성을 평가하는 값이다.

그리고

은 두 프레임

와

에서 주어진 객체가 합성되는 위치인

,

를 중심으로 한 각 예상영역 사이의 차이의 최소값이다.

이러한

를 계산하기 위해, 다양한 방식을 통해 예상영역 간의 차이를 계산할 수 있다. 예를 들어, 각 예상영역 내에 대응되는 픽셀 간의 픽셀값의 차이를 계산하여 그 총합을 계산하는 방식을 이용할 수 있다.

이와 같은 방식은 아래와 같은 식으로 나타낼 수 있다.

수식 2 :

상기 수식 2 에서 P 는 예상영역 내의 각 픽셀의 위치를 의미한다.

이때, 수식 2 에는 함수

내에

이라는 미지수가 포함되어 있고, 이러한 미지수

를 구하는 문제는 결과적으로 비선형 최적화 문제이므로 반복적 최적화 방법을 사용해야 한다. 이러한 반복적 최적화 방법에서는 초기해(initial solution )를 지정하는 것이 매우 중요하다.

그러므로 유사도계산부(220)는 유사도 계산을 위한 초기해로 위치입력부(210)가 사용자로부터 입력받은 가이드영역을 초기해로 지정할 수 있다.

한편, 수식 2 와 같이 비선형 최적화 문제를 반복적 최적화 방법을 이용하여 해결하기 위해, 반복되는 각 최적화 단계를 다시 세분화하여 현재 반복단계에서의 해

에 세분화된 단계의 부분 해인

를 더하여 다음 반복단계의 해인

를 구할 수 있다.

이를 식으로 나타내면 아래와 같다.

수식 3 :

수식 3 을 이용하여 유사영역 간 유사도를 측정하는 수식 2 는 다음의 수식 4 와 같이 1차 테일러 급수 전개를 통해 선형 근사화할 수 있다.

수식 4 :

따라서 수식 2 는 결과적으로

의 선형 방정식 형태로 유도될 수 있어 유사도계산부(220)가 빠르게 계산을 수행할 수 있다.

한편, 영상합성시스템(100)은 가속도계산부(230)를 포함한다. 영상합성시스템(100)의 가속도계산부(230)는 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 목표영상의 각 프레임의 예상영역의 가속도를 계산할 수 있다.

즉, 가속도계산부(230)는 상기 목표영상의 시간 t-1 에서의 프레임, 시간 t 에서의 프레임 및 시간 t+1 에서의 프레임 각각에서의 예상영역의 위치에 기초하여, 시간 t 에서의 프레임의 예상영역에 대한 가속도를 계산할 수 있다.

즉, 영상에서 객체는 일정한 속도로 이동하는 것이 일반적이므로 이러한 특징을 이용하여 각 프레임간 객체의 위치의 이동속도 변화량인 가속도가 최소인 영역을 예상영역으로 판단할 수 있다.

이를 식으로 보면 아래와 같다.

수식 5 :

수식 5 에서

은 각 프레임에서 예상영역의 이동 정도를 나타낸 것으로, 예상영역의 위치

를 시간에 대해 두번 미분한 값, 즉 가속도를 의미한다.

한편, 영상합성시스템(100)은 이격계산부(240)를 포함한다. 영상합성시스템(100)의 이격계산부(240)는 목표영상의 각 프레임별로 예상영역의 위치와 가이드영역의 위치의 차이인 이격도를 계산할 수 있다.

즉, 이격계산부(240)는 유사도계산부(220)에서 예상영역의 유사도를 계산하기 위해 각 프레임별로 계산을 수행하는 영역을 위치입력부(210)에서 입력받은 가이드영역의 위치로 제한할 수 있다.

이렇게 함으로써 영상합성시스템(100)은 각 프레임마다 객체를 추적하기 위해 계산해야 하는 영역을 줄일 수 있어 복잡도를 감소시킬 수 있으며, 각 프레임마다 객체가 합성되는 영역의 위치를 정교하게 추정할 수 있다.

이를 수식으로 나타내면 아래와 같다.

수식 6 :

수식 6 은 사용자의 가이드영역의 위치

와 실제 계산되는 예상영역의 위치

가 유사한지 여부를 판단할 수 있다.

따라서 이격계산부(240)는 수식 6 의 값이 최소값을 갖도록 하는 예상영역의 위치

를 사용자의 가이드영역의 위치로 한정할 수 있다.

그리고 영상합성시스템(100)은 영역결정부(250)를 포함할 수 있다. 영상합성시스템(100)의 영역결정부(250)는 목표영상의 각 프레임별로 예상영역의 위치를 결정할 수 있다.

즉, 영역결정부(250)는 목표영상의 각 프레임별로 유사도, 가속도 및 이격도를 최소화하는 위치를 예상영역의 위치로 결정할 수 있다.

즉, 객체는 각 프레임마다 그 픽셀값이 유사하고, 각 프레임 사이에서 일정한 속도로 이동하기 때문에 수식 2와 수식 3 의 계산 결과가 최소화된 위치가 객체가 합성되는 예상영역의 위치이다.

이를 수식으로 나타내면 아래와 같다.

수식 7 :

여기에 수식 2와 수식 3 에 의해 결정된 위치를 사용자로부터 입력된 가이드영역의 위치와 비교함으로써 기존 수식 7 에 의한 예상영역의 위치보다 보다 정확한 예상영역의 위치를 결정할 수 있다.

이를 식으로 나타내면 아래와 같다.

수식 8 :

수식 8 은 각 프레임별로 유사도, 가속도 및 이격도 각각에 대한 값에 가중치를 더하여 전체 값을 최소화하는 위치를 예상영역으로 결정함으로써 수식 7 에 의해 결정된 위치보다 보다 정확하고 빠르게 예상위치를 결정할 수 있다.

한편, 도 2 에 도시된 실시예에 따른 영사합성방법은 도 1 에 도시된 영상합성시스템(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 에 도시된 영상합성시스템(100)에 관하여 이상에서 기술한 내용은 도 2 에 도시된 실시예에 따른 영상합성방법에도 적용될 수 있다.

우선 영상합성시스템(100)은 복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받을 수 있다(S2001).

구체적으로 예를 들어, 영상합성시스템(100)은 클라이언트를 통해 목표영상을 사용자에게 제공할 수 있고, 각 프레임마다 터치입력 또는 마우스 커서 등의 입력방식을 통해 사용자로부터 가이드영역을 입력받을 수 있다.

그리고 영상합성시스템(100)은 목표영상의 각 프레임별로 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산할 수 있다(S2002).

즉, 영상합성시스템(100)은 목표영상의 시간 t 에서의 프레임의 예상영역 픽셀값에서 목표영상의 시간 t+1 에서의 프레임의 예상영역 픽셀값의 차이를 계산할 수 있다.

이때, 영상합성시스템(100)은 목표영상의 각 프레임별 예상영역의 유사도를 계산하기 위해, 목표영상의 시간 t 에서의 프레임에 대한 예상영역으로 사용자로부터 입력받은 가이드영역을 이용할 수 있고, 시간 t 에서의 프레임에 대한 가이드영역을 기초로 시간 t 에서의 프레임의 예상영역의 유사도를 계산할 수 있다.

이러한 유사도 계산은 상술한 바와 같이 비선형 최적화 문제로써 반복적 최적화 방법으로 문제를 해결할 수 있다.

도 3 을 참조하면, 영상합성시스템(100)은 목표영상의 시간 t 에서의 프레임(301)의 예상영역(304)과 시간 t+1 에서의 프레임(302)의 예상영역(305) 사이의 유사도를 계산하기 위해, 시간 t 에서의 프레임(301)의 가이드영역(303)의 위치를 예상영역(304)의 위치로 지정하여 유사도의 계산을 시작할 수 있다.

그리고 영상합성시스템(100)은 시간 t 에서의 프레임(301)의 예상영역(304)과 시간 t+1 에서의 프레임(302)의 예상영역(305) 사이의 픽셀값의 차이가 최소화되도록 예상영역의 위치를 시간 t 에서의 프레임(301)의 예상영역(306)과 시간 t+1 에서의 프레임(302)의 예상영역(307)으로 변경하는 단계를 반복함으로써 픽셀값의 차이가 최소화되는 시간 t 에서의 프레임(301)의 예상영역을 찾을 수 있다.

또한, 영상합성시스템(100)은 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산할 수 있다(S2003).

프레임간 객체의 이동이 급격하게 일어나지 않는 것이 일반적인 현상임에 따라 영상합성시스템(100)은 목표영상의 시간 t-1 에서의 프레임, 시간 t 에서의 프레임 및 시간 t+1 에서의 프레임 각각에서의 예상영역의 위치에 기초하여, 상기 시간 t 에서의 프레임의 예상영역에 대한 가속도를 계산할 수 있다.

그리고 영상합성시스템(100)은 목표영상의 각 프레임별로 예상영역의 위치와 가이드영역의 위치의 차이인 이격도를 계산할 수 있다(S2004).

즉, 영상합성시스템(100)은 객체가 합성되는 위치를 결정하기 위한 계산량을 줄이고 보다 정교한 결과를 위해, 예상영역의 위치와 가이드영역의 위치의 차이인 이격도를 계산하여 사용자로부터 입력받은 가이드영역으로부터 일정한 거리에 있는 영역만을 예상영역으로 설정할 수 있다.

이후, 영상합성시스템(100)은 목표영상의 각 프레임의 예상영역에 대해 S2002 내지 S2004 단계에서 계산되는 유사도, 가속도 및 이격도의 합을 계산할 수 있고, 계산된 값이 최소인지 여부를 판단할 수 있다(S2005).

구체적으로 예를 들어, 영상합성시스템(100)은 목표영상의 각 프레임별로 예상영역에서 유사도, 가속도 및 이격도의 합이 더 이상 줄어들지 않을 때까지 예상영역의 위치를 이동하면서 S2002 단계 내지 S2005 단계를 반복할 수 있다.

그리고 영상합성시스템(100)은 S2002 단계 내지 S2005 단계를 반복하여 목표영상의 각 프레임별로 유사도, 가속도 및 이격도의 합이 최소인 예상영역의 위치를 객체가 합성되는 위치로 결정할 수 있다(S2006).

도 2 를 통해 설명된 실시예에 따른 영상합성방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한 본 발명의 일실시예에 따르는 영상합성방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 본 발명의 일실시예에 따르는 영상합성방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 객체가 합성되는 목표영상에 객체가 합성될 가이드영역를 사용자로부터 입력받고, 입력된 가이드영역에 기초하여, 목표영상의 각 프레임 별로 객체가 합성될 예상영역의 유사도를 계산하여 예상영역을 결정하는 방법 및 시스템에 대하여 산업상 이용가능성이 있다.

Claims

영상합성의 대상인 객체가 합성되는 목표영상에서 객체의 영역을 추적하는 영상합성시스템에 있어서,

복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받는 위치입력부;

상기 목표영상의 각 프레임별로, 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산하는 유사도계산부;

상기 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산하는 가속도계산부; 및

상기 목표영상의 각 프레임별로 상기 객체가 합성되는 위치를 결정하는 영역결정부를 포함하는 영상합성시스템.
제 1 항에 있어서,

상기 유사도계산부는,

상기 목표영상의 시간 t 에서의 프레임의 예상영역 픽셀값에서 상기 목표영상의 시간 t+1 에서의 프레임의 예상영역 픽셀값의 차이를 계산하고,

상기 가속도계산부는,

상기 목표영상의 시간 t-1 에서의 프레임, 시간 t 에서의 프레임 및 시간 t+1 에서의 프레임 각각에서의 예상영역의 위치에 기초하여, 상기 시간 t 에서의 프레임의 예상영역에 대한 가속도를 계산하는, 영상합성시스템.
제 2 항에 있어서,

상기 유사도계산부는,

상기 가이드영역에 기초하여, 상기 유사도의 계산을 시작하는 상기 목표영상의 시간 t 에서의 프레임의 예상영역의 위치를 지정하는, 영상합성시스템.
제 1 항에 있어서,

상기 영상합성시스템은,

상기 목표영상의 각 프레임별로 예상영역의 위치와 가이드영역의 위치의 차이인 이격도를 계산하는 이격계산부를 더 포함하는, 영상합성시스템.
제 4 항에 있어서,

상기 영역결정부는,

상기 목표영상의 각 프레임별로 유사도, 가속도 및 이격도가 최소인 예상영역의 위치를 상기 객체가 합성되는 위치로 결정하는, 영상합성시스템.
영상합성시스템이 영상합성의 대상인 객체가 합성되는 목표영상에서 객체의 영역을 추적하는 방법에 있어서,

복수의 프레임으로 구성된 목표영상의 각 프레임별로 사용자가 지정한 영역인 가이드영역을 입력받는 단계;

상기 목표영상의 각 프레임별로 상기 객체가 합성될 영역인 예상영역의 픽셀값에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 유사도를 계산하는 단계;

상기 목표영상의 각 프레임 상의 예상영역의 위치에 기초하여, 상기 목표영상의 각 프레임의 예상영역의 가속도를 계산하는 단계; 및

상기 목표영상의 각 프레임별로 상기 객체가 합성되는 위치를 결정하는 단계를 포함하는 영상합성방법.
제 6 항에 있어서,

상기 유사도를 계산하는 단계는,

상기 목표영상의 시간 t 에서의 프레임의 예상영역 픽셀값에서 상기 목표영상의 시간 t+1 에서의 프레임의 예상영역 픽셀값의 차이를 계산하는 단계를 포함하고,

상기 가속도를 계산하는 단계는,

상기 목표영상의 시간 t-1 에서의 프레임, 시간 t 에서의 프레임 및 시간 t+1 에서의 프레임 각각에서의 예상영역의 위치에 기초하여, 상기 시간 t 에서의 프레임의 예상영역에 대한 가속도를 계산하는 단계를 포함하는, 영상합성방법.
제 7 항에 있어서,

상기 유사도를 계산하는 단계는,

상기 가이드영역에 기초하여, 상기 유사도의 계산을 시작하는 상기 목표영상의 시간 t 에서의 프레임의 예상영역의 위치를 지정하는 단계를 포함하는, 영상합성방법.
제 6 항에 있어서,

상기 영상합성방법은,

상기 목표영상의 각 프레임별로 예상영역의 위치와 가이드영역의 위치의 차이인 이격도를 계산하는 단계를 더 포함하는, 영상합성방법.
제 9 항에 있어서,

상기 객체가 합성되는 위치로 결정하는 단계는,

상기 목표영상의 각 프레임별로 유사도, 가속도 및 이격도가 최소인 예상영역의 위치를 상기 객체가 합성되는 위치로 결정하는 단계를 포함하는, 영상합성방법.
컴퓨터장치에 의해 수행되고, 상기 제 6 항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.