KR20110118495A

KR20110118495A - 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템

Info

Publication number: KR20110118495A
Application number: KR1020100038123A
Authority: KR
Inventors: 이원우; 우운택; 박영민
Original assignee: 광주과학기술원
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2011-10-31
Anticipated expiration: 2030-04-23
Also published as: US20110262003A1; KR101080375B1; US8903124B2

Abstract

본 발명은 객체에 대한 학습 시간이 최소화된 객체 학습 방법과, 객체 학습 방법을 이용한 객체 추적 방법과, 객체 학습 및 추적 시스템에 관한 것이다. 이러한 본 발명에 따른 객체 학습 방법은, 단말기가 카메라를 통해 학습할 객체의 영상을 입력받아 정면 영상을 생성하는 단계; 학습에 사용할 m개의 시점을 생성하고, 상기 정면 영상을 이용하여 m개의 시점 각각에서 객체를 보았을 때의 제 1 영상들을 생성하는 단계; 상기 제 1 영상들에 래디얼 블러를 적용하여 제 2 영상들을 생성하는 단계; 상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계; 및 상기 레퍼런스 패치들의 픽셀 값을 저장하는 단계; 를 포함하여 수행된다.

Description

객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템{METHOD FOR LEARNING OBJECT, AND METHOD FOR TRACKING OBJECT USING METHOD FOR TRACKING OBJECT, AND SYSTEM FOR LEARNING AND TRACKING OBJECT}

본 발명은 객체에 대한 학습 시간이 최소화된 객체 학습 방법과, 객체 학습 방법을 이용한 객체 추적 방법과, 객체 학습 및 추적 시스템에 관한 것이다.

일반적으로 객체 인식/추적 알고리즘은 대상 객체에 대한 정보(예 : 특징점, 색상 분포 등)를 미리 학습하여 저장한 후에, 저장한 정보와 카메라로 실시간으로 입력되는 영상을 비교하여 객체 인식/추적을 수행하였다.

이와 같은 객체 인식/추적 알고리즘은 학습된 물체에 대해서는 강건한 성능을 보인다는 장점이 있으나, 학습하는데 시간이 많이 필요하기 때문에 학습 단계가 오프라인으로 수행되어야 한다는 단점이 있다.

환경에 존재하는 모든 물체에 대한 학습을 수행하고 결과 데이터를 저장해 놓는 것은 불가능하므로, 학습 되지 않은 객체와 상호 작용하기 위해서는 오프라인이 아닌 현장에서 대상 객체에 대한 학습을 빠르게 수행할 수 있는 기술의 고안이 필요하다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 객체에 대한 학습 시간이 최소화된 객체 학습 방법과, 이를 이용한 객체 추적 방법 및 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위한 객체 학습 방법은, 단말기가 카메라를 통해 학습할 객체의 영상을 입력받아 정면 영상을 생성하는 단계; 객체 학습에 사용할 m개의 시점을 생성하고, 상기 정면 영상을 이용하여 m개의 시점 각각에서 객체를 보았을 때의 제 1 영상들을 생성하는 단계; 상기 제 1 영상들에 래디얼 블러를 적용하여 제 2 영상들을 생성하는 단계; 상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계; 및 상기 레퍼런스 패치들의 픽셀 값을 저장하는 단계; 를 포함하는 것을 특징으로 한다.

그리고, 상기와 같은 목적을 달성하기 위한 객체 학습 방법을 이용한 객체 추적 방법은, 단말기가 객체 학습 방법을 통해 객체의 정면 영상과, 객체에 대한 m개의 시점에 대응되는 카메라의 자세 파라미터와, m개의 시점에 대한 레퍼런스 패치를 획득하는 단계; 추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 추적에 사용할 영역을 분리하여 입력 패치를 획득하는 단계; 객체를 이전 프레임에서 이미 추적 중인지 판단하여, 추적 중이지 않다고 판단되면 현재 프레임에서의 입력 패치와의 가장 차이가 적은 유사 레퍼런스 패치 및 카메라의 자세 파라미터를 획득한 후에 현재 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하고, 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하는 단계; 및 상기 개선된 카메라의 자세를 이용하여 정면에서 본 정면 패치를 생성한 후에 상기 객체 학습 방법을 통해 얻은 정면 영상과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에는 동일한 것으로 판단하는 단계; 를 포함하는 것을 특징으로 한다.

그리고, 상기와 같은 목적을 달성하기 위한 객체 학습 및 추적 시스템은, 단말기가 객체 학습 방법을 통해 객체의 정면 영상과, 객체에 대한 m개의 시점에 대응되는 카메라의 자세 파라미터와, m개의 시점에 대한 레퍼런스 패치를 획득하는 단계; 추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 객체 추적에 사용할 영역을 분리하여 입력 패치를 획득하는 단계; 객체를 이전 프레임에서 이미 추적 중인지 판단하여, 추적 중이지 않다고 판단되면 현재 프레임에서의 입력 패치와의 가장 차이가 적은 유사 레퍼런스 패치 및 카메라의 자세 파라미터를 획득한 후에 현재 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하고, 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하는 단계; 및 상기 개선된 카메라의 자세를 이용하여 정면에서 본 정면 패치를 생성한 후에 상기 객체 학습 방법을 통해 얻은 정면 영상과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에는 동일한 것으로 판단하는 단계; 를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명은 카메라를 통해 획득한 정면 영상을 렌더링을 통해 워핑하여 학습에 사용할 m개의 시점에서 객체를 보았을 때의 영상들을 생성한 후에 래디얼 블러를 적용함으로써, 객체에 대한 학습 과정을 빠르게 수행할 수 있는 효과가 있다.

그리고, 상기와 같은 본 발명은 사전에 학습이 되어 있지 않은 객체일지라도 현장에서 단말기 사용 중에 객체에 대한 학습을 하고 해당 객체에 대한 추적을 수행할 수 있는 효과가 있다.

그리고, 상기와 같은 본 발명은 객체 학습 시에 사용자(즉, 카메라)가 정면을 보고 있지 않더라도 단말기의 가속도계를 이용하여 정면 시점의 영상을 생성하여 객체 학습에 이용할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 객체 학습 방법을 나타내는 순서도.
도 2a 내지 도 2d는 도 1의 일부 단계의 결과물의 일 예를 나타내는 사진.
도 3은 도 1의 객체의 정면 영상을 얻는 단계를 설명하기 위한 도면.
도 4는 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 나타내는 순서도.
도 5는 본 발명의 바람직한 실시예에 따른 객체 추적 시스템을 나타내는 블록도.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 객체 학습 방법과, 이를 이용한 객체 추적 방법 및 시스템에 대하여 설명하면 다음과 같다.

<객체 학습 방법>

도 1 내지 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 객체 학습 방법에 대하여 설명하면 다음과 같다.

먼저, 단말기(예 : 모바일 단말기)는 학습할 객체의 영상(I^*)을 카메라를 통해 입력받아 도 2a의 사진과 같은 정면 영상(I_f)으로 변환한다.(S101)

더욱 상세히, 상기 단말기는 카메라를 통해 영상(I^*)을 입력받고 도 3과 같이 카메라의 시점 방향 벡터가 정면 시점 방향 벡터(즉, 평면의 노멀 벡터)에 대하여 이루는 각도(θ)를 획득한 후에, 상기 영상(I^*)을 상기 각도(θ)의 (-)값만큼 회전시켜 정면 영상(I_f)으로 변환한다. 도 3에는 영상(I^*)을 X축에 대해서 회전시켜서 정면 영상으로 변환하는 경우를 일 예로 하여 도시하였지만, 본 발명이 이에 한정되는 것은 아니며, 필요에 따라 영상(I^*)을 Y축 또는 Z축에 대해서 회전시켜서 정면 영상으로 변환하는 예도 가능하다.

상기 카메라의 시점 방향 벡터가 정면 시점 방향 벡터에 대하여 이루는 각도(θ)를 획득하는 방법은 다양한 예가 가능하지만, 일 예로서 단말기에 구비되어 카메라가 중력 방향에 대해 이루는 각도를 측정하는 가속도계(accelerometer)를 이용하는 방법이 있다.

다음으로, 상기 단말기는 객체 학습에 사용할 m개의 시점을 생성한다. (S102)

다음으로, 상기 단말기는 객체 학습에 사용할 m개의 시점 각각에 대한 카메라의 자세 파라미터((RT)_n)들을 생성한다.

다음으로, 상기 단말기는 정면 영상(I_f)에 대하여 워핑(warping)을 수행하여 m개의 시점 각각에서 객체를 보았을 때의 제 1 영상(I_n)들을 생성한다.(S103) 도 2b에는 m개의 시점 중에 어느 하나인 n 번째 시점에서 객체를 보았을 때의 제 1 영상(I_n)의 일 예를 사진으로 나타내었다.

이와 같이 정면 영상(I_f)에 대한 워핑을 수행하여 제 1 영상(I_n)들을 생성할 시에는, 변환 행렬을 이용하여 영상 대 영상으로 워핑을 하는 것보다는 그래픽 처리 유닛(graphic processing unit; GPU) 상에서 가상 카메라를 통해 렌더링(rendering)하여 워핑을 수행하는 것이 바람직하며, 이로써 제 1 영상(I_n)을 신속하게 생성해 낼 수 있다.

다음으로, 상기 단말기는 제 1 영상(I_n)들에 래디얼 블러(radial blur)를 적용하여 도 2c의 사진과 같은 제 2 영상들(I_n')을 생성한다.(S104)

상기와 같은 래디얼 블러는 영상의 각 픽셀을 특정 지점을 중심으로 회전시키는 것으로서, 상기 제 1 영상(I_n)들에 래디얼 블러를 적용하면 현재 시점에 가까운 k개의 서로 다른 시점에서 렌더링된 영상 k개를 서로 겹쳐놓은 것과 같은 효과가 발생하게 된다. 따라서, 시점마다 k번의 렌더링을 수행하는 과정이 필요하지 않아 객체 학습 과정에 소요되는 시간이 최소화되게 되며, 이후에 객체 추적 과정에서 발생하는 노이즈에 강건할 수 있게 된다. 상기 객체 추적 과정과 관련한 설명은 이하에서 본 발명의 바람직한 실시예에 따른 객체 추적 방법에 대하여 설명할 시에 상세히 하도록 한다.

다음으로, 상기 단말기는 제 2 영상들(I_n')에 가우시안 블러(Gaussian Blur를 적용하여 도 2d의 사진과 같은 제 3 영상들(I_n'')을 생성한다.(S105)

이와 같이 상기 제 2 영상들(I_n')에 가우시안 블러를 적용하면 카메라로 들어오는 영상(I^*)에 존재하는 노이즈에 대해 이후에 객체 추적 과정에서의 객체 추적을 보다 강건하게 하는 효과가 있다.

그리고, 상기 제 2 영상들(I_n')에 가우시안 블러를 적용할 시에 단말기의 중앙 처리 장치(central processing unit ; CPU)가 아닌 그래픽 처리 장치(GPU) 상에서 수행함으로써 처리 속도를 높일 수 있다.

다음으로, 상기 단말기는 제 3 영상들(I_n'') 중에서 객체 학습에 사용할 영역만을 분리하여 학습 패치(P_n)를 획득한다. 도 3의 붉은 사각형 영역은 상기 학습 패치(P_n)의 일 예이다.

다음으로, 상기 단말기는 학습 패치(P_n)를 샘플링하고 정규화하는 후처리를 수행하여 레퍼런스 패치(p_n')를 획득한다.(S106)

즉, 상기 단말기는 학습 패치(P_n)를 작은 크기로 샘플링하여 샘플링 패치(p_n)를 획득하고, 상기 샘플링 패치(p_n)를 정규화하여 레퍼런스 패치(p_n')를 획득한다.

상기 학습 패치(P_n)에 대하여 샘플링 과정을 거치면, 이후의 객체 추적 과정에서 입력 영상과 레퍼런스 패치(p_n')를 비교할 시에 소요되는 시간이 최소화될 수 있다. 상기 객체 추적 과정과 관련한 설명은 이하에서 본 발명의 바람직한 실시예에 따른 객체 추적 방법에 대하여 설명할 시에 상세히 하도록 한다.

상기 샘플링 패치(p_n)를 정규화하는 것은 레퍼런스 패치(p_n')의 픽셀값(intensity)의 분포가 평균값이 "0"이고 표준편차가 "1"이 되도록 하는 것이다. 이와 같은 정규화 과정을 거치면, 이후의 객체 추적 과정에서 조명 변화에 따른 픽셀값의 변화에 대한 영향을 적게 받게 된다.

다음으로, 상기 단말기는 상기 레퍼런스 패치(p_n')의 픽셀값과, 이 픽셀값에 대응되는 시점에서의 카메라의 자세 파라미터((RT)_n)를 저장한다.

<객체 학습 방법을 이용한 객체 추적 방법>

이하, 상술한 바와 같은 객체 추적 방법을 이용한 객체 추적 방법, 즉 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 이용한 객체 추적 방법에 대하여 도 4를 참조하여 설명하면 다음과 같다.

먼저, 단말기는 상술한 바와 같은 다수의 단계를 포함하는 객체 학습 방법을 수행하여, 객체에 대한 정면 영상(I_f)과, 객체에 대한 m개의 시점에 대응되는 카메라의 자세 파라미터((RT)_n)와, m개의 시점에 대한 레퍼런스 패치(p_n')를 획득한다.(S201)

다음으로, 상기 단말기는 추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력 받아 객체 추적에 사용할 영역을 분리하여 패치(F_i)를 획득한 후에 작은 크기로 샘플링하여 샘플링 패치(f_i)를 획득한다. 이때, 상기 샘플링은 상술한 바 있는 객체 학습 방법의 후처리 단계에서의 샘플링과 동일한 방법으로 수행된다.

다음으로, 상기 단말기는 상기 샘플링 패치(f_i)를 정규화하여 입력 패치(f_n)를 획득한다. 이때, 상기 정규화는 상술한 바 있는 객체 학습 방법의 후처리 단계에서의 정규화 과정과 동일한 방법으로 수행된다.

다음으로, 상기 단말기는 현재 프레임에서 추적하려고 하는 객체를 이미 추적 중인지 판단하여, 추적 중이지 않다고 판단되면 현재 프레임에서의 입력 패치와의 가장 차이가 적은 유사 레퍼런스 패치(p_n') 및 카메라의 자세 파라미터((RT)_n)를 획득한 후에 현재 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득하고, 반면에 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득한다. (S202, S203, S204, S213)

이때, 상기 개선된 카메라의 자세((RT)_n')를 획득하는 방법은 템플릿 기반의 평면 객체 추적 알고리즘(template-based tracking algorithm)을 사용하여 수행된다.

상기 템플릿 기반의 평면 객체 추적 알고리즘은 추적할 대상 객체의 영상을 한 장 또는 여러 장 얻은 후에 카메라로부터 입력되는 영상에서 객체를 프레임 대 프레임(frame to frame)으로 연속적으로 추적하는 알고리즘이다.

이와 같은 템플릿 기반의 평면 객체 추적 알고리즘은 추적할 대상 객체를 인식하는 기능을 탑재하고 있지 않기 때문에 추적할 대상 객체와 카메라 사이의 관계의 초기화가 필요하므로, 본 발명에서는 이와 같은 템플릿 기반의 평면 객체 추적 알고리즘 사용 시에 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세 파라미터((RT)_n')를 획득한다.

다음으로, 상기 개선된 카메라의 자세((RT)_n')를 이용하여 정면에서 본 정면 패치(f_f)를 생성한 후에 상기 객체 학습 방법을 통해 획득한 정면 영상(I_f)과의 유사도를 측정하여, 유사도가 문턱치(threshold)를 초과하는 경우에는 상기 정면 영상(I_f)에 대응되는 학습된 객체와 동일한 것으로 판단한다. (S205)

본 발명의 바람직한 실시예에 따른 객체 학습 방법을 이용한 객체 추적 방법은, 카메라를 통해 단말기에 실시간으로 입력되는 입력 영상의 매 프레임마다 입력 패치를 획득하는 단계에서부터 유사도를 판단하는 단계까지 수행함으로써 추적하고자 하는 객체가 객체 학습 과정에서 학습된 바 있는 객체와 동일한지 여부를 판단한다.

<객체 학습 및 추적 시스템>

상술한 바와 같은 본 발명의 바람직한 실시예에 따른 객체 학습 방법을 이용한 객체 추적 방법을 수행하기 위해서는 단말기(예 : 모바일 단말기) 내에 객체 학습 및 추적 시스템이 구비될 수 있다.

이하, 도 5를 참조하여 본 발명의 바람직한 실시예에 따른 객체 학습 및 추적 시스템에 대하여 설명하면 다음과 같다.

도 5에 도시한 바와 같이 본 발명의 바람직한 실시예에 따른 객체 학습 및 추적 시스템은, 학습하고자 하는 객체의 영상을 카메라를 통해 입력받아 객체의 정면 영상(I_f)을 획득하고 학습에 사용할 m개의 시점에 대한 카메라의 자세 파라미터((RT)_n)들을 생성하고, 상기 정면 영상을 이용하여 각 시점에서 본 영상들을 생성하여 래디얼 블러를 적용하고 학습에 사용할 영역을 분리하여 레퍼런스 패치(p_n')들을 획득하는 객체 학습부(101); 추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 추적에 사용할 영역을 분리하여 입력 패치(f_n)를 획득하는 입력 패치 획득부(102); 객체를 이전 프레임에서 이미 추적중인지 판단하는 추적 판단부(103); 추적중이라고 판단되면 현재 프레임에서의 입력 패치(f_n)와의 차이가 가장 적은 유사 레퍼런스 패치(p_n') 및 카메라의 자세 파라미터((RT)_n)를 획득하는 유사 레퍼런스 패치 획득부(104); 추적중이지 않다고 판단되면 현재 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득하고, 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득하는 카메라 자세 개선부(105); 및 상기 개선된 카메라의 자세((RT)_n')를 이용하여 정면에서 본 정면 패치(f_f)를 생성한 후에 상기 객체 학습부(101)의 정면 영상(I_f)과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에는 동일한 것으로 판단하는 유사도 판단부(106); 를 포함하여 구성된다.

이와 같은 구성을 가지는 본 발명의 바람직한 실시예에 다른 객체 학습 및 추적 시스템의 각 구성 요소에 대하여 설명하면 다음과 같다.

도 5를 참조하면, 상기 객체 학습부(101)는 학습하고자 하는 객체의 영상(I^*)을 카메라를 통해 입력받아 학습할 객체의 정면 영상(I_f)을 획득하고, 학습에 사용할 m개의 시점에 대한 카메라의 자세 파라미터((RT)_n)들을 생성한 후에, 상기 정면 영상(I_f)을 이용하여 각 시점에서 본 제 1 영상(I_n)들을 생성하여 래디얼 블러 및 가우시안 블러를 적용하고 객체 학습에 사용할 영역을 분리한 후에, 샘플링하고 정규화하여 레퍼런스 패치(p_n')들을 획득한다. 이와 같은 객체 학습부(101)에서 수행하는 기능들은 상술한 바 있는 본 발명의 객체 학습 방법의 내용을 모두 포함하므로, 구체적인 설명은 생략하도록 한다.

상기 입력 패치 획득부(102)는 카메라를 통해 입력된 입력 영상으로부터 객체 추적을 위한 패치(F_i)를 획득한 후에 상기 패치(F_i)를 샘플링하고 정규화하여 입력 패치(f_n)를 획득한다.

상기 추적 판단부(103)는 현재 프레임에서 추적하려고 하는 객체를 이미 추적 중인지 판단한다.

상기 유사 레퍼런스 패치 획득부(104)는 상기 추적 판단부(103)에서 추적 중이 아니라고 판단한 경우에, 현재 프레임에서의 입력 패치와의 차이가 가장 적은 유사 레퍼런스 패치(p_n') 및 카메라의 자세 파라미터((RT)_n)를 획득한다.

상기 카메라 자세 개선부(105)는 상기 추적 판단부(103)에서 추적 중이 아니라고 판단한 경우에 현재 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득하고, 반면에 상기 추적 판단부(103)에서 추적 중이라고 판단한 경우에 이전 프레임의 카메라의 자세 파라미터((RT)_n)를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세((RT)_n')를 획득한다.

이때, 상기 카메라 자세 개선부(105)에서 개선된 카메라의 자세를 획득하기 위해서는 템플릿 기반의 평면 객체 추적 알고리즘(template-based tracking algorithm)이 사용될 수 있다. 이와 같은 템플릿 기반의 평면 객체 추적 알고리즘에 대해서는 상술한 바 있는 객체 추적 방법을 통해 설명한 바 있으므로, 구체적인 설명은 생략하도록 한다.

상기 유사도 판단부(106)는 상기 개선된 카메라의 자세((RT)_n')를 이용하여 정면에서 본 정면 패치(f_f)를 생성한 후에 상기 객체 학습부의 정면 영상(I_f)과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에 학습된 해당 객체와 동일한 것으로 판단한다.

101 : 객체 학습부 102 : 입력 패치 획득부
103 : 추적 판단부 104 : 유사 레퍼런스 패치 획득부
105 : 카메라 자세 개선부 106 : 유사도 판단부

Claims

단말기가 카메라를 통해 학습할 객체의 영상을 입력받아 정면 영상을 생성하는 단계;
객체 학습에 사용할 m개의 시점을 생성하고, 상기 정면 영상을 이용하여 m개의 시점 각각에서 객체를 보았을 때의 제 1 영상들을 생성하는 단계;
상기 제 1 영상들에 래디얼 블러를 적용하여 제 2 영상들을 생성하는 단계;
상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계; 및
상기 레퍼런스 패치들의 픽셀 값을 저장하는 단계;
를 포함하는 것을 특징으로 하는 객체 학습 방법.
제 1 항에 있어서, 상기 제 1 영상들을 생성하는 단계는, 그래픽 처리 유닛(GPU) 상에서 정면 영상을 렌더링하여 제 1 영상을 생성함으로써 수행되는 것을 특징으로 하는 객체 학습 방법.
제 1 항에 있어서, 상기 학습할 객체의 정면 영상을 카메라로부터 얻는 단계는,
카메라를 통해 영상을 획득하는 단계;
상기 카메라의 시점이 정면 시점에 대하여 이루는 각도를 획득하는 단계; 및
상기 영상을 상기 각도의 (-)값만큼 회전시켜 정면 영상을 획득하는 단계;
를 포함하는 것을 특징으로 하는 객체 학습 방법.
제 3 항에 있어서, 상기 카메라의 시점이 정면 시점에 대하여 이루는 각도를 획득하는 단계는, 카메라가 중력 방향에 대해 이루는 각도를 측정하는 가속도계(accelerometer)를 이용하여 수행되는 것을 특징으로 하는 객체 학습 방법.
제 1 항에 있어서, 상기 학습에 사용할 m개의 시점을 생성하는 단계에서는 카메라의 자세 파라미터도 생성하며,
상기 레퍼런스 패치들의 픽셀 값을 저장하는 단계에서는 레퍼런스 패치들 각각에 대응되는 시점에서의 카메라의 자세 파라미터도 저장하는 것을 특징으로 하는 객체 학습 방법.
제 1 항에 있어서, 상기 제 2 영상들을 생성하는 단계에서는 레디얼 블러를 적용한 후에 가우시안 블러도 적용하는 것을 특징으로 하는 객체 학습 방법.
제 1 항에 있어서, 상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계는, 제 2 영상들 중에서 학습에 사용할 영역을 분리한 학습 패치들을 획득한 후에 상기 학습 패치들 각각을 샘플링하고 정규화하여 레퍼런스 패치들을 획득함으로써 수행되는 것을 특징으로 하는 객체 학습 방법.
단말기가 객체 학습 방법을 통해 객체의 정면 영상과, 객체에 대한 m개의 시점에 대응되는 카메라의 자세 파라미터와, m개의 시점에 대한 레퍼런스 패치를 획득하는 단계;
추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 객체 추적에 사용할 영역을 분리하여 입력 패치를 획득하는 단계;
객체를 이전 프레임에서 이미 추적 중인지 판단하여, 추적 중이지 않다고 판단되면 현재 프레임에서의 입력 패치와의 가장 차이가 적은 유사 레퍼런스 패치 및 카메라의 자세 파라미터를 획득한 후에 현재 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하고, 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하는 단계; 및
상기 개선된 카메라의 자세를 이용하여 정면에서 본 정면 패치를 생성한 후에 상기 객체 학습 방법을 통해 얻은 정면 영상과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에는 동일한 것으로 판단하는 단계;
를 포함하는 것을 특징으로 하는 객체 학습 방법을 이용한 객체 추적 방법.
제 8 항에 있어서, 상기 개선된 카메라의 자세를 획득하는 단계는 템플릿 기반의 평면 객체 추적 알고리즘들을 사용하여 수행되는 것을 특징으로 하는 객체 학습 방법을 이용한 객체 추적 방법.
제 8 항에 있어서, 단말기가 객체 학습 방법을 통해 객체의 정면 영상과, 객체에 대한 m개의 시점에 대응되는 카메라의 자세 파라미터와, m개의 시점에 대한 레퍼런스 패치를 획득하는 단계는,
단말기가 카메라를 통해 학습할 객체의 영상을 입력받아 정면 영상을 생성하는 단계;
학습에 사용할 m개의 시점에 대한 카메라의 자세 파라미터들을 생성하는 단계;
상기 정면 영상을 이용하여 m개의 시점 각각에서 객체를 보았을 때의 제 1 영상들을 생성하는 단계;
상기 제 1 영상들에 래디얼 블러를 적용하여 제 2 영상들을 생성하는 단계;
상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계; 및
상기 레퍼런스 패치들의 픽셀 값을 저장하는 단계;
를 포함하여 수행되는 것을 특징으로 하는 객체 학습 방법을 이용한 객체 추적 방법.
제 10 항에 있어서, 상기 제 1 영상들을 생성하는 단계는, 그래픽 처리 유닛(GPU) 상에서 정면 영상을 렌더링하여 제 1 영상을 생성함으로써 수행되는 것을 특징으로 하는 객체 추적 방법.
제 10 항에 있어서, 상기 학습할 객체의 정면 영상을 카메라로부터 얻는 단계는,
카메라를 통해 영상을 획득하는 단계;
상기 카메라의 시점이 정면 시점에 대하여 이루는 각도를 획득하는 단계; 및
상기 영상을 상기 각도의 (-)값만큼 회전시켜 정면 영상을 획득하는 단계;
를 포함하는 것을 특징으로 하는 객체 학습 방법을 이용한 객체 추적 방법.
제 10 항에 있어서, 상기 제 2 영상들을 생성하는 단계에서는 래디얼 블러를 적용한 후에 가우시안 블러도 적용하는 것을 특징으로 하는 객체 추적 방법.
제 10 항에 있어서, 상기 제 2 영상들 중에서 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 단계는, 제 2 영상들 중에서 객체 학습에 사용할 영역을 분리한 학습 패치들을 획득한 후에 상기 학습 패치들 각각을 샘플링하고 정규화하여 레퍼런스 패치들을 획득함으로써 수행되며,
추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 객체 추적에 사용할 영역을 분리한 패치를 획득하는 단계는, 추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 객체 추적에 사용할 영역을 분리한 패치를 획득한 후에 상기 패치를 샘플링하고 정규화하여 입력 패치를 획득함으로써 수행되는 것을 특징으로 하는 객체 추적 방법.
학습하고자 하는 객체의 영상을 카메라를 통해 입력받아 객체의 정면 영상을 획득하고 학습에 사용할 m개의 시점에 대한 카메라의 자세 파라미터들을 생성하고, 상기 정면 영상을 이용하여 각 시점에서 본 영상들을 생성하여 래디얼 블러를 적용하고 학습에 사용할 영역을 분리하여 레퍼런스 패치들을 획득하는 객체 학습부;
추적하고자 하는 객체에 대한 입력 영상을 카메라를 통해 입력받아 객체 추적에 사용할 영역을 분리하여 입력 패치를 획득하는 입력 패치 획득부;
객체를 이전 프레임에서 이미 추적중인지 판단하는 추적 판단부;
추적중이지 않다고 판단되면 현재 프레임에서의 입력 패치와의 차이가 가장 적은 유사 레퍼런스 패치 및 카메라의 자세 파라미터를 획득하는 유사 레퍼런스 패치 획득부;
추적중이지 않다고 판단되면 현재 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하고, 추적중이라고 판단되면 이전 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행하여 개선된 카메라의 자세를 획득하는 카메라 자세 개선부; 및
상기 개선된 카메라의 자세를 이용하여 정면에서 본 정면 패치를 생성한 후에 상기 객체 학습부의 정면 영상과의 유사도를 측정하여, 유사도가 문턱치를 초과하는 경우에는 동일한 것으로 판단하는 유사도 판단부;
를 포함하여 구성된 것을 특징으로 하는 객체 학습 및 추적 시스템.
제 15 항에 있어서, 상기 객체 학습부는 학습하고자 하는 객체의 영상을 카메라를 통해 입력받아 학습할 객체의 정면 영상을 획득할 시에, 카메라의 시점이 정면 시점에 대하여 이루는 각도를 획득한 후에 학습하고자 하는 객체의 영상을 상기 각도의 (-)값만큼 회전시켜서 정면 영상을 획득하는 것을 특징으로 하는 객체 학습 및 추적 시스템.
제 15 항에 있어서, 상기 카메라 자세 개선부는 현재 또는 이전 프레임의 카메라의 자세 파라미터를 초기값으로 하여 최적화를 수행할 시에 템플릿 기반의 평면 객체 추적 알고리즘을 사용하여 수행되는 것을 특징으로 하는 객체 학습 및 추적 시스템.
제 15항에 있어서, 상기 객체 학습부는 래디얼 블러를 적용하는 과정에서 래디얼 블러 적용 후에 가우시안 블러도 적용하는 것을 특징으로 하는 객체 학습 및 추적 시스템.
제 15 항에 있어서, 상기 객체 학습부는 객체 학습에 사용할 영역을 분리하여 레퍼런스 패치를 획득할 시에, 객체 학습에 사용할 영역을 분리한 학습 패치들을 획득한 후에 상기 학습 패치 각각을 샘플링하고 정규화하여 레퍼런스 패치들을 획득하며,
상기 입력 패치 획득부는 추적에 사용할 영역을 분리하여 입력 패치를 획득힐 시에, 객체 추적에 사용할 영역을 분리한 패치를 획득한 후에 상기 패치를 샘플링하고 정규화하여 입력 패치를 획득하여 입력 패치를 획득하는 것을 특징으로 하는 객체 학습 및 추적 시스템.