KR101568569B1 - 멀티미디어 콘텐츠 정합 시스템 및 방법 - Google Patents

Abstract

멀티미디어 콘텐츠 정합 시스템은 멀티미디어 콘텐츠에서 마커를 기준으로 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 객체 영상의 크기와 위치를 추출하는 객체 정보 획득부와, 사용자 멀티미디어 콘텐츠의 분석 정보를 상기 객체 영상의 크기와 위치에 반영하여 상기 사용자 멀티미디어 콘텐츠의 마커를 기준으로 상기 객체 영상의 크기와 위치를 재추출하는 영상 분석부 및 상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합시키는 영상 정합부를 포함한다. 따라서, 상기 멀티미디어 콘텐츠의 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 자연스럽게 정합할 수 있다.

Description

멀티미디어 콘텐츠 정합 시스템 및 방법{System and method of matching multimedia contents}

본 발명은 멀티미디어 콘텐츠 정합 시스템 및 방법에 관한 것으로, 영화나 드라마 등의 멀티미디어 콘텐츠로부터 추출된 객체 영상과 사용자의 멀티미디어 콘텐츠를 정합하는 멀티미디어 콘텐츠 정합 시스템 및 방법에 관한 것이다.

일반적으로, 멀티미디어 콘텐츠 정합은 영상이 포함된 복수의 콘텐츠를 정합하여 하나의 콘텐츠로 구현하는 기술이다. 최근 영상 처리 기술이 발전함에 따라 사진과 같은 단순한 복수의 정지 영상뿐 만 아니라 영화, 드라마와 같은 복수의 동영상이 정합되는 기술이 개발되고 있다.

종래의 멀티미디어 콘텐츠 정합 기술은 영화나 드라마 등의 멀티미디어 콘텐츠로부터 추출한 객체 영상을 사용자 멀티미디어 콘텐츠와 단순하게 병합시킨다. 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠는 촬영 조건이 상이할 수 있다. 구체적으로, 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠는 카메라의 촬영 위치와 각도, 상기 촬영 장소의 색감, 날씨, 조명 등이 상이할 수 있다.

그러므로, 상기 객체 영상의 위치 및 크기가 정합할 멀티미디어 콘텐츠와 맞지 않을 수 있다. 또한, 상기 객체 영상과 상기 멀티미디어 콘텐츠는 색감, 날씨, 조명 등에서도 차이가 있을 수 있다. 따라서, 상기 객체 영상과 상기 멀티미디어 콘텐츠가 자연스럽게 정합되지 못하는 문제점이 있다.

본 발명은 멀티미디어 콘텐츠의 객체 영상과 사용자 멀티미디어 콘텐츠를 자연스럽게 정합할 수 있는 멀티미디어 콘텐츠 정합 시스템을 제공한다.

본 발명은 멀티미디어 콘텐츠의 객체 영상과 사용자 멀티미디어 콘텐츠를 자연스럽게 정합할 수 있는 멀티미디어 콘텐츠 정합 방법을 제공한다.

본 발명에 따른 멀티미디어 콘텐츠 정합 시스템은 멀티미디어 콘텐츠에서 마커를 기준으로 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 객체 영상의 크기와 위치를 추출하는 객체 정보 획득부와, 사용자 멀티미디어 콘텐츠의 분석 정보를 상기 객체 영상의 크기와 위치에 반영하여 상기 사용자 멀티미디어 콘텐츠의 마커를 기준으로 상기 객체 영상의 크기와 위치를 재추출하는 영상 분석부 및 상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합시키는 영상 정합부를 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 분석 정보는 상기 멀티미디어 콘텐츠를 촬영한 제1 카메라의 회전각, 화각 정보 및 상기 제1 카메라와 상기 객체의 거리 정보이며, 상기 사용자 멀티미디어 콘텐츠의 분석 정보는 상기 사용자 영상 콘텐츠를 촬영한 제2 카메라의 회전각, 화각정보 및 상기 제2 카메라와 객체의 거리 정보일 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 정합 시스템은 상기 멀티미디어 콘텐츠에서 상기 마커의 범위를 설정하고 상기 마커들의 특징 정보를 추출하는 마커 관리부 및 상기 마커들이 다중으로 선택되는 경우, 상기 마커들의 특징 정보를 상기 멀티미디어 콘텐츠의 특징 정보와 비교하여 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하며, 상기 마커들 중에서 추적 정확도가 가장 높은 마커를 추천하는 마커 추천부를 더 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 정합 시스템은 상기 마커의 범위, 상기 마커의 특징 정보, 상기 마커들의 추적 결과, 추천된 마커, 상기 객체 영상의 크기와 위치 정보를 저장하는 저장부를 더 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 정합 시스템은 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 촬영 환경 차이로 인한 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 이질감 감소부를 더 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 이질감 감소부는, 상기 사용자 멀티미디어 콘텐츠의 날씨 정보를 분석하여 상기 객체 영상에 적용하는 날씨 처리기와, 상기 사용자 멀티미디어 콘텐츠의 조명 정보를 분석하여 상기 객체 영상에 적용하는 조명 처리기 및 상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 색감 처리기를 포함할 수 있다.

본 발명에 따른 멀티미디어 콘텐츠 정합 방법은 멀티미디어 콘텐츠에서 마커를 기준으로 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 객체 영상의 크기와 위치를 추출하는 단계와, 사용자 멀티미디어 콘텐츠의 분석 정보를 상기 객체 영상의 크기와 위치에 반영하여 상기 사용자 멀티미디어 콘텐츠의 마커를 기준으로 상기 객체 영상의 크기와 위치를 재추출하는 단계 및 상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합하는 단계를 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 정합 방법은 상기 멀티미디어 콘텐츠에서 상기 마커들의 범위를 설정하고 상기 마커들의 특징 정보를 추출하는 단계와, 상기 마커들이 다중으로 선택되는 경우, 상기 마커들의 특징 정보를 상기 멀티미디어 콘텐츠의 특징 정보와 비교하여 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하는 단계 및 상기 마커들 중에서 추적 정확도가 가장 높은 마커를 추천하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하는 단계는, 상기 멀티미디어 콘텐츠의 특징 정보 및 상기 마커의 특징 정보를 입력받는 단계와, 상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보를 비교하는 단계와, 상기 특징 정보를 비교하여 동일한 특징 정보를 확인하는 단계와, 상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보의 동일한 특징 정보로 호모그래피를 계산하는 단계와, 상기 호모그래피를 이용하여 상기 멀티미디어 콘텐츠 차원에서 좌표를 계산하는 단계 및 상기 좌표를 이용하여 상기 멀티미디어 콘텐츠에서 상기 마커를 확인하는 단계를 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 멀티미디어 콘텐츠 정합 방법은 상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합하는 단계 이전에, 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 촬영 환경 차이로 인한 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 단계를 더 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 단계는, 상기 사용자 멀티미디어 콘텐츠의 날씨 정보를 분석하여 상기 객체 영상에 적용하는 단계와, 상기 사용자 멀티미디어 콘텐츠의 조명 정보를 분석하여 상기 객체 영상에 적용하는 단계 및 상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 단계를 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 사용자 멀티미디어 콘텐츠의 날씨 정보 분석은, 상기 프레임 영상과 맑은 날씨를 나타내는 비교 영상을 비교하는 단계와, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 맑은 날씨의 특징을 검출하는 단계와, 상기 프레임 영상에서 맑은 날씨의 특징이 검출되는 경우, 상기 프레임 영상의 날씨 정보를 맑음으로 판단하는 단계와, 상기 프레임 영상에 맑은 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 비오는 날씨의 특징을 검출하는 단계와, 상기 프레임 영상에서 비오는 날씨의 특징이 검출되는 경우, 상기 해당 프레임 영상의 날씨 정보를 비로 판단하는 단계와, 상기 프레임 영상에 비오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 눈오는 날씨의 특징을 검출하는 단계와, 상기 프레임 영상에서 눈오는 날씨의 특징이 검출되는 경우, 상기 해당 프레임 영상의 날씨 정보를 눈으로 판단하는 단계 및 상기 프레임 영상에 눈오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상의 날씨를 흐림으로 판단하는 단계를 포함할 수 있다.

본 발명의 일 실시예들에 따르면, 상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 단계는, 상기 사용자 멀티미디어 콘텐츠와 상기 객체 영상을 입력으로 받아 각 영상의 영역을 분할하는 단계와, 상기 각 영역별로 대표 색상을 계산하는 단계와, 상기 사용자 멀티미디어 콘텐츠에서 상기 객체가 삽입될 영역의 대표 색상과 상기 객체 영상의 대표 색상에 대한 색상 평균과 표준 편차를 계산하는 단계 및 상기 색상 평균과 표준 편차를 상기 객체 영상에 매칭하는 단계를 포함할 수 있다.

본 발명에 따른 멀티미디어 콘텐츠 정합 시스템 및 방법은 멀티미디어 콘텐츠 제작에 사용된 카메라의 촬영위치와 거리를 기준으로 사용자 멀티미디어 콘텐츠 제작에 사용된 카메라의 촬영 위치 및 거리를 분석하여 상기 멀티미디어 콘텐츠의 객체 영상을 변형시켜 상기 사용자 멀티미디어 콘텐츠와 정합한다. 따라서, 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠가 정합된 자연스러운 콘텐츠를 재 생성할 수 있다.

또한, 상기 사용자 멀티미디어 콘텐츠에서 날씨정보, 색감정보 및 조명정보를 분석하여 상기 객체 영상에 적용한다. 따라서, 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠가 촬영된 환경이 상이하여도 보다 자연스러운 콘텐츠를 재생산할 수 있다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템을 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 이질감 감소부를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법을 설명하기 위한 흐름도이다.
도 4는 도 3에서 마커 추적을 설명하기 위한 흐름도이다.
도 5는 도 3에 도시된 이질감 감소 단계에서 영상 해석 기술을 이용한 날씨 정보 추출 방법을 설명하기 위한 순서도이다.
도 6은 도 5에서 맑은 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 도 5에서 비오는 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.
도 8은 도 5에서 눈오는 날씨 및 흐린 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.
도 9는 도 3에 도시된 이질감 감소 단계에서 날씨 정보 적용 방법을 설명하기 위한 흐름도이다.
도 10은 도 3에 도시된 이질감 감소 단계에서 색감 정보 적용 방법을 설명하기 위한 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 멀티미디어 콘텐츠 병합 시스템 및 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서 멀티미디어 콘텐츠는 영화, 드라마 등 영상을 기반으로 기존에 제작된 멀티미디어 콘텐츠를 의미한다. 객체 영상은 상기 멀티미디어 콘텐츠에서 주인공 객체를 별도로 저장한 이미지를 의미한다. 사용자 멀티미디어 콘텐츠는 사용자로부터 입력받거나, 사용자가 카메라를 통해 촬영한 영상을 기반으로 하는 멀티미디어 콘텐츠를 의미한다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 시스템을 설명하기 위한 블록도이다.

도 1을 참조하면, 멀티미디어 콘텐츠 정합 시스템(100)은 마커 관리부(110), 마커 추천부(120), 객체 정보 획득부(130), 저장부(140), 영상 분석부(150), 이질감 감소부(160), 영상 정합부(170)를 포함한다.

마커 관리부(110)는 멀티미디어 콘텐츠에서 적어도 하나의 마커 범위를 설정하고 상기 마커의 특징 정보를 추출한다.

구체적으로, 마커 관리부(110)는 상기 마커 범위 설정 기능 및 상기 마커 특징 추출 기능을 갖는다.

상기 마커 범위 설정 기능은 상기 멀티미디어 콘텐츠에서 상기 마커의 범위를 설정하는 것이다. 상기 마커는 상기 멀티미디어 콘텐츠의 특정 영역을 매칭하여 콘텐츠를 구조화하는 데 이용된다. 상기 구조화란 멀티미디어 콘텐츠간의 공간관계를 구성하는 것을 의미한다. 따라서, 상기 멀티미디어 콘텐츠에서 특징 정보가 두드러지는 영역을 상기 마커의 범위로 설정하는 것이 바람직하다. 상기 마커를 이용하여 상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 공간정보를 연동할 수 있다.

상기 마커 특징 추출 기능은 상기 마커를 대상으로 하여 적어도 하나의 특징 추출 알고리즘을 이용하여 특징 정보를 추출하는 것이다. 상기 특징 정보는 특징 번호, 특징 좌표 및 특징의 구체적 내용을 포함할 수 있다. 상기 특징 추출 알고리즘으로는 SURF(Speeded Up Robust Features) 알고리즘, FAST(Feature from Accelerated Segment Test) 알고리즘, SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용한다.

마커 관리부(110)는 범위 설정으로 생성된 마커 및 상기 특징 정보를 저장부(140)에 저장한다.

마커 추천부(120)는 상기 멀티미디어 콘텐츠의 특징 정보를 추출하고, 상기 마커들의 특징 정보를 상기 멀티미디어 콘텐츠의 특징 정보와 비교하여 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하며, 상기 마커들 중에서 추적 정확도가 높은 마커를 추천한다.

구체적으로, 마커 추천기는 상기 멀티미디어 콘텐츠의 특징 추출 기능, 상기 마커 추적 기능, 상기 마커 다중 선택 기능, 상기 마커 추천 기능을 갖는다.

상기 멀티미디어 콘텐츠 특징 추출 기능은 상기 멀티미디어 콘텐츠 전체로부터 상기 특징 추출 알고리즘을 이용하여 특징 정보를 추출하는 것이다. 상기 멀티미디어 콘텐츠 특징 정보 추출에 이용되는 알고리즘은 상기 마커 특징 추출 알고리즘과 실질적으로 동일할 수 있다.

상기 마커 추적 기능은 상기 멀티미디어 콘텐츠에서 상기 마커를 추적하는 것이다. 예를 들면, 상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보를 입력받고, 이를 비교하여 동일한 특징 정보를 찾는다. 상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보의 동일한 특징 정보로 호모그래피를 계산하고, 상기 호모그래피를 이용하여 상기 멀티미디어 콘텐츠 차원에서 좌표를 계산한다. 이후, 상기 멀티미디어 콘텐츠에서 상기 마커를 확인한다.

상기 영상 콘텐츠의 첫 번째 프레임에서 마커가 추적되면 그 다음번 프레임부터는 상기 마커의 현재 영역보다 넓은 영역에 대해 상기 마커의 추적이 이루어진다. 예를 들면, 상기 마크보다 약 1.5배의 영역에 대해 상기 마커 추적이 이루어질 수 있다. 상기 멀티미디어 콘텐츠 전체가 아닌 상기 마커를 포함하는 일정 영역에 대해서만 추적이 이루어지므로, 상기 추적에 소요되는 시간을 줄일 수 있고, 상기 추적 성능을 높일 수 있다.

한편, 상기 마커의 추적 결과, 상기 동일한 특징의 개수가 기준 개수 이하이거나, 상기 추적된 마커의 크기가 입력된 마커의 크기의 2배 이상 크거나, 상기 추적된 마커의 크기가 입력된 마커의 크기의 1/2배 미만이거나, 상기 호모그래피를 변환하여 예상 네 꼭지점 좌표와의 평균 오차가 10 이상인 경우에는 상기 마커의 추적이 실패한 것으로 판단한다.

상기 마커 다중 선택 기능은 상기 마커를 복수로 선택할 수 있는 기능이다. 상기 마커에 따라 추적 성능이 서로 다를 수 있다. 따라서, 추적 성능이 좋은 마커를 찾기 위해 하나가 아닌 다수의 마커들을 선택할 수 있다. 상기 마커 다중 선택 기능은 필요에 따라 사용자가 부가적으로 선택할 수 있다.

상기 마커 추천 기능은 상기 마커들의 추적 결과를 분석하여 추적 성능이 좋은 마커를 추천하는 기능이다. 예를 들면, 상기 복수의 마커를 선택하여 입력받고, 상기 마커들을 개별적으로 상기 멀티미디어 콘텐츠에서 추적한 후, 상기 추적 결과를 분석하여 가장 성능이 좋은 하나의 마커를 추천한다.

마커 추천부(120)는 상기 마커들의 추적 결과 및 추천된 마커에 대한 정보를 저장부(140)에 저장한다.

객체 정보 획득부(130)는 상기 선택된 마커를 이용하여 상기 멀티미디어 콘텐츠에서 객체의 초기 위치를 설정하고, 상기 객체의 크기와 위치를 추출하여 상기 객체의 위치를 수정한다.

구체적으로, 객체 정보 획득부(130)는 객체 영상의 초기 위치 설정 기능, 객체 영상의 위치 편집 기능과 객체 영상의 크기 및 위치 추출 기능으로 구성된다.

상기 객체 영상의 초기 위치 설정 기능은 상기 멀티미디어 콘텐츠에서 상기 객체 영상의 초기 위치를 설정한다. 상기 객체 영상의 초기 위치는 상기 객체 영상의 위치를 추출하기 위해 필요한 정보이다.

상기 객체 영상의 위치 편집 기능은 사용자가 상기 객체 영상의 위치를 편집하여 사용자가 원하는 위치에 객체 영상을 위치시키는 기능이다.

상기 객체 영상의 크기 및 위치 추출 기능은 상기 객체 영상의 초기 위치를 기준으로 상기 마커와 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 상기 객체 영상의 크기와 위치를 추출하는 기능이다. 상기 멀티미디어 콘텐츠의 분석 정보는 상기 멀티미디어 콘텐츠를 촬영한 제1 카메라의 회전각, 상기 객체의 회전각, 상기 제1 카메라의 화각, 상기 제1 카메라와 상기 객체의 거리 등을 포함할 수 있다. 따라서, 상기 객체 영상의 크기와 위치를 상기 멀티미디어 콘텐츠의 회전과 거리의 변화에 맞게 크기를 조절할 수 있다.

객체 정보 획득부(130)는 추출된 객체 영상의 크기와 위치를 저장부(140)에 저장한다.

저장부(140)는 마커 관리부(110) 및 마커 추천부(120)와 연결되며, 상기 마커의 범위, 상기 마커의 특징 정보, 상기 마커들의 추적 결과 및 추천된 마커를 저장한다.

또한, 저장부(140)는 객체 정보 획득부(130)와 연결되며, 상기 객체 영상의 크기와 위치를 저장한다.

그리고, 저장부(140)는 상기 객체 위치 편집을 위해 객체 정보 획득부(130)로 상기 마커의 범위, 상기 마커의 특징 정보, 상기 마커들의 추적 결과 및 추천된 마커에 대한 정보를 제공할 수 있다.

한편, 저장부(140)는 영상 정합부(170)와 연결되며, 영상 정합부(170)의 결과 영상이 저장될 수 있다.

영상 분석부(150)는 사용자가 촬영한 사용자 멀티미디어 콘텐츠를 분석하여 제2 카메라의 회전각, 화각정보, 거리정보를 추출하고, 상기 객체 정보 획득부(130)에서 편집된 객체의 정보에 반영하여 상기 객체 영상의 크기와 위치 정보를 재추출한다.

구체적으로, 영상 분석부(150)는 회전각 추출기능, 화각 정보 추출 기능, 거리 추출기능, 객체 영상 크기 및 위치 재추출 기능을 갖는다.

상기 회전각 추출 기능은 상기 사용자 콘텐츠를 촬영한 제2 카메라의 회전각을 추출하는 기능을 수행한다.

예를 들면, 제2 카메라에서 임의의 한 위치에서의 회전만을 고려하면, 투영변환은 다음과 같이 표현할 수 있다. 이때 모든 점은 제2 카메라로부터 멀리 떨어져 있다고 가정한다.

여기에서,

로 간략화하여 표현할 수 있으며, 상기 제2 카메라 내부 파라미터를 의미한다.

위의 식은 다음과 같이 표현할 수 있다.

위의 식을 간략화하면 다음과 같다.

따라서, 3차원 회전각과 두 이미지의 초점거리만 추출하면 되며, 이때 회전각을 Y축에 대한 회전으로 국한하면 좀 더 적은 인자로 파라미터들을 구할 수 있다. 더불어 파라미터를 추출하는 과정에서 인접한 두 영상간의 회전각을 구할 수 있다.

상기 화각 정보 추출 기능은 상기 마커를 추적하여 상기 마커의 화면 크기를 이용하여 화각의 크기를 추출하는 기능이다. 상기 사용자 멀티미디어 콘텐츠를 촬영하는 제2 카메라 화각이 상기 멀티미디어 콘텐츠를 촬영한 제1 카메라의 화각과 다르다. 그러므로, 상기 객체 영상의 크기 및 위치를 상기 사용자 멀티미디어 콘텐츠와 맞추기 위해 상기 제2 카메라의 화각 정보가 필요하다.

상기 화각이 작은 영상에서는 보이지 않는 부분이 발생할 수 있으므로 화각이 큰 영상을 기준으로 상기 화각 정보를 추출한다. 상기 화각이 작다고 판단이 되면 사용자에게 알림을 주어 화각이 커지도록 한다.

상기 거리 추출 기능은 상기 사용자 멀티미디어 콘텐츠에서 객체와 상기 사용자 멀티미디어 콘텐츠를 촬영하는 제2 카메라의 거리를 추출하는 기능을 수행한다.

예들 들면, 초점거리를 f, 객체의 실제 크기를 S, 객체의 화면상의 크기를 S', 제2 카메라와 객체사이의 거리를 d라고 할 때, S : S' = d : f 이므로, d = (S*f)/S' 으로 표현될 수 있다. 여기에서, S'은 픽셀크기 정보를 반영하여 계산한다. 상기 픽셀크기는 영상 정보 중 dpi (dot per inch)를 이용하여 계산한다.

상기 객체 영상 크기와 위치 재추출 기능은 상기 객체 영상의 크기와 위치 정보를 상기 사용자 콘텐츠를 촬영한 제2 카메라의 회전각, 화각 정보 및 상기 사용자 멀티미디어 콘텐츠에서 객체와 상기 사용자 멀티미디어 콘텐츠를 촬영하는 제2 카메라의 거리 등의 정보를 이용하여 상기 객체 영상 크기와 위치를 재추출한다. 그러므로, 상기 사용자 멀티미디어 콘텐츠의 영상 변화에 맞게 상기 객체 영상의 크기와 위치 정보를 갱신할 수 있다.

도 2는 도 1에 도시된 이질감 감소부(160)를 설명하기 위한 블록도이다.

도 1 및 도 2를 참조하면, 이질감 감소부(160)는 상기 사용자 멀티미디어 콘텐츠로부터 날씨 정보, 색감 정보 및 조명 정보를 추출하고, 추출된 날씨 정보, 조명 정보 및 색감 정보를 상기 객체 영상에 적용한다.

구체적으로, 이질감 감소부(160)는 날씨 처리부(162), 조명 처리부(164) 및 색감 처리부(166)를 포함한다.

날씨 처리부(162)는 상기 사용자 멀티미디어 콘텐츠에 대해 해석 알고리즘을 적용하여 상기 날씨 정보를 추출한다. 상기 날씨 정보는 맑음, 흐림, 비, 눈으로 구분한다.

날씨 처리부(162)는 상기 추출된 날씨 정보를 상기 객체 영상에 적용한다. 상기 날씨 정보가 맑음과 흐림인 경우에는 상기 조명 정보 및 색감 정보가 상기 객체 영상에 추가될 수 있다. 상기 날씨 정보가 비와 눈인 경우, 상기 사용자 멀티미디어 콘텐츠에서 검출된 비와 눈의 크기를 계산하여 효과를 상기 객체 영상에 적용한다. 특히, 상기 날씨 정보가 눈인 경우, 상기 사용자 멀티미디어 콘텐츠로부터 추출한 눈의 위치와 방향, 크기 정보를 이용하여 상기 객체 영상에 눈을 적용한다.

조명 처리부(164)는 상기 사용자 멀티미디어 콘텐츠로부터 촬영된 시계열 정보와 위경도 좌표 정보를 추출한다. 예를 들면, 상기 시계열 정보는 상기 사용자 멀티미디어 콘텐츠에 저장된 콘텐츠 저작일자 및 시간을 이용하여 날짜 및 시간 정보로부터 추출할 수 있다. 또한, 상기 위경도 좌표 정보는 상기 사용자 멀티미디어 콘텐츠가 촬영된 위치에서의 GPS좌표로부터 추출할 수 있다.

상기 조명은 태양을 의미하며, 상기 태양의 위치는 태양의 고도각과 방위각으로 표현할 수 있다. 상기 태양의 고도각은 지평선과 태양사이의 각도를 의미하며, 방위각은 북쪽에서 동쪽방향으로 표현한 태양의 각도이다.

태양의 고도각(α)은 다음의 식에 의해서 구한다. 이때, δ는 태양의 적위를 의미하며, φ는 위도를 의미하고, ω는 시각을 의미한다.

태양의 적위(δ)는 다음의 식에 의해서 구한다.

태양의 적위는 지구의 중심과 태양의 중심을 잇는 선이 지구의 적도와 이루는 각도를 의미한다. n은 1월 1일을 기준으로 한 계산 대상일의 일수이다. 예를 들어, 1월 2일은 2, 12월 21일은 355이다.

태양의 방위각(φ)은 다음의 식에 의해서 구한다.

상기 사용자 멀티미디어 콘텐츠로부터 추출한 시계열정보와 위경도 좌표 정보를 이용하여 상기 태양의 고도를 계산하여 고도차에 따른 그림자 정보를 생성한다.

구체적으로, 상기 태양의 고도각과 방위각을 구하면 3차원 공간상에서 태양의 위치, 상기 객체의 위치와 크기, 제2 카메라 위치, 및 그림자 투영 평면(지면)을 알 수 있으므로, 연산을 통해 상기 객체 영상의 그림자를 렌더링할 수 있다.

이때, 상기 태양의 위치는 상기에서 연산한 결과를 이용하고, 상기 객체의 위치와 크기, 그림자 투영 평면은 고정값을 사용하고, 상기 제2 카메라의 위치는 고정으로 사용하나 화각은 영상 분석부(150)에서 추출한 값을 이용한다.

그림자는 다음의 수식을 이용하여 계산할 수 있다.

이때, Ax+By+Cz+D=0은 그림자 투영 평면이고, P는 객체의 좌표이며, P'는 그림자의 렌더링 좌표이다.

색감 처리부(166)는 상기 사용자 멀티미디어 콘텐츠로부터 색감 정보를 추출하여 상기 객체 영상에 적용한다.

사용자 멀티미디어 콘텐츠의 촬영 시점의 날씨, 조명 등의 영향에 따라 상기 객체 영상을 상기 사용자 영상에 합성할 때 이질감이 발생하게 된다.

상기 색상 정보 추출 및 적용은 다음 알고리즘을 사용한다.

먼저, 상기 사용자 멀티미디어 콘텐츠와 상기 객체 영상을 입력으로 받아 각 영상의 영역을 분할한다. 상기 영역 분할은 HSV 색상공간에서 워터쉐드 알고리즘을 이용하여 수행된다. 이후, 각 영역별로 대표 색상을 계산한다. 상기 각 영역별로 대표 색상을 계산하는 이유는 전체 색상을 계산하는 경우 어울리지 않는 결과가 나타나기 때문이다.

상기 대표 영상을 계산한 후에는 상기 객체가 삽입될 영역의 대표 색상을 상기 객체 영상에 반영한다. 예를 들면, 상기 객체가 삽입될 영역의 색상 평균과 표준 편차를 계산하고, 이를 상기 객체 영상에 매칭한다.

영상 정합부(170)는 상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부(150)에서 재추출된 크기와 위치를 갖는 객체 영상을 정합시킨다. 상기 정합에는 상기 객체 영상의 크기와 위치 정보 및 영상 분석부(150)의 정보를 사용되며, 상기 마커를 이용하여 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 공간정보를 연동한다.

따라서, 멀티미디어 콘텐츠 정합 시스템(100)은 상기 멀티미디어 콘텐츠의 객체 영상을 상기 사용자 멀티미디어 콘텐츠에 이질감 없이 자연스럽게 정합할 수 있다.

도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 정합 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 상기 멀티미디어 콘텐츠 정합 방법은 다음과 같다.

먼저, 멀티미디어 콘텐츠에서 적어도 하나의 마커의 범위를 설정하고 상기 마커의 특징 정보를 추출한다(S100).

구체적으로, 상기 마커는 상기 마커는 상기 멀티미디어 콘텐츠의 특정 영역을 매칭하여 콘텐츠를 구조화하는 데 이용된다. 따라서, 상기 멀티미디어 콘텐츠에서 특징 정보가 두드러지는 영역을 상기 마커의 범위로 설정하는 것이 바람직하다.

이후, 상기 마커를 대상으로 하여 특징 추출 알고리즘을 이용하여 특징 정보를 추출하는 것이다. 상기 특징 정보는 특징 번호, 특징 좌표 및 특징의 구체적 내용을 포함할 수 있다. 상기 특징 추출 알고리즘으로는 SURF(Speeded Up Robust Features) 알고리즘, FAST(Feature from Accelerated Segment Test) 알고리즘, SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용한다. 상기 특징 추출 알고리즘은 하나 또는 복수개가 사용될 수 있다.

다음으로, 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적한다(S200).

구체적으로, 상기 멀티미디어 콘텐츠의 특징 정보를 특징 추출 알고리즘을 이용하여 추출한다. 상기 멀티미디어 콘텐츠 특징 정보 추출에 이용되는 알고리즘은 상기 마커 특징 추출 알고리즘과 실질적으로 동일할 수 있다.

상기 멀티미디어 콘텐츠의 특징 정보가 추출되면, 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적한다.

도 4는 도 3에서 마커 추적을 설명하기 위한 흐름도이다.

도 4를 참조하면, 상기 마커를 추적하기 위해 상기 멀티미디어 콘텐츠의 특징 정보를 입력받는다(S210). 또한, 상기 마커의 특징 정보를 입력받는다(S220).

이후, 입력된 상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보를 비교한다(S230). 상기 특징 정보를 비교하여 동일한 특징 정보를 확인한다(S240).

상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보의 동일한 특징 정보로 호모그래피를 계산한다(S250).

다음으로, 상기 호모그래피를 이용하여 상기 멀티미디어 콘텐츠 차원에서 좌표를 계산한다(S260).

상기 좌표를 이용하여 상기 멀티미디어 콘텐츠에서 상기 마커를 확인한다.(S270)

상기 멀티미디어 콘텐츠의 각 프레임마다 상기 마커보다 넓은 영역에 대해 상기 마커의 추적이 이루어진다. 예를 들면, 상기 마크보다 약 1.5배의 영역에 대해 상기 마커 추적이 이루어질 수 있다. 상기 멀티미디어 콘텐츠 전체가 아닌 상기 마커를 포함하는 일정 영역에 대해서만 추적이 이루어지므로, 상기 추적에 소요되는 시간을 줄일 수 있고, 상기 추적 성능을 높일 수 있다.

한편, 상기 마커의 추적 결과, 상기 동일한 특징의 개수가 기준 개수 이하이거나, 상기 추적된 마커의 크기가 입력된 마커의 크기의 2배 이상 크거나, 상기 추적된 마커의 크기가 입력된 마커의 크기의 1/2배 미만이거나, 상기 호모그래피를 변환하여 예상 네 꼭지점 좌표와의 평균 오차가 10 이상인 경우에는 상기 마커의 추적이 실패한 것으로 판단한다.

상기 마커들이 다중으로 선택되는 경우, 상기 마커들의 추적 결과를 이용하여 상기 마커들 중에서 추적 정확도가 높은 마커를 추천한다(S300).

상기 마커에 따라 추적 성능이 서로 다를 수 있다. 따라서, 추적 성능이 좋은 마커를 찾기 위해 하나가 아닌 다수의 마커들이 선택될 수 있다. 상기 다수의 마커들을 추적하고, 상기 마커들의 추적 결과를 분석하여 추적 성능이 좋은 마커를 추천할 수 있다. 예를 들면, 상기 복수의 마커를 선택하여 입력받고, 상기 마커들을 개별적으로 상기 멀티미디어 콘텐츠에서 추적한 후, 상기 추적 결과를 분석하여 성능이 좋은 하나의 마커를 추천한다.

다시 도 3을 참조하면, 상기 선택된 마커를 이용하여 객체 영상의 크기와 위치에 대한 정보를 추출한다(S400).

구체적으로, 상기 멀티미디어 콘텐츠에서 상기 객체 영상의 초기 위치를 설정한다. 상기 객체 영상의 초기 위치는 상기 객체 영상의 위치를 추출하기 위해 필요한 정보이다.

상기 객체 영상의 초기 위치가 설정되면, 사용자가 상기 객체 영상의 위치를 편집하여 사용자가 원하는 위치로 객체 영상을 수정할 수 있다.

이후, 상기 객체 영상의 초기 위치를 기준으로 상기 마커와 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 상기 객체 영상의 크기와 위치를 추출한다(S400). 이때, 상기 멀티미디어 콘텐츠의 분석 정보는 상기 멀티미디어 콘텐츠를 촬영한 제1 카메라의 회전각, 상기 객체의 회전각, 상기 제1 카메라의 화각, 상기 제1 카메라와 상기 객체의 거리 등을 포함할 수 있다. 따라서, 상기 객체 영상의 크기와 위치를 상기 멀티미디어 콘텐츠의 회전과 거리의 변화에 맞게 크기를 조절할 수 있다.

상기 객체 영상의 크기와 위치에 대한 정보가 추출되면, 사용자가 촬영한 사용자 멀티미디어 콘텐츠를 분석하여 제2 카메라의 회전각, 화각정보, 거리정보를 추출하고, 이를 상기 객체 영상의 정보에 반영하여 상기 객체 영상의 크기와 위치 정보를 재추출한다(S500).

구체적으로, 상기 사용자 멀티미디어 콘텐츠로부터 상기 사용자 콘텐츠를 촬영한 제2 카메라의 회전각, 상기 제2 카메라의 화각 정보 및 상기 사용자 멀티미디어 콘텐츠에서 객체와 상기 제2 카메라의 거리 정보를 추출한다.

이후, 상기 객체 영상의 크기와 위치 정보를 상기 제2 카메라의 회전각, 화각 정보 및 상기 사용자 멀티미디어 콘텐츠에서 객체와 상기 제2 카메라의 거리 등의 정보를 이용하여 상기 객체 영상 크기와 위치를 재추출한다. 그러므로, 상기 사용자 멀티미디어 콘텐츠의 영상 변화에 맞게 상기 객체 영상의 크기와 위치 정보를 갱신할 수 있다.

상기 객체 영상의 크기와 위치가 재추출되면, 상기 사용자 멀티미디어 콘텐츠와 상기 재추출된 크기와 위치를 갖는 객체 영상 사이의 이질감을 감소시킨다.(S600)

구체적으로, 상기 사용자 멀티미디어 콘텐츠에서 날씨 정보를 추출하고, 추출된 날씨 정보를 상기 객체 영상에 적용한다.

또한, 상기 사용자 멀티미디어 콘텐츠에서 조명 정보를 추출하고, 추출된 조명 정보를 상기 객체 영상에 적용한다.

그리고, 상기 사용자 멀티미디어 콘텐츠에서 색감 정보를 추출하고, 추출된 색감 정보를 상기 객체 영상에 적용한다.

상기 사용자 멀티미디어 콘텐츠로부터 날씨 정보, 색감 정보 및 조명 정보를 추출하고, 추출된 날씨 정보, 조명 정보 및 색감 정보를 상기 객체 영상에 적용하여 상기 재추출된 크기와 위치를 갖는 객체 영상 사이의 이질감을 감소시킨다. 이때, 상기 날씨 정보의 추출 및 적용, 상기 색감 정보의 추출 및 적용, 상기 조명 정보의 추출 및 적용은 순차적으로 이루어지거나 동시에 이루어질 수 있다.

상기 날씨 정보의 추출 및 적용에 대해 구체적으로 살펴보면 다음과 같다.

상기 사용자 멀티미디어 콘텐츠에 대해 영상 해석 기술(해석 알고리즘)을 적용하여 날씨 정보를 추출한다. 상기 날씨 정보는 맑음, 흐림, 비, 눈으로 구분한다.

도 5는 도 3에 도시된 이질감 감소에서 영상 해석 기술을 이용한 날씨 정보 추출 방법을 설명하기 위한 순서도이다.

도 5를 참조하면, 상기 사용자 멀티미디어 콘텐츠의 프레임 영상을 해석 알고리즘을 통해 날씨 정보를 추출하기 위해서는 먼저, 상기 프레임 영상과 맑은 날씨를 나타내는 비교 영상을 비교한다(S610).

상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 맑은 날씨의 특징을 검출한다(S620).

상기 프레임 영상에서 맑은 날씨의 특징이 검출되는 경우, 상기 프레임 영상의 날씨 정보를 맑음으로 판단한다(S630).

상기 프레임 영상에 맑은 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 비오는 날씨의 특징을 검출한다(S640).

상기 프레임 영상에서 비오는 날씨의 특징이 검출되는 경우, 상기 해당 프레임 영상의 날씨 정보를 비로 판단한다(S650).

상기 프레임 영상에 비오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 눈오는 날씨의 특징을 검출한다(S660).

상기 프레임 영상에서 눈오는 날씨의 특징이 검출되는 경우, 상기 해당 프레임 영상의 날씨 정보를 눈으로 판단한다(S670).

상기 프레임 영상에 눈오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상에 맑은 영상의 특징, 비오는 영상의 특징, 눈오는 영상의 특징이 모두 검출되지 않으므로 상기 해당 프레임 영상의 날씨 정보를 흐림으로 판단한다(S680).

도 6은 도 5에서 맑은 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 상기 프레임 영상에서 맑은 날씨의 특징을 검출하는 단계(S620)에 대한 구체적인 설명은 다음과 같다.

먼저, 상기 프레임 영상과 상기 맑은 날씨의 비교 영상을 HSV 컬러 모델로 변환한다(S621). HSV 컬러 모델은 모든 컬러를 색상(Hue), 채도(Saturation), 명도(Value)로 표현하는 모델이다.

HSV 컬러 모델로 변환된 상기 프레임 영상과 상기 비교 영상 각각에 대한 가우시안 확률밀도함수를 계산한다(S622). 이때, 상기 가우시안 확률밀도함수는 색상, 채도 및 명도로 구분되어 계산될 수 있다.

상기 비교 영상에 대한 상기 가우시안 확률밀도함수의 채도값에 대해 mean ㅁ δ의 최대 범위를 계산한다(S623).

이후, 상기 프레임 영상에 대한 가우시안 확률밀도함수의 채도값이 상기 범위 사이에 포함되는지 여부를 확인한다(S624).

상기 프레임 영상에 대한 가우시안 확률밀도함수의 채도값이 상기 범위 사이에 포함되는 경우, 상기 프레임 영상의 날씨 정보를 맑음으로 판단한다(S630). 상기 프레임 영상에 대한 가우시안 확률밀도함수의 채도값이 상기 범위 사이에 포함되지 않는 경우, 상기 해당 프레임 영상이 비오는 영상의 특징이 있는지를 검출하기 위한 단계(S640)로 이동한다.

도 7은 도 5에서 비오는 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 상기 프레임 영상에서 비오는 날씨의 특징을 검출하는 단계(S640)에 대한 구체적인 설명은 다음과 같다.

먼저, 상기 프레임 영상과 상기 비교 영상의 각 프레임간의 차이를 픽셀별로 계산한다(S641). 상기 차이 계산은 에지 디텍션을 통해 이루어질 수 있다.

상기 각 프레임 간의 차이가 기 설정된 기준 이상인 픽셀에 대해 문턱값(threshold)을 적용한다(S642). 상기 기 설정된 기준은 약 15일 수 있다.

다음, 필터를 이용하여 노이즈를 제거한다(S643). 상기 필터로는 3*3 필터가 사용될 수 있다.

허프 라인 변환(hough line transforms)을 통해 상기 프레임 영상과 상기 제2 비교 영상에서 허프라인들을 검출한다(S644). 상기 허프 라인들을 검출하는 이유는 상기 프레임 영상에서 비가 떨어지면서 라인 형태로 나타나기 때문이다.

다음으로, 4*4 화면분할에 대한 검출 라인의 분포율을 계산한다(S645).

상기 분포율이 기 설정된 일정한 값, 예를 들면, 약 60 이상인지 여부를 판단한다(S646).

상기 분포율이 상기 기 설정된 값을 초과하는 경우, 상기 프레임 영상의 날씨 정보를 비로 판단한다(S650). 상기 분포율이 상기 기 설정된 값을 초과하지 않는 경우, 상기 해당 프레임 영상이 눈오는 영상의 특징이 있는지를 추가적으로 검출한다(S660).

도 8은 도 5에서 눈오는 날씨를 확인하기 위한 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 상기 프레임 영상에서 눈오는 날씨의 특징을 검출하는 단계(S660)에 대한 구체적인 설명은 다음과 같다.

먼저, 상기 프레임 영상과 상기 비교 영상의 각 프레임간의 차이를 픽셀별로 계산한다(S661). 상기 차이 계산은 에지 디텍션을 통해 이루어질 수 있다.

상기 각 프레임 간의 차이가 기 설정된 기준 이상인 픽셀에 대해 문턱값(threshold)을 적용한다(S662). 상기 기 설정된 기준은 약 15일 수 있다.

다음, 필터를 이용하여 노이즈를 제거한다(S663). 상기 필터로는 3*3 필터가 사용될 수 있다.

다음으로, 4*4 화면분할에 대한 검출 라인의 분포율을 계산한다(S664).

상기 분포율이 기 설정된 일정한 값, 예를 들면, 약 60 이상인지 여부를 판단한다(S665).

상기 분포율이 상기 기 설정된 값을 초과하는 경우, 상기 프레임 영상의 날씨 정보를 눈으로 판단한다(S670). 상기 분포율이 상기 기 설정된 값을 초과하지 않는 경우, 상기 프레임 영상의 날씨 정보를 흐림으로 판단한다(S680).

상기와 같이 해석 알고리즘을 적용하여 상기 사용자 멀티미디어 콘텐츠로부터 날씨 정보가 추출되면, 추출된 날씨 정보를 상기 재추출된 크기와 위치를 갖는 객체 영상에 적용한다.

상기 날씨 정보가 맑음과 흐림인 경우에는 상기 조명 정보 및 색감 정보가 상기 객체 영상에 추가될 수 있다. 상기 날씨 정보가 비와 눈인 경우, 상기 사용자 멀티미디어 콘텐츠에서 검출된 비와 눈의 크기를 계산하여 효과를 상기 객체 영상에 적용한다. 특히, 상기 날씨 정보가 눈인 경우, 상기 사용자 멀티미디어 콘텐츠로부터 추출한 눈의 위치와 방향, 크기 정보를 이용하여 상기 객체 영상에 눈을 적용한다.

도 9는 도 5에서 날씨 정보가 눈인 경우, 눈을 객체 영상에 적용하는 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 상기 재추출된 크기와 위치를 갖는 객체 영상에 가우시안 노이즈를 적용한다(S711). 따라서, 상기 객체 영상의 객체들이 정규분포를 갖도록 한다.

이후, 문턱값(Threshold)을 적용한다(S712). 상기 문턱값을 기준으로 너무 크거나 작은 객체들을 삭제한다.

다음으로, 상기 객체 영상에 블러링과 크리스탈화를 적용한다(S713). 따라서, 상기 객체 영상에 눈이 있는 것처럼 보이게 한다. 또한, 상기 객체 영상에 모션 블러를 적용(S714)하여 상기 눈이 움직이는 효과를 나타낸다.

이후, 상기 사용자 멀티미디어 콘텐츠로부터 추출한 눈의 방향 정보를 이용하여 상기 객체 영상에 눈의 방향을 적용한다(S715).

따라서, 상기 객체 영상에 상기 사용자 멀티미디어 콘텐츠와 유사하게 눈이 오는 모양을 표시할 수 있다.

상기 조명 정보의 추출 및 적용에 대해 구체적으로 살펴보면 다음과 같다.

먼저, 상기 조명은 태양을 의미하므로, 상기 사용자 멀티미디어 콘텐츠에서 상기 태양의 위치를 확인함으로써 상기 조명 정보를 추출할 수 있다. 상기 태양의 위치는 태양의 고도각과 방위각으로 표현할 수 있다. 상기 태양의 고도각과 방위각은 상기 사용자 멀티미디어 콘텐츠로부터 촬영된 시계열 정보와 위경도 좌표 정보를 획득하여 연산할 수 있다.

상기 태양의 고도각과 방위각을 통해 상기 태양의 위치가 확인되면, 상기 태양의 고도를 계산하여 고도차에 따른 그림자 정보를 생성한다.

구체적으로, 상기 태양의 고도각과 방위각을 구하면 3차원 공간상에서 태양의 위치, 상기 객체의 위치와 크기, 제2 카메라 위치, 및 그림자 투영 평면(지면)을 알 수 있으므로, 연산을 통해 상기 객체 영상의 그림자를 렌더링할 수 있다.

상기 태양의 고도각과 방위각을 구하는 수식 및 상기 그림자를 렌더링하기 위한 수식에 관한 구체적인 설명은 전술되었으므로 생략한다.

따라서, 상기 객체 영상에 상기 사용자 멀티미디어 콘텐츠와 동일한 조명 정보를 적용할 수 있다.

상기 색감 정보의 추출 및 적용에 대해 구체적으로 살펴보면 다음과 같다.

도 10은 도 3에 도시된 이질감 감소 단계에서 색감 보정 방법을 설명하기 위한 흐름도이다.

도 10을 참조하면, 먼저, 상기 사용자 멀티미디어 콘텐츠와 상기 객체 영상을 입력으로 받아 각 영상의 영역을 분할한다(S721). 상기 영역 분할은 HSV 색상공간에서 워터쉐드 알고리즘을 이용하여 수행된다.

이후, 각 영역별로 대표 색상을 계산한다(S722). 상기 각 영역별로 대표 색상을 계산하는 이유는 전체 색상을 계산하는 경우 어울리지 않는 결과가 나타나기 때문이다.

상기 대표 영상을 계산한 후에는 상기 객체가 삽입될 영역의 대표 색상과 상기 객체 영상의 대표 색상의 색상 평균과 표준 편차를 계산한다(S723).

상기 색상 평균과 표준 편차를 상기 객체 영상에 매칭한다(S724).

따라서, 상기 객체 영상이 상기 사용자 멀티미디어 콘텐츠에 삽입될 영역과 상기 객체 영상이 동일한 색감을 가질 수 있다.

다시 도 3을 참조하면, 상기 사용자 멀티미디어 콘텐츠에 상기 재추출된 크기와 위치를 갖는 객체 영상을 정합시킨다(S800).

상기 정합에는 상기 객체 영상의 크기와 위치 정보 및 상기 사용자 멀티미디어 콘텐츠의 제2 카메라의 회전각, 화각정보, 거리정보가 사용된다. 상기 마커를 이용하여 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 공간정보가 연동하므로, 상기 객체 영상이 상기 사용자 멀티미디어 콘텐츠에 자연스럽게 정합될 수 있다.

또한, 상기 재추출된 크기와 위치를 갖는 객체 영상은 상기 사용자 멀티미디어 콘텐츠와 동일한 날씨 정보, 조명 정보 및 색감 정보가 적용된 상태이므로, 정합된 영상에서 상기 객체 영상의 이질감을 최소화할 수 있다.

상술한 바와 같이, 본 발명에 따른 멀티미디어 콘텐츠 정합 시스템 및 방법은 멀티미디어 콘텐츠의 객체 영상과 사용자 멀티미디어 콘텐츠를 자연스럽게 정합하여 자연스러운 콘텐츠를 재 생성할 수 있다. 따라서, 영화나 드라마 촬영지에서 일반 사용자들이 상기 멀티미디어 콘텐츠의 객체 영상을 다양하게 이용할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 멀티미디어 콘텐츠 정합 시스템 110 : 마커 관리부
120 : 마커 추천부 130 : 객체 정보 획득부
140 : 저장부 150 : 영상 분석부
160 : 이질감 감소부 170 : 영상 정합부

Claims (13)

1. 멀티미디어 콘텐츠에서 마커를 기준으로 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 객체 영상의 크기와 위치를 추출하는 객체 정보 획득부;
   사용자 멀티미디어 콘텐츠의 분석 정보를 상기 객체 영상의 크기와 위치에 반영하여 상기 사용자 멀티미디어 콘텐츠의 마커를 기준으로 상기 객체 영상의 크기와 위치를 재추출하는 영상 분석부; 및
   상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합시키는 영상 정합부를 포함하고,
   상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 촬영 환경 차이로 인한 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 이질감 감소부를 더 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 시스템.
2. 제1항에 있어서, 상기 멀티미디어 콘텐츠 분석 정보는 상기 멀티미디어 콘텐츠를 촬영한 제1 카메라의 회전각, 화각 정보 및 상기 제1 카메라와 상기 객체의 거리 정보이며, 상기 사용자 멀티미디어 콘텐츠의 분석 정보는 상기 사용자 영상 콘텐츠를 촬영한 제2 카메라의 회전각, 화각정보 및 상기 제2 카메라와 객체의 거리 정보인 것을 특징으로 하는 멀티미디어 콘텐츠 정합 시스템.
3. 제1항에 있어서, 상기 멀티미디어 콘텐츠에서 상기 마커의 범위를 설정하고 상기 마커의 특징 정보를 추출하는 마커 관리부; 및
   상기 마커가 다중으로 선택되는 경우, 상기 마커들의 특징 정보를 상기 멀티미디어 콘텐츠의 특징 정보와 비교하여 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하며, 상기 마커들 중에서 추적 정확도가 가장 높은 마커를 추천하는 마커 추천부를 더 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 시스템.
4. 제3항에 있어서, 상기 마커의 범위, 상기 마커의 특징 정보, 상기 마커들의 추적 결과, 추천된 마커, 상기 객체 영상의 크기와 위치 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 시스템.
5. 삭제
6. 제1항에 있어서, 상기 이질감 감소부는,
   상기 사용자 멀티미디어 콘텐츠의 날씨 정보를 분석하여 상기 객체 영상에 적용하는 날씨 처리기;
   상기 사용자 멀티미디어 콘텐츠의 조명 정보를 분석하여 상기 객체 영상에 적용하는 조명 처리기; 및
   상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 색감 처리기를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 시스템.
7. 멀티미디어 콘텐츠에서 마커를 기준으로 상기 멀티미디어 콘텐츠의 분석 정보를 이용하여 객체 영상의 크기와 위치를 추출하는 단계;
   사용자 멀티미디어 콘텐츠의 분석 정보를 상기 객체 영상의 크기와 위치에 반영하여 상기 사용자 멀티미디어 콘텐츠의 마커를 기준으로 상기 객체 영상의 크기와 위치를 재추출하는 단계; 및
   상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합하는 단계를 포함하고,
   상기 사용자 멀티미디어 콘텐츠에 상기 영상 분석부에서 재추출된 크기와 위치를 갖는 객체 영상을 정합하는 단계 이전에,
   상기 멀티미디어 콘텐츠와 상기 사용자 멀티미디어 콘텐츠의 촬영 환경 차이로 인한 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
8. 제7항에 있어서, 상기 멀티미디어 콘텐츠에서 상기 마커의 범위를 설정하고 상기 마커의 특징 정보를 추출하는 단계;
   상기 마커가 다중으로 선택되는 경우, 상기 마커들의 특징 정보를 상기 멀티미디어 콘텐츠의 특징 정보와 비교하여 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하는 단계; 및
   상기 마커들 중에서 추적 정확도가 가장 높은 마커를 추천하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
9. 제8항에 있어서, 상기 멀티미디어 콘텐츠에서 상기 마커들을 추적하는 단계는,
   상기 멀티미디어 콘텐츠의 특징 정보 및 상기 마커의 특징 정보를 입력받는 단계;
   상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보를 비교하는 단계;
   상기 특징 정보를 비교하여 동일한 특징 정보를 확인하는 단계;
   상기 멀티미디어 콘텐츠의 특징 정보와 상기 마커의 특징 정보의 동일한 특징 정보로 호모그래피를 계산하는 단계;
   상기 호모그래피를 이용하여 상기 멀티미디어 콘텐츠 차원에서 좌표를 계산하는 단계; 및
   상기 좌표를 이용하여 상기 멀티미디어 콘텐츠에서 상기 마커를 확인하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
10. 삭제
11. 제7항에 있어서, 상기 객체 영상과 상기 사용자 멀티미디어 콘텐츠의 이질감을 감소시키는 단계는,
    상기 사용자 멀티미디어 콘텐츠의 날씨 정보를 분석하여 상기 객체 영상에 적용하는 단계;
    상기 사용자 멀티미디어 콘텐츠의 조명 정보를 분석하여 상기 객체 영상에 적용하는 단계; 및
    상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
12. 제11항에 있어서, 상기 사용자 멀티미디어 콘텐츠의 날씨 정보 분석은,
    상기 사용자 멀티미디어 콘텐츠의 프레임 영상과 맑은 날씨를 나타내는 비교 영상을 비교하는 단계;
    상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 맑은 날씨의 특징을 검출하는 단계;
    상기 프레임 영상에서 맑은 날씨의 특징이 검출되는 경우, 상기 프레임 영상의 날씨 정보를 맑음으로 판단하는 단계;
    상기 프레임 영상에 맑은 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 비오는 날씨의 특징을 검출하는 단계;
    상기 프레임 영상에서 비오는 날씨의 특징이 검출되는 경우, 상기 프레임 영상의 날씨 정보를 비로 판단하는 단계;
    상기 프레임 영상에 비오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상과 상기 비교 영상을 비교하여 상기 프레임 영상에서 눈오는 날씨의 특징을 검출하는 단계;
    상기 프레임 영상에서 눈오는 날씨의 특징이 검출되는 경우, 상기 프레임 영상의 날씨 정보를 눈으로 판단하는 단계; 및
    상기 프레임 영상에 눈오는 날씨의 특징이 검출되지 않는 경우, 상기 프레임 영상의 날씨를 흐림으로 판단하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.
13. 제11항에 있어서, 상기 사용자 멀티미디어 콘텐츠의 색감 정보를 분석하여 상기 객체 영상에 적용하는 단계는,
    상기 사용자 멀티미디어 콘텐츠와 상기 객체 영상을 입력으로 받아 각 영상의 영역을 분할하는 단계;
    상기 각 영역별로 대표 색상을 계산하는 단계;
    상기 사용자 멀티미디어 콘텐츠에서 상기 객체가 삽입될 영역의 대표 색상과 상기 객체 영상의 대표 색상에 대한 색상 평균과 표준 편차를 계산하는 단계; 및
    상기 색상 평균과 표준 편차를 상기 객체 영상에 매칭하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 정합 방법.

Images