KR20090001667A - 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법 - Google Patents

Abstract

본 발명은 증강 현실 기술(AR: Augmented Reality)을 이동통신 단말기에 접목시켜 게임과 같은 컨텐츠를 구현하기 위한 것으로, 특히, 카메라를 구비하는 단말기에서 카메라를 통해 실시간으로 입력되는 광신호로부터 생성되는 프리뷰(Preview) 영상을 배경으로 화면에 디스플레이하고, 그 프리뷰 영상에 함께 디스플레이 되는 가상 객체의 동작을 좀 더 현실적인 외부 객체를 이용하여 제어하기 위한 장치 및 방법에 관한 것이다. 이를 위해 본 발명은 미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보들을 저장하고, 상기 상태 정보들에 각각 대응하는 동작 패턴들을 저장하고, 상기 카메라를 통해 입력된 광신호로부터 프리뷰(Preview) 영상을 생성하여 상기 생성된 프리뷰 영상에서 미리 설정된 외부 객체의 상태 정보를 획득하고, 상기 획득한 외부 객체의 상태 정보에 대응되는 동작 패턴을 상기 메모리부에서 독출하고, 상기 독출된 동작 패턴을 상기 프리뷰 영상에 함께 디스플레이되는 가상 객체에 반영함으로써 가상 객체의 동작을 제어할 수 있게 된다.

증강현실, AR, Augmented Reality, 동작 제어

Description

증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치 및 방법{APPARATUS AND METHOD FOR EMBODYING CONTENTS USING AUGMENTED REALITY}

도 1은 본 발명의 실시 예에 따른 컨텐츠를 구현하기 위한 장치의 블록 구성도,

도 2는 일반적으로 마커의 위치에 가상 객체를 생성하는 과정을 설명하기 위한 예시도,

도 3은 본 발명의 실시 예에 따라 가상 객체가 이동 가능한 활동 영역을 추출하는 과정을 설명하기 위한 예시도,

도 4는 본 발명의 실시 예에 따른 가상 객체의 동작을 제어하기 위한 제어 흐름도,

도 5a 및 도 5b 및 도 5c는 본 발명의 실시 예에 따라 가상 객체의 동작으로 제어하기 위한 과정을 설명하기 위한 예시도.

본 발명은 카메라를 구비하는 단말기에서 증강 현실 기술(AR : Augmented Reality)을 이용하여 컨텐츠(Contents)를 구현하기 위한 장치 및 방법에 관한 것이 다.

최근 들어 정보화 사회의 급격한 발달로 인해 TV 또는 PC와 같은 유선 데이터 통신 매체 뿐만 아니라 이동 통신 단말기와 같은 무선 데이터 통신 매체를 통해서도 프로그램, 음악, 영화, 게임 소프트웨어 같은 다양한 컨텐츠를 이용할 수 있게 되었다.그 중에서 게임 컨텐츠는 이동 통신 단말기가 음성 통신의 기능 외에 고속으로 화상 및 데이터 통신 기능을 수행할 수 있는 기능이 필수적으로 구현됨에 따라 사용자가 자주 이용할 수 있는 컨텐츠 중의 하나가 되었다.이러한 이동 통신 단말기에 제공되는 게임 컨텐츠 중 하나의 예로는 애완 동물과 같은 캐릭터를 키울 수 있도록 구성된 애완 동물 육성 시뮬레이션 게임이 있다.

상기와 같은 애완 동물 육성 시뮬레이션 게임에서 화면에 애완 동물 캐릭터가 디스플레이된 상태에서 사용자가 애완 동물의 먹이를 주기 위한 동작에 대응되는 키를 입력하면, 이동 통신 단말기는 애완 동물 캐릭터가 먹이를 먹는 이미지와 같이 사용자의 키 입력에 대응되는 가상 애완 동물의 동작 이미지를 독출하여 화면에 디스플레이한다. 또한, 애완 동물과 함께 사진을 촬영하기 위한 동작에 대응되는 키 입력이 있으면 이동 통신 단말기는 사용자가 자신이 키우는 애완 동물 캐릭터 이미지와 함께 촬영 가능하도록 화면의 일부에 애완 동물 캐릭터 이미지를 표시하도록 한다.

상기와 같은 현재 이동 통신 단말기에서 가상 애완 동물의 동작을 제어하기 위해서는 사용자가 키 입력만을 통해서 제어할 수 있었다. 또한, 이러한 게임은 사 용자의 요청에 따라 미리 저장된 이미지를 화면에 디스플레이하기 때문에 현실성이 부족하였다. 이러한 컨텐츠에 현실성을 가미하기 위해서 실제 현실을 배경으로 하여 애완 동물 캐릭터 이미지와 함께 촬영하기 위한 메뉴가 있었지만, 단순히 고정된 애완 동물 캐릭터 이미지와 함께 실제 현실을 촬영하는 것일 뿐, 실제적으로 게임과 같은 컨텐츠에 현실을 반영하는 방법은 없었다.

상기한 바와 같이 현재까지는 이동 통신 단말기에서 가상의 공간에 디스플레이된 가상 객체를 제어하기 위한 컨텐츠가 제공되었지만 기술이 발달함에 따라 현실을 이동 통신 단말기에 접목시키는 증강 현실 나아가 가상 현실(Virtual Reality) 분야에 대한 관심 및 기술이 대두되고 있다.따라서 본 발명은 카메라를 구비하는 단말기에서 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치 및 방법을 제공한다.

또한, 본 발명은 카메라를 구비하는 단말기에서 카메라를 통해서 입력된 현실의 영상에 가상 객체를 디스플레이하고, 디스플레이된 가상 객체의 동작을 키 입력이 아닌 다양한 외부 객체를 이용하여 제어할 수 있도록 하기 위한 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명은 카메라를 구비하는 단말기에서 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치에 있어서, 미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보들을 저장하고, 상기 상태 정보들에 각각 대응하는 동작 패턴들을 저장하는 메모리부와, 가상 객체의 3차원 이미지를 생성하는 3차원 그래픽 처리부와, 상기 카메라를 통해 입력된 광신호로부터 프리뷰(Preview) 영상을 생성하여상기 생성된 프리뷰 영상에서 미리 설정된 외부 객체의 상태 정보를 획득하고, 상기 획득된 상태 정보에 대응하는 동작 패턴을 상기 메모리부에서 독출한 후 상기 독출된 동작 패턴을 상기 프리뷰 영상에 함께 디스플레이되는 가상 객체에 반영하도록 상기 3차원 그래픽 처리부를 제어하는 제어부를 구비함을 특징으로 한다.

또한, 본 발명은 카메라를 구비하고, 미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보에 대응하는 동작 패턴들을 저장하는 메모리부를 구비하는 단말기에서 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법에 있어서, 미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보들을 저장하고, 상기 상태 정보들에 각각 대응하는 동작 패턴들을 저장하는 과정과, 상기 카메라를 통해 입력된 광신호로부터 프리뷰(Preview) 영상을 생성하여 상기 생성된 프리뷰 영상에서 미리 설정된 외부 객체의 상태 정보를 획득하는 과정과, 상기 획득한 외부 객체의 상태 정보에 대응되는 동작 패턴을 상기 메모리부에서 독출하는 과정과, 상기 독출된 동작 패턴을 상기 프리뷰 영상에 함께 디스플레이되는 가상 객체에 반영시키는 과정을 포함하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명에서는 기존과 같이 가상의 공간을 배경으로 가상 객체를 디스플레이 하지 않고, 단말기에서 카메라를 통해 실시간으로 입력되는 광신호로부터 생성되는 프리뷰 영상을 배경으로 화면에 디스플레이하고, 그 프리뷰 영상에 함께 디스플레이되는 가상 객체의 동작을 사용자가 좀 더 현실적인 외부 객체를 이용하여 제어하기 위한 방안을 제안하도록 한다.

이하, 본 발명에서는 프리뷰 영상에서 가상 객체의 위치를 표시하기 위한 마커에 대응되는 위치에 디스플레이되는 가상 객체를 강아지와 같은 3차원 가상 객체 이미지라고 가정하여 설명하도록 한다.

그러면 이제 도 1을 참조하여 본 발명의 실시 예에 따라 미리 설정된 외부 객체를 이용하여 가상 객체의 동작을 제어하기 위한 장치의 블록 구성에 대해서 살펴보기로 한다.

먼저, 제어부(100)는 가상 객체 동작 제어 장치의 전반적인 동작을 제어한다. 특히 본 발명에서 제어부(100)는 게임 모드를 시작하기 위한 요청이 있으면 카메라를 통해 입력되는 광신호로부터 프리뷰 영상을 생성하고, 생성된 프리뷰 영상을 화면에 디스플레이한다. 이때, 본 발명에서는 프리뷰 영상에 가상 객체를 포함시키기 위한 마커가 포함된다. 본 발명의 실시 예에서는 게임 모드의 선택에 따라 프리뷰 영상에 가상 객체를 디스플레이하는 동작이 일어나는 것으로 설명하였지만 게임 모드가 아닌 별도의 가상 객체를 디스플레이하기 위한 요청에 따라서도 프리뷰 영상에 가상 객체를 디스플레이하는 동작이 일어날 수도 있다.

그리고 제어부(100)는 디스플레이된 프리뷰 영상에 포함된 마커의 패턴을 인식하여 인식된 마커의 위치 좌표를 산출한다. 여기서, 마커란 프리뷰 영상에서 가상 객체 를 생성하도록 하기 위한 위치를 지정하는 표시자를 의미한다. 이러한 마커는 일반적으로 특정한 패턴을 가지며, 패턴의 모양에 따라 각각 다른 종류의 객체를 대응시킬 수 있다. 이때, 마커는 사용자에 의해서 사용자가 원하는 위치에 놓여지게 된다.

그리고, 제어부(100)는 도 2와 같이 3차원 그래픽 처리부(120)를 통해서 상기와 같이 산출된 마커(201)의 위치 좌표에 미리 설정된 가상 객체(200)를 생성하고, 생성된 가상 객체(200)를 표시부(130)를 통해서 디스플레이한다. 이때, 표시부(130)에 디스플레이된 가상 객체(200)는 도 2에서 도시된 바와 같이 강아지와 같은 3차원 객체가 될 수 있다. 즉, 사용자는 마커의 위치에 가상 객체가 포함된 프리뷰 영상을 화면을 통해 확인할 수 있게 된다.

그리고, 이와 동시에 제어부(100)는 프리뷰 영상에서 마커가 포함된 영역을 추출하여 가상 객체가 랜덤하게 이동하도록 하기 위한 활동 영역으로 설정한다.

이때, 제어부(100)가 활동 영역을 설정하는 과정에 대해서는 도 3를 참조하여 살펴보도록 한다. 일반적으로 디지털 카메라 또는 디지털 캠코더와 같은 디지털 영상 처리가 가능한 단말기는 YUV 420으로 영상을 촬영한다. 여기서 YUV는 휘도(Y) 신호와 색차 신호인 휘도(Y) 신호와 적색 성분의 차(U) 신호와 휘도(Y) 신호와 적색 성분의 차(V) 신호를 이용하여 색을 나타내는 방식을 의미한다. 이러한 YUV 방식 중에서 YUV 420은 휘도(Y) 신호와 색차(U,V) 신호를 디지털 신호로 변환하기 위해 사용되는 표준화 주파수 비율로 휘도(Y) 신호와 휘도(Y) 신호와 적색 성분의 차(U) 신호, 휘도(Y) 신호와 적색 성분의 차(V) 신호가 4:2:0의 비율로 이루어진 다.

먼저, 제어부(100)는 도 3와 같이 마커가 포함된 프리뷰 영상에서 휘도 신호만 추출한다. 그리고, 제어부(100)는 휘도 신호만으로 이루어져 경계선으로 영역이 구분됨이 표현되는 영상에서 마커가 속하는 영역(300)을 검출한다. 이후, 제어부(100)는 상기 영역(400)을 가상 애완 동물 객체가 이동 가능한 영역인 활동 영역으로 설정한다. 이때, 제어부(100)는 이러한 정보를 이용하여 애완 동물 객체가 활동 영역을 랜덤하게 움직일 수 있도록 하기 위한 동작 패턴을 반영시킬 수 있다. 만약, 랜덤하게 움직이던 애완 동물 객체가 활동 영역의 경계를 벗어날 경우 제어부(100)는 애완 동물 객체가 활동 영역의 경계를 벗어나지 않도록 애완 동물 객체의 이동 방향을 수정하여 활동 영역 내에서만 자유롭게 이동할 수 있도록 제어할 수 있다.

이후, 제어부(100)는 미리 설정된 시간 내에 프리뷰 영상에서 외부 객체가 인지되는지 검사하여 외부 객체가 인지되면 외부 객체의 상태 정보를 획득한다. 여기서, 외부 객체는 손이나 손에 장착될 수 있는 특수한 장치 또는 미리 설정된 제스쳐(Gesture)가 될 수 있다. 이러한 외부 객체는 손이나 손에 장착될 수 있는 특수한 장치 또는 미리 설정된 제스쳐를 인식 가능하도록 설정된 알고리즘으로 인식할 수 있다. 또한, 이러한 외부 객체는 인식 가능한 막대나 패턴과 같은 다양한 종류의 객체가 될 수 있으며, 이에 해당하는 알고리즘으로 인식될 수도 있다.

예를 들어, 외부 객체가 손 또는 손에 장착되어 인식될 수 있는 특수한 장치일 경우 제어부(100)는 프리뷰 영상에서 손 또는 손에 장착되어 인식될 수 있는 특 수한 장치를 인식 가능하도록 설정된 알고리즘을 통해 손 또는 손에 장착된 특수한 장치를 인식한다. 이후 제어부(100)는 인식된 손 또는 손에 장착되어 인식될 수 있는 특수한 장치의 위치를 산출하고, 산출된 손 또는 손에 장착되어 인식될 수 있는 특수한 장치의 위치가 속하는 객체 동작 제어 영역을 확인한다.

여기서, 객체 동작 제어 영역이란 가상객체를 포함하는 영상에서 가상객체의 동작을 제어하기 위한 영역으로, 화면에 디스플레이된 프리뷰 영상에서 설정된 영역 분할 방식을 이용하여 생성된다. 예를 들어, 객체 동작 제어 영역은 도 5a와 같이 마커의 위치를 중심으로 하여 6개의 영역으로 설정될 수도 있다. 또한, 도 5b와 같이 마커의 위치를 중심으로 대각선으로 나뉜 4개의 영역이나 도 5c와 같이 마커의 위치를 중심으로 상하좌우에 박스 형태로 이루어진 4개의 영역으로 설정될 수도 있다. 또한, 이러한 객체 동작 제어 영역은 단말기를 제조할 당시에 미리 설정될 영역 분할 방식으로 화면에 디스플레이된 프리뷰 영상에서 객체 동작 제어 영역이 설정될 수도 있고, 사용자에 의해서 선택된 객체 동작 제어 영역 분할 방식에 따라 설정될 수 있다.

또한, 객체 동작 제어 영역은 사용자가 객체 동작 제어 영역을 확인할 수 있도록 프리뷰 영상과 함께 디스플레이 되거나 객체 동작 제어 영역을 확인할 수 있도록 하기 위한 메뉴얼과 같은 다양한 알림 방법을 통해서 사용자가 확인할 수 있도록 한다.

그리고, 제어부(100)는 상기에서 확인된 외부 객체의 위치가 속하는 객체 동작 제어 영역에 대응되는 동작 패턴을 메모리부(140)에서 독출하여 3차원 그래픽 처리부(150)를 통해서 가상 객체에 반영시킨다. 본 발명에서는 3차원 객체 이미지를 생성하기 위한 3차원 그래픽 처리부(150)를 구비하였지만 2차원 객체 이미지를 생성하기 위한 2차원 그래픽 처리부를 구비할 수도 있다.

또한, 예를 들어 외부 객체의 미리 설정된 제스쳐가 외부 객체의 상태 정보라고 가정하면 제어부(100)는 프리뷰 영상에서 미리 설정된 제스쳐를 인식한다. 그리고, 제어부(100)는 인식된 제스쳐에 대응하는 동작 패턴을 메모리부(140)에서 독출하여 3차원 그래픽 처리부(150)를 통해서 가상 객체에 반영시킨 후 해당 동작 패턴이 반영된 가상 객체를 표시부(130)에 디스플레이 한다.

한편, 상기 검사 결과 가상 객체를 표시부(130)에 디스플레이 한 후 미리 설정된 시간 내에 프리뷰 영상에서 외부 객체가 인식되지 않으면 제어부(100)는 3차원 그래픽 처리부(120)를 통해서 제어 대기 동작에 따른 동작 패턴을 가상 객체에 반영시킨다. 이때, 제어 대기 동작은 가변적으로 설정 가능한 동작으로, 본 발명에서는 가상 객체가 활동 영역을 랜덤하게 이동하도록 하기 위한 동작으로 예를 들어 설명하도록 한다. 따라서, 제어부(100)는 가상 객체를 표시부(130)에 디스플레이 한 후 미리 설정된 시간 내에 프리뷰 영상에서 외부 객체가 인식되지 않으면 외부 객체의 상태 정보를 획득할 때까지 가상 객체에 상기와 같은 제어 대기 동작에 따른 동작 패턴을 반영시킬 수 있다.

그리고, 카메라부(110)는 카메라를 구비하고, 카메라로부터 입력된 광신호를 영상으로 변환하여 출력한다.

한편, 3차원 그래픽 처리부(120)는 OpenGL ES 또는 OpenGL과 같은 3차원 그 래픽 엔진으로 구성되고, 산출된 마커의 위치 좌표에 디스플레이 할 가상 객체를 생성한다. 그리고, 3차원 그래픽 처리부(120)는 제어부(100)로부터 생성된 가상 객체에 반영하기 위한 동작 패턴에 대한 데이터를 이용하여 가상 객체의 동작 패턴을 구현한다.

또한, 표시부(130)는 머리에 착용 가능한 안경 타입의 헤드 마운트 디스플레이(Head Mounted Display: HMD) 또는 액정표시장치(Liquid Crystal Display: LCD)로 구성된다. 그리고, 표시부(130)는 프리뷰 영상과 함께 3차원 그래픽 처리부(120)에서 생성된 가상 애완 동물 객체를 디스플레이한다.

한편, 메모리부(140)는 가상 애완 동물 객체를 생성하기 위해 필요한 모양, 재질, 크기와 같은 복수 개의 가상 객체를 생성하기 위한 데이터를 저장한다. 또한, 프리뷰 영상에 가상 애완 동물 객체를 디스플레이 한 후 외부 객체에 대한 상태 정보의 획득을 대기하기 위한 시간을 저장한다. 그리고, 메모리부(140)는 제어부(100)에서 추출된 마커의 위치 좌표와 활동 영역의 위치 정보, 외부 객체에 대한 적어도 하나의 상태 정보들을 저장한다. 또한, 메모리부(140)는 미리 설정된 시간 내에 외부 객체의 상태 정보가 획득되지 않을 경우 대기 시간 동안 수행 가능하도록 설정된 가상 애완 동물 객체의 제어 대기 동작 패턴을 저장한다. 그리고, 메모리부(140)는 외부 객체의 상태 정보에 대응하는 적어도 하나의 동작 패턴들을 저장한다. 예를 들어, 6개의 영역으로 구성되는 객체 동작 제어 영역에 따라 각각의 영역에 대응되는 6개의 동작 패턴이 있다고 가정한다면 6개의 영역에 대응되는 각각의 동작 패턴은 하기의 <표 1>과 같은 테이블로 구성되어 메모리부(140)에 저장된 다.

객체 동작 제어 영역	동작 패턴
제1 영역	패턴 1
제2 영역	패턴 2
제3 영역	패턴 3
제4 영역	패턴 4
제5 영역	패턴 5
제6 영역	패턴 6

만약, 프리뷰 영상을 통해서 획득한 외부 객체의 위치가 제1 영역에 포함된다면 제어부(100)는 제1 영역에 대응되는 패턴 1의 동작을 가상 애완 동물 객체에 반영시킨다.

또한, 외부 객체의 상태 정보가 미리 설정된 제스쳐일 경우 3개의 미리 설정된 제스쳐에 따라 각각에 대응되는 3개의 동작 패턴이 있다고 가정한다면 3개의 제스쳐에 대응하는 각각의 동작 패턴은 하기와 같은 <표 2>와 같은 테이블로 구성되어 메모리부(140)에 저장된다.

미리 설정된 제스쳐	동작 패턴
제1 제스쳐	패턴 1
제2 제스쳐	패턴 2
제3 제스쳐	패턴 3
제4 제스쳐	패턴 4

만약, 프리뷰 영상에서 인식된 제스쳐가 제1 제스쳐라면, 제어부(100)는 제1 제스쳐에 대응되는 패턴 1의 동작을 가상 애완 동물 객체에 반영시킨다.

그러면 이제 도 1과 같이 구성되는 컨텐츠를 구현하기 위한 장치에서 가상 객체의 동작을 제어하기 위한 과정을 도 4를 참조하여 살펴보도록 한다.

먼저, 제어부(100)는 400단계에서 대기 상태를 유지한다. 이후 402단계에서 제어부(100)는 게임 모드를 시작하기 위한 요청이 있는지 검사한다. 본 발명에서는 게임 모드를 애완 동물 육성 시뮬레이션 게임으로 가정하여 설명하도록 한다.

402단계 검사 결과, 제어부(100)는 애완 동물 육성 시뮬레이션 게임 모드를 시작하기 위한 요청이 있으면 404단계를 진행하고, 그렇지 않으면 400단계로 진행하여 대기 상태를 유지한다.

그리고, 404단계에서 제어부(100)는 카메라부(110)를 통해서 마커를 포함한 광신호의 입력이 있는지 검사하여 검사 결과 입력이 있으면 406단계를 진행하고, 그렇지 않으면 마커를 포함한 광신호의 입력이 있는지 계속적으로 검사한다.

이후, 406단계에서 제어부(100)는 카메라부(110)를 통해서 실시간으로 입력된 광신호로부터 프리뷰 영상을 생성하고, 생성된 프리뷰 영상을 배경으로 표시부(130)에 디스플레이 한다. 그리고 408단계에서 제어부(100)는 프리뷰 영상에서 마커의 패턴을 인식하고, 인식된 마커의 위치 좌표를 산출한다. 그리고 제어부(100)는 3차원 그래픽 처리부(120)를 통해서 산출된 마커의 위치에 디스플레이 할 마커의 패턴에 대응되는 가상 객체를 생성하여 표시부(130)를 통해서 화면에 디스플레이 한다. 본 발명에서는 도 2에 도시된 바와 같이 화면에 디스플레이 되는 가상 객체는 강아지와 같은 3차원 애완 동물 객체가 디스플레이 된다고 가정하여 설명하도록 한다. 이때, 제어부(100)는 메모리부(140)에 저장된 마커의 패턴에 따른 3차원 객체의 모양, 재질, 크기와 같은 가상 객체를 생성하기 위한 데이터를 3차원 그래픽 처리부(120)로 출력한다. 그리고 제어부(100)는 3차원 그래픽 처리부(120)가 상기의 데이터를 이용하여 가상 객체를 생성하도록 제어한다.

이후, 410단계에서 제어부(100)는 마커를 포함한 영역을 추출하여 미리 설정된 시간 내에 외부 객체의 상태 정보를 획득하지 않을 경우 가상 객체가 랜덤하게 이동 가능한 활동 영역을 설정한다.

한편, 410단계에서 412단계로 진행한 제어부(100)는 미리 설정된 시간 내에 외부 객체가 인지되고, 인지된 외부 객체의 상태 정보가 획득되었는지 검사하여 외부 객체의 상태 정보가 획득되면 416단계를 진행하고, 그렇지 않으면 414단계를 진행한다. 그리고 414단계에서 제어부(100)는 메모리부(140)로부터 제어 대기 동작 패턴을 독출하여 3차원 그래픽 처리부(120)가 가상 객체가 활동 영역(400)의 경계선 내에서 랜덤하게 이동하도록 하기 위한 제어 대기 동작을 반영시키도록 한다. 예를 들어, 제어부(100)는 가상 객체가 랜덤하게 활동 영역을 이동하다가 활동 영역의 경계선에 닿으면 가상 객체의 이동 방향을 전환하여 반대 방향으로 이동하도록 하기 위한 동작을 반영시킬 수 있다.

이하, 412단계에서부터는 외부 객체를 손 또는 손에 장착되어 인식되는 특수한 장치로 예를 들어 설명하도록 한다.

이후, 412단계에서 416단계로 진행한 제어부(100)는 프리뷰 영상에서 손 또는 손에 장착되어 인식될 수 있는 특수한 장치의 위치를 산출하고, 산출된 위치가 속하는 객체 동작 제어 영역을 확인한다. 그리고, 제어부(100)는 확인된 객체 동작 제어 영역에 대응되는 동작 패턴을 가상 객체에 반영시켜서 가상 객체가 반영된 동작을 수행하도록 한다. 이때, 제어부(100)가 가상 객체의 동작 패턴을 반역하도록 제어하는 과정은 도 5a 및 도 5b 및 도 5c를 참조하여 설명하도록 한다.

예를 들어, 도 5a와 같은 객체 동작 제어 영역이 상기 <표 1>에서 제1 영역(501), 제2 영역(502), 제3 영역(503), 제4 영역(504), 제5 영역(505), 제6 영역(506)과 같이 6개의 영역으로 이루어졌다고 가정한다. 그리고, 제1 영역(501)에 대응하는 제1 패턴이 "오늘은 기분이 좋은날~"이라는 멘트와 함께 가상 애완 동물 객체가 꼬리를 흔드는 동작으로 설정되었다고 가정한다. 만약, 손 또는 손에 장착되어 인식될 수 있는 특수한 장치의 위치가 제1 영역(501)에 속한다면, 제어부(100)는 메모리부(141)로부터 제1 영역에 대응하는 동작 패턴인 패턴 1을 독출하고, 3차원 그래픽 처리부(120)를 통해서 독출된 패턴 1의 동작을 반영시켜서 가상 애완 동물 객체가 "오늘은 기분이 좋은날~"이라는 멘트와 함께 꼬리를 흔드는 동작을 수행한다.

한편, 제어부(100)가 외부 객체의 미리 설정된 제스쳐를 획득하는 경우에 대해서는 상기 <표 2>를 참조하여 설명하도록 한다.

예를 들어, 상기 [표 2]에서 제1 제스쳐가 손을 위에서 아래로 쓰다듬는 제스쳐이고, 제1 제스쳐와 대응되는 패턴 1이 꼬리를 흔드는 동작으로 설정되었다고 가정한다. 이때, 카메라로부터 입력된 영상에서 제1 제스쳐가 인식되면 제어부(100)는 인식된 메모리부(140)로부터 제1 제스쳐에 대응되는 패턴 1을 독출한다. 그리고 제어부(100)는 3차원 그래픽 처리부(120)를 통해서 독출된 패턴 1의 동작을 가상 애완 동물 객체에 반영시켜서 가상 애완 동물이 꼬리를 흔드는 동작을 수행하도록 한다.

한편, 216단계에서 218단계로 진행한 제어부(100)는 게임 모드가 종료되었는지 검사하여 종료되면 게임 모드를 종료하고, 그렇지 않으면 406단계로 진행하여 카메라부(110)를 통해서 실시간으로 입력된 광신호로부터 프리뷰 영상을 생성하고, 생성된 프리뷰 화면을 배경으로 표시부(130)에 디스플레이 한 후 408 ~ 418단계를 수행한다.

한편, 상술한 본 발명의 설명에서는 실시 예에 대해서 설명하였으나 여러 가지 변형이 본 발명의 범위 내에서 이루어질 수 있다. 특히, 상기 본 발명의 실시 예에서는 외부 객체를 손 또는 손에 장착되어 인식될 수 있는 특수한 장치와 미리 설정된 제스쳐로 예를 들어 설명하였으나 인식 가능한 막대나 상기에서 기술한 가상 객체의 위치를 지정하기 위한 마커와는 다른 마커와 같은 다양한 종류의 외부 객체를 이용하여 가상객체를 제어할 수 있다.

상술한 바와 같이 본 발명은 카메라를 구비하는 단말기에서 카메라를 통해 실시간으로 입력되는 광신호로부터 생성되는 프리뷰(Preview) 영상을 배경으로 화면에 디스플레이하고, 그 프리뷰 영상에 함께 디스플레이 되는 가상 객체의 동작을 좀 더 현실적인 외부 객체를 이용하여 제어함으로써 사용자에게 보다 흥미롭고, 현실감 있는 컨텐츠를 제공할 수 있는 이점이 있다.

Claims (10)

1. 카메라를 구비하는 단말기에서 증강 현실 기술(AR: Augmented Reality)을 이용하여 컨텐츠를 구현하기 위한 장치에 있어서,

   미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보들을 저장하고, 상기 상태 정보들에 각각 대응하는 동작 패턴들을 저장하는 메모리부와,

   가상 객체의 3차원 이미지를 생성하는 3차원 그래픽 처리부와,

   상기 카메라를 통해 입력된 광신호로부터 프리뷰(Preview) 영상을 생성하여상기 생성된 프리뷰 영상에서 미리 설정된 외부 객체의 상태 정보를 획득하고, 상기 획득된 상태 정보에 대응하는 동작 패턴을 상기 메모리부에서 독출한 후 상기 독출된 동작 패턴을 상기 프리뷰 영상에 함께 디스플레이되는 가상 객체에 반영하도록 상기 3차원 그래픽 처리부를 제어하는 제어부를 구비함을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치.
2. 제 1항에 있어서, 상기 메모리부가 적어도 하나의 객체 동작 제어 영역에 따라 각각에 대응되는 동작 패턴을 저장하고,

   상기 제어부는 상기 프리뷰 영상에서 상기 외부 객체를 인지하고, 상기 인지된 외부 객체의 위치를 산출한 후 상기 산출된 외부 객체의 위치가 속하는 상기 객체 동작 제어 영역에 대응되는 동작 패턴을 상기 메모리부에서 독출하고, 상기 독출된 동작 패턴을 상기 가상 객체에 반영하도록 상기 3차원 그래픽 처리부를 제어 하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치.
3. 제 1항에 있어서, 상기 메모리부가 상기 외부 객체의 제스쳐(Gesture)들을 저장하고, 상기 제스쳐들에 각각 대응되는 동작 패턴을 저장하고,

   상기 제어부는 상기 프리뷰 영상에서 상기 외부 객체의 제스쳐를 획득하고, 상기 획득된 외부 객체의 제스쳐에 대응되는 동작 패턴을 독출하고, 상기 독출된 동작 패턴을 상기 가상 객체에 반영하도록 상기 3차원 그래픽 처리부를 제어하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치.
4. 제 1항에 있어서, 상기 제어부는,

   상기 프리뷰 영상에서 상기 가상 객체의 위치를 지정하기 위한 마커를 인식하고, 상기 인식된 마커의 위치에 상기 가상 객체를 생성하고, 상기 프리뷰 영상에서 휘도 신호만을 추출한 후 상기 추출된 휘도 신호만으로 이루어져 경계선으로 영역이 구분됨이 표현되는 영상에서 상기 마커가 속하는 영역을 활동 영역으로 설정하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치.
5. 제 4항에 있어서, 상기 메모리부는 상기 가상 객체가 상기 활동 영역 내를 랜덤하게 이동하도록 하기 위한 제어 대기 동작 패턴을 저장하고,

   상기 제어부는 미리 설정된 시간 내에 상기 외부 객체의 상태 정보가 획득되지 않으면 상기 제어 대기 동작 패턴을 상기 가상 객체에 반영하도록 상기 3차원 그래픽 처리부를 제어하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치.
6. 카메라를 구비하고, 미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보에 대응하는 동작 패턴들을 저장하는 메모리부를 구비하는 단말기에서 증강 현실(AR: Augmented Reality) 기술을 이용하여 컨텐츠를 구현하기 위한 방법에 있어서,

   미리 설정된 외부 객체에 대한 적어도 하나의 상태 정보들을 저장하고, 상기 상태 정보들에 각각 대응하는 동작 패턴들을 저장하는 과정과,

   상기 카메라를 통해 입력된 광신호로부터 프리뷰(Preview) 영상을 생성하여 상기 생성된 프리뷰 영상에서 미리 설정된 외부 객체의 상태 정보를 획득하는 과정과,

   상기 획득한 외부 객체의 상태 정보에 대응되는 동작 패턴을 상기 메모리부에서 독출하는 과정과,

   상기 독출된 동작 패턴을 상기 프리뷰 영상에 함께 디스플레이되는 가상 객체에 반영시키는 과정을 포함하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법.
7. 제 6항에 있어서, 상기 획득 과정은,

   상기 프리뷰 영상에서 상기 외부 객체를 인지하는 과정과,

   상기 인지된 외부 객체의 위치를 산출하는 과정과,

   상기 산출된 외부 객체의 위치가 속하는 객체 동작 제어 영역을 확인하는 과정을 포함하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법.
8. 제 6항에 있어서, 상기 획득 과정은,

   상기 프리뷰 영상에서 상기 외부 객체의 제스쳐(Gesture)를 인지하는 과정을 포함하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법.
9. 제 6항에 있어서,

   상기 저장 과정을 수행한 후 상기 프리뷰 영상에서 상기 가상 객체의 위치를 지정하기 위한 마커를 인식하고, 상기 인식된 마커의 위치에 상기 가상 객체를 생성한 후 상기 프리뷰 영상에서 휘도 신호만을 추출하는 과정과,

   상기 추출된 휘도 신호만으로 이루어져 경계선으로 영역이 구분됨이 표현되는 영상에서 상기 마커의 위치가 속하는 경계선 내의 영역을 활동 영역으로 설정하는 과정을 더 포함하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법.
10. 제 9항에 있어서,

    미리 설정된 시간 내에 상기 외부 객체의 상태 정보가 획득되지 않으면 상기 가상 객체가 상기 활동 영역 내를 랜덤하게 이동하도록 하기 위한 제어 대기 동작 패턴을 가상 객체에 반영시키는 과정을 더 포함하는 것을 특징으로 하는 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 방법.

Images