KR100967356B1 - 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치 - Google Patents

Abstract

3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치가 제공된다. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치는 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부, 상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부, 상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부, 상기 3차원 손 모델의 손가락 움직임에 따른 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및 상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부를 포함한다.

3D, 가상 입력, 동작 인식

Description

3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치{VIRTUAL INPUT METHOD AND APPARATUS FOR USING 3D HAND MODEL GENERATION}

본 발명은 가상 입력 방법 및 장치에 관한 것으로서, 보다 상세하게는, 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치에 관한 것이다.

컴퓨터 혹은 이동 단말 장치를 제어하기 위한 고전적이고 일반적인 방법은 키 패드 또는 키보드와 같은 인터페이스를 이용해 문자 혹은 숫자를 입력하는 것이다. 예를 들면, 이동 통신 단말기에서 키 패드를 사용하여 문자나 전화번호를 입력하고 키보드를 이용하여 여러 가지 응용 프로그램들을 제어하는 것은 현재 우리 생활에 있어서 자연스러운 것이 되었다.

이러한 키보드나 키 패드와 같은 입력장치는 여러 개의 키로 구성되어있기 때문에 다른 인터페이스와 비교하여 상대적으로 많은 공간을 차지한다는 불편함을 가지고 있다. 컴퓨터의 경우, 키보드는 여러 가지 명령어를 수행하고 작업을 하는데 있어서 유용한 장치이지만 가장 크기가 큰 입력 장치이기 때문에 불편함을 초래하게 된다. 또한, PDA, 핸드폰 등과 같은 이동 단말 장치의 경우 크기가 점점 작아지는 추세에 있기 때문에 기존의 키 패드 인터페이스는 단말기의 소형화에 적합하 지 않다.

이러한 기존의 불편한 인터페이스의 대안으로 터치 스크린, 가상 키보드, 펜, 휠 등과 같은 새로운 인터페이스들이 제안되었으나 부가장치가 필요하거나 제한된 환경에만 사용이 가능하다는 단점을 지닌다.

이에, 한국공개특허 제 2007-0068555호(가상 키패드를 구비한 휴대용 단말기 및 문자 입력 방법, 이하 종래 기술 1이라 칭함)에서, 가상 키 패드를 구비한 휴대용 단말기를 이용하여 문자를 입력하는 기술에 대해 개시하고 있으나, 종래 기술 1은 특수한 환경에서 제한된 손 형태를 가지고, 각 손가락이 독립적으로 움직여야 하며, 이를 위해 별도의 학습이 필요하고 자연스럽지 못한 움직임으로 동작하게 되는 문제가 있었다.

또한, 미국등록특허 제 5996894호(광각 스캔 장치를 이용한 가상 키 패드, 이하 종래 기술 2라 칭함)에서는, 광각 스캔 장치를 사용하여 사용자가 특정 영역을 터치하면, 특정 영역에 대한 기능이 수행되는 가상 키 패드를 제공하는 기술에 대해 개시하고 있으나, 종래 기술 2는 광각 스캔 장치라는 부가적인 장치가 필요하고, 사용하는 어플리케이션에 따라 각기 다른 광각 스캔 장치를 정의하고 구성해야 하는 불편함이 있었다.

상술한 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자 손의 위치 및 움직임을 실시간으로 검출하고 추적하여 사용자의 손에 대응하는 3차원 손 모델을 생성하여 제공하는 것이다.

또한, 본 발명은 다양한 환경에서도 사용자 손(더 상세히는 손가락)의 복잡한 움직임을 인식하고, 인식된 움직임에 대응하는 기능을 실행하는 가상 입력 시스템을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치는 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부, 상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부, 상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부, 상기 3차원 손 모델의 손가락 움직임에 따른 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및 상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 다른 측면에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 방법은 (a) 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상을 입력 받는 단계, (b) 상기 입력된 영상에 가상의 입력 수단을 투영하여 화면에 디스플레이하는 단계, (c) 상기 입력된 영상으로부터 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는 단계, (d) 상기 검출된 손 영역의 움직임을 실시간으로 추적하여, 추적된 손 영역으로부터 손바닥과 손가락을 추정한 후 3차원 손 모델을 생성하는 단계, (e) 상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 단계 및 (f) 상기 인식된 입력에 대응하는 기능을 실행하는 단계를 포함한다.

상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

전술한 본 발명의 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치의 과제 해결 수단 중 하나에 의하면, 많은 공간을 차지했던 물리적 인터페이스(입력 장치)를 대체하는 효과를 기대할 수 있다.

또한, 사용자는 가상 입력 시스템을 사용하기 위한 별도의 학습이 필요 없 고, 자연스러운 움직으로 원하는 기능을 실행할 수 있는 효과를 기대할 수 있다.

또한, 화상 카메라 이외에 별도의 부가 장치가 필요 없어 하드웨어 유지 비용 감소 효과를 기대할 수 있다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하도록 한다.

그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

참고로, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다.

본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템(100)은 화상 카메라(110), 영상 입력부(120), 가상 입력 수단 제공부(130), 손 영역 검출 및 추적부(140), 3차원 손 모델 생성부(150), 손가락 움직임 인식부(160) 및 기능 실행부(170)를 포함한다.

참고로, 본 발명의 일 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하, 도 1에 도시된 가상 입력 시스템(100)의 구성 요소를 더 상세히 설명하도록 한다.

참고로, 도 1에 도시된 가상 입력 시스템(100)은 화상 카메라(110)를 구비한 데스크 탑 컴퓨터, 노트북 컴퓨터, 랩톱(laptop) 컴퓨터 및 개인 휴대용 단말기를 포함하며, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함한다.

따라서, 본 발명의 가상 입력 시스템(100)은 고정된 장소 뿐만 아니라 장소에 상관 없이 이동하는 중에도 사용할 수 있다.

먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영하며 하나 이상의 화상 카메라(110)가 존재할 수 있다. 여기에서 신체 일부는 사용자의 상반신일 수 있는데, 화상 카메라(110)의 촬영 가능한 범위 내에 다양한 물체가 존재하는 경우, 화상 카메라(110)에서 촬영한 영상에는 사용자의 손 뿐만 아니라 다양한 물체도 함께 촬영되므로, 후술하는 손 영역 검출 및 추적부(140)에서 사용자의 손을 좀 더 용이하게 검출하도록 하기 위해 사용자의 손 영역을 포함한 신체 일부를 촬영한다

이를 위해, 사용자는 도 2에 도시된 것처럼, 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.

한편, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받고, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단을 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다.

여기에서 가상의 입력 수단은, 예를 들어, 화면에 디스플레이되는 가상의 키보드, 키 패드, 메뉴, 리스트, 아이콘 및 스크롤 등과 같은 다양한 입력 수단을 포함하며, 상술한 가상의 입력 수단은 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이되는 경우, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.

도 2에서는 가상의 입력 수단으로 키 패드(210)를 사용하였다. 사용자는 도 1에 도시된 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취하고 있으며, 화면에 디스플레이되는 키 패드(210)의 위치는 화면의 중앙을 비롯한 다양한 위치에 설정될 수 있다.

한편, 손 영역 검출 및 추적부(140)는 영상 입력부(120)에서 입력된 영상으로부터 손 영역을 검출하고 검출한 손 영역을 추적한다. 이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검 출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.

참고로, 입자 필터는 복잡한 환경 속을 움직이는 물체를 추적하는데 효과적인 물체 추적 접근 방법으로서, 사전 분포(prior distributions) 및 사후 분포(posterior distributions)와 같은 베이지안 조건 확률(Bayesian conditional probabilities)에 기반을 두고 있으며, 입자 필터 알고리즘은 샘플링(sampling), 예측(predicting) 및 측정(measuring)의 3 단계로 구성된다.

한편, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(140)에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다. 이를 위해, 3차원 손 모델 생성부(150)는 손 영역 검출 및 추적부(230)에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)를 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.

한편, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 입력 수단에 대한 입력을 인식한다. 즉, 가상의 입력 수단이 키 패드인 경우, 3차원 손 모델의 손가락 움직임에 따라 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 것이다.

이 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하 기 위해 히든 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.

참고로, 히든 마르코프 모델은 확률을 기반으로 하는 방법으로서, 시공간으로 변하는 데이터를 효과적으로 표현할 수 있는 모델이다. 이 확률 모델은 상태 전이 확률과 출력 확률로 기술되는데, 각 확률은 Baum-Welch 알고리즘으로 학습되고 Viterbi 알고리즘을 통해 입력된 데이터를 분류한다.

또한 동적 베이시안 네트워크는 시스템의 상태(state)를 확률 분포로 나타내는 통계학적 모델링 기법으로서, 결정론적(deterministic) 모델링 기법에서 표현하지 못하는 가능성(feasibility) 정도를 나타내는 특징이 있다. 동적 베이시안 네트워크는 패턴 인식, 시계열 예측 시스템 등과 같은 다양한 공학적 및 과학적 문제를 다루는데 사용하고 있으며, 특히 불확실성 요소를 확률적 기법을 통하여 추정하는데 적용되고 있다.

한편, 기능 실행부(170)는 손가락 움직임 인식부(160)에서 인식한 가상의 입력 수단에 대한 입력에 대응하는 기능을 수행한다. 예를 들어, 가상의 입력 수단이 키 패드이고, 3차원 손 모델 손가락의 움직임이 인식된 위치가 키 패드의 ‘3’키와 대응된다면 기능 실행부(170)는 물리적 키 패드 장치(미도시)의 ‘3’키가 눌러졌을 때와 같은 기능을 수행한다.

도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부(150)에 의해 생성된 3차원 손 모델을 도시한 도면이다.

화상 카메라를 통해 촬영된 사용자의 손 영역(310)은, 손 영역 검출 및 추적부(140)를 통해 검출되고, 검출된 손 영역(310)은 대략적으로 손바닥(321)과 손가락(322)으로 나뉘며 신뢰 전파(Belief Propagation)를 통하여 가장 확률이 높은 3차원 손 모델(320)이 생성된다.

도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.

설명의 편의 상, 도 1에 도시된 시스템(100)의 구성을 참조하여 설명하도록 하며, 가상의 입력 수단으로는 키 패드를 사용한다고 가정하도록 한다.

먼저, 화상 카메라(110)는 촬영 가능한 범위(시야)내에 위치한 사용자의 손 영역을 포함한 신체 일부를 촬영한다(S401).

여기에서 신체 일부는 사용자의 상반신일 수 있으며, 사용자는 도 2에 도시된 것처럼, 가상 입력 시스템(100)을 사용하기 위한 소정의 포즈를 취할 수도 있다.

단계 S401 후, 영상 입력부(120)는 화상 카메라(110)에서 촬영한 영상을 입력 받는다(S402).

단계 S402 후, 가상 입력 수단 제공부(130)는 영상 입력부(120)에 입력된 영상에 가상의 입력 수단인 키 패드를 투영하여 가상 입력 시스템(100)의 화면에 디스플레이한다(S403).

이때, 화면에 디스플레이되는 가상의 키 패드는, 화면에 기 디스플레이된 또는 앞으로 화면에 디스플레이될 다른 아이템과 겹쳐져서 디스플레이될 수 있으므 로, 사용자의 시야를 방해하지 않도록 투명도가 조절될 수도 있다.

단계 S403 후, 손 영역 검출 및 추적부(140)는 단계 S402에서 입력된 영상으로부터 손 영역을 검출하고 검출한 영역을 추적한다(S404).

이를 위해, 손 영역 검출 및 추적부(140)는 미리 학습된 피부색을 통해 입력된 영상에서 피부색 영역을 찾은 후, 피부색 영역 중 손 영역의 확률이 가장 높은 부분을 손 영역으로 추정하여 검출한다. 또한, 손 영역 검출 및 추적부(140)는 검출된 손 영역의 움직임을 입자 필터(Particle Filter) 등과 같은 추적기를 이용하여 실시간으로 추적할 수 있다.

단계 S404 후, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역을 이용하여 3차원 손 모델을 생성하고, 이후, 손 영역 검출 및 추적부(140)에서 추적하는 손 영역의 움직임을, 생성된 3차원 손 모델에 실시간으로 반영한다(S405).

이를 위해, 3차원 손 모델 생성부(150)는 단계 S404에서 검출된 손 영역으로부터 대략적으로 손바닥과 손가락을 추정한 후, 신뢰 전파(Belief Propagation)을 이용하여 손 모델에 대한 제약 조건을 따라서 3차원 손 모델을 재구성 및 갱신함으로써 3차원 손 모델을 생성할 수 있다.

단계 S405 후, 손가락 움직임 인식부(160)는 3차원 손 모델 생성부(150)에서 생성된 3차원 손 모델의 손가락 움직임에 따른 가상의 키 패드에 대한 입력을 인식한다(S406).

이때, 손가락 움직임 인식부(160)는 3차원 손 모델의 손끝, 손바닥 등의 위 치를 추정하고, 상대적인 손가락의 길이 변화를 추출하여 키의 눌려짐 여부를 인식한다.

참고로, 3차원 손 모델의 손가락 움직임에 따라, 가상의 키 패드의 키 중 어느 하나가 눌려짐을 인식하는 과정에서, 사용자의 손가락(3차원 손 모델의 손가락) 중 어느 하나의 손가락이 움직일 때 다른 손가락도 함께 움직일 수 있으므로, 이러한 간섭을 상쇄하기 위해 마르코프 모델(Hidden Markov Model, HMM), 동적 베이시안 네트워크(Dynamic Bayesian Network, DBN)등의 확률 모델을 이용하여 복잡한 움직임을 해결할 수 있다.

단계 S406 후, 기능 실행부(170)는 단계 S406에서 인식한 가상의 키 패드에 대한 입력에 대응하는 기능을 수행한다(S407).

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되 는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 1은 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 시스템의 구성을 도시한 블록도이다.

도 2는 본 발명의 일 실시예에 따른 촬영된 영상에 가상의 입력 수단을 화면에 투영한 것을 도시한 도면이다.

도 3은 본 발명의 일 실시예에 따른 3차원 손 모델 생성부에 의해 생성된 3차원 손 모델을 도시한 도면이다.

도 4a 및 4b는 본 발명의 일 실시예에 따른 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 과정을 도시한 흐름도이다.

< 도면의 주요 부분에 관한 부호의 설명 >

110 : 화상 카메라

120 : 영상 입력부

130 : 가상 입력 수단 제공부

140 : 손 영역 검출 및 추적부

150 : 3차원 손 모델 생성부

160 : 손가락 움직임 인식부

170 : 기능 실행부

Claims (12)

1. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치에 있어서,

   사용자의 손 영역을 포함한 신체 일부가 촬영된 영상에 가상의 입력 수단을 투영하는 가상 입력 수단 제공부,

   상기 촬영된 영상으로부터 상기 사용자의 손 영역을 검출하고, 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 손 영역 검출 및 추적부,

   상기 실시간으로 추적되는 손 영역에 기초하여 3차원 손 모델을 생성하는 3차원 손 모델 생성부,

   상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 손가락 움직임 인식부 및

   상기 인식된 입력에 대응하는 기능을 실행하는 기능 실행부

   를 포함하는 가상 입력 장치.
2. 제 1 항에 있어서,

   상기 손 영역 검출 및 추적부는 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는, 가상 입력 장치.
3. 제 1 항에 있어서,

   상기 손 영역 검출 및 추적부는 입자 필터(Particle Filter) 추적기를 이용하여 상기 검출된 손 영역의 움직임을 실시간으로 추적하는 것인, 가상 입력 장치
4. 제 1 항에 있어서,

   상기 3차원 손 모델 생성부는 상기 실시간으로 추적되는 손 영역으로부터 손바닥과 손가락을 추정한 후 신뢰 전파(Belief Propagation)를 이용하여 3차원 손 모델을 생성하는, 가상 입력 장치
5. 삭제
6. 제 1 항에 있어서,

   상기 손가락 움직임 인식부는 히든 마르코프 모델(Hidden Markov Model;HMM) 확률 모델 또는 동적 베이시안 네트워크(Dynamic Bayesian Network;DBN) 확률 모델을 이용하여 상기 3차원 손 모델의 손가락 움직임을 인식하는, 가상 입력 장치.
7. 제 1 항에 있어서,

   상기 가상의 입력 수단은 투명도 조절이 가능하도록 상기 가상 입력 장치의 화면에 디스플레이되는, 가상 입력 장치.
8. 3차원 손 모델 생성 기술을 이용한 가상 입력 장치의 동작 방법에 있어서,

   (a) 사용자의 손 영역을 포함한 신체 일부가 촬영된 영상을 입력 받는 단계,

   (b) 상기 입력된 영상에 가상의 입력 수단을 투영하여 화면에 디스플레이하는 단계,

   (c) 상기 입력된 영상으로부터 미리 학습된 피부색의 분포를 이용하여 피부색의 영역을 추출하고, 상기 추출된 피부색의 영역으로부터 상기 손 영역을 검출하는 단계,

   (d) 상기 검출된 손 영역의 움직임을 실시간으로 추적하여, 추적된 손 영역으로부터 손바닥과 손가락을 추정한 후 3차원 손 모델을 생성하는 단계,

   (e) 상기 3차원 손 모델의 손가락 위치 및 상기 3차원 손 모델의 손가락 길이 변화 중 하나 이상을 기초로 상기 가상의 입력 수단에 대한 입력을 인식하는 단계 및

   (f) 상기 인식된 입력에 대응하는 기능을 실행하는 단계

   를 포함하되, 상기 가상의 입력 수단은 투명도 조절이 가능하도록 상기 가상 입력 장치의 화면에 디스플레이되는, 가상 입력 방법.
9. 제 8 항에 있어서,

   상기 (d) 단계는 입자 필터(Particle Filter) 추적기를 이용하여 상기 검출된 손 영역의 움직임을 실시간으로 추적하는, 가상 입력 방법.
10. 제 8 항에 있어서,

    상기 (d) 단계는 신뢰 전파(Belief Propagation)를 이용하여 3차원 손 모델을 생성하는, 가상 입력 방법.
11. 제 8 항에 있어서,

    상기 (e) 단계는 히든 마르코프 모델(Hidden Markov Model;HMM) 확률 모델 또는 동적 베이시안 네트워크(Dynamic Bayesian Network;DBN) 확률 모델을 이용하여 상기 3차원 손 모델의 손가락 움직임을 인식하는, 가상 입력 방법.
12. 삭제

Images