[go: up one dir, main page]

KR20060070280A - 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 - Google Patents

손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 Download PDF

Info

Publication number
KR20060070280A
KR20060070280A KR1020040108964A KR20040108964A KR20060070280A KR 20060070280 A KR20060070280 A KR 20060070280A KR 1020040108964 A KR1020040108964 A KR 1020040108964A KR 20040108964 A KR20040108964 A KR 20040108964A KR 20060070280 A KR20060070280 A KR 20060070280A
Authority
KR
South Korea
Prior art keywords
hand gesture
command
image
gesture recognition
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020040108964A
Other languages
English (en)
Inventor
임성호
임동선
박태준
권기구
양만석
김흥남
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040108964A priority Critical patent/KR20060070280A/ko
Priority to US11/239,821 priority patent/US7702130B2/en
Publication of KR20060070280A publication Critical patent/KR20060070280A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은, 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 텔레매틱스 단말 등에서 카메라를 통하여 입력받은 손 제스처 영상을 상응하는 제어 신호로 인식함으로써, 운전 중에도 안전하고 편리하게 텔레매틱스 단말을 제어할 수 있도록 하기 위한, 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법를 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 손 제스처 인식을 이용한 사용자 인터페이스 장치에 있어서, 손 제스처 영상을 획득하기 위한 영상 획득 수단; 명령어 등록 요청 신호 및 명령어 선택 신호를 입력받기 위한 입력 수단; 상기 입력 수단을 통하여 입력받은 명령어 등록 요청 신호에 따라 상기 영상 획득 수단을 통하여 획득한 손 제스처 영상을 특정 명령어와 상응시켜 저장하고, 이후 상기 영상 획득 수단을 통하여 획득한 영상으로부터 손 제스처 영상을 인식하여 상응하는 명령어로 변환하기 위한 손 제스처 인식 수단; 및 상기 손 제스처 인식 수단에서 변환한 명령어에 상응하는 동작을 수행하기 위한 명령어 수행 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 텔레매틱스 단말 등에 이용됨.
텔레매틱스, 손 제스처 인식, 사용자 인터페이스, 명령어 입력

Description

손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법{Apparatus and its method of user interface using hand gesture recognition}
도 1은 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 장치의 일실시예 구성도,
도 2는 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법에 대한 일실시예 흐름도,
도 3은 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법 중 명령어 등록 과정에 대한 일실시예 상세 흐름도,
도 4는 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법 중 손 제스처 인식 과정에 대한 일실시예 상세 흐름도,
도 5는 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 장치 중 카메라가 장착되는 위치에 대한 일실시예 설명도,
도 6은 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 장치에서 손 제스처에 대한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 입력부 20 : 입력 데이터 처리부
30 : 제스처 처리부 31 : 제스처 분리부
32 : 제스처 인식부 33 : 제스처 정보 데이터베이스
40 : 시스템 정보 관리부 50 : 명령어 처리부
60 : 출력부
본 발명은, 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 텔레매틱스 단말 등에서 카메라를 통하여 입력받은 손 제스처 영상을 상응하는 제어 신호로 인식함으로써, 운전 중에도 안전하고 편리하게 텔레매틱스 단말을 제어할 수 있도록 하기 위한, 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것이다.
최근 자동차가 고급화되고 고기능화됨에 따라 자동차에 부착되는 장치도 매우 다양해지고 있다. 즉, 기존의 라디오, 카세트 위주의 전자장치에서 CD, TV 등의 전자장치가 추가되고, 위치추적시스템(GPS)및 지리정보시스템(GIS)을 이용한 자동차항법시스템(CNS)이 장착되면서, 카메라를 비롯한 각종 센서들이 부착되는 등 매우 복합화되고 있다.
특히, 모바일 통신 기술, 위성 측위 기술, 지도 정보 기술, 및 자동차 장치 제어 기술 등을 융합하여 사고 자동 신고, 응급 서비스 호출, 길 안내 서비스 등과 같은 다양한 서비스를 차량내 단말을 통하여 운전자에게 제공하는 텔레매틱스 기술 개발이 활발하게 이루어지고 있다.
그런데, 텔레매틱스 서비스의 기능이 더욱 다양해지고 복잡해지면서 일반적인 버튼 조작만으로 텔레매틱스 단말을 제어하기는 어려운 일이 되었다. 더욱이 대부분의 텔레매틱스 서비스가 운전중에 이용됨을 감안했을 때 조작이 쉬운 사용자 인터페이스가 더욱 요구된다.
한편, 버튼이나 키패드 이외에 사용되는 사용자 인터페이스로는 주로 휴대 컴퓨터에서 사용되거나 시도되고 있는 음성인식 또는 터치스크린 등에 의한 입력 방법이 있다. 그러나, 음성인식의 경우에는 일반적으로 텔레매틱스 단말이 사용되는 환경이 주위 소음이나, 라디오, 대화 소리 등으로 인하여 매우 열악하기 때문에 음성인식율이 매우 저조한 문제점이 있었다. 또한, 음성으로 제어하기 때문에 함께 타고 있는 승객에게 불편을 초래할 수 있는 문제점이 있었다.
한편, 터치스크린의 경우에는 PDA와 같은 휴대단말기에서는 매우 유용하게 사용되어지나 텔레매틱스 단말은 주로 운전 중에 이용되기 때문에 화면을 주시하여야 하는 터치스크린은 텔레매틱스의 사용자 인터페이스로 적절하지 않다.
따라서, 운전 중에 주로 이용되는 텔레매틱스 단말의 특성에 맞게 운전에 방해를 주지 않으면서도 편리하게 제어할 수 있는 사용자 인터페이스가 절실히 요구된다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 텔레매틱스 단말 등에서 카메라를 통하여 입력받은 손 제스처 영상을 상응하는 제어 신호로 인식함으로써, 운전 중에도 안전하고 편리하게 텔레매틱스 단말을 제어할 수 있도록 하기 위한, 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 장치는, 손 제스처 인식을 이용한 사용자 인터페이스 장치에 있어서, 손 제스처 영상을 획득하기 위한 영상 획득 수단; 명령어 등록 요청 신호 및 명령어 선택 신호를 입력받기 위한 입력 수단; 상기 입력 수단을 통하여 입력받은 명령어 등록 요청 신호에 따라 상기 영상 획득 수단을 통하여 획득한 손 제스처 영상을 특정 명령어와 상응시켜 저장하고, 이후 상기 영상 획득 수단을 통하여 획득한 영상으로부터 손 제스처 영상을 인식하여 상응하는 명령어로 변환하기 위한 손 제스처 인식 수단; 및 상기 손 제스처 인식 수단에서 변환한 명령어에 상응하는 동작을 수행하기 위한 명령어 수행 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 손 제스처 인식을 이용한 사용자 인터페이스 방법에 있어서, 명령어 등록 요청 신호에 따라 설정가능한 명령어의 목록을 출력하여 특정 명령어를 선택받고, 상기 선택받은 명령어에 대응시킬 손 제스처 영상을 입력받아 제스처 정보 데이터베이스에 등록하는 명령어 등록 단계; 카메라를 통하여 획득한 손 제스처 영상을 인식하여 상응하는 명령어로 변환하는 손 제스처 인식 단계; 및 상기 변환한 명령어에 상응하는 동작을 수행하는 명령어 수행 단계를 포함하는 것을 특징으로 한다.
본 발명은 운전자가 텔레매틱스 단말기의 조작에 용이하도록 손 제스처를 이용한 사용자 인터페이스를 제안한다. 즉, 카메라를 통하여 획득한 손 제스처 영상 데이타를 인식하여 상응하는 명령어로 변환하고, 상기 변환한 명령어를 처리하며, 그 처리 결과를 모니터 및 스피커를 통하여 출력시킨다. 이 때, 손 제스처에 상응하는 명령어는 사용자의 취향에 맞도록 등록하여 사용할 수 있도록 하고, 사용자의 특성에 적합한 인식을 할 수 있도록 학습 기능을 이용한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실 시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 장치는 입력부(10), 입력 데이터 처리부(20), 제스처 처리부(30), 시스템 정보 관리부(40), 명령어 처리부(50), 및 출력부(60)를 포함한다.
상기 입력부(10)는 카메라(11), 버튼(12), 터치 스크린(13), 조도 센서(14) 등을 포함한다. 이 중에서 카메라는 일반적인 영상 촬영 기능을 제공하며, 특히 손 제스처 영상을 촬영하여 입력 데이터 처리부(20)로 전달한다.
상기 입력 데이터 처리부(20)는 카메라(11)로부터의 손 제스처의 영상 데이터를 수집하고, 버튼(11)으로부터 핫키 형태의 버튼 입력 신호를 수집하며, 터치 스크린(13)으로부터 키 입력 신호(소프트웨어 키보드를 이용한 문자 입력 신호 등)를 수집한다. 또한, 상기 입력 데이터 처리부(20)는 상기 조도 센서(14)로부터 조도 감지 신호를 수집한다.
또한, 상기 입력 데이터 처리부(20)는 상기 수집한 영상 데이터, 버튼 입력 신호, 키 입력 신호, 및 조도 감지 신호를 전처리하여 그 입력 내용에 따라 제스처 처리부(30) 또는 시스템 정보 관리부(40), 또는 명령어 처리부(50)로 전달한다.
즉, 상기 입력 데이터 처리부(20)는 상기 카메라(11)로부터 수집한 영상 데이터를 제스처 처리부(30)로 전달하고, 상기 버튼(12) 및 터치 스크린(13)으로부터 수집한 입력 신호를 제스처 처리부(30) 또는 명령어 처리부(50)로 전달하며, 상기 조도 센서(14)로부터 수집한 조도 감지 신호를 명령어 실행부(50)로 전달한다.
상기 제스처 처리부(30)는 상기 카메라(11)를 통하여 획득한 손 제스처의 영상 데이터를 처리하는 모듈로서, 제스처 분리부(31)는 상기 입력 데이터 처리부(20)로부터 전달받은 영상으로부터 독립 명령어로 인식 가능한 손 제스처를 포함하는 명령어 입력 프레임을 분리한다. 이 때, 명령어 입력 프레임을 분리하는 방법은 효율적인 인식을 위하여 기설정된 주기(예를 들어, 손 제스처의 최소 입력 시간의 절반 이내)로 상기 입력 데이터 처리부(20)로부터 전달받은 영상으로부터 손에 해당하는 부분을 추출하여 이전 프레임과 비교하여 변화가 없을 때 명령어 입력 프레임으로 분리한다. 이와 같이 전체 영상으로부터 손 제스처 영상을 분리하는 과정은 제한된 명령을 신속하고 정확하게 인식할 수 있으므로 매우 효과적이다.
한편, 상기 제스처 분리부(31)에서 손 제스처를 포함하는 영상으로 분리한 명령어 입력 프레임은 제스처 인식부(32)로 전달된다. 그러면, 상기 제스처 인식부(32)는 상기 제스처 분리부(31)로부터 전달받은 명령어 입력 프레임으로부터 특징점을 추출한 후, 제스처 정보 데이터베이스(33)를 이용하여 손 제스처를 인식하고 상기 인식한 손 제스처를 상응하는 명령어로 변환한다. 이 때, 상기 제스처 정보 데이터베이스(33)는 사용자마다 각기 다른 제스처를 정확하게 인식할 수 있도록 사용자가 직접 입력한 데이터로 학습하여 구축된다. 예를 들어, 명령어를 입력할 수 있는 손의 모양은 도 6에 도시된 바와 같은 형태가 가능하며, 이외에도 다양한 손의 모양과 두 개 이상의 손 모양을 조합하여 명령어로 설정 할 수 있다.
상기 명령어 처리부(50)는 상기 제스처 처리부(30)로부터 전달받은 명령어에 상응하는 동작을 수행한다. 이를 위하여 각 명령어에 따라 수행하여야 할 동작(예를 들어, 라이도 온/오프, 램프 온/오프 등)을 데이터베이스화하여 저장하고 있어야 한다. 즉, 상기 명령어 처리부(50)는 상기 제스처 처리부(30) 또는 상기 입력 데이터 처리부(20)로부터 전달받은 명령어 또는 입력 신호를 해석하여 상응하는 동작을 수행한다. 그 수행 결과는 출력부(60)를 통하여 출력되거나 출력부(60)를 제어하는 형태로 나타난다. 상기 출력부(60)는 입력 명령 메시지를 표시하기 위한 모니터, 음성이나 비프(beep) 소리로 입력 상태를 알려주기 위한 스피커, 조명 조절을 위한 램프, 제어를 위한 라디오, TV, 에어컨 등을 포함한다.
한편, 상기 명령어 처리부(50)는 상기 조도 센서(14)로부터 전달받은 조도 감지 신호가 기설정치 이하인지를 확인(즉, 현재 조도가 기설정치 이하인지를 확인)하여, 기설정치 이하이면 차량 내부의 램프를 켜도록 제어한다.
상기 시스템 정보 관리부(40)는 사용자 정보 및 환경 설정 데이터를 시스템 정보 데이터베이스에 저장하여 제스처 처리부(30)에서 이용하도록 한다.
도 2를 참조하여 본 발명의 전체적인 동작 과정을 보다 상세히 살펴보기로 한다.
도 2는 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법에 대한 일실시예 흐름도이다.
먼저, 사용자 정보 및 환경 설정 정보를 입력받아 시스템 정보 관리부(40)에 등록한다(201). 이 때, 사용자 등록 정보로는 사용자를 구분할 수 있는 암호 등이 포함되며, 환경 설정 정보로는 스피커/모니터 출력 여부, 타임아웃 시간 등이 포함 된다.
이후, 버튼(12) 또는 터치 스크린(13) 등을 통하여 입력받은 명령어 등록 요청 신호에 따라 설정가능한 명령어의 목록을 출력하여 특정 명령어를 선택받고, 상기 선택받은 명령어에 대응시킬 손 제스처 영상을 상기 카메라(11)를 통하여 입력받아 제스처 정보 데이터베이스에 등록한다(202).
이 때, 명령어의 예로는 스피커 소리 증가/감소, TV 채널 증가/감소, 에어컨 켜기/끄기, 라디오 끄기/켜기, 실내등 끄기/켜기, 네비게이션 켜기/끄기 등 차량내에서 자주 사용하는 기능 제어를 위한 명령어들이 포함된다.
한편, 상기 명령어와 손 제스처 영상을 상응시켜 저장시킬 때, 상기 명령어 실행시에 출력시킬 명령어 안내 메시지를 입력받아 함께 저장할 수도 있다. 즉, 예를 들어 명령어 입력 시작시에 한번의 벨 소리를 출력시키고, 모니터에 "손 제스처 명령을 입력하세요?"라는 메시지를 출력시켜 손 제스처를 입력받은 후 이를 인식한 결과, 스피커 볼륨을 증가시킬 경우는, "볼륨이 증가됩니다"라는 명령어 안내 메시지를 모니터 및 스피커를 통하여 출력시킴으로써 사용자가 명령어 입력 상태를 쉽게 인지할 수 있도록 한다. 상기에서 설명한 명령어 등록 과정에 대하여서는 도 3을 참조하여 보다 상세히 후술하기로 한다.
이후, 카메라(11)를 통하여 손 제스처 영상을 획득하면(203), 상기 획득한 손 제스처 영상을 인식하여 상응하는 명령어로 변환한다(204). 즉, 카메라(11)를 통하여 획득한 손 제스처 영상의 특징점과 상기 제스처 정보 데이터베이스에 저장되어 있는 손 제스처 영상 들의 특징점을 서로 비교하여, 일치하는 손 제스처 영상 을 검색한다. 이 과정에 대하여서는 도 4를 참조하여 보다 상세히 후술하기로 한다.
한편 카메라(11)를 통하여 획득한 손 제스처 영상을 상응하는 명령어로 인식하였으면, 상기 제스처 정보 데이터베이스로부터 상기 변환한 명령어에 대하여 기등록되어 있는 명령어 안내 메시지를 출력시키는 한편(205), 상기 변환한 명령어에 대하여 기설정되어 있는 해당 동작을 수행한다(206).
도 3은 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법 중 명령어 등록 과정에 대한 일실시예 상세 흐름도이다.
먼저, 버튼(12) 또는 터치 스크린(13) 등을 통하여 명령어 등록 요청 신호를 입력받으면(301) 등록된 사용자인지를 인증하기 위하여 사용자 암호를 확인한다(302). 그리고, 사용자 인증에 성공하면 설정가능한 명령어의 목록을 출력하여 특정 명령어를 선택받고(303), 상기 선택받은 명령어에 대응시킬 손 제스처 영상을 상기 카메라(11)를 통하여 입력받는다(304). 이 때, 각 명령어에는 명령어의 기능을 안내하는 명령어 안내 메시지가 기설정되어 있다.
이후, 상기 입력받은 손 제스처 영상을 분석하여 특징점을 추출한 후 제스처 정보 데이터베이스에 저장한다(305). 이 때, 특징점은 손 제스처 인식율을 높이기 위하여 사용자의 손과 주먹, 손가락의 크기와 모양에 대한 정보와 명령어 구분을 위한 편 손가락 갯수, 손가락 방향 등에 대한 정보를 포함한다.
한편, 명령어 입력이 완료되면 추출된 정보를 바탕으로 정확한 인식을 위하여 학습하고, 학습 결과에 대한 정보를 제스처 정보 데이터베이스에 저장 한다.
도 4는 본 발명에 따른 손 제스처 인식을 이용한 사용자 인터페이스 방법 중 손 제스처 인식 과정에 대한 일실시예 상세 흐름도이다.
먼저, 손 제스처 입력 시작은 버튼 입력을 받아 손 제스처 입력 모드로 전환하는 방식으로 이루어질 수도 있고, 카메라(11)의 입력을 분석하여 손 제스처 입력 시작을 알리는 명령이면 손 제스처 입력 모드로 전환하는 방식으로 이루어질 수도 있다. 이 때, 손 제스처 입력 모드로 전환하면 시작 메시지를 모니터에 디스플레이하고, 스피커로 해당음을 출력하며, 명령어 입력 시간을 처리하기 위하여 타이머를 설정한다.
한편, 손 제스처 입력 모드로 전환하면(401) 현재 조도가 기설정치 이상인지를(손 제스처 인식에 적합한 밝기인지를) 확인한다(402). 상기 확인 결과(402), 현재 조도가 기설정치 미만이면 차량 내의 램프를 온(ON)시켜 밝기를 조정한다(403).
이후, 카메라(11)를 통하여 획득한 영상을 분석한 결과 손 제스처 영상을 인식하면 상응하는 명령어로 변환한다(404).
그리고, 상기 변환한 명령어에 대하여 기설정된 명령어 안내 메시지를 모니터 및/또는 스피커를 통하여 출력시키고, 상기 변환한 명령어를 처리한다. 예를 들면 볼륨 증가 명령어가 연속적으로 들어오면 볼륨 증가 폭을 점점 크게 한다.
한편, 정상적으로 명령어가 처리되면 타이머를 재설정하여 손 제스처 입력 모드가 지속되도록 한다. 즉, 손 제스처 입력 모드는 종료 명령어가 입력되거나 타이머가 만료될 때까지 지속되어, 손 제스처를 이용한 다양한 명령어를 처리 할 수 있도록 한다.
한편, 본 발명에서 손 제스처 영상을 획득하기 위한 카메라(11)는 도 5에 도시된 바와 같이, 조명을 고려하여 램프 근처의 위치에 부착한다. 램프 근처의 위치는 운전자의 몸이 화면에 나타나지 않고, 램프를 켰을 때 뒷자리에 빛이 보이지 않으며, 운전대의 왼쪽 상단(10시 방향 부근)의 위치에 초점은 맞출 수 있어 운전자가 왼손을 운전대 위에 올려 놓고 편하게 손 제스처를 입력할 수 있도록 운전자가 왼손을 운전대 위에 올려 놓고 편하게 손 제스처를 입력할 수 있도록 한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같이 본 발명은, 텔레매틱스 단말 등에서 카메라를 통하여 입력받은 손 제스처 영상을 상응하는 제어 신호로 인식함으로써, 운전 중에도 안전하고 편리하게 텔레매틱스 단말기를 제어 할 수 있고, 계기판이 잘 보이지 않는 밤에도 용이 하게 조작할 수 있도록 함으로써 운전자가 운전에 집중할 수 있도록 하는 효과가 있다.

Claims (10)

  1. 손 제스처 인식을 이용한 사용자 인터페이스 장치에 있어서,
    손 제스처 영상을 획득하기 위한 영상 획득 수단;
    명령어 등록 요청 신호 및 명령어 선택 신호를 입력받기 위한 입력 수단;
    상기 입력 수단을 통하여 입력받은 명령어 등록 요청 신호에 따라 상기 영상 획득 수단을 통하여 획득한 손 제스처 영상을 특정 명령어와 상응시켜 저장하고, 이후 상기 영상 획득 수단을 통하여 획득한 영상으로부터 손 제스처 영상을 인식하여 상응하는 명령어로 변환하기 위한 손 제스처 인식 수단; 및
    상기 손 제스처 인식 수단에서 변환한 명령어에 상응하는 동작을 수행하기 위한 명령어 수행 수단
    을 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 장치
  2. 제 1 항에 있어서,
    조도를 감지한 후 상기 명령어 수행 수단에 전달하여 현재 조도가 기설정치 이하이면 램프를 켜도록 제어하기 위한 조도 감지 수단
    을 더 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 손 제스처 인식 수단이 명령어를 등록하는 과정은,
    상기 입력 수단을 통하여 입력받은 사용자 인증 정보를 저장하였다가 상기 입력 수단을 통하여 명령어 등록 요청 신호를 입력받은 상기 저장되어 있는 인증 정보를 이용하여 유효한 사용자임을 인증한 이후에 상기 영상 획득 수단을 통하여 획득한 손 제스처 영상을 특정 명령어와 상응시켜 저장하는 것을 특징으로 하는 손 제스처 인식을 이용한 사용자 인터페이스 장치.
  4. 제 3 항에 있어서,
    상기 손 제스처 인식 수단이 손 제스처를 인식하는 과정은,
    상기 영상 획득 수단을 통하여 획득한 영상으로부터 독립 명령어로 인식 가능한 손 제스처를 포함하는 명령어 입력 프레임을 분리한 후, 상기 분리한 명령어 입력 프레임으로부터 특징점을 추출하여 손 제스처를 인식하고, 상응하는 명령어를 변환하는 것을 특징으로 하는 손 제스처 인식을 이용한 사용자 인터페이스 장치.
  5. 제 3 항에 있어서,
    상기 명령어 수행 과정은,
    상기 손 제스처 인식 수단에서 변환한 명령어에 대하여 기설정되어 있는 명 령어 안내 메시지를 출력시키고, 상응하는 동작을 수행하는 것을 특징으로 하는 손 제스처 인식을 이용한 사용자 인터페이스 장치.
  6. 손 제스처 인식을 이용한 사용자 인터페이스 방법에 있어서,
    명령어 등록 요청 신호에 따라 설정가능한 명령어의 목록을 출력하여 특정 명령어를 선택받고, 상기 선택받은 명령어에 대응시킬 손 제스처 영상을 입력받아 제스처 정보 데이터베이스에 등록하는 명령어 등록 단계;
    카메라를 통하여 획득한 손 제스처 영상을 인식하여 상응하는 명령어로 변환하는 손 제스처 인식 단계; 및
    상기 변환한 명령어에 상응하는 동작을 수행하는 명령어 수행 단계
    를 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 방법.
  7. 제 6 항에 있어서,
    현재 조도가 기설정치 이하임을 감지함에 따라 램프를 온(ON) 시켜 밝기를 조절하는 램프 제어 단계
    를 더 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 명령어 등록 단계는,
    명령어 등록 요청 신호에 따라 사용자를 인증하는 단계;
    사용자 인증에 성공함에 따라 설정가능한 명령어의 목록을 출력하여 특정 명령어를 선택받는 단계;
    상기 선택받은 명령어에 대응시킬 손 제스처 영상을 획득하는 단계; 및
    상기 획득한 손 제스처 영상을 분석하여 특징점을 추출한 후 저장하는 단계
    를 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 방법.
  9. 제 8 항에 있어서,
    상기 손 제스처 인식 단계는,
    손 제스처 입력 모드로 전환하는 단계;
    상기 영상 획득 수단을 통하여 획득한 영상으로부터 독립 명령어로 인식 가능한 손 제스처를 포함하는 명령어 입력 프레임을 분리한 후, 상기 분리한 명령어 입력 프레임으로부터 특징점을 추출하여 손 제스처를 인식하는 단계; 및
    상기 인식한 손 제스처의 특징점과 기등록되어 있는 손 제스처 영상 들의 특징점을 서로 비교하여 상응하는 명령어로 변환하는 단계
    를 포함하는 손 제스처 인식을 이용한 사용자 인터페이스 방법.
  10. 제 8 항에 있어서,
    상기 명령어 수행 단계는,
    상기 손 제스처 인식 수단에서 변환한 명령어에 대하여 기설정되어 있는 명령어 안내 메시지를 출력시키고, 상응하는 동작을 수행하는 것을 특징으로 하는 손 제스처 인식을 이용한 사용자 인터페이스 방법.
KR1020040108964A 2004-12-20 2004-12-20 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 Ceased KR20060070280A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040108964A KR20060070280A (ko) 2004-12-20 2004-12-20 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US11/239,821 US7702130B2 (en) 2004-12-20 2005-09-29 User interface apparatus using hand gesture recognition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040108964A KR20060070280A (ko) 2004-12-20 2004-12-20 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법

Publications (1)

Publication Number Publication Date
KR20060070280A true KR20060070280A (ko) 2006-06-23

Family

ID=36597650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040108964A Ceased KR20060070280A (ko) 2004-12-20 2004-12-20 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법

Country Status (2)

Country Link
US (1) US7702130B2 (ko)
KR (1) KR20060070280A (ko)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100833270B1 (ko) * 2006-10-02 2008-05-29 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
WO2010096279A3 (en) * 2009-02-17 2010-11-18 Omek Interactive , Ltd. Method and system for gesture recognition
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
CN102681659A (zh) * 2011-01-06 2012-09-19 三星电子株式会社 通过动作控制的显示设备及其动作控制方法
KR20120131981A (ko) * 2011-05-27 2012-12-05 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
KR101348763B1 (ko) * 2012-05-16 2014-01-16 부산대학교 산학협력단 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
US8982065B2 (en) 2010-12-31 2015-03-17 Kt Corporation Method and apparatus for performing processes in a user equipment by using touch patterns
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
US9398243B2 (en) 2011-01-06 2016-07-19 Samsung Electronics Co., Ltd. Display apparatus controlled by motion and motion control method thereof
KR20160087423A (ko) 2015-01-13 2016-07-22 전남대학교산학협력단 전자기기에서의 동작 인식 시스템 및 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
CN106796448A (zh) * 2014-08-29 2017-05-31 微软技术许可有限责任公司 使用领域特定姿态语言的姿态处理
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20180059110A (ko) * 2016-11-25 2018-06-04 한국전자통신연구원 제스처 인식 기반 무인기 제어 장치 및 방법
KR20200040133A (ko) * 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 음성 인식 장치 및 그 제어방법
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
WO2022108001A1 (ko) * 2020-11-18 2022-05-27 삼성전자 주식회사 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
US12219239B2 (en) 2020-11-18 2025-02-04 Samsung Electronics Co., Ltd. Method of controlling electronic device by recognizing movement in peripheral zone of field of view of camera, and electronic device therefor

Families Citing this family (348)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7221287B2 (en) 2002-03-05 2007-05-22 Triangle Software Llc Three-dimensional traffic report
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7610145B2 (en) 2003-07-25 2009-10-27 Triangle Software Llc System and method for determining recommended departure time
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
USD563418S1 (en) * 2006-04-20 2008-03-04 Matsushita Electric Industrial Co., Ltd. Video screen with user interface using hand image
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US20080156989A1 (en) * 2006-12-28 2008-07-03 O2Micro Inc. Motion sensing/recognition by camera applications
US20080220809A1 (en) * 2007-03-07 2008-09-11 Sony Ericsson Mobile Communications Ab Method and system for a self timer function for a camera and ...
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8532871B2 (en) * 2007-06-05 2013-09-10 Mitsubishi Electric Company Multi-modal vehicle operating device
US8103109B2 (en) * 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US7949157B2 (en) * 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
CN101378456B (zh) * 2007-08-28 2010-06-02 鸿富锦精密工业（深圳）有限公司 电子影像感测装置及其遥控控制方法
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR101615472B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US10146320B2 (en) * 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US20100085147A1 (en) * 2008-10-08 2010-04-08 Gm Global Technology Operations, Inc. Keyless entry using hand signals
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8619072B2 (en) 2009-03-04 2013-12-31 Triangle Software Llc Controlling a three-dimensional virtual broadcast presentation
US9046924B2 (en) * 2009-03-04 2015-06-02 Pelmorex Canada Inc. Gesture based interaction with traffic data
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9183554B1 (en) 2009-04-21 2015-11-10 United Services Automobile Association (Usaa) Systems and methods for user authentication via mobile device
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
WO2010147600A2 (en) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Qualified command
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8638939B1 (en) * 2009-08-20 2014-01-28 Apple Inc. User authentication on an electronic device
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US20110074675A1 (en) * 2009-09-29 2011-03-31 Nokia Corporation Method and apparatus for initiating a feature based at least in part on the tracked movement
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8988432B2 (en) 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101373285B1 (ko) * 2009-12-08 2014-03-11 한국전자통신연구원 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) * 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9079497B2 (en) * 2011-11-16 2015-07-14 Flextronics Ap, Llc Mobile hot spot/router/application share site or network
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8817087B2 (en) 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8490877B2 (en) 2010-11-09 2013-07-23 Metrologic Instruments, Inc. Digital-imaging based code symbol reading system having finger-pointing triggered mode of operation
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
WO2012108552A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and control method thereof
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US20120216152A1 (en) 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
WO2012159083A2 (en) 2011-05-18 2012-11-22 Triangle Software Llc System for providing traffic data and driving efficiency data
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
TWI440573B (zh) * 2011-06-23 2014-06-11 Altek Corp 多模組辨識系統及其控制方法
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US20140309865A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Facial recognition database created from social networking sites
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
JP6018707B2 (ja) 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
EP2693746B1 (en) * 2012-08-03 2015-09-30 Alcatel Lucent Method and apparatus for enabling visual mute of a participant during video conferencing
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
US10223909B2 (en) 2012-10-18 2019-03-05 Uber Technologies, Inc. Estimating time travel distributions on signalized arterials
JP6106402B2 (ja) * 2012-10-23 2017-03-29 矢崎エナジーシステム株式会社 車載装置
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
JP2016503918A (ja) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両のためのシステム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014106862A2 (en) * 2013-01-03 2014-07-10 Suman Saurav A method and system enabling control of different digital devices using gesture or motion control
DE102013000081B4 (de) * 2013-01-08 2018-11-15 Audi Ag Bedienschnittstelle zum berührungslosen Auswählen einer Gerätefunktion
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
JP6322364B2 (ja) * 2013-01-29 2018-05-09 矢崎総業株式会社 電子制御装置
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9519355B2 (en) * 2013-03-15 2016-12-13 Derek A Devries Mobile device event control with digital images
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
CN104918574B (zh) * 2013-07-22 2017-06-23 奥林巴斯株式会社 医疗用便携终端装置
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
KR101526426B1 (ko) * 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법
KR20150080741A (ko) * 2014-01-02 2015-07-10 한국전자통신연구원 연속 값 입력을 위한 제스처 처리 장치 및 그 방법
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
DE102014202833A1 (de) * 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Wechseln von einem ersten Bedienmodus einer Anwenderschnittstelle in einen 3D-Gesten-Modus
KR20150112337A (ko) * 2014-03-27 2015-10-07 삼성전자주식회사 디스플레이 장치 및 그 사용자 인터랙션 방법
KR20160090047A (ko) * 2015-01-21 2016-07-29 현대자동차주식회사 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
US9652190B2 (en) * 2015-03-30 2017-05-16 Kyocera Document Solutions Inc. User interface for redirection of print jobs
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
JP2017041002A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
US9888340B2 (en) 2015-10-10 2018-02-06 International Business Machines Corporation Non-intrusive proximity based advertising and message delivery
US10102789B2 (en) 2015-10-30 2018-10-16 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9767728B2 (en) 2015-10-30 2017-09-19 Essential Products, Inc. Light sensor beneath a dual-mode display
US9823694B2 (en) 2015-10-30 2017-11-21 Essential Products, Inc. Camera integrated into a display
US9754526B2 (en) * 2015-10-30 2017-09-05 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US9870024B2 (en) 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
US9864400B2 (en) 2015-10-30 2018-01-09 Essential Products, Inc. Camera integrated into a display
US10331260B2 (en) 2015-10-30 2019-06-25 Essential Products, Inc. Variable transparency layers for electronic devices
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
US10037624B2 (en) 2015-12-29 2018-07-31 Microsoft Technology Licensing, Llc Calibrating object shape
US10565791B2 (en) 2015-12-29 2020-02-18 Microsoft Technology Licensing, Llc Tracking rigged polygon-mesh models of articulated objects
US10186081B2 (en) 2015-12-29 2019-01-22 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
US10204265B2 (en) 2016-01-11 2019-02-12 Electronics And Telecommunications Research Institute System and method for authenticating user
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
DE102016217770A1 (de) * 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
US11321951B1 (en) * 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
US10468022B2 (en) * 2017-04-03 2019-11-05 Motorola Mobility Llc Multi mode voice assistant for the hearing disabled
US10628667B2 (en) 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
CN108664120A (zh) * 2018-03-30 2018-10-16 斑马网络技术有限公司 手势识别系统及其方法
CN109017552A (zh) * 2018-06-27 2018-12-18 常州星宇车灯股份有限公司 一种基于tof手势识别的氛围灯控制装置及其控制方法
US10895918B2 (en) * 2019-03-14 2021-01-19 Igt Gesture recognition system and method
EP3734416A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
US11200458B1 (en) 2020-06-15 2021-12-14 Bank Of America Corporation System for integration of a hexagonal image processing framework within a technical environment
US12045392B1 (en) * 2020-09-24 2024-07-23 Apple Inc. Method and device for defining custom hand gestures
CN113031775B (zh) 2021-03-24 2023-02-03 Oppo广东移动通信有限公司 手势数据获取方法、装置、终端及存储介质
WO2023123473A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种人机交互方法、系统以及处理装置
JP1740240S (ja) * 2022-08-03 2023-03-29 建設車両用制御盤

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3671259B2 (ja) * 1995-05-31 2005-07-13 カシオ計算機株式会社 表示装置
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
KR19990046909A (ko) 1997-12-01 1999-07-05 정선종 손동작을 이용한 컴퓨터 윈도우 제어 장치 및 그 방법
KR100282618B1 (ko) 1997-12-01 2001-02-15 정선종 회전특성을이용한손모양인식장치및그방법
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
JP4057147B2 (ja) * 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
KR20000032308A (ko) 1998-11-13 2000-06-15 정선종 장갑장치를 이용한 연속된 손제스처 명령어 생성방법 및 그 시스테뮤
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP4294853B2 (ja) 2000-12-19 2009-07-15 アルパイン株式会社 操作指示装置
JP2002236534A (ja) 2001-02-13 2002-08-23 Mitsubishi Motors Corp 車載機器操作装置
KR100419777B1 (ko) 2001-10-09 2004-02-21 한국과학기술원 수화 인식 방법 및 시스템
KR100457929B1 (ko) 2001-11-05 2004-11-18 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템
US6564144B1 (en) * 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100833270B1 (ko) * 2006-10-02 2008-05-29 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
US8824802B2 (en) 2009-02-17 2014-09-02 Intel Corporation Method and system for gesture recognition
WO2010096279A3 (en) * 2009-02-17 2010-11-18 Omek Interactive , Ltd. Method and system for gesture recognition
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
US8982065B2 (en) 2010-12-31 2015-03-17 Kt Corporation Method and apparatus for performing processes in a user equipment by using touch patterns
CN102681659A (zh) * 2011-01-06 2012-09-19 三星电子株式会社 通过动作控制的显示设备及其动作控制方法
WO2012093822A3 (en) * 2011-01-06 2012-12-06 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
US9398243B2 (en) 2011-01-06 2016-07-19 Samsung Electronics Co., Ltd. Display apparatus controlled by motion and motion control method thereof
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
KR20120131981A (ko) * 2011-05-27 2012-12-05 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101348763B1 (ko) * 2012-05-16 2014-01-16 부산대학교 산학협력단 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
CN106796448B (zh) * 2014-08-29 2020-07-14 微软技术许可有限责任公司 使用领域特定姿态语言的姿态处理
CN106796448A (zh) * 2014-08-29 2017-05-31 微软技术许可有限责任公司 使用领域特定姿态语言的姿态处理
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
KR20160087423A (ko) 2015-01-13 2016-07-22 전남대학교산학협력단 전자기기에서의 동작 인식 시스템 및 방법
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10948995B2 (en) 2016-10-24 2021-03-16 VTouch Co., Ltd. Method and system for supporting object control, and non-transitory computer-readable recording medium
KR20180059110A (ko) * 2016-11-25 2018-06-04 한국전자통신연구원 제스처 인식 기반 무인기 제어 장치 및 방법
KR20200040133A (ko) * 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 음성 인식 장치 및 그 제어방법
WO2022108001A1 (ko) * 2020-11-18 2022-05-27 삼성전자 주식회사 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
US12219239B2 (en) 2020-11-18 2025-02-04 Samsung Electronics Co., Ltd. Method of controlling electronic device by recognizing movement in peripheral zone of field of view of camera, and electronic device therefor

Also Published As

Publication number Publication date
US20060136846A1 (en) 2006-06-22
US7702130B2 (en) 2010-04-20

Similar Documents

Publication Publication Date Title
KR20060070280A (ko) 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
JP4304952B2 (ja) 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム
US7617108B2 (en) Vehicle mounted control apparatus
EP2862125B1 (en) Depth based context identification
US8700408B2 (en) In-vehicle apparatus and information display system
EP1507129B1 (en) Computer-based system and method for outputting information to a driver of a vehicle
CN109976515B (zh) 一种信息处理方法、装置、车辆及计算机可读存储介质
JP2014102674A (ja) ジェスチャー入力装置
JPH11288296A (ja) 情報処理装置
KR102548369B1 (ko) 운전 보조 장치 및 방법
KR20050089253A (ko) 차량용 네비게이션 장치 및 그 동작 방법
JP2009031065A (ja) 車両用情報案内装置、車両用情報案内方法及びコンピュータプログラム
KR20160091767A (ko) 차량 제어 장치 및 이의 제어 방법
JP5167946B2 (ja) 音声操作認識装置
JP2013207608A (ja) 文字入力装置及び文字入力プログラム
JP2019046371A (ja) 交通標識を認識する車両制御装置及びその方法
CN117666791A (zh) 手势控制双重认证方法、装置、电子设备及存储介质
JP2024144620A (ja) 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
CN117666794A (zh) 车辆交互方法、装置、电子设备及存储介质
JP2009098217A (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識方法、音声認識プログラム、および記録媒体
JPH03257485A (ja) 車載用地図表示装置
CN117058709A (zh) 一种数字输入方法、装置、设备和车辆
JP4941494B2 (ja) 音声認識システム
KR100712262B1 (ko) 텔레매틱스 단말기

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20041220

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060228

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20060918

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20060228

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20061018

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20060918

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20070626

Appeal identifier: 2006101009257

Request date: 20061018

J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20061018

Effective date: 20070626

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20070626

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20061018

Decision date: 20070626

Appeal identifier: 2006101009257