KR20060026273A

KR20060026273A - Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법

Info

Publication number: KR20060026273A
Application number: KR1020040075134A
Authority: KR
Inventors: 민경태; 김연호
Original assignee: 삼성전자주식회사
Priority date: 2004-09-20
Filing date: 2004-09-20
Publication date: 2006-03-23
Anticipated expiration: 2024-09-20
Also published as: KR100594117B1; US20060061544A1; EP1637975A1

Abstract

본 발명은 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치 및 방법을 제공한다. 이를 위해 본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 이에 따라 사용자는 단지 눈의 움직임과 양쪽 어금니를 깨무는 움직임만으로 HMD 정보 단말기에 자신이 원하는 키를 입력할 수 있으므로, HMD 정보 단말기의 사용 시에 양손이 완전히 자유로울 수 있다.

HMD, EOG, EMG

Description

ＨＭＤ 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치 및 방법{APPARATUS AND METHOD FOR INPUTTING KEY OF HMD INFORMATION TERMINAL}

도 1은 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도,

도 2는 본 발명의 실시 예에 따른 생체 신호 감지부의 상세 블록도,

도 3은 본 발명의 실시 예에 따른 이동통신 단말기의 예시도,

도 4는 본 발명의 실시 예에 따라 사용자의 안전도를 도시한 예시도,

도 5는 본 발명의 실시 예에 따라 체크된 안정도에 의해 생성된 우표와, 근전도의 예시도,

도 6은 본 발명의 실시 예에서 사용될 수 있는 키 맵의 예시도,

도 7a는 본 발명의 실시 예에 따른 이동통신 단말기의 키 맵 디스플레이 화면 예시도,

도 7b는 본 발명의 실시 예에 따른 이동통신 단말기의 메뉴 디스플레이 화면의 예시도,

도 8은 본 발명의 실시 예에 따른 이동통신 단말기의 키 입력 과정을 보이는 흐름도,

도 9는 본 발명의 실시 예에 따른 이동통신 단말기에서 키 인식 과정을 보이 는 상세 흐름도,

도 10은 본 발명의 실시 예에 따른 이동통신 단말기의 키 인식 과정에서 메뉴 선택 과정에 대한 상세 흐름도,

도 11은 본 발명의 실시 예에 따른 이동통신 단말기에서 인식된 키가 입력되는 과정을 보이는 흐름도,

도 12는 본 발명의 실시 예에 따른 이동통신 단말기에서 문자가 입력되는 과정을 보이는 예시도.

도 13은 본 발명의 실시 예에 따른 생체 신호 감지부에 추가 가능한 뇌파 감지부의 블록 구성도.

본 발명은 HMD(Head Mounted Display) 장치를 구비한 휴대용 정보 단말기(Mobile Information Terminal)에 관한 것으로 특히, 핸즈프리(Hands_Free)가 가능한 HMD 휴대 정보 단말기에 관한 것이다.

통상적으로 휴대 정보 단말기라는 것은 무선 통신과 정보 처리 기능을 결합한 개인 휴대 기기를 말하는 것으로, 휴대폰 뿐 아니라 PDA(Personal Data Assistant)와 스마트 폰(Smart Phone)과 같은 이동통신 단말기를 모두 포함하는 것이다. 이러한 휴대용 정보 단말기는 그 특성상 휴대성이 중요한 장점이 되는데, 이 에 따라 휴대용 정보 단말기의 휴대성을 증대시키기 위한 수많은 방법들이 등장했다.

이러한 방법 중의 하나로써 현재 주목받고 있는 것은 바로 HMD(Head Mounted Display)를 이용하는 방법이다. HMD라는 것은 일반적으로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality) 시스템에서 사용자의 눈앞에 영상을 펼쳐보이게 하는 영상 장치를 말하는 것이다. 이는 보안경 또는 헬멧의 형태를 가지고 있다. 이러한 HMD를 이용하게 되면, 사용자는 단지 모니터와 같은 2차원적인 화면과 키보드 또는 마우스등과 같은 평면적인 입력 장치를 통해 컴퓨터를 제어하는 것이 아니라, 마이크로 디스플레이를 통해 디스플레이되는 입체적인 가상의 메뉴 화면을 통해 컴퓨터를 제어할 수 있다. 이를 위해 HMD 정보단말기는 영상을 디스플레이하는 초경량의 마이크로 디스플레이가 장착된 안경 형태의 표시부와, 사용자로부터 키를 입력받을 수 있는 센서와 입력 장치 등으로 구성될 수 있다.

이러한 HMD 정보 단말기에서 가장 중요한 기술 중의 하나는 사용자가 어떻게 자신이 원하는 키를 입력할 수 있도록 하는가이다. 이에 따라 등장한 HMD 정보 단말기의 키 입력 장치는 기존의 키 입력 장치를 소형화시켜 이를 사용자의 신체에 부착하도록 한다던가, 아니면 HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치를 사용자의 신체에 부착하도록 하여 이를 HMD의 센서에서 감지하도록 하는 Wearable 입력 장치였다. 이 중 상기한 전자와 같이, 기존의 입력 장치를 소형화시킨 장치의 예를 들어보면 L3 시스템에서 출시된 '손목 키보드'를 들 수 있다. 이는 일반적인 컴퓨터 키보드를 사용자가 사용자의 손목 등에 장착할 수 있을 정도의 크 기로 소형화 시킨 것이다. 또한 상기한 후자와 같이, HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치의 예를 들어보면 삼성 전자에서 출시된 'Scurry'를 들 수 있다. 이는 마치 장갑처럼 사용자의 손에 장착할 수 있는 마우스이다.

이러한 장치들은 사용자의 움직임 또는 선택에 따른 키를 HMD 정보 단말기의 제어부로 입력한다. 그러므로 사용자는 상기한 장치들을 이용하여 자신이 원하는 키를 입력할 수 있다. 그러나 상기한 예에서 'SCURRY'의 경우는 사용자의 신체에 직접 장착되어 사용자의 움직임을 입력하도록 되어 있는 장치이며, '손목 키보드'는 초소형의 키보드로서 사용자가 '손목 키보드'가 장착되지 않은 다른 손으로 키를 하나하나 입력시킴으로서 키를 입력하도록 되어 있는 장치이다.

따라서 사용자들이 만약 HMD 휴대 정보 단말기를 사용할 경우, 사용자들은 자신이 원하는 키를 입력하기 위해서 상기한 입력 장치들을 이용하여야만 했으므로 양손을 모두 사용하여야 한다는 불편함이 있었다. 그러므로 사용자들은 HMD가 구비되지 않은 통상적인 휴대 정보 단말기를 사용할 때보다 더욱 큰 불편함을 느낄 수밖에 없었다.

또한 요즈음에는 핸즈프리 장치가 널리 사용되고 있다. 통상적으로 핸즈프리라는 것은 통상적으로 휴대폰을 손으로 들지 않고 자유롭게 통화할 수 있도록 함으로서, 휴대폰 통화 시에도 사용자의 양손을 자유롭게 할 수 있게 하는 것을 말한다. 이러한 핸즈프리를 구현하기 위한 핸즈프리 장치는, 휴대폰과 선으로 연결되면 운전자가 휴대폰을 손에 들지 않고도 상대방과 통화를 할 수 있도록 고안된 장치이다. 이 핸즈프리가 고안된 원래 목적은 자동차 사고를 방지하기 위한 이동전화 시 스템이다. 그러나 핸즈프리 장치를 사용할 경우에는 사용자의 양손이 모두 자유롭다는 장점으로 인해 요즈음에는 핸즈프리 장치가 고안된 원래 목적보다도, 일반적인 휴대 정보 단말기에 널리 사용되고 있는 추세이다.

그러나 상기한 핸즈프리 장치는, 소형의 마이크를 통해 사용자의 음성을 간접적으로 전달 휴대 정보 단말기에 입력하거나, 소형의 이어폰을 통해 통화자의 음성을 간접적으로 사용자에게 전달하는 장치에 불과한 것이었다. 즉, 통상적인 핸즈프리 장치가 구비된 이동통신 단말기에서 사용자는 자신의 음성을 휴대 정보 단말기에 입력하거나, 통화자의 음성을 들을 때만 핸즈프리가 될 수 있었을 뿐, 전화를 걸거나 문자 메시지를 작성하거나 하는 경우에는 여전히 사용자의 손을 통한 키 입력이 있어야만 했다.

그리고 이러한 문제점은 HMD가 구비된 HMD 휴대 정보 단말기의 경우도 마찬가지였다. 더욱이 상술한 것과 같이 HMD 정보 단말기의 경우에는 사용자의 키를 입력하기 위한 입력 장치를 사용자의 신체에 장착하고, 이를 이용하여 사용자는 키를 입력하여야만 했다. 이에 따라서 HMD 휴대 정보 단말기에서 구비될 수 있는 핸즈프리 장치는, 단지 사용자의 통화 시에만 사용자의 손이 자유로워질 수 있는, 극히 제한적으로 구현되는 핸즈프리라는 문제점이 있다.

그러므로 본 발명의 목적은 HMD 휴대 정보 단말기에서 완전한 핸즈프리를 구현할 수 있는 장치 및 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 장치는, 가상 화면을 표시하는 마이크로 디스플레이와, 상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부를 구비한 메모리부와, 상기 사용자의 얼굴에서 발생되는 전압을 포함하는 생체 신호를 감지하기 위한 생체 신호 감지부와, 상기 감지된 생체 신호를 인식하고, 인식된 생체 신호에 따른 키 정보를 인식하는 인식부와, 상기 생체 신호에 따른 키 정보를, 특정 키의 입력으로 인식하는 제어부를 구비한다.

또한 본 발명의 방법은, 가상 화면 정보를 로드하는 가상 화면 로드 단계와, 상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와, 상기 사용자의 안면으로부터 발생하는 생체신호를 입력받는 전극의 상태를 체크하는 생체센서 체크 단계와, 상기 생체 신호를 감지하는 단계와, 상기 감지된 생체신호에 따른 키를 인식하는 키 인식 단계와, 상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한 본 발명은 휴대용 정보 단말기에 관한 것으로서 모든 휴대용 정보 단말기에 적용될 수 있으나 본 발명의 상세한 설명을 함에 있어서는 편의상 이동통신 단말기를 예로 들어 설명하기로 한다.

본 발명에서는 상기한 바와 같이 완전한 핸즈프리를 구현하기 위해 사용자의 생체 신호를 이용하여 키를 입력할 수 있도록 한다. 사용자의 생체 신호에는 여러 가지 신호가 있을 수 있으나 본 발명에서는 안전도(Electrooculogram : EOG, 이하 EOG라고 칭한다), 근전도(Electromyogram : EMG, 이하 EMG라고 칭한다)를 이용하도록 한다.

여기서 EOG라는 것은 사용자의 각막 사이의 전압 차이로 인해 눈의 움직임에 따라 발생하는 전기 신호를 말하는 것이며, EMG라는 것은 근육의 수축 시에 발생하는 전기 신호를 말하는 것이다. EOG를 이용하는 경우, 사용자가 눈동자를 정확하게 조절할 수 있다면 자신이 원하는 키에 상당한 수준의 정확도로 커서를 이동시키도록 할 수 있으며, 반응 속도도 빠르다. 그러나 이러한 EOG는 사용자는 눈을 이용하여 외부의 시각 정보를 파악해야 하므로 이동중인 경우에는 특정 위치에 사용자의 시선을 고정하기 어렵다는 단점이 있으며, 사용자가 의도한 방향으로 커서를 이동시킬 수 있다고 하여도 이 선택된 키를 어떻게 입력시켜야 하는가에 대한 문제가 발생하게 된다. 이러한 선택된 키를 입력시키는 방법의 예로서 눈을 깜빡임으로서 사용자가 선택한 키를 입력시키는 기술이 있으나, 이 역시 사용자가 눈을 깜빡이는 순간에 눈동자가 다른 곳을 향하게 된다면 사용자가 의도한 키가 입력되지 않고, 다른 키가 입력되는 오류가 발생할 수 있다.

또한 EMG를 이용하는 경우, 본 발명과 같이 HMD 이동통신 단말기에서는 사용자가 어금니를 깨무는 동작으로 인해 발생하는 전압의 차이를 이용할 수 있다. 이 경우 사용자가 왼쪽 또는 오른쪽의 어금니를 깨무는 것으로서 사용자가 의도한 키에 커서가 이동되도록 할 수는 있다. 이러한 경우 EMG는 사용자의 의사에 따른 반응 속도가 매우 빠르고, 사용자가 상당히 신뢰할 수 있는 조작이 가능하다는 장점이 있으나, 사용자가 선택할 수 있는 메뉴가, 오른쪽 어금니를 깨무는 경우, 왼쪽 어금니를 깨무는 경우, 양쪽의 어금니를 모두 깨무는 경우의 3가지로 제한된다는 문제점이 있다.

따라서 본 발명은 상술한 EOG와 EMG를 각각의 장점에 맞도록 사용하여, 사용자가 전혀 손을 사용하지 않고도, 마이크로 디스플레이에서 디스플레이되는 키 들 중, 사용자가 원하는 키를 선택하여 입력할 수 있도록 한다. 도 1은 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도를 보이고 있는 예이다. 도 1을 참조하여 살펴보면, 메모리부(102), 키입력부(106), 표시부(108), RF(Radio Frequency)부(114), 베이스밴드(Baseband) 처리부(112), 코덱(CODEC: Coder-Decoder)(118), 외부 인터페이스부(136), 생체시호 감지부(128), 그리고 인식부(126)가 제어부(100)에 연결된다. 여기서 제어부(100)는 전화 통화나 데이터 통신, 무선 인터넷 접속을 위한 프로토콜에 따라 음성신호 및 데이터 처리를 하고 이동통신 단말기의 각 부분을 제어한다. 그리고 본 발명에 따라 메모리부(102)에 저장된 키 맵을 로드하여 디스플레이한다. 또한 EOG, EMG와 같은 사용자의 생체신호를 감지하도록 생체신호 감지부(128)를 제어하고, 인식부(126)를 제어하여 상기 생체신호 감지부(128)에서 감지된 생체 신호를 이용하여 키가 선택되었음을 인식한다.

그리고 상기한 제어부(100)와 연결되는 본 발명의 실시 예에 따른 이동통신 단말기의 메모리부(102)는 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리(Flash Memory)로 구성되어 있으며, 본 발명의 실시 예에 따른 각종 키 맵 정보를 저장하고 있는 키 맵 정보 저장부(104)를 구비한다. 그리고 키입력부(106)는 파워 온/오프 키를 비롯한 몇 가지 옵션 키를 구비하고 있다. 본 발명의 실시 예에 따른 이동통신 단말기의 키입력부(106)는 통상적인 이동통신 단말기의 키패드와는 달리 파워 온/오프 또는 가상화면 온/오프와 같이 사용자가 HMD를 통한 가상화면을 이용한 메뉴 선택으로 실행할 수 없는 몇 가지 키들만을 물리적으로 구비한다. 그리고 표시부(108)는 HMD(Head Mounted Display)를 구비하고 있으며, HMD에 마이크로 디스플레이(110)를 구비하여 제어부(100)의 제어에 따라 각종 정보를 사용자에게 입체적인 가상화면을 디스플레이한다. 그리고RF(Radio Frequency)부(114)는 안테나(208)를 통해 기지국과 RF신호를 송, 수신하는데, 수신되는 신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(112)로 출력하고 베이스밴드 처리부(112)로부터 입력되는 IF신호를 RF신호로 변환하여 송신한다.

상기한 베이스밴드 처리부(112)는 제어부(100)와 RF부(114)간의 인터페이스를 제공하는 BBA(Baseband Analog ASIC)로서, 제어부(100)로부터 인가되는 베이스밴드의 디지털 신호를 아날로그 IF신호로 변환하여 RF부(114)에 인가하며, RF부(114)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털 신호로 변환하여 제어부(100)에 인가한다. 그리고 제어부(100)와 연결된 코덱(118)은 증폭부(120)를 통해 이어셋(216)과 접속된다. 본 발명의 실시 예에 따른 이어셋(216)은 마이크(122) 및 스피커(124), 그리고 코덱(118)과 증폭부(120)와 일체형으로 구성되었으 며, 일반적인 이어셋 형태를 가지고 있다. 상기한 코덱(118)은 마이크(122)로부터 입력되는 음성신호를 PCM(Pulse Code Modulation) 부호화(Encoding)하여 음성데이터를 제어부(100)에 출력하고 제어부(100)로부터 입력되는 음성데이터를 PCM 복호화(Decoding)하여 증폭부(120)를 통해 스피커(124)로 출력한다. 그리고 증폭부(120)는 마이크로부터 입력되는 음성신호나 스피커로 출력되는 음성신호를 증폭하는데, 스피커(124)의 음량과 마이크(122)의 이득을 제어부(100)의 제어에 따라 조절한다. 그리고 제어부(100)와 연결된 외부 인터페이스부(228)는 상기한 본 발명의 실시 예에 따른 이동통신 단말기의 확장 메모리 또는 확장 배터리 등이 연결되기 위한 인터페이스 역할을 한다.

또한 생체신호 감지부(128)에서는 EOG 입력부(130), EMG 입력부(132), 그리고 기준 전압 발생부(134)를 포함하며, 사용자의 생체 신호를 감지하여 이를 인식부(126)에 입력한다. 이 중 EOG 입력부(130)는 사용자의 시선이 이동할 때에, 사용자의 눈동자 움직임에 따라 발생하는 미세 전압과 기준전압의 전위차를 측정하여 사용자의 눈동자의 움직임을 반영하는 EOG신호를 검출한다. 그리고 EMG 입력부(132)는 사용자가 왼쪽 또는 오른쪽 어금니를 깨물 경우에 발생하는 사용자의 얼굴 근육에 따라 발생하는 전위를 체크하여 이를 사용자의 EMG신호로 입력받는다. 그리고 인식부(126)에서는 상기한 생체신호 감지부(128)로부터 EMG, EOG와 같은 생체신호들을 입력받고, 이러한 생체신호들에 따라 선택된 키가 어떤 것인지를 현재 디스플레이되고 있는 키 맵의 키 정보로부터 체크하여, 사용자가 현재 선택한 키가 어떤 키 인지를 인식한다.

도 2는 상기한 도 1의 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성 중에서 생체 신호 감지부(128)에 대한 상세한 구성을 보이고 있다. 도 2를 참조하여 살펴보면, 생체 신호 감지부(128)는 도 1에 도시된 바와 같이 크게 기준 전압 발생부(134), EOG 입력부(130), 그리고 EMG 입력부(128)를 포함하여 구성된다. 여기서 기준전압 발생부는 기본적으로 생체신호 전극중 GND전극을 기준으로 Reference전극에서 발생되는 전위값을 구하는 기능을 포함하며, 회로적으로 GND전극은 Reference 전극과 각각 분리되어 신체에 접촉되는 형태로 구성 될 수도 있으며 Reference전극과 동일 전극으로 회로를 구성할 수도 있다. 안정된 생체신호 측정을 위해서는 GND전극과 Reference전극을 분리하는 것을 권장하나 본 발명의 실시 예에서는 편리성의 증대를 위하여 GND전극과 Reference전극을 동일전극으로 사용하여 설명하고자 한다.

EMG 입력부(128)에 대해서 자세히 살펴보면, EMG 입력부(128)는 사용자의 우측 얼굴 근육의 전압 부분을 검출하는 부분과 좌측 얼굴 근육의 전압 부분을 검출하는 부분으로 크게 나누어지는데, 여기서는 EMG1신호를 우측 얼굴 근육에서 감지된 EMG신호로, EMG2신호를 좌측 얼굴 근육에서 감지된 EMG2신호라고 하기로 한다.

EMG 입력부(132)는, 사용자의 우측 얼굴 근육의 우측 관자놀이 부분으로부터 발생되는 전압을 감지하는 우측 측면 감지부(250), 우측 측면 감지부(250)로부터 입력된 전압(이하 EMG1 전압이라 한다)을, 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EMG1 전압과 상기 기준 전압의 전위차를 검출하는 EMG1 전위차 검출부(252), 그리고 EMG1 전위차 검출부(252)로부터 입력되는 전위차를 EMG1신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거하는 EMG1 HPF(High Pass Filter)(254), 직류 성분의 노이즈가 제거된 EMG1신호를 입력받아서 이를 증폭하는 EMG1 증폭부(256), 증폭된 EMG1신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EMG1신호만을 추출하는 EMG1 LPF(Low Pass Filter)(258)가 사용자의 우측 관자놀이에서 발생하는 EMG1신호를 추출하기 위해 구비된다. 또한 사용자의 좌측 얼굴 근육의 좌측 관자놀이로부터 발생되는 전압을 감지하는 좌측 측면 감지부(260), 좌측 측면 감지부(260)로부터 입력된 전압(이하 EMG2 전압이라 한다)을, 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EMG2 전압과 상기 기준 전압의 전위차를 검출하는 EMG2 전위차 검출부(252), 그리고 EMG2 전위차 검출부(262)로부터 입력되는 전위차를 EMG2신호로 입력받아서 직류 성분의 노이즈를 제거하는 EMG2 HPF(264), 직류 성분의 노이즈가 제거된 EMG2신호를 입력받아서 이를 증폭하는 EMG2 증폭부(266), 증폭된 EMG2신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EMG2신호만을 추출하는 EMG2 LPF(Low Pass Filter)(268)가 사용자의 좌측 얼굴 근육에서 발생하는 EMG2신호를 추출하기 위해 구비된다. 그리고 EMG 입력부(132)에는 상기한 EMG1 LPF(258)과 EMG2 LPF(268)로부터 EMG1신호와 EMG2신호를 입력받아서 EMG1신호만 입력되었는지(사용자가 우측 어금니만을 깨물었는지), 혹은 EMG2신호만 입력되었는지(사용자가 좌측 어금니만을 깨물었는지), 아니면 EMG1신호와 EMG2신호가 둘 다 입력되었는지 (사용자가 좌우측 어금니를 모두 깨물었는지)를 검출하는 EMG 신호 검출부가 구비된다.

따라서 사용자가 좌측 어금니를 깨물게 되면 이에 따른 EMG2신호가 발생하게 되고 이는 EMG2 전위차 검출부(262)와, EMG2 HPF(264), EMG2 증폭부(266), 그리고 EMG2 LPF(268)를 거쳐서 EMG 신호 검출부(270)에 입력된다. 그리고 만약 사용자가 우측 어금니를 깨물게 되면 이에 따른 EMG1신호가 발생하게 되고 이는 EMG1 전위차 검출부(252)와, EMG1 HPF(254), EMG1 증폭부(256), 그리고 EMG1 LPF(258)를 거쳐서 EMG 신호 검출부(270)에 입력된다. 그리고 EMG 신호 검출부(270)에서는 EMG1 또는 EMG2신호 중 어느 하나만 입력되었는지 아니면 두 신호가 다 입력되었는지를 체크하고 이를 인식부(126)로 입력한다.

그리고 EOG 입력부(130)는, 사용자의 이마 부분과, 코 윗부분(일반적으로 사용되는 안경의 코 받침위치)에 위치한 센서들을 포함하는 전면 감지부(200), 그리고 우측 관자놀이 부분의 우측 측면 감지부(250), 좌측 관자놀이 부분의 좌측 측면 감지부(260)로부터 감지된 전압들을, 기준 전압 발생부(134)로부터 입력되는 기준 전압과 각각 비교하여 전위차를 체크하는 EOG 전위차 검출부(202), 측정된 전위차를 입력으로 받아 직류성분의 노이즈를 제거하는EOG HPF(204), 직류성분의 노이즈가 제거된 EOG신호를 입력으로 받아 이를 증폭하는 EOG 증폭부(206), 증폭된 신호에서 EOG성분을 검출하기 위한 EOG LPF부(208), 그리고 측정된 EOG를 이용하여 사용자의 시선이 어느 위치를 향하고 있는지를 인지하는 EOG 신호 검출부(210)를 구비한다.

따라서 사용자가 눈동자를 움직이면 이에 따른 EOG신호가 감지되고, 이 신호들은 EOG 전위차 검출부(202), EOG HPF(204), EOG 증폭부(206), 그리고 EOG LPF(208)를 거쳐서 EOG 신호 검출부(210)에 입력되게 된다. 그리고 EOG 신호 검출 부(210)에서는 이러한 입력된 EOG신호에 따라 사용자의 눈동자의 움직임에 따른 시선의 이동을 체크하고 이를 인식부(126)에 입력한다. 그러면 인식부(126)에서는 상기한 EMG 신호 검출부(270)와 EOG 신호 검출부(210)를 통해 입력된 신호들을 이용하여 상기 메모리부(102)의 키 맵 저장부(104)로부터 로드한 키 맵 정보 중에서 사용자가 선택한 키를 인식하고, 이를 제어부(100)에 입력한다.

도 3은 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 예를 도시하고 있는 도면이다. 도 3을 참조하여 살펴보면 본 발명의 실시 예에 따른 이동통신 단말기는 고글(Goggle) 형태를 가지고 있음을 알 수 있다. 이를 도 1에서 보인 본 발명의 실시 예의 블록 구성도를 참조하여 보면, 본 발명의 실시 예에 따른 표시부(108)는 도 3의 글라스(glass)(314) 부분에 구비된다. 이 표시부(108)에는 마이크로 디스플레이(110)가 구비되어 있다. 마이크로 디스플레이(110)는 사용자에게 이동통신 단말기의 키 맵 화면 또는 메뉴 화면을 가상 화면으로 디스플레이하며, 도 3에서는 마이크로 디스플레이(110)에서 디스플레이되는 키 맵(306) 가상 화면의 예를 보이고 있다. 도 3에서는 마이크로 디스플레이(110)가 좌측에 구비되어 있는 예를 보이고 있으나 이는 사용자의 편의에 따라 글라스(314)의 우측에 구비될 수도 있음은 물론이다.

그리고 도 1에서 보인 생체 신호 감지부(128)는 인식부(126), 제어부(100)와 함께, 도 3에서 보인 본 발명의 실시 예에 따른 이동통신 단말기의 글라스 테 부분(300)에 위치한다. 이러한 생체 신호 감지부(128)는 사용자의 얼굴에서 발생하는 전압을 감지하기 위한 다수의 센서들, 즉 상기한 도 2에서 보인 전면 감지부(200) 와 우측 측면 감지부(250), 좌측 측면 감지부(260)를 구비한다. 여기서 전면 감지부(200)는 도 2에서 상술한 바와 같이 사용자의 이마 부분과, 사용자의 코 윗부분으로부터 사용자의 눈의 움직임에 따른 전압을 감지하기 위한 센서들을 구비한다.

이러한 센서들의 위치를 도 3을 참조하여 살펴보면, 글라스(314)의 우측 상단 테 부분에는 전면 감지부(200)의 센서들 중 사용자의 우측 이마에 접촉되는 센서(308)가 위치한다. 그리고 글라스의 좌측 상단 테 부분에는 전면 감지부(200)의 센서들 중 사용자의 좌측 이마에 접촉되는 센서(310)가 위치한다. 또한 본 발명의 실시 예에 따른 이동통신 단말기의 코걸이 부분에서는 전면 감지부(200)의 센서들 중 코 윗부분에서 발생하는 미세한 전압을 감지하기 위한 센서들(312, 313)이 위치한다. 그리고 도 3에서 우측 걸이(302) 부분에는사용자의 얼굴 우측 측면의 얼굴 근육의 전압을 감지할 수 있는 우측 측면 감지부(250)의 센서가 위치하고, 좌측 걸이(304) 부분에는 사용자의 얼굴 좌측 측면의 얼굴 근육의 전압을 감지할 수 있는 좌측 측면 감지부(260)의 센서가 위치하게 된다. 이러한 센서들은 각 위치한 부분에서 사용자의 얼굴에서 발생하는 미세한 전압의 변화를 감지하고, 생체 신호 감지부(128)에서는 이들 감지된 전압들과, 도 3의 좌측 걸이(304) 끝 부분에 위치한 기준 전압 발생부(134)로부터 발생되는 기준 전압과 비교하여 사용자의 생체 신호에 따른 키 선택을 입력받는다.

또한 본 발명의 실시 예에서는 도 3에서 보이고 있는 바와 같은 이어셋(116)을 구비한다. 도 3에서 이어셋(116)은 마이크(122)와 스피커(124)를 구비하고 있으며, 사용자의 귀 부분에 밀착될 수 있는 형태로 구비되어 있다. 또한 본 발명의 실 시 예에 따른 이어셋(116)은 코덱(118)과 증폭부(120)를 포함하여 도 3에서 보이고 있는 바와 같이 마이크(122), 스피커(124)와 일체화된 상태로 구현된다. 그리고 아직 언급하지 않은 구성부들인 키입력부(106), 메모리부(102), 외부 인터페이스부(136), 베이스밴드 처리부(112), 그리고 RF부(114) 등은 도 3에서 보이고 있는 고글의 나머지 부분 즉, 우측 걸이(302)와 좌측 걸이(304) 부분에 각각 나뉘어 내장된다. 즉, 예를 들어 키입력부(106)와 메모리부(102), 그리고 외부 인터페이스부(136)가 우측 걸이(302) 부분에 내장되고, 베이스밴드 처리부(112)와 RF부(114)가 좌측 걸이(304) 부분에 내장될 수도 있다. 상기한 외부 인터페이스부(228)는 외부 확장 메모리나 확장 배터리 등을 본 발명의 실시 예에 따른 이동통신 단말기와 연결시키기 위한 인터페이스 부분으로서 인터페이스 포트를 내장하거나 또는 유선으로 연결된 인터페이스 포트 등을 구비할 수 있다. 따라서 이러한 외부 인터페이스부(228)를 이용하여 노트북 PC(Personal Computer), POST PC등에서 마이크로 디스플레이에서 디스플레이되는 키들 중 사용자의 생체 신호에 따라서 선택되는 키 입력을 입력하도록 할 수도 있음은 물론이다.

그런데 이러한 도 3에서 보이고 있는 HMD 이동통신 단말기는 본 발명의 실시 예를 보이고 있는 것에 불과한 것이다. 즉, 예를 들어 상술한 설명에서는 생체신호 감지부(128), 인식부(126), 제어부(100)가 글라스(314)의 테 부분에 내장되어 있으며, 그 외의 구성 부분은 우측 걸이(302)와 좌측 걸이(304) 부분에 각각 나뉘어져 내장되어 있는 것으로 설명하였다. 그러나 이러한 위치는 얼마든지 편의상, 또는 그 외의 이유로 바뀔 수 있음이 물론이다. 또한 본 발명에서는 사용자의 생체 신호 를 감지할 수 있는 센서를, 글라스(314) 좌우측 상단 부분의 테에 위치하는 센서들(308, 310)과, 우측 코걸이 부분에 위치하는 센서(312)와 좌측 코걸이 부분에 위치하는 센서(313), 그리고 우측 걸이(304) 부분과 좌측 걸이(302) 부분에 위치하는 센서들(250, 260)의 총 6개의 센서를 구비하고 있지만, 각각의 생체 신호, 즉 EMG 또는 EOG신호의 감지 성능을 더욱 높이기 위해 센서의 수를 늘리거나, 센서의 감지 능력이 충분할 경우 그 센서의 수를 줄일 수도 있음은 물론이다. 따라서 본 발명의 실시 예에 따른 구성이 도 3에서 보이고 있는 실시 예에 의해 한정되지 않음은 당연하다.

도 4는 상기한 EOG 전위차 검출부(202)에서 사용자의 눈동자의 위치에 따라 변하는 전위차를 보이고 있는 도면이다. 우선 도 4를 참조하여 보면, 사용자의 눈동자의 위치에 따라 전면 감지부(200), 우측 측면 감지부(250), 좌측 측면 감지부(260)로부터 감지된 전압과 기준 전압 발생부(134)로부터 발생되는 기준 전압과의 차이가 각각 달라지는 것을 볼 수 있다. 도 4에서 V1은 기준 전압과 우측 측면 감지부(250)에서 감지된 전압의 전위차를 보이고 있는 것이며, V2는 기준 전압과 전면 감지부(200)의 우측 이마의 센서(308)에서 감지된 전압의 전위차를 보이고 있는 것이다. 그리고 V3는 전면 감지부(200)의 우측 코걸이 부분에 위치하는 센서(312)에서 감지된 전압과 기준 전압의 전위차를 보이고 있는 것이다. 그리고 V4는 전면 감지부(200)의 좌측 코걸이 부분에 위치하는 센서(313)에서 감지된 전압과 기준 전압의 전위차를 보이고 있는 것이며, V5는 기준 전압과 전면 감지부(200)의 좌측 이마의 센서(310)에서 감지된 전압의 전위차를 보이고 있는 것이다. 또한 V6는 기준 전압과 좌측 측면 감지부(260)에서 감지된 전압의 전위차를 보이고 있는 것이다. 이를 표로 보이면 다음과 같다.

전압	센서 위치	감지부
V1	우측 걸이(302)	우측 측면 감지부(250)
V2	글라스 우측 상단 테(308)	전면 감지부(200)
V3	우측 코걸이 부분(312)	전면 감지부(200)
V4	좌측 코걸이 부분(313)	전면 감지부(200)
V5	글라스 좌측 상단 테(310)	전면 감지부(200)
V6	좌측 걸이(304)	좌측 측면 감지부(260)

도 4를 참조하여 살펴보면 사용자의 눈동자 위치에 따라서 V1 ~ V6까지의 전위차는 각각 달라지는 것을 볼 수 있다. 예를 들어 사용자가 양쪽 눈동자를 모두 오른쪽으로 향했을 경우 양 전압(+ 전압)의 EOG신호가 발생되는 부분은 V1과 V4, 즉, 사용자의 얼굴 우측, 즉 우측 관자놀이 부분과 사용자의 좌측 코걸이부분이다. 그리고 음 전압(- 전압)의 EOG신호가 발생하는 부분은 사용자의 우측 코걸이부분과 사용자의 얼굴 좌측, 즉 좌측 관자놀이 부분이다. 그리고 사용자가 양쪽 눈동자를 윗부분을 향했을 경우에는 사용자의 우측 이마 부분과 사용자의 좌측 이마 부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되고, 사용자의 우측 코걸이부분과 좌측 코걸이부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다.

또한 사용자가 양쪽 눈동자를 왼쪽으로 향했을 경우에는 사용자의 우측 코걸이부분과 사용자의 좌측 관자놀이 부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되고, 사용자의 우측 관자놀이 부분과 사용자의 좌측 코걸이부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다. 그리고 사용자가 양쪽 눈동자를 모두 아래 방향으로 향했을 경우에는 사용자의 우측 코걸이부분과 좌측 코걸이부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되며, 사용자의 우측 이마 부분과 사용자의 좌측 이마 부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다. 따라서 사용자의 눈동자가 향하는 방향에 따라, 양 전압의 EOG, 음전압의 EOG신호가 각 위치의 센서마다 각기 다르게 발생하게 된다.

상기한 바와 같이 이러한 사용자의 눈동자의 움직임에 따라 각 센서에서 측정되는 EOG신호가 일정하게 변화되는 것을 이용한다면 사용자의 눈동자가 향하는 시선이 어느 방향인지를 인식하는 것이 가능해 진다. 따라서 이러한 EOG신호의 전위차에 따른 값을 소정의 식을 이용하여 좌표화시킬 수도 있다.

Yh = (V1 + V4) - (V3 + V6)

Yv = (V2 + V5) - (V3 + V4)

가상의 2차원 좌표계에서, 상기 수학식 1은 도 4에서 보이고 있는 각 센서들로부터 측정된 EOG신호중 눈의 수평움직임을 좌표화 하기 위한 수평 좌표값 산출식이다. 또한 상기 수학식 2는 도 4에서 보이고 있는 각 센서들로부터 측정된 EOG신호중 눈의 수직 움직임을 좌표화 하기 위한 수직 좌표값 산출식이다. 상기한 수학식 1과 수학식 2에 도 4에서 임의적으로 대입한 값을 이용하면 사용자의 눈동자의 움직임에 따른 수직 좌표와 수평 좌표를 구하는 것이 가능하므로, 사용자의 시선에 따른 좌표 위치를 구할 수 있다. 도 5는 이러한 사용자의 시선에 따른 좌표 위치와 그에 따라 본 발명의 실시 예에서 사용가능한 키 맵의 예를 보이고 있는 도면이다.

도 5를 참조하여 살펴보면 도 5의 (a)는 상기한 바와 같이 도 4에서 임의적으로 대입한 값들과 상기 수학식 1, 수학식 2를 이용하여, 사용자의 각 눈동자 위치마다 설정되는 좌표 위치를 보이고 있다. 이를 참조하여 살펴보면, 사용자가 양쪽 눈동자를 정 중앙으로 한 상태(50)에서 우측으로 눈동자를 향한 경우(502) 상기한 수학식 1에 의해 '4'값이 산출된다. 그리고 수학식 2에 의해 '0'값이 산출되게 된다. 따라서 502의 경우 도 5의 (a)에서는 (4,0)의 좌표가 이에 해당된다. 또한 사용자가 눈동자를 대각선 우측으로 향한 경우(504) 상기한 수학식 1에 의해 '3'값이 산출되며, 상기한 수학식 2에 의해 '3'값이 산출되므로 (3,3)의 좌표값이 산출되게 된다. 그리고 사용자가 눈동자를 모두 위로 향하게 한 경우(506)에는 수학식 1에 의해 '0'값이 산출되며, 수학식 2에 의해 '5'값이 산출되므로 (0,5)의 좌표값이 산출되게 된다. 이러한 방법으로 각각의 경우(508, 510, 512, 514, 516)마다의 좌표값을 산출하여 보면, 도 5의 (a)와 같은 좌표값들이 산출되게 된다. 따라서 본 발명에서는 사용자의 눈동자의 움직임에 따라 발생하는 전압을 감지하여 이를 기준 전압과 비교하고, 그 비교된 차이를 소정의 식을 이용함으로써 사용자의 시선이 가리키는 지점에 대한 좌표값을 산출한다. 이에 따라서 본 발명의 실시 예에 따른 이동통신 단말기는 단지 사용자가 눈을 움직이는 것만으로도 사용자의 시선의 위치를 인식할 수 있다. 단, 상기의 예는 이해를 돕기 위해 +1, 0, -1 의 고정된 임의의 값을 사용하여 설명하였으나 실제로는 각 전극으로부터 실제로 측정된 EOG신호(실수)를 이용하여 좌표화 시키므로 눈의 움직임을 자유롭게 좌표로 표현 할 수 있다. 즉, 키 선택 커서를 안구의 움직임만으로 자유롭게 이동시킬 수 있다.

도 5의 (b)와 (c)는 상술한 바와 같이 인식된 사용자의 시선의 위치를 이용하여 사용자가 키를 입력할 수 있는 키 맵 화면을 보이고 있는 도면이다. 우선 도 5의 (b)를 참조하여 살펴보면, 일반적인 이동통신 단말기의 키 맵과 유사한 키 맵을 볼 수가 있다. 이러한 키 맵에서 사용자는 상기한 도 5의 (a)와 같은 방식으로 키 맵의 키들 중 1 ~ 9 까지의 키를 선택할 수 있다. 이는 상술한 바와 같이 사용자가 어느 방향으로 사용자의 눈동자를 움직이는 가에 따라 결정된다. 그러나 통상적인 이동통신 단말기에서 키의 개수는 보통 9개를 넘게 된다. 따라서 본 발명에서는 도 5의 (b)와 같은 키 맵에서 '*'키와 '0'키, 그리고 '#'를 선택하기 위한 방법으로 사용자의 눈동자의 움직임이 감지된 시간을 체크하기로 한다. 즉, 사용자가 정면을 바라보고 있는 상태인 경우에는 사용자의 시선에 의해 키'5'가 선택됨을 인식하고 키'5'에 키 선택 커서를 설정한다. 그리고 사용자가 눈동자를 아래쪽으로 향했을 경우 사용자의 EOG신호에 따라 키'8'이 선택되었음을 인식하고 키'8'에 키 선택 커서를 설정한다. 따라서 사용자는 자신이 원하는 키를 선택하는 것이 단지 시선을 이동시키는 것만으로도 가능해진다.

또한 도 5의 (a)는 사용자의 눈동자가 모두 오른쪽을 향하고 있는 상태에서 위쪽, 그리고 왼쪽과 아래쪽 방향으로 원을 그리며 이동하는 예를 보였다. 그리고 도 5의 (a)에서는 이러한 사용자의 시선 이동에 따라 이동통신 단말기에서 인식되는 위치가 원을 그리며 이동하는 것을 보였다. 이를 이용하면 통상적인 도 5의 (b)와 같은 키 맵 외에 원형의 키 맵을 설정하고 이를 이용할 수도 있음은 물론이다. 도 5의 (c)는 이러한 원형으로 배열된 키 맵의 예를 보이고 있는 도면이다. 따라서 이러한 본 발명의 실시 예에 따른 이동통신 단말기에서 키 맵은 도 5의 (b)에서 보인 전형적인 키 맵 말고도 도 5의 (c)에서 보이고 있는 바와 같이 다양한 형태로 구현될 수 있음은 물론이다. 따라서 본 발명에서는 사용자의 시선의 위치에 따라 현재 디스플레이되고 있는 키 맵에서 사용자가 워하는 키에 얼마든지 키 선택 커서를 이동할 수 있다.

그러나 사용자가 비록 원하는 키에 키 선택 커서를 이동시켰다고 하여도 이러한 사용자의 EOG신호만으로는 선택된 키를 입력시킬 수 있는 '확인'신호를 입력을 할 수 없다. 따라서 상술한 바와 같이 키를 선택하고 그 키에 대한 선택을 확인하기 위한 신호로서 사용자가 눈을 깜빡이는 방법이 고안된 적도 있으나, 이는 사용자가 시선을 이용하여 원하는 키를 선택하고, 시선을 고정시킨 상태에서 눈을 깜빡여야 했으므로 오작동을 할 수 있는 가능성이 높았다. 따라서 본 발명에서는 사용자가 시선으로 키를 선택한 후에 그 키를 바로 입력할 수 있도록 하기 위하여 EMG신호를 이용하도록 한다.

도 6은 상기한 도 3에서 보인 바와 같은 이동통신 단말기에서 좌측 걸이(304) 부분에 구비된 좌측 측면 감지부(260)의 센서와 우측 걸이(302) 부분에 구비된 우측 측면 감지부(250)의 센서로부터 입력되는 EMG신호의 예를 보이고 있는 도면이다. 도 6에서 사용자가 우측 어금니를 깨무는 동안에 감지된 EMG신호를 EMG1신호라고 하고, 사용자가 좌측 어금니를 깨무는 동안에 감지된 EMG신호를 EMG2신호라고 하기로 한다. 도 6을 참조하여 살펴보면, 사용자가 우측 어금니를 깨무는 순간에 사용자의 우측 관자놀이에서 높은 주파수 성분(일반적으로100~2000Hz)이 급격하 게 발생하게 된다. 그리고 사용자가 좌측 어금니를 깨무는 순간에 사용자의 좌측 관자놀이에서 높은 주파수 성분(일반적으로100~2000Hz)이 급격하게 발생하게 된다. 그리고 사용자가 좌측 어금니를 깨무는 순간에 사용자의 좌측 관자놀이에서는 기준 전압 발생부(134)에서 발생하는 전압보다 더 높은 전압이 발생하게 된다. 이에 따라서 본 발명의 실시 예에 따른 이동통신 단말기에서는 우측 측면 감지부(250)와 좌측 측면 감지부(260)를 통해 이러한 전압의 변화를 감지하고 EMG 신호 검출부(270)를 통해 사용자가 우측 어금니를 깨물었는지 아니면 좌측 어금니를 깨물었는지, 또는 좌우측 어금니를 모두 깨물었는지를 인식할 수 있다. 이에 따라서 이러한 EMG신호를 이용한 방법으로 이용하면 사용자로부터 의도된 총 3가지의 신호를 입력받을 수가 있다. 따라서 본 발명에서는 이러한 3가지 EMG신호들 중 어느 하나를 사용자의 '확인'신호로 이용하기로 한다. 이 3가지의 신호들 중 어떤 것이라도 이용이 가능하지만 본 발명에서는 편의상 사용자가 좌우측 어금니를 모두 깨무는 경우를 사용자가 '확인' 신호를 입력하는 것으로 인식하기로 한다.

이에 따라서 사용자는 얼마든지 자신이 원하는 키를 선택하고 이를 입력시킬 수 있다. 도 7 (a)는, 5의 (b)에서 보인 바와 같은 키 맵(306)이 마이크로 디스플레이(110)에 의해 디스플레이되는 화면에서 사용자가 원하는 키를 선택하고 이를 입력시키는 예를 보이고 있는 도면이다. 도 7 (a)을 참조하여 살펴보면, 메뉴를 선택할 수 있는 메뉴키(702), 확인키(704), 취소키(706), 그리고 키 맵(306), 그리고 입력된 전화번호로 호 착신 신호를 송신할 수 있는 Send키(708), 그리고 모든 동작을 취소시킬 수 있는 Stop키(710)가 화면의 좌측에 구비되어 있으며, 사용자가 입 력한 전화번호를 미리 확인할 수 있는 미리보기창(712), 그리고 왼쪽 또는 오른쪽으로 미리보기창(712)의 커서를 이동시킬 수 있는 좌 이동키(714)와 우 이동키(716)가 화면 우측에 구비되어 있음을 볼 수가 있다.

사용자는 본 발명의 실시 예에 따른 이동통신 단말기의 가상화면 모드를 온 시킬 경우에 도 7의 (a)와 같이 디스플레이된 초기 화면을 볼 수 있다. 여기서 키 설정 커서(700)는 디폴트(Default)로 설정된 위치(도 7의 (a)에서는 '5'키)에 설정되어 있다. 만약 이 상태에서 사용자가 시선을 아래로 향한다면 키 설정 커서(700)는 아래쪽으로 이동하여 키 '0'에 설정된다. 이때 사용자가 양쪽 어금니를 깨문다면 미리보기창(712)에는 도 7의 (a)에서 보이고 있는 것처럼 '0'이 입력된다. 또한 사용자가 계속 시선을 위쪽으로 향한다면 키 설정 커서는 차례로 이동하여 키'2'의 위치까지 이동하게 된다. 여기서 다시 사용자가 양쪽 어금니를 깨문다면 '2'가 미리보기창(702)에 입력되게 된다. 이에 따라 미리보기창(712)에는 '02'라는 숫자가 입력되게 된다. 이런 방법으로 사용자가 도 7 (a)에서 보이고 있는 바와 같이 원하는 전화번호 '02-770-8410'을 입력하게 되면 사용자는 시선을 계속 아래로 이동하여 키 설정 커서(700)가 키'0'아랫 부분에 위치한 Send키(708)에 설정되게 이동시키고 양쪽 어금니를 동시에 깨뭄으로써 이동통신 단말기의 제어부에 EMG1신호(우측 어금니가 깨물렸음을 알리는 신호), EMG2신호(좌측 어금니가 깨물렸음을 알리는 신호)를 동시에 입력한다. 그러면 본 발명의 실시 예에 따른 이동통신 단말기의 제어부는 미리보기창(712)에 현재 입력되어 있는 전화번호로 호 착신 신호를 송신한다.

또한 만약 사용자가 키를 잘못 입력하였을 경우에, 사용자는 우측 어금니 또 는 좌측 어금니 중 어느 하나를 깨뭄으로써 좌 이동키(714) 또는 우 이동키(716) 중 어느 하나를 선택하여 미리보기창(712)의 커서를 이동시킬 수 있다. 그리고 이동된 문자에서 사용자는 다른 키를 선택하고 그 키를 현재 커서가 이동된 위치에 대신 입력시킬 수 있다. 따라서 본 발명의 실시 예에 따른 이동통신 단말기에서는 사용자가 단지 눈동자의 이동과 좌우측 어금니를 깨무는 동작만으로 자신이 원하는 번호를 입력하고 통화를 하는 것이 가능하다.

도 7 (b)는 상기한 도 7 (a)에서 사용자가 메뉴키(702)를 선택하였을 경우에 메뉴 선택화면이 디스플레이되는 예를 보이고 있는 도면이다. 이러한 메뉴 선택 화면에서 디스플레이되는 메뉴들을 살펴보면 도 7 (b)에서는 문자 메시지 기능을 이용할 수 있도록 하는 문자 메시지 메뉴(750), 게임등 다양한 엔터테이먼트(Entertainment) 기능을 이용할 수 있도록 하는 메뉴(752), 사용자의 스케줄 등을 관리할 수 있는 일정 관리키(754), 그리고 원하는 키 맵의 형태 또는 키 맵의 종류를 선택할 수 있는 키 맵 설정 메뉴(756)등이 있음을 알 수 있다.

여기서 키 맵 설정 메뉴(756)는 사용자가 편의에 따라 디스플레이되는 키 맵을 선택할 수 있도록 하는 메뉴이다. 이는 사용자가 자신이 사용하기에 편리한 키 맵을 선택할 수 있도록 함으로써 사용자 인터페이스를 향상시키기 위한 것이다. 이 메뉴에서 사용자는 키 맵은 키 맵의 종류 또는 형태를 설정할 수 있는데, 키 맵의 형태 설정이라는 것은 상기한 도 5의 (b)에서 보인 전형적인 키 맵 또는 (c)에서 보인 원형의 키 맵을 포함하는 다양한 형태의 키 맵 중에서 원하는 형태의 키 맵을 설정하는 것이고, 키 맵의 종류 설정은 사용자가 원하는 키 맵의 종류를 설정하는 것을 말한다. 일반적으로 키 맵의 종류는 이동통신 단말기의 제조사 별로 다르며 하기한 표 1과 표 2와 같이 상당한 차이가 있다. 이러한 키 맵의 예를 하기 표 2, 3을 참조하여 살펴보기로 한다.

1 ㅣ	2 ㅇ	3 ㅡ
4 ㄱ ㅋ	5 ㄴ	6 ㄷ
7 ㅂ	8 ㅅ	9 ㅈ
	0 ㅇ ㅁ

1 ㄱ	2 ㄴ	3 ㅏ ㅓ
4 ㄹ	5 ㅁ	6 ㅗ ㅜ
7 ㅅ	8 ㅇ	9 ㅣ
	0 ㅡ

상기한 표 2와 표 3은 각기 다른 이동통신 단말기의 제조사별로 사용되고 있는 키 맵을 보이고 있는 것이다. 상기한 표 2는 삼성 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이며, 상기한 표 3은 LG 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이다. 상기한 표 2와 표 3을 서로 비교하여 보면 양 키 맵간에 상당한 차이가 있는 것을 알 수 있다. 이에 따라서 LG 전자에서 출시되는 이동통신 단말기를 사용하던 사용자들은 그러한 키 맵의 차이로 인해 삼성 전자에서 출시되는 이동통신 단말기를 사용하기에 상당한 어려움을 느낀다. 이는 그 반대의 경우도 마찬가지이다. 따라서 본 발명에서는 사용자의 편리성을 최대한 증대시키기 위해 각 제조사별로 사용되는 키 맵에 대한 정보를 키 맵 정보 저장부(104)에 저장하여 두고 사용자의 선택에 따라 사용자에게 익숙한 이동통신 단말기 제조사의 키 맵이 설정될 수 있도록 하여 사용자가 자신에게 편리한 키 맵을 선택할 수 있도록 한다.

또한 도 7 (b)를 참조하여 살펴보면 종 스크롤 형태로 각각의 메뉴가 디스플레이되고 있음을 알 수 있다. 이는 단지 EMG1신호 또는 EMG2신호의 입력만으로 사용자가 메뉴를 선택할 수 있도록 하기 위한 것이다. 이러한 메뉴 화면이 디스플레이되었을 경우 사용자가 우측 어금니를 깨뭄으로서 EMG1신호를 입력한다면 키 설정 커서(700)는 위쪽 방향으로 한 칸씩 이동하게 된다. 또한 사용자가 좌측 어금니를 깨뭄으로서 EMG2신호를 입력한다면 키 설정 커서(700)는 아래쪽 방향으로 한 칸씩 이동하게 된다. 그리고 사용자는 이동되는 키 설정 커서(700)를 육안으로 확인하면서 원하는 메뉴에 키 설정 커서가 이동되었을 경우 좌우측 어금니를 동시에 깨뭄으로써 EMG1신호와 EMG2신호를 동시에 입력하여 현재 키 설정 커서(700)에 해당되는 메뉴를 선택한다.

또한 현재 도 7 (b)에서는 종 스크롤 형태로 디스플레이되는 메뉴들을 그 예로 보이고 있으나, 이러한 메뉴를 횡 스크롤 형태로, 즉 가로 방향으로 펼쳐보이게 할 수도 있음은 물론이다. 이 경우 사용자가 우측 어금니를 깨물었을 경우에는 우측 방향으로 키 설정 커서(700)가 우측 방향으로, 그리고 사용자가 좌측 어금니를 깨물었을 경우에는 좌측 방향으로 키 설정 커서(700)가 좌측 방향으로 이동하게 할 수 있음은 물론이다. 따라서 사용자는 눈동자를 이동시키지 않고 단지 좌우측 어금니를 깨무는 동작만으로 키 설정 커서(700)를 이동시킴으로서 현재 디스플레이되는 메뉴들 중에서 원하는 메뉴를 선택할 수 있다.

도 8은 이러한 본 발명의 실시 예에 따른 이동통신 단말기에서 사용자가 입 력한 키를 인식하고, 그 키를 입력받는 과정을 도시하고 있는 흐름도이다. 도 8을 참조하여 살펴보면, 800단계에서 사용자가 가상화면 모드를 온 시킬 경우, 제어부(100)는 802단계로 진행하여 메모리부(102)로부터 사용자가 설정한 가상화면에 대한 정보를 로드한다. 여기서 '가상화면 모드 온'이라는 것은 사용자가 이동통신 단말기를 사용하기 위한 파워 스위치를 온 시키는 경우 또는 가상화면 모드가 전환되는 경우, 즉 사용자가 메뉴 중에서 문자 메시지를 작성할 수 있는 화면으로 전환되거나 또는 문자 메시지를 작성하는 화면에서 사용자가 호 착신 신호를 송신하기 위한 화면으로 전환되는 경우를 예로 들 수 있다. 또한 여기서 가상화면에 대한 정보라는 것은 디스플레이될 키 맵에 대한 형태 또는 종류에 대한 정보와 현재 디스플레이되고 있는 키 맵이 문자키 맵인지 숫자키 맵인지에 대한 정보를 포함한다. 예를 들어 사용자가 메뉴 화면에서 문자 메시지 메뉴(750)를 선택하였다면 가상화면 정보에는 디스플레이되는 키 맵이 문자키 맵이라는 정보가 포함된다.

그리고 802단계에서 가상화면에 대한 정보가 로드되면 제어부(100)는 804단계에서 상기 가상화면 정보에 따른 화면을 표시부(108)의 마이크로 디스플레이(110)를 통해 디스플레이한다. 또한, 제어부(100)는 805단로 진행하여 생체신호 측정 전에 생체신호를 받아들일 전극이 제대로 신체와 접촉되어 있는지 또는 전극 자체에 이상이 있는지 등의 이상 유무를 체크하게 된다. 이때 이상 발생시 전극 상태를 확인하라는 메시지(경고음, 또는 문자)를 보내게 된다. 그리고 제어부(200)는 806단계로 진행하여 사용자로부터 생체 신호, 즉 EMG신호와 EOG신호가 입력되었는지를 확인한다. 그리고 만약 사용자로부터 생체 신호가 입력되었다면 808단계로 진 행하여 사용자의 생체 신호에 따라 선택된 키를 인식한다. 그리고 키가 인식되면 810단계로 진행하여 사용자가 선택한 키 값을 입력받는다. 여기서 상기한 808단계의 사용자의 생체 신호에 따른 키 인식 과정은 도 9를 참조하여 자세히 설명하기로 한다. 또한 사용자의 생체 신호에 따라 인식된 키 값을 선택하는 과정은 도 10을 참조하여 자세히 설명하기로 한다.

한편 만약 상기한 806단계에서 생체 신호가 감지되지 않았다면 제어부(100)는 812단계로 진행하여 사용자가 가상화면 모드의 오프를 선택하였는지를 확인한다. 그리고 사용자가 가상화면 모드의 오프를 선택하였다면 현재 가상화면 모드를 종료한다. 그러나 이와는 달리 사용자가 만약 가상화면 모드의 오프를 선택하지 않았다면 제어부(100)는 다시 806단계로 진행하여 다시 사용자의 생체 신호가 감지되었는지를 체크하여, 사용자가 다시 키를 입력하였는지를 확인한다.

도 9는 상기한 도 8의 808단계인 감지된 신호에 따른 키 인식 동작 과정에 대한 상세한 흐름을 보이고 있는 도면이다. 도 9를 참조하여 살펴보면 900단계에서 제어부(100)는 디폴트로 설정되어 있는 위치에 키 설정 커서(700)를 설정한다. 그리고 902단계로 진행하여 사용자로부터 키 설정 커서(700)를 이동시키는 EOG신호가 입력되었는지를 체크한다. 그리고 만약 사용자에 의해 EOG신호가 입력되었다면 904단계에서 제어부(100)는 그 EOG신호를 인식하여 인식된 위치에 키 설정 커서(700)를 이동시킨다. 그리고 904단계에서 EOG신호에 따라 키 설정 커서가 이동되면 제어부(100)는 906단계로 진행하여 키 설정 커서가 메뉴 선택키(702)에 있는지를 확인한다. 그리고 만약 키 설정 커서(700)가 상기한 메뉴 선택키(702)에 위치하여 있지 않다면 제어부(100)는 910단계로 진행하여 EMG 입력부(132)로부터 '확인'을 의미하는 EMG신호, 즉 사용자가 좌측 어금니를 동시에 깨뭄으로서 입력되는 EMG1신호와 사용자가 우측 어금니를 동시에 깨뭄으로서 입력되는 EMG2신호가 동시에 발생하였는지를 확인한다. 그리고 EMG1신호와 EMG2신호가 동시에 입력되었다면 912단계로 진행하여 현재 키 설정 커서(700)가 설정된 키가 사용자로부터 선택되었음을 인식한다.

그러나 만약 상기한 910단계에서 사용자로부터 '확인' 신호가 입력되지 않았을 경우에는 다시 902단계로 진행하여 사용자로부터 EOG신호가 입력되었는지를 확인하고, 만약 입력되었다면 904단계로 진행하여 사용자가 입력한 EOG신호에 따라 키 설정 커서(700)를 이동시킨다. 그러나 만약 EOG신호가 입력되지 않았다면 다시 910단계로 진행하여 사용자로부터 '확인'신호가 입력되었는지를 체크한다.

한편, 상기한 906단계에서 현재 키 설정 커서(700)가 설정된 키가 메뉴 선택키(702)에 위치하여 있다면 제어부(100)는 908단계로 진행하여 사용자로부터 메뉴를 선택받게 된다. 이러한 메뉴 선택 과정은 도 10에서 자세히 설명하기로 한다. 그리고 제어부(100)는 912단계로 진행하여 현재 커서 위치에 해당되는 키가 선택되었음을 인식함으로써, 그 키에 따른 메뉴가 선택되었음을 인식한다.

도 10은 도 9의 908단계인 메뉴 선택 단계에서의 제어부(100)의 동작을 상세하게 보이고 있는 도면이다. 도 10을 참조하여 살펴보면, 908단계에서 사용자에 의해 메뉴 선택키에 키 설정 커서(700)가 위치하게 되면 제어부(100)는 1000단계에서 EMG 입력부(132)에서 사용자가 입력한 '확인'신호 즉, EMG1신호와 EMG2신호가 동시 에 입력되었는지를 체크한다. 그리고 '확인' 신호가 제어부(100)는 1001단계로 진행하여 현재 키 설정 커서(700)에 해당되는 메뉴 화면을 디스플레이한다. 여기서 디스플레이되는 메뉴 화면은 상기한 도 7 (b)와 같다. 그리고 1002단계로 진행하여 현재 디스플레이된 메뉴들 중에서 디폴트로 설정된 위치에 키 설정 커서(700)를 설정한다. 디스플레이된 메뉴들 중에서 어느 하나의 메뉴에 키 설정 커서(700)가 설정되면 제어부(100)는 1004단계로 진행하여 EMG 입력부(132)에서 사용자가 입력한 EMG신호가 입력되었는지를 체크한다. 그리고 만약 EMG신호가 입력되었다면 제어부(100)는 1006단계로 진행하여 입력된 EMG신호가 확인 신호인지 아닌지를 체크한다. 만약 상기한 1006단계에서 사용자로부터 EMG1신호 또는 EMG2신호가 어느 하나만 입력된다면 제어부(100)는 1008단계로 진행하여 현재 입력된 EMG신호에 따라 현재 디스플레이된 메뉴 화면에서 키 설정 커서(700)의 위치를 이동시킨다. 그리고 다시 1004단계에서 사용자로부터 EMG신호가 입력되었는지를 확인한다. 한편, 상기한 1000단계에서 만약 EMG 입력부(132)에서 사용자가 입력한 '확인'신호가 입력되지 않았을 경우에는 다시 도 9의 902단계로 진행하여 사용자로부터 EOG신호가 입력되었는지를 체크한다.

도 11은 상기한 도 8의 808단계에서 사용자로부터 선택된 키가 인식된 경우 그 키를 입력하는 과정을 보이고 있는 도면이다. 도 11을 참조하여 살펴보면 상기한 808단계에서 사용자로부터 선택된 특정 키가 인식되었을 경우 제어부(100)는 1100단계로 진행하여 현재 인식된 키가 특정 메뉴에 대응되는 키인지를 확인한다. 그리고 특정 메뉴에 대응되는 키일 경우에는 1114단계로 진행하여 해당키에 대응되 는 메뉴를 선택한다. 이러한 1110단계와 1114단계는 도 7 (b)에서 디스플레이된 메뉴에서 특정 메뉴를 사용자가 선택하였다면 그 메뉴에 따른 동작, 즉 예를 들어 일정 관리 메뉴를 선택하여 사용자의 일정을 기록하거나 하는 경우를 들 수 있다. 그리고 만약 현재 인식된 키가 특정 메뉴에 대응되는 키가 아닐 경우에는 제어부(100)는 1102단계로 진행하여 현재 디스플레이된 키 맵이 숫자키 맵인지를 확인한다. 그리고 만약 현재 디스플레이된 키 맵이 숫자키 맵일 경우에는 1112단계로 진행하여 해당키에 대응되는 숫자키를 입력한다.

한편, 상기 1102단계에서 현재 디스플레이된 키 맵이 숫자키 맵이 아닐 경우에 제어부(100)는 현재 디스플레이되고 있는 키 맵이 영문 또는 국문의 문자키 맵임을 인지하고, 1104단계로 진행하여 상기 키 인식 단계에서 선택된 키에 해당되는 적어도 하나 이상의 키 값들을 로드한다. 그리고 사용자로부터 EMG신호가 입력되었는지를 확인한다. 그리고 사용자로부터 EMG신호가 입력되었다면 1106단계로 진행하여 현재 입력된 신호가 '확인'신호인지를 확인한다. 여기서 '확인'신호라는 것은 EMG1신호와 EMG2신호가 동시에 입력되는 것을 말한다. 그리고 만약 1106단계에서 '확인'신호가 입력되지 않았다면 입력된 EMG신호, 즉, 입력된 EMG신호가 EMG1신호인지 EMG2신호인지를 확인한다. 그리고 확인된 EMG신호에 따라서 문자 선택커서를 이동한다.

여기서 문자 선택 커서라는 것은 적어도 하나 이상의 문자가 하나의 문자키에 해당되는 문자키에서 사용자가 선택한 어느 하나의 문자를 표시하기 위한 커서를 말한다. 물론 본 발명의 실시 예와 같은 경우 문자 선택을 위한 키 맵을 따로 구비하고 이를 이용하던지, 아니면 숫자키만이 따로 설정되어 있는 키 맵을 구비하고 이를 로드함으로써 하나의 키에 단지 하나의 키 입력을 설정하여 둘 수도 있다. 그러나 문자의 경우 각각의 문자마다 하나씩의 키가 대응되게 설정한다면 그에 대응되는 다수의 키를 더 구비하여야 하므로 키 맵이 너무 복잡해지게 된다. 따라서 하나의 문자키에 복수 개의 문자가 대응되도록 설정하는 것이 일반적인데, 이는 본 발명의 실시 예에서도 유사하게 적용되기 때문에 이러한 문자 선택 커서를 이동함으로써 하나의 문자키에 설정되어 있는 다수의 문자들 중에서 사용자가 선택한 어느 하나의 문자를 육안으로 확인하고 이를 입력하기 위한 것이다.

한편 상기한 1106단계에서 사용자로부터 입력된 EMG신호가 '확인'신호인 경우에는 제어부(100)는 1110단계로 진행하여 해당 문자 선택 커서에 대응되는 문자를 입력한다.

도 12는 상술한 도 11에서 보인 문자 선택 커서에 대응되는 문자를 입력하는 과정을 보이는 예를 보이고 있는 도면이다. 도 12의 (a)는 사용자가 키 맵에서 어느 하나의 키를 선택한 경우를 보이고 있으며, 도 12의 (b)는 사용자가 선택한 키 맵의 문자중 어느 하나를 선택하는 과정을 보이고 있는 도면이다. 도 12의 (a)와 (b)를 참조하여 살펴보면, 도 12의 (a)에서 사용자가 선택한 키에는 'G', 'H', 'I'의 3가지 문자가 선택되어 있음을 알 수 있다. 그리고 미리보기창(712)에는, 아직 사용자가 EMG신호를 입력하지 않음으로서 EMG2신호와 대응되는 '좌' 문자 선택키(714)나 EMG1신호와 대응되는 '우'문자 선택키(716) 중 어느 하나도 선택하지 않은 경우를 보이고 있다. 이에 따라 상기 사용자가 선택한 키 중에서 디폴트로 설정되 어 있는 문자 'G'가 미리보기창(712)에 디스플레이된다.

도 12의 (b)는 상기 도 12의 (a)의 상태에서 사용자가 EMG2신호를 연속 2회 입력하여 '우' 문자 선택키(716)를 2회 선택한 경우의 예를 보이고 있는 도면이다. 이에 따라서 사용자가 선택한 키 'G', 'H', 'I'에서 디폴트로 설정되어 있는 'G'에서 문자 선택 커서가 'H', 'I'로 2회 이동하여 최종적으로 문자 'I'가 선택된 모습을 보이고 있는 화면이다. 이러한 상태에서 사용자는 '확인' 신호, 즉 EMG1신호와 EMG2신호를 동시에 입력하기 전까지 얼마든지 자신이 선택한 키에서 문자 선택 커서를 이동함으로서 자신이 원하는 문자를 입력할 수 있다. 따라서 본 발명의 실시 예에 따른 이동통신 단말기의 문자 입력 방법에서는 사용자가 자신의 양손을 전혀 사용하지 않고도 자신이 원하는 문자를 입력할 수 있다.

따라서 본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하며, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 그러므로 본 발명의 실시 예에 따른 이동통신 단말기는 사용자의 눈동자의 움직임에 따라서 발생하는 EOG신호와 사용자가 좌우측의 어금니를 깨뭄으로서 발생하는 EMG신호를 이용하여 사용자가 양손을 전혀 사용하지 않고도 HMD가 구비된 이동통신 단말기를 자유롭게 사용할 수 있다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 사용자의 EOG신호와 EMG신호를 이용하는 것만을 예로 들어 설명하였으나 이러한 센서들을 이용하여 사용자의 뇌파(Electroencephalogram : EEG)를 감지하여 사용자의 심리적 상태를 디스플레이 화면에 반영하여 사용자의 심리 상태에 맞는 화면을 디스플레이하게 할 수도 있음은 물론이다. 이러한 EEG는 일반적으로 알파파와 베타파의 분석을 통해 집중도와 안전도, 유쾌함 또는 불쾌함, 긴장 또는 이완, 흥분 또는 침체 등의 사용자의 심리 상태를 분석해 낼 수 있다.

이러한 EEG를 감지하기 위한 장치 역시 본 발명의 실시 예에 따른 이동통신 단말기의 구성에 포함시킬 수 있는데, 도 13은 바로 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 구성에 포함이 가능한 사용자의 EEG를 감지하기 위한 장치의 예를 도시한 도면이다. 도 13을 참조하여 살펴보면, 이러한 사용자의 EEG는 본 발명의 실시 예에 따른 전면 감지부(200)의 센서들 중 사용자의 좌측 이마에 밀착되는 센서(이하 좌측 이마 감지부라고 한다)와 사용자의 우측 이마에 밀착되는 센서(이하 우측 이마 감지부라고 한다), 그리고 기준전압 발생부(134)를 이용하여 감지될 수 있다. 사용자의 우측 이마 부분으로부터 발생되는 전압을 감지하는 우측 이마 감지부(1300)에서 감지하면, 감지된 전압(이하 EEG1 전압이라 한다)은 EEG1 전위차 검출부(1302)에서 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EEG1 전압과 상기 기준 전압의 전위차를 검출한다. 그리고 EEG1 HPF(1304)에서는 상기 EEG1 전위차 검출부(1302)로부터 입력되는 전위차를 EEG1신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거한다. 그리고 EEG1 증 폭부(1306)에서는 이러한 직류 성분의 노이즈가 제거된 EEG1신호를 입력받아서 이를 증폭한다. 그리고 EEG1 LPF(1308)에서는 증폭된 상기 EEG1신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EEG1신호만을 추출한다. 그리고 추출된 EEG1신호를 EEG신호 검출부(1320)에 입력한다.

그리고 사용자의 좌측 이마 부분으로부터 발생되는 전압을 감지하는 좌측 이마 감지부(1310)에서 감지하면, 감지된 전압(이하 EEG2 전압이라 한다)은 EEG2 전위차 검출부(1312)에서 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EEG2 전압과 상기 기준 전압의 전위차를 검출한다. 그리고 EEG2 HPF(1314)에서는 상기 EEG2 전위차 검출부(1312)로부터 입력되는 전위차를 EEG2신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거한다. 그리고 EEG2 증폭부(1316)에서는 이러한 직류 성분의 노이즈가 제거된 EEG2신호를 입력받아서 이를 증폭한다. 그리고 EEG2 LPF(1318)에서는 증폭된 상기 EEG2신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EEG2신호만을 추출한다. 그리고 추출된 EEG1신호를 EEG신호 검출부(1320)에 입력한다. 그리고 EEG신호 검출부에서는 EEG1신호와 EEG2신호를 비교하여 두 신호의 상관도와 주파수를 분석한다. 그리고 두 신호의 상관도가 높을수록 사용자의 상태가 집중 상태에 있다는 신호를 인식부(126)에 입력하고, 두 신호의 주파수 분석 결과가 Fast 알파파가 발현되는 경우에는 현재 연산 작업등의 학습 중이라는 신호를, 그리고 Slow 알파파가 발현되는 경우에는 현재 명상 및 안정 상태에 있다는 신호를 인식부(126)에 입력한다. 즉, EEG1신호와 EEG2신호에 따라 사용자가 현재 안정 상태에 있는지 또는 집중 상태에 있는지를 분석하여, 이러한 사용자의 정신 상태에 맞는 디스플레이 화면을 제공하게끔 할 수도 있다.

아울러 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 HMD 이동통신 단말기를 예로 들어 설명하였으나 이는 단지 설명의 편의를 돕기 위한 예로 든 것으로서, 본 발명은 이동통신 단말기 뿐 아니라 모든 휴대용 정보 단말기에 사용될 수 있음이 물론이다. 또한 본 발명의 실시 예에서는 고글 형태를 그 예로 들었으나 본 발명은 이러한 형태에 국한되는 것인 아니라, 본 발명의 실시 예에 따른 제어부 또는 메모리부등의 구성 요소가 충분히 작아질 경우 고글 형태가 아닌 일반 안경과 같은 형태에도 적용 가능함은 당연하다. 또한 상술하였던 바와 같이 외부 인터페이스부를 통해 확장 메모리나 배터리 등을 장착함으로써 그 성능을 더욱 향상시킬 수도 있음은 물론이다. 즉, MP3 곡등이 저장된 메모리 팩을 이 외부 인터페이스부에 연결하여 사용자가 본 발명의 실시 예에 따른 정보 단말기에서 사용자가 MP3를 감상할 수도 있으며, 이 외부 인터페이스를 노트북 PC(Personal Computer), POST PC등과 연결하여 마이크로 디스플레이에서 디스플레이되는 키들 중 사용자의 움직임에 따라서 선택되는 키 입력을 입력하도록 할 수도 있음은 물론이다. 따라서 발명의 범위는 설명된 실시 예에 의해 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정하여져야 한다.

본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기 창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 이에 따라 사용자는 단지 눈의 움직임과 양쪽 어금니를 깨무는 움직임만으로 HMD 정보 단말기에 자신이 원하는 키를 입력할 수 있으므로, HMD 정보 단말기의 사용 시에 양손이 완전히 자유로울 수 있다.

Claims

HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에 있어서,

가상 화면을 표시하는 마이크로 디스플레이와,

상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부를 구비한 메모리부와,

상기 사용자의 얼굴에서 발생되는 전압을 포함하는 생체 신호를 감지하기 위한 생체 신호 감지부와,

상기 감지된 생체 신호를 인식하고, 인식된 생체 신호에 따른 키 정보를 인식하는 인식부와,

상기 생체 신호에 따른 키 정보를, 특정 키의 입력으로 인식하는 제어부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 생체 신호는,

사용자의 눈동자의 움직임에 따라 발생하는 전압인 안전도(Electrooculogram : EOG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 생체 신호는,

사용자가 좌측 또는 우측의 어금니를 무는 동작으로 발생하는 근전도Electromyogram : EMG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 생체 신호는,

상기 사용자의 정신적 안정 상태 또는 집중 상태 중 어느 한 가지 이상의 정신적 상태에 따라 발생하는 뇌파(Electroencephalogram : EEG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제2항에 있어서, 상기 생체 신호 감지부는,

상기 안전도의 전위차에 따라 특정 키를 선택하기 위한 상기 사용자의 입력으로 인식하는 EOG 입력부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제3항에 있어서, 상기 생체 신호 감지부는,

상기 근전도의 전위차에 따라 상기 사용자에 의해 선택된 특정 키를 상기 제어부에 입력시키기 위한 EMG 입력부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제5항 또는 제6항에 있어서, 상기 생체 신호 감지부는,

상기 EOG 입력부와, 상기 EMG 입력부를 모두 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제7항에 있어서, 생체 신호 감지부는,

상기 사용자의 뇌파를 입력받아, 상기 사용자의 정신적 안정 상태 또는 사용자의 집중 상태를 포함하는 사용자의 정신 상태 중 어느 한 가지 이상의 정신 상태를 분석하는 EEG 감지부를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항 또는 제8항에 있어서, 상기 제어부는,

상기 EEG 감지부에서 분석된 상기 사용자의 정신적 안정 상태와 집중 상태에 따라 상기 가상 화면의 배경색을 변화시키는 것을 특징으로 하는 HMD 정보 단말기 에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 생체 신호 감지부는,

상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센서들과 상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들을 포함하는 전면 감지부와,

상기 사용자의 좌측 관자놀이 부분에서 발생하는 전압을 감지할 수 있는 좌측 측면 감지부와,

상기 사용자의 우측 관자놀이 부분에서 발생하는 전압을 감지할 수 있는 우측 측면 감지부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 HMD 정보 단말기는,

글라스(Glass)의 테 부분이 상기 사용자의 이마에 밀착되는 고글(Goggle) 형태를 가지고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제7항 또는 제11항에 있어서, 상기 전면 감지부는,

상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센서들이 상기 고글 형태의 HMD 정보 단말기의 코걸이 부분에 위치하고,

상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들이 상기 고글 형태의 HMD 정보 단말기의 글라스(Glass) 테 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제7항 또는 제11항에 있어서, 상기 좌측 측면 감지부는,

상기 고글 형태의 HMD 정보 단말기의 좌측 걸이 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제7항 또는 제11항에 있어서, 상기 우측 측면 감지부는,

상기 고글 형태의 HMD 정보 단말기의 우측 걸이 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제13항 또는 제14항에 있어서, 상기 EMG 입력부는,

상기 좌측 측면 감지부로부터 상기 사용자의 좌측 관자놀이 근육의 전압을 감지하는 좌측 EMG 감지부와,

상기 좌측 관자놀이 근육의 전압을 입력받아서 좌측 EMG신호를 검출하는 좌측 EMG 전위차 검출부와,

상기 우측 측면 감지부로부터 상기 사용자의 우측 관자놀이 근육의 전압을 감지하는 우측 EMG 감지부와,

상기 우측 관자놀이 근육의 전압을 입력받아서 우측 EMG신호를 검출하는 우측 EMG 전위차 검출부와,

상기 입력된 좌측 EMG신호와 우측 EMG신호에 따른 EMG 검출 신호를 상기 인식부에 출력하는 EMG 신호 검출부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제15항에 있어서, 상기 EMG 검출 신호는,

상기 좌측 EMG신호만 입력되었을 경우와, 상기 우측 EMG신호만 입력되었을 경우 또는 상기 좌우측 EMG신호가 모두 입력되었을 경우에 서로 다른 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제5항에 있어서, 상기 EOG 입력부는,

상기 전면 감지부와 상기 좌측 측면 감지부, 그리고 상기 우측 측면 감지부 로부터 감지된 전압들을 입력받아서, EOG신호들을 검출하는 EOG 검출부와,

상기 검출된 EOG신호들에 따라 상기 사용자의 시선이 향하고 있는 위치 정보를 인식하는 EOG 인식부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 키 정보 저장부는,

이동통신 단말기 제조사들마다 각기 다른 키 입력 방식에 따른 키 맵 정보를 적어도 하나 이상 저장하고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서, 상기 키 정보 저장부는,

원형으로 키가 배열되어 있는 키 맵 정보를 저장하고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제1항에 있어서,

외부로부터 확장 메모리 또는 확장 배터리 중 어느 하나와 연결될 수 있는 외부 인터페이스부를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
제20항에 있어서, 상기 외부 인터페이스부는,

노트북 PC(Personal Computer) 또는 POST PC(Personal Computer)에 연결되어 상기 생체 신호 감지부와 상기 인식부를 통해 입력되는 사용자의 생체 신호에 따른 키 입력을 입력할 수도 있음을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에 있어서,

가상 화면 정보를 로드하는 가상 화면 로드 단계와,

상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와,

상기 사용자의 안면으로부터 발생하는 생체신호를 입력받는 전극의 상태를 체크하는 생체센서 체크 단계와,

상기 생체 신호를 감지하는 단계와,

상기 감지된 생체신호에 따른 키를 인식하는 키 인식 단계와,

상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제22항에 있어서, 상기 가상 화면 정보는,

상기 사용자의 선택에 따라 설정된 키 맵의 종류와 형태에 대한 정보를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제23항에 있어서, 생체센서 체크 단계는,

상기 생체신호를 입력받는 전극이 신체와 접촉되어 있는지를 체크하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제23항에 있어서, 생체센서 체크 단계는,

상기 생체신호를 입력받는 전극이 정상적으로 작동하지 않을 경우 이를 메시지 또는 경고음 중 어느 하나로 사용자에게 알리는 생체센서 오류 알림 단계를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제22항에 있어서, 상기 생체 신호는,

사용자의 눈동자의 움직임에 따라 발생하는 전압인 안전도(Electrooculogram : EOG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제22항에 있어서, 상기 생체 신호는,

사용자가 좌측 또는 우측의 어금니를 무는 동작으로 발생하는 근전도Electromyogram : EMG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제26항 또는 제27항에 있어서, 상기 생체 신호는,

상기 근전도와 상기 안전도를 모두 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제26항에 있어서, 상기 안전도는,

상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센 서들과, 상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들과, 상기 사용자의 좌우측 관자놀이에서 발생하는 전압을 감지할 수 있는 센서들 각각으로부터 감지된 전압들과 특정 기준 전압과의 전위차들인 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제29항에 있어서, 상기 커서 이동 단계는,

상기 입력된 안전도에 따라 인식된 위치를, 상기 센서들로부터 감지된 전압을 하기 <수학식 3>에 대입하여 산출되는 수평 좌표값과, 하기 <수학식 4>에 대입하여 산출되는 수직 좌표값에 따라 결정하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.

수평 좌표값 = (V1 + V4) - (V3 + V6)

수직 좌표값 = (V2 + V5) - (V3 + V4)

여기서, V1은 상기 사용자의 우측 관자놀이에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,

V2는 상기 사용자의 우측 이마에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,

V3는 상기 사용자의 우측 코 윗부분에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,

V4는 상기 사용자의 좌측 관자놀이에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,

V5는 상기 사용자의 좌측 이마에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,

V6은 상기 사용자의 좌측 코 윗부분에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차임을 의미함.
제28항에 있어서, 상기 키 인식 단계는,

상기 사용자로부터 상기 안전도를 입력받는 안전도 입력 단계와,

상기 입력된 안전도에 따라 인식된 위치로 커서를 이동시키는 커서 이동 단계와,

상기 사용자로부터 상기 근전도를 입력받는 근전도 입력 단계와,

상기 입력받은 근전도에 따라 현재 커서 위치에 해당되는 키가 선택되었음을 인식하는 키 인식 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제31항에 있어서, 상기 커서 이동 단계는,

상기 커서가 메뉴를 선택할 수 있는 화면을 디스플레이하기 위한 메뉴 선택키에 위치하고 있는지를 체크하는 커서 위치 확인 단계와,

상기 커서가 메뉴 선택키에 위치하고 있는 경우, 상기 사용자로부터 상기 근전도를 입력받는 메뉴 선택 근전도 입력 단계와,

상기 입력받은 근전도에 따라 상기 사용자가 선택한 메뉴를 인식하는 메뉴 인식 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제32항에 있어서, 상기 메뉴 인식 단계는,

상기 사용자가 입력한 근전도가, 상기 좌측 어금니와 상기 우측 어금니 중 어느 하나만을 깨물었을 경우, 상기 사용자가 깨문 어금니에 설정되어 있는 커서 이동 방향으로 상기 커서가 이동하여 다른 메뉴에 설정되는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제32항에 있어서, 상기 메뉴 인식 단계는,

상기 사용자가 입력한 근전도가, 상기 좌측 어금니와 상기 우측 어금니를 상기 사용자가 동시에 깨문 경우에 발생하는 근전도인 경우, 현재 커서가 설정된 메뉴가 상기 사용자에 의해 선택되었음을 인식하는 것을 특징으로 하는 HMD 정보 단 말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제28항에 있어서, 상기 키 입력 단계는,

상기 키 인식 단계에서 선택된 키에 해당되는 적어도 하나 이상의 키 값들을 로드하는 키 로드 단계와,

상기 사용자로부터 상기 키 값들 중 어느 하나를 선택하기 상기 근전도가 입력되었는지를 체크하는 문자 선택 근전도 입력 단계와,

상기 입력된 근전도에 따른 키 값을 상기 사용자가 선택한 키 입력으로서 입력받는 문자 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제35항에 있어서, 상기 문자 입력 단계는,

상기 키 값들 중 어느 하나에 설정되는 문자 선택 커서를 상기 근전도에 따라 설정하는 문자 선택 커서 설정 단계와,

상기 문자 선택 커서가 설정된 키를 상기 사용자가 선택한 키 입력으로서 입력받는 문자 선택 커서 입력 단계를 구비하는 것을 특징으로 하는HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제36항에 있어서, 상기 문자 선택 커서 설정 단계는,

상기 사용자가 상기 좌측 어금니를 깨문 경우에 발생하는 근전도가 입력되었을 경우에는 상기 문자 선택 커서를 좌측으로 이동하고, 상기 사용자가 상기 우측 어금니를 깨문 경우에 발생하는 근전도가 입력되었을 경우에는 상기 문자 선택 커서를 우측으로 이동하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
제36항에 있어서, 상기 문자 선택 커서 입력 단계는,

상기 사용자가 상기 좌측 어금니와 상기 우측 어금니를 동시에 깨문 경우에 발생하는 근전도가 발생하였을 경우, 현재 상기 문자 선택 커서가 설정되어 있는 키를 상기 사용자가 선택한 키 입력으로서 입력받는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.