[go: up one dir, main page]

KR20110052270A - 근접 터치 동작 감지 장치 및 방법 - Google Patents

근접 터치 동작 감지 장치 및 방법 Download PDF

Info

Publication number
KR20110052270A
KR20110052270A KR1020090109236A KR20090109236A KR20110052270A KR 20110052270 A KR20110052270 A KR 20110052270A KR 1020090109236 A KR1020090109236 A KR 1020090109236A KR 20090109236 A KR20090109236 A KR 20090109236A KR 20110052270 A KR20110052270 A KR 20110052270A
Authority
KR
South Korea
Prior art keywords
sensing
proximity touch
touch
information
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020090109236A
Other languages
English (en)
Other versions
KR101639383B1 (ko
Inventor
이현정
박준아
욱 장
한승주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090109236A priority Critical patent/KR101639383B1/ko
Priority to EP10190132.0A priority patent/EP2323023A3/en
Priority to US12/926,369 priority patent/US20110109577A1/en
Publication of KR20110052270A publication Critical patent/KR20110052270A/ko
Application granted granted Critical
Publication of KR101639383B1 publication Critical patent/KR101639383B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

근접 터치 동작 감지 장치는 사용자가 일상생활에서 사용하는 제스처를 효과적으로 인식하고, 인식된 제스처에 대응하는 기능을 실행한다. 근접 터치 동작 감지 장치는 객체의 근접 터치를 감지하여 감지 신호를 생성한다. 근접 터치 동작 감지 장치는 감지 신호를 이용하여 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성하고, 감지 정보를 추적하여 추적 정보를 생성한다. 근접 터치 동작 감지 장치는 추적 정보에 대응하는 제스처를 저장부에서 검색하여 제스처를 인식하고, 인식된 제스처에 대응하는 기능을 실행한다. 근접 터치 동작 감지 장치는 감지 정보를 추적하여 생성된 추적 정보에 대응하는 제스처 정보를 저장하는 저장부를 포함할 수 있다.
근접 감지, 제스처, 사용자 인터페이스, 정전용량, 터치

Description

근접 터치 동작 감지 장치 및 방법{Apparatus for sensing proximity touch operation and method thereof}
사용자의 제스처 감지 기술에 관한 것으로, 더욱 상세하게는, 사용자의 비접촉 상태의 근접 터치 동작에 대응하는 기능을 실행할 수 있는 근접 터치 동작 감지 장치 및 방법에 관한 것이다.
터치 스크린은 손가락이나 펜으로 디스플레이를 직접 터치하여 쉽게 인터랙션이 가능한 디바이스로, 소형 모바일 제품 및 대형 및/또는 고정형 제품등에 활용되고 있다. 그 응용 분야 또한, 휴대폰, 게임기, 현금 자동 지급기, 모니터, 가전, 대형 광고 디스플레이(Digital Information Display) 등으로 다양하다.
최근에는, 손가락 및 펜의 동시 입력, 압력 감지 등 다양한 터치 감지 기능에 관한 연구뿐만 아니라, 검출대상 물체가 터치 패널에 근접하는 것을 검출하는 근접 센서를 이용한 사용자 인터페이스에 대한 연구가 진행되고 있다.
사용자가 일상생활에서 사용하는 제스처를 효과적으로 인식하고, 인식된 제 스처에 대응하는 기능을 실행할 수 있는 근접 터리 동작 감지 장치 및 방법이 제공된다.
일 측면에 따른 근접 터치 동작 감지 장치는 감지부, 제어부 및 저장부를 포함할 수 있다. 감지부는 객체의 근접 터치를 감지하여 감지 신호를 생성한다. 제어부는 감지 신호를 이용하여 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성하고, 감지 정보를 추적하여 추적 정보를 생성하고, 추적 정보에 대응하는 제스처를 저장부에서 검색하여 제스처를 인식하고, 인식된 제스처에 대응하는 기능을 실행한다. 저장부는 감지 정보를 추적하여 생성된 추적 정보에 대응하는 제스처 정보를 저장한다.
다른 측면에 따른 근접 터치 동작 감지 방법은, 객체의 근접 터치를 감지하여 감지 신호를 생성하는 동작과, 감지 신호를 이용하여 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성하는 동작과, 감지 정보를 추적하여 추적 정보를 생성하는 동작과, 추적 정보에 대응하는 제스처 정보를 저장하는 저장부를 검색하여 추적 정보에 대응하는 제스처를 인식하는 동작과, 인식된 제스처에 대응하는 기능을 실행하는 동작을 포함한다.
공간을 활용한 근접 터치 동작을 인식하여, 일상 생활에서 사용하는 동작을 근접 터치 동작 감지 장치에 대한 사용자 입력 동작으로 적용할 수 있다. 근접 터치 동작 감지 장치에 대한 조작시 화면의 포인터의 조작을 근접 터치 동작 감지 장 치에 대한 깊이 정보를 이용하여 구별된 공간마다 정의하여, 근접 터치 동작으로 화면의 포인터를 용이하게 조작할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 근접 터치 동작 감지 장치의 구성의 일 예를 나타내는 도면이다.
근접 터치 동작 감지 장치(100)는 감지부(110), 제어부(120), 저장부(130) 및 표시부(140)를 포함할 수 있다. 근접 터치 동작 감지 장치(100)는 개인용 컴퓨터, 고정형 디스플레이 장치, 휴대 전화, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 디지털 방송 수신 장치, 네비게이션 등 다양한 고정형 또는 이동형 장치에 구현될 수 있다.
감지부(110)는 근접 객체의 근접 상태를 감지하여 감지 신호를 생성한다. 객체는 인체의 일부 및 스타일러스펜 등 근접 터치에 이용되는 다양한 물체를 포함할 수 있다. 제어부(120)는 근접 터치 동작 감지 장치(100)에 포함된 감지부(110), 저장부(130) 및 표시부(140)의 동작을 제어하도록 구성될 수 있다. 저장부(130)는 근접 터치 동작 감지 장치(100)의 동작에 필요한 운영체제, 각종 애플리 케이션, 데이터 및 근접 터치 및 일반적인 접촉 터치를 인식하는데 필요한 정보를 저장할 수 있다. 표시부(140)는 제어부(120)에서 제공하는 표시 정보를 표시한다. 표시부(140)는 인식된 제스처에 따라 근접 터치 동작 감지 장치(100)가 실행하는 동작 과정 및/또는 동작의 결과를 표시할 수 있다.
감지부(110)는 초음파 센서, 정전용량 방식의 터치 센서, 이미지 센서 등을 포함할 수 있다. 감지부(110)는 객체의 접촉 동작을 감지하는 접촉 동작 모드 및 객체의 비접촉 상태의 근접 터치 동작을 감지하는 근접 터치 모드 동작에서 동작되도록 구성될 수 있다. 근접 터치 센싱 방법은 초음파 센서를 스크린 에지의 여러 위치에 장착하는 방식, 적외선 방식, 멀티 포인팅용 커패시티브 터치 센서를 사용하는 방식, 화면 위를 촬영하는 이미지 센서 방식, 정전용량 방식 등의 기존에 알려진 여러 기술들을 적용할 수 있다.
일 예로, 적외선 방식은 적외선 LED를 이용하여 적외선을 방사하고, 감지 대상에 맞고 돌아오는 적외선 반사광의 양 또는 반사광이 집중되는 위치를 측정하여 거리를 측정하는 방식이다. 반사량은 거리 제곱에 반비례하므로, 반사량이 많으면, 센서와 물체와의 거리는 가까운 것이고, 반사량이 적으면, 거리는 멀리 떨어져 있는 것으로 판단될 수 있다. 다른 예로, 정전용량 방식은 터치를 감지하는 센서들을 가로 세로로 교차시키고, 가로 세로에 순차적으로 전압을 인가하고, 센서에는 전하가 유도되어 전류가 흐르게 된다. 사람의 손은 전하를 끌어가는 역하를 수행하므로, 손가락이 교차점에 접촉되면, 손실된 전하만큼 전류가 감소하게 되므로, 이에 따라 접촉 지점을 인식할 수 있다.
일 실시예에 따른 감지부(110)는 정전용량 방식의 터치 센서의 구조를 이용하여 근접 터치 동작 모드 및 접촉 동작 모드를 시분할적으로 수행하도록 구현될 수 있다. 근접 터치 동작 모드 및 접촉 동작 모드를 시분할적으로 수행하는 감지부(110)의 구성의 일 예에 대해서는 후술한다.
제어부(120)는 감지 제어부(122), 동작 인식부(124) 및 기능 실행부(126)를 포함할 수 있다.
감지 제어부(122)는 감지부(110)의 동작을 제어하고, 감지부(110)로부터 수신되는 감지 신호를 동작 인식부(124)에 전달할 수 있다.
동작 인식부(124)는 감지부(110)에서 처리된 감지 신호를 일정시간 누적하여 관리함으로써 추적 정보를 생성하고, 추적 정보에 대응하는 제스처를 저장부(130)에서 검색하여 제스처를 인식할 수 있다. 추적 정보는, 감지부(110)에서 생성된 감지 신호를 추적하여 생성되는 한 그 종류나 형태에는 제한이 없다. 예를 들어, 추적 정보는, 감지부(110)의 근접 터치를 수행하는 객체의 감지 신호를 이용하여 형성된 2차원 또는 3차원 이미지 정보일 수 있다. 또는, 추적 정보는 적어도 하나의 감지 위치에 대한 정전용량 정보의 변화를 나타내는 정보 및 복수 개의 감지 위치에 대한 중심 감지 위치의 변화를 나타내는 정보, 근접 터치의 접근 방향 및/또는 접근 방향의 변화, 근접 터치의 면적의 변화를 나타내는 정보를 포함할 수 있다.
저장부(130)는 미리 설정된 제스처에 대응하는 추적 정보를 저장할 수 있다. 추적 정보는 후술하는 바와 같이, 근접 터치의 접근 방향에 따라 구별되는 기본 제 스처 정보 및 사용자의 일상적인 제스처를 인식하는데 이용되는 자연 제스처 정보를 포함할 수 있다. 동작 인식부(124)는 저장부(130)에 저장된 정보를 이용하여 근접 터치를 수행하는 감지 대상의 제스처를 식별할 수 있다. 기능 실행부(126)는 인식된 제스처에 대응하는 기능을 실행할 수 있다.
동작 인식부(124)는 감지부(110)로부터 수신된 감지 신호를 이용하여, 제스처의 종류를 결정할 수 있다. 동작 인식부(124)는 감지 신호를 처리하여 소정의 감지 기간 동안 감지된 근접 포인트의 개수, 각 근접 포인트의 3차원 위치 정보, 객체의 z-레벨 정보, 근접 객체의 면적 정보 및 근접 객체에 대한 정전용량 분포 정보 중 적어도 하나를 포함하는 감지 정보를 생성할 수 있다.
3차원 위치 정보는 감지부(110)의 평면상의 위치(x, y) 및 감지부(110)로부터의 수직 거리(z)를 나타낸다. 예를 들어, 감지부(110)가 터치 패널인 경우, (x, y)는 터치 패널 평면상의 위치를 나타내고, 수직 거리(z)는 터치 패널로부터의 수직 거리일 수 있다. 수직 거리(z)는 깊이 정보로 부르고, 화면 위에서의 위치근접 객체에 대한 정전용량의 분포 정보는 세기(strength) 정보라 부를 수 있다. z-레벨 정보는 감지부(110)로부터의 수직 거리에 따라서 1, 2, 내지 k 단계로 정의될 수 있다. z축 레벨 정보는 수직 거리에 따라 구별되는 공간에 따라서 공간의 기능을 차별화하는데 이용될 수 있다.
동작 인식부(124)는 근접 터치 동작이 하나의 손가락을 이용한 1 핑거 제스처인지, 2개의 손가락을 이용한 2 핑거 제스처인지, 1 포인트, 2 포인트, 멀티 핑거, 손바닥의 유무 등을 인식할 수 있다. 또한, 동작 인식부(124)는 일정 기간 동 안의 감지 정보를 추적하여 추적 정보를 생성할 수 있다. 이를 통해, 동작 인식부(124)는 감지된 객체의 근접 방향, 면적, 위치, 수직 거리(z)의 변화, 정전용량의 분포 변화 등을 인식할 수 있다.
동작 인식부(124)는 전술한 다양한 방법을 이용하여 객체의 움직임으로부터 의미 있는 동작을 추출할 수 있다. 이를 위해, 동작 인식부(124)는 미리 정의된 추적 정보에 대응하는 제스처 정보를 바탕으로 인식된 동작을 식별할 수 있다. 동작 인식부(124)는 추적 정보에 대응하는 제스처 정보를 저장하는 저장부(130)를 검색하여 근접 터치 동작의 제스처를 식별할 수 있다.
기능 실행부(126)는 다양한 애플리케이션이 실행가능한 프로세서로 구성될 수 있다. 기능 실행부(126)에서 실행되는 애플리케이션은 멀티미디어 재생 애플리케이션, 지도 검색 애플리케이션, 3차원 형상 모델링 애플리케이션 등 다양할 수 있다. 일 예로, 근접 터치 동작 감지 장치(100)가 감지부(110)가 근접 터치 동작 감지 장치(100)의 수화기 부분에 설치되어 있는 모바일 전화이고, 전화 수신 모드에서 동작하고, 사용자가 근접 터치 동작 감지 장치(100)를 귀에 갖다댐에 따라, 수화기의 음량이 작아지도록 조절될 수 있다.
도 2를 참조하여 z축 레벨 정보에 따른 공간 기능 차별화의 일 예를 설명한다.
도 2는 근접 거리에 따른 공간 정의의 일 예를 나타내는 도면이다.
근접 터치 동작은 객체의 3차원 공간상의 움직임이므로, 사용자 입력 정보로 이용할 때 입력의 정확성이 문제될 수 있다. 일 실시예에 따르면, 감지부(110)로 부터 미리 설정된 z축 거리 사이의 공간은 감지부(110)로부터의 거리가 먼 순서대로 포인터 이동 공간(pointer hovering space; 210), 포인터 고정 공간(pointer freeze space; 220) 및 기능 실행 공간(execution space; 230)으로 수평적으로 분할되고, 분할된 공간별로 근접 터치 동작이 화면상의 포인터에 반영될 때, 포인터와 관련된 실행 동작이 달라질 수 있다.
포인터 이동 공간(210)에서의 근접 터치 동작은 손가락의 이동을 화면상의 포인터의 이동으로 반영한다. 포인터 고정 공간(220)에서는 손가락이 근접하여 포인터 이동 공간에서 포인터 고정 공간으로 변경되는 순간, 그 순간의 포인터의 위치가 화면상에서 고정된다. 따라서, 포인터 고정 공간(220)에 포인터가 고정된 뒤에 포인터 이동 공간에서, 손가락이 움직이더라도, 포인터는 화면상에 고정된 상태로 있게 된다.
이 상태에서, 손가락이 포인터 실행 공간(230)에 있는 것으로 감지되면, 포인터에 해당하는 기능이 실행되거나 또는 미리 정의된 동작이 실행된다. 이와 같은, 감지부(210)가 근접 터치 동작 감지 장치(100)의 전면(front face), 측면(side face) 및 후면(rear face)에서 설치될 수 있으므로, z 레벨에 따른 포인터의 동작은 전면, 측면 및 후면에서 동일하게 수행될 수 있다.
도 3은 근접 터치 동작을 이용한 메뉴 실행의 일 예를 나타내는 도면이다.
도 3는 복수 개의 메뉴 항목을 포함하는 메뉴 실행 화면에서 근접 터치 동작에 따라 포인터의 실행의 일 예를 나타낸다.
그림(310) 및 그림(320)에 도시된 바와 같이, 손가락이 포인터 이동 공 간(210)에서 화살표(10) 방향으로 움직이면, 손가락의 움직임에 따라 포인터에 의해 지시되는 메뉴 항목(20)이 메뉴 항목(30)으로 이동된다. 이 상태에서, 손가락이 포인터 이동 공간(220)에서 포인터 고정 공간(230)으로 이동되면, 포인터는 그림(330)과 같이 고정되고, 사용자가 손가락이 포인터 고정 공간(230)으로 진입하였음을 인지할 수 있도록, 근접 터치 동작 감지 장치(100)는 포인터 또는 포인터가 지시하고 있는 메뉴 항목(30)의 컬러를 변형하거나, 포인팅 공간의 표시를 변형하거나, 포인터에 의해 지시되고 있는 포인팅 공간을 확대하는 등 다양한 비주얼 피드백을 제공할 수 있다. 또한, 포인터가 고정된 상태에서, 손가락이 기능 실행 공간(230)으로 이동하면, 그림(340)에 도시된 메뉴 항목(30)이 실행되어, 근접 터치 동작 감지 장치(100)는 메뉴 항목(30)의 하위 메뉴 항목이나, 메뉴 항목(30)의 실행 화면을 화면상에 제공할 수 있다.
도 4는 근접 터치 동작을 이용한 메뉴 실행의 다른 예를 나타내는 도면이다.
그림(410)에 도시된 바와 같이, 사용자의 손가락이 포인터 고정 공간(220)으로 진입하여, 포인터가 메뉴 항목(40)으로 고정된 상태에서, 그림(420)에 도시된 바와 같이, 사용자가 손가락으로 엑스(X)를 그리는 제스처를 취하면, 근접 터치 동작 감지 장치(100)는 포인터 고정 공간(220)에서 행해진 동작을 취소 제스처로 인식할 수 있다. 근접 터치 동작 감지 장치(100)는 취소 제스처에 따라 메뉴 항목(40)을 삭제하는 동작을 실행할 수 있다.
도 5a 및 도 5b는 근접 터치 동작의 접근 방향의 인식에 이용되는 기본 제스처 정보의 일 예를 나타내는 도면이다.
기본 제스처 정보는 제스처 종류 정보, 제스처 식별자 및 입력 제스처 형태 정보를 포함할 수 있다.
제스처 종류 정보는 제스처의 방향에 따른 제스처 종류를 나타낼 수 있다. 제스처 식별자는 제스처 종류에 따른 식별을 위한 정보이다. 입력 제스처 형태 정보는 제스처 사용자의 손가락을 이용한 제스처의 형태를 나타내는 정보이다. 도 5a 및 도 5b에는 입력 제스처 형태 정보에 사람의 손가락의 이동 모습을 도시하고 있으나, 저장부(140)에는 입력 제스처 형태 정보로 감지 정보에 대한 시계열적으로 배열된 추적 정보가 포함될 수 있다. 추적 정보의 일 예는 근접 터치 동작이 감지되는 영역의 형태의 변화를 나타내는 2차원 또는 3차원 이미지 정보일 수 있다.
도 5a를 참조하면, 백-아웃(back out) 제스처는 배면에서 멀어지는 방향으로 손가락을 움직이는 동작을 나타내고, 백-인(back in) 제스처는 근접 터치 동작 감지 장치(100)의 배면으로 가까워지는 방향으로 손가락을 움직이는 동작을 나타낸다. 백-아웃 제스처 및 백-인 제스처는 근접 터치 동작 감지 장치(100)의 배면에 감지부(110)가 설치되는 경우 이용될 수 있다.
프론트-인(front-in) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 전면으로 가까워지는 방향으로 움직이는 동작을 나타내고, 프론트-아웃(front-out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 전면에서 멀어지는 방향으로 손가락을 움직이는 동작을 나타낸다.
도 5b를 참조하면, 레프트-아웃(left-out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)에서 근접 터치 동작 감지 장치(100)에서 벌어지는 방향으로 좌 측 방향으로 움직이는 동작을 나타내고, 레프트-인(left-in) 제스처는 근접 터치 동작 감지 장치(100)의 좌측에서 근접 터치 동작 감지 장치(100)로 가까워지는 방향으로 우측으로 움직이는 동작을 나타낸다.
라이트-아웃(right-out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)에서 멀어지는 방향으로 근접 터치 동작 감지 장치(100)의 우측 방향으로 움직이는 동작을 나타내고, 라이트-인(right-in) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 우측에서 근접 터치 동작 감지 장치(100)쪽으로 가까워지는 방향으로 좌측으로 움직이는 동작을 나타낸다. 2_레프트_라이트_아웃(2_left_right_out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 좌 우측 방향으로 벌리면서 움직이는 동작을 나타낸다.
도 5c를 참조하면, 탑-아웃(top-out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)상에서 위쪽으로 움직이는 동작을 나타내고, 탑-인(top-in) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 위에서 근접 터치 동작 감지 장치(100) 방향으로 움직이는 동작을 나타낸다.
바텀-아웃(bottom-out) 제스처는 손가락을 근접 터치 동작 감지 장치(100)의 아래로 움직이는 동작을 나타내고, 바텀-인(bottom-in) 제스처는 근접 터치 동작 감지 장치(100) 아래에서 위쪽으로 움직이는 동작을 나타낸다.
2_탑-인(2_top-in) 제스처는 2개의 손가락을 근접 터치 동작 감지 장치(100)의 위에서 아래쪽으로 움직이는 동작을 나타낸다.
도 6은 사용자가 일상에서 주로 사용하는 제스처 인식을 위한 자연 제스처 정보의 일 예를 나타내는 도면이다.
자연 제스처 정보는 실세계에서 사용하는 사람의 손의 자연스러운 제스처를 식별하기 위한 정보이다. 자연 제스처 정보는 제스처 종류 정보, 제스처 식별자, 입력 제스처 형태 정보 및 설명 정보를 포함할 수 있다.
제스처 종류 정보는 제스처의 방향에 따른 제스처 종류를 나타낼 수 있다. 제스처 식별자는 제스처 종류에 따른 식별을 위한 정보이다. 입력 제스처 형태 정보는 제스처 사용자의 손가락을 이용한 제스처의 형태를 나타내는 정보이다. 도 5a 및 도 5b에는 입력 제스처 형태 정보에 사람의 손가락의 이동 모습을 도시하고 있으나, 저장부(140)에는 입력 제스처 형태 정보로 감지 정보에 대한 시계열적으로 배열된 추적 정보가 포함될 수 있다. 추적 정보는 근접 터치 동작이 감지되는 영역의 형태의 변화를 나타내는 이미지 정보일 수 있다. 설명 정보는 근접 터치 동작 감지 장치(100)에서 사용자에게 설명 정보를 제공하기 위해 이용될 수 있다.
턴_프리(turn_pre) 제스처는 왼쪽에서 오른쪽으로 손을 동글게 돌리는 동작으로 실세계에서 사람이 책을 편 상태에서 이전 페이지를 넘길 때 주로 이용되는 동작에 대응할 수 있다. 턴_넥스트(turn_next) 제스처는 오른쪽에서 왼쪽으로 손을 동글게 돌리는 동작으로 실시계에서 사람이 책을 편 상태에서 다음 페이지를 넘길 때 주로 이용되는 동작에 대응할 수 있다.
픽_포인트(pick_point) 제스처는 엄지 및 검지를 일정 위치로 오므리는 동작으로, 실세계에서 사람이 엄지 및 검지로 일정 위치에 있는 물건을 집는 동작에 대응할 수 있다.
픽_에어리어(pick_area)는 바닥을 쓸듯이 손바닥으로 물체를 집는 동작을 나타낼 수 있다. 픽_프레임(pick_frame)은 양손 엄지 및 검지로 직사각형을 그리고 일정 시간 유지하는 동작을 나타낼 수 있다. 이레이저(eraser)는 평면위를 문지르듯이 이동하는 동작을 나타낼 수 있다. 캔슬(cancle) 제스처는 손가락으로 x를 그리는 동작에 대응한다.
근접 터치의 경우 3D 공간을 활용하여 입력이 가능하므로, 실생활에서 사용하는 동작들을 그대로 적용할 수 있다. 예를 들어, 책장을 넘기는 동작을 실제 책장을 넘기는 동작으로 적용하고, 물건을 집는 행동으로 화면의 객체를 선택하는 동작 등으로 적용할 수 있다.
도 7a 및 도 7b는 근접 터치 동작 감지 장치가 제스처 인식으로 음량 조절 동작을 실행하는 일 예를 나타내는 도면이다.
근접 터치 동작 감지 장치(100)의 기능 실행부(126)에서 음악 재생 애플리케이션이 구동되고 있는 경우, 근접 터치 동작의 근접 방향에 따라 음량 조절 명령이 매핑되는 경우를 가정한다. 근접 터치 동작 감지 장치(100)의 배면에서의 근접 정도에 따라서 근접 터치 동작 감지 장치의 음량을 조절할 수 있다. 도 7a에 도시된 바와 같이, 근접 터치 동작 감지 장치(100)는 백_인 제스처의 인식에 따라, 기능 실행부(126)는 음량을 증가시킬 수 있다. 도 7b에 도시된 바와 같이, 근접 터치 동작 감지 장치(100)는 백_아웃 제스처의 인식에 따라, 기능 실행부(126)는 음량을 감소시킬 수 있다.
근접 터치 동작의 근접 방향 인식에 따른 음량 조절 명령은 실행되는 애플리 케이션마다 정의될 수 있다. 또한, 이와 같은 음량 조절 명령의 정의에 따라서, 다른 애플리케이션에서는 다른 방향의 근접 터치가 음량 조절의 업 또는 다운을 제어할 수 있다.
도 8a 및 도 8b는 근접 터치의 접근 방향에 따라 트랙 변경 동작을 실행하는 일 예를 나타나는 도면이다.
근접 터치 동작 감지 장치(100)의 기능 실행부(126)에서 음악 재생 애플리케이션이 구동되고 있으며, 근접 터치 동작 감지 장치(100)에 대하여 수평 방향 이동이 음악 트랙을 변경하는 명령과 매핑되어 있는 경우를 가정한다. 도 8a에 도시된 바와 같이, 근접 터치 동작 감지 장치(100)의 레프트_인 제스처의 인식에 따라, 기능 실행부(126)는 다음 트랙의 곡을 재생할 수 있다. 도 8b에 도시된 바와 같이, 근접 터치 동작 감지 장치(100)는 라이트_아웃 제스처의 인식에 따라, 기능 실행부(126)는 이전 트랙의 곡을 재생할 수 있다.
도 9는 지도 애플리케이션에서의 근접 터치 조작 방식의 일 예를 나타낸다.
근접 터치 동작 감지 장치(100)의 기능 실행부(126)에서 지도 검색 애플리케이션이 실행되고 있는 경우를 가정한다. 도 9에 도시된 바와 같이, 손가락의 백_아웃 제스처에 따라 근접 터치 동작 감지 장치(100)의 화면에 제공되는 지도가 줌 아웃되어 표시되고, 손가락의 백_인 제스처에 따라 지도가 줌 인되어 표시될 수 있다. 손가락의 라이트_아웃 제스처에 따라 지도가 우측 방향으로 스크롤되고, 손가락의 라이트_인 제스처에 따라 지도가 좌측 방향으로 스크롤될 수 있다. 또한, 손가락의 탑_아웃 제스처에 따라 지도가 위쪽 방향으로 스크롤되고, 탑_인 제스처에 따라 지도가 아래 방향으로 스크롤될 수 있다.
추가적으로 근접되는 손가락의 볼륨에 따라서 패닝 정도를 다르게 할 수 있다. 따라서, 2개의 손가락으로 수행되는 2 탑_인 제스처 또는 2 탑_아웃 제스처의 인식에 따라 스크롤되는 영역이 1개의 손가락의 제스처가 인식되는 경우에 비하여 크게 되도록 조작될 수 있다.
도 10은 3D 형상 모델링 애플리케이션에서 근접 터치 조작 방식을 나타내는 도면이다.
도 10에 도시된 바와 같이, 근접 터치 동작은 2개 이상의 터치 포인터를 이용하여 3D 형상 모델링 애플리케이션에서 형상을 만드는데 적용될 수 있다. 그림 (1010)에 도시된 바와 같이, 양손이 검지를 이용하여 이를 근접 터치 공간에서 3차원적인 회전 동작을 그리면, 이 회전 방향에 맞게 회면상의 3D 오브젝트가 회전될 수 있다. 또한, 3D 애플리케이션의 오브젝트 모델링의 경우, 실제의 찰흙을 이용하여 오브젝트를 만들듯이, 그림(1020)에 도시된 바와 같이, 두 손으로 가상 찰흙 덩어리의 일부를 떼어내거나, 그림(1030)에 도시된 바와 같이, 한 손으로는 찰흙 덩어리의 일부를 떼어내는 강도를 조절하고, 다른 손으로 찰흙 덩어리를 떼어내는 동작에 적용할 수 있다. 이와 같이, 멀티 근접 터치 동작은 다양한 애플리케이션의 실행에 필요한 입력 동작에 적용될 수 있다.
도 11은 일 실시예에 따른 감지부(110)의 구성을 나타내는 도면이다.
감지부(110)는 감지 제어부(122), 터치 패널(310), 제1 구동부(320), 제2 구동부(330), 제1 감지부(340) 및 제2 감지부(350)를 포함할 수 있다.
터치 패널(310)는 매트릭스 형태로 배열된 복수 개의 센서를 포함할 수 있으며, 제1 구동부(320), 제2 구동부(330), 제1 감지부(340) 및 제2 감지부(350)와 복수 개의 스위치를 통해 연결이 가능하도록 구성될 수 있다. 제1 구동부(320)는 터치 패널(310)의 열방향으로 배열된 센서들을 구동시킨다. 제2 구동부(330)는 터치 패널(310)의 행방향으로 배열된 센서들을 구동시킨다. 제1 감지부(340)는 제1 구동부(320)에 의해 생성된 구동 신호에 따라 터치 패널에서 생성되는 신호를 감지할 수 있다. 제2 감지부(350)는 제2 구동부(330)에 의해 생성된 구동 신호에 따라 터치 패널에서 생성되는 신호를 감지할 수 있다.
감지 패널(310)의 스위치들(D11 내지 D15, D21 내지 D25, S11 내지 S15 및 S21 내지 S25)은 도 11에 도시된 바와 같이 초기 상태에서 모두 개방되어 있다.
도 12는 터치 감지 모드에서의 감지부(110)의 동작의 일 예를 나타내는 도면이다.
터치 감지 모드에서 감지 제어부(122)는 감지부(110)에서 제2 구동부(330) 및 제1 감지부(340)가 동작하도록 제어한다. 제2 구동부(330) 감지 제어부(122)의 제어에 따라, 정현파(sinusoidal wave) 또는 구형파(square wave)와 같은 주기적인 펄스를 행방향으로 배열된 센서들에 인가한다. 이 펄스에 의해 행방향 센서와 열방향 센서 간에는 정전용량이 발생한다. 이 정전용량의 터치에 의해 가변하게 된다. 도 12는, 2번째 행의 센서와 3번째 열의 센서의 교차점에서 터치를 감지하는 순간을 보인다. 다른 모든 스위치는 개방 상태이다.
터치 감지 모드에서는 감지 제어부(122)는 행 방향 센서와 열 방향 센서를 순차적으로 개방 및 폐쇄하도록 제2 구동부(330) 및 제1 감지부(340)를 제어하여, 전체 행 방향 센서들 및 열 방향 센서들의 교차점에서 터치 여부를 감지하게 된다.
이때, 스위치들(S21, S22, S23, S24, S25) 및 스위치들(D11, D12, D13, D14, D15)는 항상 개방 상태를 유지하며, 스위치들(D21, D22, D23, D24, D25) 및 스위치들(S11, S12, S13, S14, S15)는 개방 및 폐쇄를 반복한다. 각 감지 순간에 스위치들(D21, D22, D23, D24, D25) 중 하나만 선택되어 폐쇄되고, 나머지는 개방된다. 마찬가지로, 각 감지 순간에 스위치들(S11, S12, S13, S14, S15) 중 하나만 선택되어 폐쇄되고, 나머지는 개방된다.
일 예로 다음과 같은 순서로 스위치 폐쇄가 수행될 수 있다.
(D21, S11) → (D21, S12) → (D21, S13) → (D21, S14) → (D21, S15) → (D22, S11) →… → (D25, S11) → (D25, S12) → (D25, S13) → (D25, S14) → (D25, S15)
여기에서, 각 괄호안의 쌍은 각 감지 시점에 동시에 폐쇄되는 스위치들을 의미한다. 각 감지 시점에 괄호안에 나타난 스위치들을 제외한 나머지 스위치들은 개방 상태를 유지한다.
도 13는 도 12에서 터치 발생시의 감지부(110)의 등가 회로를 나타내는 도면이다.
제2 구동부(330)는 정현파 또는 구형파 등을 터치 패널(310)에 인가할 수 있다. 중앙의 정전용량은 행 방향 센서 및 열 방향 센서 간에 존재하는 정전용량이며, 이 값은 터치 여부에 따라 변하는 가변 정전용량이다. 제2 구동부(330)에서 발진된 신호는 이 가변 정전용량을 통과하며, 진폭이나 주파수와 같은 특성이 변하며, 제1 감지부(340)는 이를 감지한다. 정전용량을 나타내는 감지 신호는 감지 제어부(122)로 전달되어, 감지 제어부(122)는 감지 신호를 이용하여 사용자의 손가락과 같은 객체의 접촉 여부를 판단할 수 있다.
다음으로, 근접 감지 모드를 설명한다.
전술한 바와 같이, 터치 감지 모드에서는 행 방향 센서들과 열 방향 센서들은 한 순간에 하나씩만 제2 구동부(330) 및 제1 감지부(340)에 연결이 되었다. 그러나, 이런 경우는 감지 범위가 매우 작아 접촉하는 경우만 감지할 수 있다. 일 실시예에 따르면, 감지 제어부(122)는 비접촉 상태의 근접 감지를 감지하기 위하여 복수 개의 센서들을 동시에 구동시켜 감지 거리를 늘릴 수 있다.
감지 제어부(122)는 제1 구동부(320)가 터치 패널(310)에서 2 이상의 열의 세트를 하나의 열씩 쉬프트하면서 터치 패널(310)의 첫번째 열부터 마지막 열까지 2이상의 행의 세트에 구동 신호를 인가하도록 제1 구동부(320)를 제어할 수 있다. 이 때, 제1 구동부(320)에 의해 구동 신호가 인가되는 행의 세트로부터 감지된 감지 신호를 제1 감지부(340)가 감지한다.
또한, 감지 제어부(122)는 제2 구동부(330)가 터치 패널(310)에서 2 이상의 행의 세트를 하나의 행씩 쉬프트하면서 터치 패널(310)의 첫번째 행부터 마지막 행까지 2이상의 행의 세트에 구동 신호를 인가하도록 제2 구동부(330)를 제어할 수 있다. 이 때, 제2 구동부(330)에 의해 구동 신호가 인가되는 행의 세트로부터 감지된 감지 신호를 제2 감지부(350)가 감지한다.
동작 인식부(124)는 제1 감지부(340) 및 제2 감지부(350)에서 감지되는 감지 신호를 이용하여 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성할 수 있으며, 감지 정보를 일정 시간 동안 추적하여 추적 정보를 생성할 수 있다.
도 14a 내지 도 14c는 근접 감지 동작 모드에서의 x축 위치 측정을 위한 감지부의 동작의 일 예를 나타내는 도면이다.
도 14a를 참조하면, 제1 구동부(320) 및 제1 감지부(340)가 동작하고, 1번째 내지 3번째 열 방향 센서들에 대응하는 스위치(D11, D12, D13, S11, S12, S13)가 폐쇄된다. 이때, 각 센서들로부터 발생하는 정전용량은 접촉 터치 감지와 다르게 가상적으로 접지된다. 이를 다시 등가 회로로 도시하면 도 15와 같다.
도 15은 도 14a 내지 도 14c의 근접 감지 모드에서 근접 터치 동작 감지시의 등가 회로의 일 예를 나타내는 도면이다.
도 15에 도시되는 바와 같이, 동시에 구동되는 센서들의 개수만큼 정전용량의 병렬로 접지된다. 각 센서에 의해 야기되는 정전용량이 C라 할 때, 도 15의 회로에서 3개의 정전용량에 의한 전체 정전용량은 3C가 된다. 즉, 하나의 센서를 활용할 때에 비하여 감지 회로 자체의 변형 없이 감지 성능을 3배 향상시킬 수 있다. 이 경우, 인체가 완전히 터치 스크린에 접촉하지 않고 수 cm 거리로 근접하는 경우를 감지할 수 있다.
단순히 물체의 근접 여부만을 감지하고자 하는 경우에는 도 8에 도시된 바와 같이, 수 개의 센서들을 동시에 구동시켜 그 때 발생하는 정전용량의 변화를 측정하면 된다. 그러나, 근접과 더불어 불체의 2차원 위치를 포함한 3차원 위치를 알 아내고자 하는 경우에는 추가적인 측정 과정이 필요할 수 있다.
제1 감지부(340)는 2이상의 열의 세트가 터치 패널의 첫번째 열부터 마지막 열까지 쉬프트할 때마다 감지 신호를 측정한다. 그러면, 감지 제어부(122)는 2번 이상 공통적으로 감지 신호가 감지된 적어도 하나의 센서 열의 위치에 대하여, 쉬프트할 때마다 측정된 감지 신호의 측정 값을 가중치로 하여 가중 평균 값을 계산하고, 가중 평균 값으로 근접 감지의 x축의 중심 위치를 결정할 수 있다.
제2 감지부(350)는 2이상의 행의 세트가 터치 패널의 첫번째 행부터 마지막 행까지 쉬프트할 때마다 감지 신호를 측정한다. 그러면, 감지 제어부(122)는 2번 이상 공통적으로 감지 신호가 감지된 적어도 하나의 센서 행의 위치에 대하여, 쉬프트할 때마다 측정된 감지 신호의 측정 값을 가중치로 하여 가중 평균 값을 계산하고, 가중 평균 값으로 근접 감지의 y축의 중심 위치를 결정할 수 있다.
또한, 감지 제어부(122)는 2이상의 행의 세트가 터치 패널의 첫번째 행부터 마지막 행까지 쉬프트할 때마다 측정된 감지 신호의 측정 값 및 2이상의 열의 세트가 터치 패널의 첫번째 열부터 마지막 열까지 쉬프트할 때마다 측정된 복수 개의 감지 신호의 측정 값의 합으로 미리 설정된 값을 나누어 생성된 값을 이용하여 z축의 위치를 결정할 수 있다.
도 14a 내지 도 14c를 참조하면, 먼저, 첫 번째 감지 순간에는 도 14a에 도시된 바와 같이, 가장 좌측 3개의 열의 센서들을 구동한다. 그 다음 순간에는 도 14b에 도시된 바와 같이, 중앙의 3개의 열의 센서들을 구동하며, 그 다음 순간에는 도 14c에 도시된 바와 같이, 우측 3개의 열의 센서들을 구동한다.
도 14a, 도 14b 및 도 14c의 과정을 통해 얻은 측정값을 각각 x1, x2, x3라 하고, 각 센서들의 열의 5개의 위치를 px1, px2, px3, px4 및 px5라 가정한다.
측정값(x1)에 대한 감지 위치(lx1)는 측정값 x1의 생성시 구동된 센서들의 위치(px1, px2, px3)를 고려하여 결정될 수 있다. 예를 들어, 측정값(x1)의 감지 위치(lx1)은 센서들의 위치(px1, px2, px3)의 평균 위치로 결정될 수 있다. 측정값(x2)의 감지 위치(lx2)는 센서들의 위치(px2, px3, px4)의 평균 위치로 결정될 수 있다. 측정값(x3)의 감지 위치(lx3)는 센서들의 위치(px4, px5, px6)의 평균 위치로 결정될 수 있다. 감치 위치에 대응하는 측정값의 세트 (lx1, x1), (lx2, x2) 및 (lx3, x3)는 감지 제어부(122)를 통해 동작 인식부(124)로 전달되어 추적 정보 생성에 이용될 수 있다.
한편, 전술한 3번의 구동 순간에 동시에 구동되는 센서들 묶음의 위치는 px2, px3, px4로 둘 수 있다. 열방향 스캐닝이 완료된 후 감지 객체에 대한 근접 터치 동작의 중심 위치(x)는 다음의 가중 평균 수식으로 계산될 수 있다. 중심 x축 위치(x)는 근접 터치 동작의 추적 정보 생성이나, 제스처 인식에 활용될 수 있다.
x = (x1 * px2 + x2 * px3 + x3 * px4)/(x1 + x2 + x3)
도 16a 내지 도 16c는 근접 감지 동작 모드에서의 y축 위치 측정의 위한 감지부의 동작의 일 예를 나타내는 도면이다.
먼저, 첫 번째 감지 순간에는 도 16a에 도시된 바와 같이, 가장 상측 3개의 행의 센서들을 구동한다. 그 다음 순간에는 도 16b에 도시된 바와 같이, 중앙의 3개 행의 센서들을 구동하며, 그 다음 순간에는 도 16c에 도시된 바와 같이, 하측 3개의 행의 센서들을 구동한다. 동일한 방식으로, 감지 객체의 행 방향의 감지 위치에 대하여 도 16a 내지 도 16c와 같이 스캐닝을 해 측정값 y1, y2, y3를 얻는다.
이때, 행 방향의 센서들의 위치가 py1, py2, py3, py4, py5라고 가정한다. 측정값(y1)에 대한 감지 위치(ly1)는 측정값 y1의 생성시 구동된 행의 센서 위치(py1, py2, py3)를 고려하여 결정될 수 있다. 예를 들어, 측정값(y1)의 감지 위치(ly1)은 행의 센서의 위치(py1, py2, py3)의 평균 위치로 결정될 수 있다. 측정값(y2)의 감지 위치(ly2)은 행의 센서 위치(py2, py3, py4)의 평균 위치로 결정될 수 있다. 측정값(y3)의 감지 위치(ly3)은 행의 센서 위치(py4, py5, py6)의 평균 위치로 결정될 수 있다. 감치 위치에 대응하는 측정값의 세트 (ly1, y1), (ly2, y2) 및 (ly3, y3)는 감지 제어부(122)를 통해 동작 인식부(124)로 전달되어 추적 정보 생성에 이용될 수 있다.
한편, 전술한 3번의 구동 순간에 동시에 구동되는 센서들 묶음의 위치는 py2, py3, py4로 둘 수 있다. 행방향 스캐닝이 완료된 후 감지 객체에 대한 근접 터치 동작의 중심 위치(y)는 다음의 가중 평균 수식으로 계산될 수 있다. 중심 y축 위치(y)는 근접 터치 동작의 추적 정보 생성이나, 제스처 인식에 활용될 수 있다.
y = (y1 * py2 + y2 * py3 + y3 * py4)/(y1 + y2 + y3)
열방향 감지 위치(lx1, lx2, lx3) 및 행방향 감지 위치(ly1, ly2, ly3)를 이용하여 복수 개의 2차원 감지 위치가 결정될 수 있으며, 결정된 2차원 감지 위치에 따라 근접 터치 감지 면적이 계산될 수 있다. 근접 터치 감지 면적은 추적 정보 생성에 이용될 수 있다. 또한, 2차원 감지 위치에 대한 측정 값을 이용하여, 근접 터치 감지 면적에 대한 정전용량 분포가 계산될 수 있으며, 정전용량 분포값도 추적 정보 생성에 이용될 수 있다.
한편, z축 근접 거리는 다음과 같이 설정할 수 있다. 정전용량은 거리에 반비례하므로 아래와 같은 수식은 물리적으로 유효하다.
z = 1 / (x1 + x2 + x3 + y1 + y2 + y3)
여기에서, 거리 1은 예시적인 것으로, z축 근접 거리는 미리 설정된 값을 감지된 측정된 값들의 합으로 나누어 계산될 수 있다.
도 17은 근접 터치 동작 감지 방법의 일 예를 나타내는 순서도이다.
근접 터치 동작 감지 장치(100)는 근접 터치 입력을 모니터링 상태에서, 근접 터치 동작이 발생되면, 근접 터치 동작 감지 장치(100)는 객체의 근접 터치를 감지하여 감지 신호를 생성한다(1710). 근접 터치 동작 감지 장치(100)는 감지 신호를 이용하여 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성한다(1720). 근접 터치 동작 감지 장치(100)는 감지 정보를 추적하여 추적 정보를 생성한다(1730). 근접 터치 동작 감지 장치(100)는 추적 정보에 대응하는 제스처를 인식한다(1740). 근접 터치 동작 감지 장치(100)는 인식된 제스처에 대응하는 기능을 실행한다(175).
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 근접 터치 동작 감지 장치 구성의 일 예를 나타내는 도면이다.
도 2는 감지부로부터의 수직 거리에 따른 공간의 정의의 일 예를 나타내는 도면이다.
도 3은 포인터 고정 공간에서의 메뉴 실행의 일 예를 나타내는 도면이다.
도 4는 포인터 고정 공간에서의 메뉴 실행의 다른 예를 나타내는 도면이다.
도 5a, 도 5b 및 도 5c는 근접 터치 동작의 접근 방향 인식에 이용되는 기본 제스처 정보의 일 예를 나타내는 도면이다.
도 6은 사용자가 일상에서 주로 사용하는 제스처 인식을 위한 자연 제스처 정보의 일 예를 나타내는 도면이다.
도 7a 및 도 7b는 근접 터치 동작 감지 장치가 제스처 인식으로 음량 조절 동작을 실행하는 일 예를 나타내는 도면이다.
도 8a 및 도 8b는 근접 터치의 접근 방향에 따른 트랙 변경 동작을 실행하는 일 예를 나타내는 도면이다.
도 9는 지도 검색 애플리케이션에서의 근접 터치 조작 방식의 일 예를 나타내는 도면이다.
도 10은 3D 형상 모델링 애플리케이션에서 근접 터치 조작 방식의 일 예를 나타내는 도면이다.
도 11은 도 1의 근접 터치 동작 감지 장치에 포함된 감지부의 구성의 일 예를 나타내는 도면이다.
도 12는 터치 감지 동작 모드에서의 감지부의 동작의 일 예를 나타내는 도면이다.
도 13은 도 12에서 터치 발생시의 감지부의 등가 회로의 일 예를 나타내는 도면이다.
도 14a 내지 도 14c는 근접 감지 동작 모드에서의 x축 위치 측정을 위한 감지부의 동작의 일 예를 나타내는 도면이다.
도 15는 근접 터치 동작 감지시의 감지부의 등가 회로의 일 예를 나타내는 도면이다.
도 16a 내지 도 16c는 근접 감지 동작 모드에서의 y축 위치 측정의 위한 감지부의 동작의 일 예를 나타내는 도면이다.
도 17은 근접 터치 동작 감지 방법의 일 예를 나타내는 순서도이다.

Claims (17)

  1. 객체의 근접 터치를 감지하여 감지 신호를 생성하는 감지부;
    상기 감지 신호를 이용하여 상기 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성하고, 상기 감지 정보를 추적하여 추적 정보를 생성하고, 상기 추적 정보에 대응하는 제스처를 저장부에서 검색하여 제스처를 인식하고, 상기 인식된 제스처에 대응하는 기능을 실행하는 제어부; 및
    상기 감지 정보를 추적하여 생성된 추적 정보에 대응하는 제스처 정보를 저장하는 저장부를 포함하는 근접 터치 동작 감지 장치.
  2. 제1항에 있어서,
    상기 3차원 위치 정보 중 상기 감지부에 수직한 z축 거리 사이의 공간은 상기 감지부로부터의 거리가 먼 순서대로 포인터 이동 공간, 포인터 고정 공간 및 기능 실행 공간으로 수평적으로 분할되고,
    상기 제어부가 상기 근접 터치가 수행되는 위치에 대응하는 포인터를 설정할 때,
    상기 근접 터치가 수행되는 위치가 상기 포인터 이동 공간에 속하는 경우, 상기 근접 터치 동작에 따른 움직임에 따라 상기 포인터를 이동시키고,
    상기 근접 터치가 수행되는 위치가 상기 포인터 고정 공간에 속하는 경우, 상기 근접 터치 동작에 따라 움직이던 포인터를 고정적 위치를 설정하고,
    상기 근접 터치가 수행되는 위치가 상기 기능 실행 공간에 속하는 경우, 상기 고정적 위치에 대응하는 기능을 실행하는 근접 터치 동작 감지 장치.
  3. 제2항에 있어서,
    상기 포인터를 표시하는 표시부를 더 포함하고,
    상기 제어부는 상기 객체가 상기 포인터 이동 공간에서 상기 포인터 고정 공간으로 이동되는 것으로 결정되면, 상기 객체가 상기 포인터 고정 공간에 위치함을 나타내는 비주얼 피드백을 제공하는 근접 터치 동작 감지 장치.
  4. 제1항에 있어서,
    상기 추적 정보는 상기 근접 터치 동작이 감지되는 영역의 형태의 변화를 나타내는 이미지 정보, 적어도 하나의 감지 위치에 대한 정전용량 정보의 변화를 나타내는 정보 및 복수 개의 감지 위치에 대한 중심 감지 위치의 변화를 나타내는 정보, 상기 근접 터치의 접근 방향, 상기 근접 터치의 면적의 변화를 나타내는 정보 중 적어도 하나를 포함하는 근접 터치 동작 감지 장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 객체의 상기 감지부와 비첩촉된 상태를 감지하는 근접 터치 동작 모드 및 상기 객체가 상기 감지부와 접촉된 상태를 감지하는 접촉 감지 동작 모드가 시분할적으로 수행되도록 상기 감지부를 제어하는 근접 터치 동작 감 지 장치.
  6. 제5항에 있어서,
    상기 근접 터치 동작 모드 및 상기 접촉 감지 동작 모드가 시분할적으로 수행되는 도중,
    상기 근접 터치 동작 모드에서, 상기 감지부에 의해 근접 터치가 감지되면, 상기 제어부는 상기 감지된 근접 터치에 대응하는 감지 신호의 입력이 종료될 때까지 상기 감지부가 상기 근접 터치 모드 동작을 유지하도록 제어하고,
    상기 접촉 감지 동작 모드에서, 상기 감지부에 의해 접촉이 감지되면, 상기 제어부는 감지된 접촉에 대응하는 감지 신호의 입력이 종료될 때까지 상기 감지부가 상기 접촉 감지 모드 동작을 유지하도록 제어하는 근접 터치 동작 감지 장치.
  7. 제5항에 있어서,
    상기 감지부는,
    매트릭스 형태로 배열된 복수 개의 센서를 포함하는 터치 패널;
    상기 터치 패널의 열방향으로 배열된 센서를 구동시키는 제1 구동부;
    상기 터치 패널의 행방향으로 배열된 센서를 구동시키는 제2 구동부;
    상기 제1 구동부에 의해 생성된 구동 신호에 따라 상기 터치 패널에서 생성되는 신호를 감지하는 제1 감지부; 및
    상기 제2 구동부에 의해 생성된 구동 신호에 따라 상기 터치 패널에서 생성 되는 신호를 감지하는 제2 감지부를 포함하는 근접 터치 동작 감지 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 제1 구동부가 상기 터치 패널에서 2 이상의 열의 세트를 하나의 행씩 쉬프트하면서 상기 터치 패널의 첫번째 열부터 마지막 열까지 상기 2이상의 열의 세트에 구동 신호를 인가하도록 상기 제1 구동부를 제어하고,
    상기 제2 구동부가 상기 터치 패널에서 2 이상의 행의 세트를 하나의 행씩 쉬프트하면서 상기 터치 패널의 첫번째 행부터 마지막 행까지 상기 2이상의 행의 세트에 구동 신호를 인가하도록 상기 제1 구동부를 제어하고,
    상기 제1 감지부 및 제2 감지부에서 감지되는 감지 신호를 이용하여 상기 객체의 3차원 위치를 계산하는 근접 터치 동작 감지 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 2이상의 열의 세트가 상기 터치 패널의 첫번째 열부터 마지막 열까지 쉬프트할 때마다 감지된 감지 신호의 측정 값들을, 2번 이상 공통적으로 감지 신호가 감지된 적어도 하나의 센서 열의 위치에 대한 가중치로 하여, 가중 평균 값을 계산하고, 상기 가중 평균 값을 상기 근접 감지의 x축의 중심 위치로 결정하고,
    상기 2이상의 행의 세트가 상기 터치 패널의 첫번째 행부터 마지막 행까지 쉬프트할 때마다 감지된 감지 신호의 측정 값들을, 2번 이상 공통적으로 감지 신호가 감지된 적어도 하나의 센서 행의 위치에 대한 가중치로 하여, 가중 평균 값을 계산하고, 상기 가중 평균 값을 상기 근접 감지의 y축의 중심 위치로 결정하고,
    상기 2이상의 행의 세트가 상기 터치 패널의 첫번째 행부터 마지막 행까지 쉬프트할 때마다 측정된 측정 값들 및 상기 2이상의 열의 세트가 상기 터치 패널의 첫번째 열부터 마지막 열까지 쉬프트할 때마다 측정된 복수 개의 감지 신호의 측정 값들의 합으로 미리 설정된 값을 나누어 생성된 값을 이용하여 z축의 위치를 결정하는 근접 터치 동작 감지 장치.
  10. 제1항에 있어서,
    상기 제어부는 애플리케이션의 종류에 따라 상기 인식된 제스처에 대응하는 기능을 실행하는 근접 터치 동작 감지 장치.
  11. 제1항에 있어서,
    상기 감지부는 표시 정보를 출력하는 표시부가 위치하는 전면, 상기 표시부에 대향하는 배면, 상기 표시부의 측면 중 적어도 하나의 면상에 위치되는 근접 터치 동작 감지 장치.
  12. 객체의 근접 터치를 감지하여 감지 신호를 생성하는 단계;
    상기 감지 신호를 이용하여 상기 객체에 대한 3차원 위치 정보를 포함하는 감지 정보를 생성하는 단계;
    상기 감지 정보를 추적하여 추적 정보를 생성하는 단계;
    상기 추적 정보에 대응하는 제스처 정보를 저장하는 저장부를 검색하여 상기 추적 정보에 대응하는 제스처를 인식하는 단계; 및
    상기 인식된 제스처에 대응하는 기능을 실행하는 단계를 포함하는 근접 터치 동작 감지 방법.
  13. 제12항에 있어서,
    상기 3차원 위치 정보 중 근접 터치를 감지하는 감지부로부터 상기 감지부에 수직한 z축 거리 사이의 공간은 상기 감지부로부터의 거리가 먼 순서대로 포인터 이동 공간, 포인터 고정 공간 및 기능 실행 공간으로 수평적으로 분할되고, 상기 근접 터치가 수행되는 위치에 대응하는 포인터를 설정할 때.
    상기 근접 터치가 수행되는 위치가 상기 포인터 이동 공간에 속하는 경우, 상기 근접 터치 동작에 따른 움직임에 따라 상기 포인터를 이동시키는 단계;
    상기 근접 터치가 수행되는 위치가 상기 포인터 고정 공간에 속하는 경우, 상기 근접 터치 동작에 따라 움직이던 포인터를 고정적 위치를 설정하는 단계;
    상기 근접 터치가 수행되는 위치가 상기 기능 실행 공간에 속하는 경우, 상기 고정적 위치에 대응하는 기능을 실행하는 단계를 포함하는 근접 터치 동작 감지 방법.
  14. 제13항에 있어서,
    상기 객체가 상기 포인터 이동 공간에서 상기 포인터 고정 공간으로 이동되는 것으로 결정되면, 상기 객체가 상기 포인터 고정 공간에 위치함을 나타내는 비주얼 피드백을 제공하는 단계를 더 포함하는 근접 터치 동작 감지 방법.
  15. 제12항에 있어서,
    상기 추적 정보는 상기 근접 터치 동작이 감지되는 영역의 형태의 변화를 나타내는 이미지 정보, 적어도 하나의 감지 위치에 대한 정전용량 정보의 변화를 나타내는 정보 및 복수 개의 감지 위치에 대한 중심 감지 위치의 변화를 나타내는 정보, 상기 근접 터치의 접근 방향, 상기 근접 터치의 면적의 변화를 나타내는 정보 중 적어도 하나를 포함하는 근접 터치 동작 감지 방법.
  16. 제12항에 있어서,
    상기 객체를 감지하는 감지부와 비접촉된 상태에서의 상기 객체를 감지하는 근접 터치 모드 동작 및 상기 감지부와 접촉된 상태에서의 상기 객체를 감지하는 접촉 감지 모드 동작을 시분할적으로 수행하는 단계를 더 포함하는 근접 터치 동작 감지 방법.
  17. 제16항에 있어서,
    상기 근접 터치 모드 동작 및 상기 접촉 감지 모드 동작을 시분할적으로 수 행하는 도중,
    근접 터치가 감지되면, 상기 감지된 근접 터치에 대응하는 감지 신호의 입력이 종료될 때까지 상기 감지부가 상기 근접 터치 모드 동작을 유지하는 단계; 및
    접촉이 감지되면, 상기 감지된 접촉에 대응하는 감지 신호의 입력이 종료될 때까지 상기 감지부가 상기 접촉 감지 모드 동작을 유지하는 단계를 더 포함하는 근접 터치 동작 감지 방법.
KR1020090109236A 2009-11-12 2009-11-12 근접 터치 동작 감지 장치 및 방법 Expired - Fee Related KR101639383B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090109236A KR101639383B1 (ko) 2009-11-12 2009-11-12 근접 터치 동작 감지 장치 및 방법
EP10190132.0A EP2323023A3 (en) 2009-11-12 2010-11-05 Methos and apparatus with proximity touch detection
US12/926,369 US20110109577A1 (en) 2009-11-12 2010-11-12 Method and apparatus with proximity touch detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090109236A KR101639383B1 (ko) 2009-11-12 2009-11-12 근접 터치 동작 감지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110052270A true KR20110052270A (ko) 2011-05-18
KR101639383B1 KR101639383B1 (ko) 2016-07-22

Family

ID=43448893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109236A Expired - Fee Related KR101639383B1 (ko) 2009-11-12 2009-11-12 근접 터치 동작 감지 장치 및 방법

Country Status (3)

Country Link
US (1) US20110109577A1 (ko)
EP (1) EP2323023A3 (ko)
KR (1) KR101639383B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007839A1 (en) * 2012-07-02 2014-01-09 Intel Corporation Noise elimination in a gesture recognition system
KR20140118826A (ko) * 2013-03-29 2014-10-08 가부시키가이샤 재팬 디스프레이 전자 기기 및 전자 기기의 제어 방법
KR20140134719A (ko) * 2010-01-26 2014-11-24 애플 인크. 제스쳐 인식을 제어하고 수정하기 위한 델리게이트를 갖는 제스쳐 인식기
KR101486056B1 (ko) * 2014-01-29 2015-01-26 이언주 모션감지센서를 포함하는 이동통신 단말을 기반으로 하는 시험에서의 시험 정보관리 시스템 및 그 방법
KR101494810B1 (ko) * 2012-12-05 2015-02-23 주식회사 에이치엠에스 원근 변화에 따른 동작 인식에 의해 제어되는 내비게이션 장치, 그 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20150048526A (ko) * 2013-10-28 2015-05-07 삼성전자주식회사 전자 장치 및 이의 사용자 제스처 인식방법
US10268302B2 (en) 2013-08-13 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for recognizing grip state in electronic device
KR102595415B1 (ko) * 2023-01-31 2023-10-31 (주)테크레인 터치 물질 구별 장치

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
US9740340B1 (en) 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
US8810524B1 (en) 2009-11-20 2014-08-19 Amazon Technologies, Inc. Two-sided touch sensor
US8660934B2 (en) * 2010-06-30 2014-02-25 Trading Technologies International, Inc. Order entry actions
KR101731346B1 (ko) * 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
JP5652652B2 (ja) * 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
KR101873405B1 (ko) * 2011-01-18 2018-07-02 엘지전자 주식회사 드로잉한 패턴을 이용한 사용자 인터페이스 제공방법 및 그 이동 단말기
US20120274589A1 (en) * 2011-04-28 2012-11-01 De Angelo Michael J Apparatus, system, and method for remote interaction with a computer display or computer visualization or object
US9104272B2 (en) 2011-05-23 2015-08-11 Sony Corporation Finger-on display detection
WO2012160653A1 (ja) * 2011-05-24 2012-11-29 三菱電機株式会社 設備制御装置、操作受付方法及びプログラム
JP5670255B2 (ja) * 2011-05-27 2015-02-18 京セラ株式会社 表示機器
JP5774387B2 (ja) 2011-06-28 2015-09-09 京セラ株式会社 表示機器
JP5864144B2 (ja) * 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US8199126B1 (en) 2011-07-18 2012-06-12 Google Inc. Use of potential-touch detection to improve responsiveness of devices
CN102346614B (zh) * 2011-09-19 2013-10-16 深圳莱宝高科技股份有限公司 一种电容式触控面板及其制作方法
CN102306073B (zh) * 2011-09-19 2013-07-24 深圳莱宝高科技股份有限公司 电容式触控面板及其制作方法
US9904646B2 (en) 2011-09-27 2018-02-27 Microchip Technology Incorporated Virtual general purpose input/output for a microcontroller
KR101901790B1 (ko) * 2011-10-13 2018-09-27 엘지전자 주식회사 입력 장치 및 이를 포함하는 영상표시장치
US9594405B2 (en) * 2011-10-19 2017-03-14 Facebook, Inc. Composite touch gesture control with touch screen input device and secondary touch input device
US9195349B2 (en) 2011-10-20 2015-11-24 Nokia Technologies Oy Apparatus, method and computer program using a proximity detector
WO2013069289A1 (ja) * 2011-11-11 2013-05-16 パナソニック株式会社 タッチパネル装置
US20130155010A1 (en) * 2011-12-14 2013-06-20 Microchip Technology Incorporated Capacitive Proximity Based Gesture Input System
US9030407B2 (en) 2011-12-21 2015-05-12 Nokia Technologies Oy User gesture recognition
US9298333B2 (en) 2011-12-22 2016-03-29 Smsc Holdings S.A.R.L. Gesturing architecture using proximity sensing
US20130176202A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Menu selection using tangible interaction with mobile devices
US9594499B2 (en) 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
JP5904055B2 (ja) * 2012-08-17 2016-04-13 コニカミノルタ株式会社 携帯型の情報機器およびコンピュータープログラム
KR101985674B1 (ko) 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
US9664555B2 (en) 2012-12-18 2017-05-30 Apple Inc. Electronic devices with light sensors
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US20140181710A1 (en) * 2012-12-26 2014-06-26 Harman International Industries, Incorporated Proximity location system
CN104007901B (zh) * 2013-02-26 2017-11-28 联想(北京)有限公司 一种响应方法及电子设备
CN103116432B (zh) * 2013-03-04 2016-08-31 惠州Tcl移动通信有限公司 一种触摸屏的三维操作控制方法、装置及其移动终端
US20140267139A1 (en) * 2013-03-15 2014-09-18 Motorola Mobility Llc Touch Sensitive Surface with False Touch Protection for an Electronic Device
JP5762660B2 (ja) * 2013-05-21 2015-08-12 三菱電機株式会社 音声認識装置、認識結果表示装置および表示方法
US9285886B2 (en) 2013-06-24 2016-03-15 Sonos, Inc. Intelligent amplifier activation
JP2015011679A (ja) * 2013-07-02 2015-01-19 シャープ株式会社 操作入力装置及び入力操作処理方法
US9757054B2 (en) * 2013-08-30 2017-09-12 Elwha Llc Systems and methods for warning of a protruding body part of a wheelchair occupant
US20150062056A1 (en) * 2013-08-30 2015-03-05 Kobo Incorporated 3d gesture recognition for operating an electronic personal display
JP6087244B2 (ja) * 2013-09-04 2017-03-01 アルパイン株式会社 位置検出装置
US20150160819A1 (en) * 2013-12-06 2015-06-11 Microsoft Corporation Crane Gesture
US20150177866A1 (en) * 2013-12-23 2015-06-25 Microsoft Corporation Multiple Hover Point Gestures
US20150205358A1 (en) * 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
FR3017723B1 (fr) * 2014-02-19 2017-07-21 Fogale Nanotech Procede d'interaction homme-machine par combinaison de commandes tactiles et sans contact
US11983401B1 (en) * 2014-06-04 2024-05-14 ULTRAHAPTICS IP TWO LIMITED, , United Kingd Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space
JP6304071B2 (ja) * 2014-08-21 2018-04-04 京セラドキュメントソリューションズ株式会社 画像処理装置
KR102345911B1 (ko) 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
JP6571509B2 (ja) * 2015-12-14 2019-09-04 株式会社ジャパンディスプレイ 表示装置
KR20170138279A (ko) * 2016-06-07 2017-12-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
TWI620099B (zh) * 2016-08-08 2018-04-01 宏達國際電子股份有限公司 決定畫面顯示方向之方法及使用其之電子裝置與電腦可讀取紀錄媒體
CN107704179B (zh) 2016-08-08 2020-09-22 宏达国际电子股份有限公司 决定画面显示方向的方法及使用其的电子装置
TWI669640B (zh) * 2016-11-03 2019-08-21 禾瑞亞科技股份有限公司 觸控面板、觸控螢幕與電子系統
KR102766959B1 (ko) * 2017-01-17 2025-02-14 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102318556B1 (ko) * 2017-04-12 2021-10-29 현대자동차주식회사 입력장치 및 그 제어방법
EP3839711A1 (en) 2019-12-18 2021-06-23 Continental Automotive GmbH A touch panel
KR102861516B1 (ko) 2020-12-22 2025-09-18 스냅 인코포레이티드 안경류 디바이스 상의 미디어 콘텐츠 플레이어
US12229342B2 (en) * 2020-12-22 2025-02-18 Snap Inc. Gesture control on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
DE102022133392A1 (de) * 2022-12-15 2024-06-20 Gestigon Gmbh Verfahren und system zum erfassen von benutzereingaben
DE102022133379A1 (de) * 2022-12-15 2024-06-20 Gestigon Gmbh Verfahren und system zum erfassen von benutzereingaben

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003590A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US20080244468A1 (en) * 2006-07-13 2008-10-02 Nishihara H Keith Gesture Recognition Interface System with Vertical Display
KR20090026977A (ko) * 2007-09-11 2009-03-16 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
KR20090029816A (ko) * 2006-06-28 2009-03-23 노키아 코포레이션 무접촉식 동작 기반의 입력

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW408277B (en) * 1996-11-15 2000-10-11 Alps Electric Co Ltd Small current detector circuit and locator device using the same
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1766502A2 (en) * 2004-06-29 2007-03-28 Koninklijke Philips Electronics N.V. Multi-layered display of a graphical user interface
US7834847B2 (en) * 2005-12-01 2010-11-16 Navisense Method and system for activating a touchless control
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US7679376B2 (en) * 2007-01-19 2010-03-16 Korea Institute Of Science And Technology Capacitive sensor for sensing tactile and proximity, and a sensing system using the same
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
JP4508248B2 (ja) * 2008-03-03 2010-07-21 ソニー株式会社 入力装置および電子機器
JP5481040B2 (ja) * 2008-04-11 2014-04-23 株式会社ジャパンディスプレイ 表示装置とその駆動方法
TWI375169B (en) * 2008-09-22 2012-10-21 Htc Corp Display device
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003590A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
KR20090029816A (ko) * 2006-06-28 2009-03-23 노키아 코포레이션 무접촉식 동작 기반의 입력
US20080244468A1 (en) * 2006-07-13 2008-10-02 Nishihara H Keith Gesture Recognition Interface System with Vertical Display
KR20090026977A (ko) * 2007-09-11 2009-03-16 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134719A (ko) * 2010-01-26 2014-11-24 애플 인크. 제스쳐 인식을 제어하고 수정하기 위한 델리게이트를 갖는 제스쳐 인식기
WO2014007839A1 (en) * 2012-07-02 2014-01-09 Intel Corporation Noise elimination in a gesture recognition system
KR101494810B1 (ko) * 2012-12-05 2015-02-23 주식회사 에이치엠에스 원근 변화에 따른 동작 인식에 의해 제어되는 내비게이션 장치, 그 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20140118826A (ko) * 2013-03-29 2014-10-08 가부시키가이샤 재팬 디스프레이 전자 기기 및 전자 기기의 제어 방법
US9740395B2 (en) 2013-03-29 2017-08-22 Japan Display Inc. Electronic apparatus with sensor-integrated display device and method of controlling the same
US10268302B2 (en) 2013-08-13 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for recognizing grip state in electronic device
KR20150048526A (ko) * 2013-10-28 2015-05-07 삼성전자주식회사 전자 장치 및 이의 사용자 제스처 인식방법
KR101486056B1 (ko) * 2014-01-29 2015-01-26 이언주 모션감지센서를 포함하는 이동통신 단말을 기반으로 하는 시험에서의 시험 정보관리 시스템 및 그 방법
KR102595415B1 (ko) * 2023-01-31 2023-10-31 (주)테크레인 터치 물질 구별 장치

Also Published As

Publication number Publication date
KR101639383B1 (ko) 2016-07-22
EP2323023A2 (en) 2011-05-18
EP2323023A3 (en) 2014-08-27
US20110109577A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
KR101639383B1 (ko) 근접 터치 동작 감지 장치 및 방법
US8643628B1 (en) Light-based proximity detection system and user interface
CN103460175B (zh) 三维人机界面
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
JP6052743B2 (ja) タッチパネルデバイスとタッチパネルデバイスの制御方法
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
US20120274550A1 (en) Gesture mapping for display device
JP4743268B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20120188285A1 (en) Enhanced pointing interface
WO2011156111A2 (en) Virtual touch interface
US20140282279A1 (en) Input interaction on a touch sensor combining touch and hover actions
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR101594404B1 (ko) 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기
Stodle et al. Tech-note: Device-free interaction spaces
US20120182231A1 (en) Virtual Multi-Touch Control Apparatus and Method Thereof
KR20140101276A (ko) 깊이 정보 및 사용자의 공간 제스처에 기초하여 메뉴를 표시하는 방법
Naito et al. Interaction techniques using a spherical cursor for 3d targets acquisition and indicating in volumetric displays
KR101496017B1 (ko) 휴대 기기에서의 터치 스크린 제어 방법 및 그 휴대 기기
KR101598579B1 (ko) 안내정보를 제공하는 사용자 인터페이스 장치 및 안내정보 제공 방법
US20080222575A1 (en) Device Comprising a Detector for Detecting an Uninterrupted Looping Movement
TW201246047A (en) Virtual multi-touch control apparatus and method thereof
WO2013114471A1 (ja) 情報端末装置、その制御方法、およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20220708

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220708