KR20160084640A

KR20160084640A - Apparatus and method of inputting touch using finger recognition

Info

Publication number: KR20160084640A
Application number: KR1020150001087A
Authority: KR
Inventors: 신희숙; 김민규; 오창목; 임정묵; 정현태
Original assignee: 한국전자통신연구원
Priority date: 2015-01-06
Filing date: 2015-01-06
Publication date: 2016-07-14

Abstract

The present invention is to provide a new touch gesture type by recognizing a finger performing a touch as well as a touch gesture, thereby providing a more expanded touch command technique. The present invention relates to a touch input device and method using finger recognition. The touch input method using finger recognition according to the present invention comprises: a step of recognizing a touch using at least one finger; a step of distinguishing the finger performing the touch from fingers of a user; a step of searching a user command from a plurality of commands stored in a command database, considering at least one piece of information of touch recognition information corresponding to the touch and finger recognition information about the finger; and a step of performing an operation corresponding to the user command.

Description

[0001] APPARATUS AND METHOD OF INPUTTING TOUCH USING FINGER RECOGNITION [0002]

본 발명은 손가락 인식을 통한 터치 입력 기술에 관한 것으로, 특히 사용자의 손끝이 화면 또는 패널과 접촉했는지 여부를 기반으로 하는 터치 인식 장치에서 접촉한 손가락의 종류마다 각각의 동작 명령을 수행할 수 있는 손가락 인식을 통한 터치 입력 장치 및 방법에 관한 것이다.The present invention relates to a touch input technique using finger recognition. More particularly, the present invention relates to a touch recognition device based on whether or not a user's fingertip contacts a screen or a panel, And more particularly, to a touch input device and method using recognition.

대다수의 모바일 단말을 포함해서 태블릿, 테이블 컴퓨팅 장치 및 키오스크 등의 디스플레이를 가지는 기기, 또한 디스플레이를 포함하지 않는 리모트 컨트롤러에 미디어 플레이어 등의 기기까지 사용자의 입력을 받아들이는 수많은 장치들이 터치 기반의 사용자 입력 기술을 채택하고 있다. Many devices that accept user input to devices such as tablets, table computing devices and kiosks, including devices such as a majority of mobile terminals, devices with displays such as remote controllers without displays, media players, etc., Technology.

이 때, 사용되는 사용자 터치 입력은 사용자의 손가락의 제스처에 따라서 다양한 입력 명령으로 활용되고 있다. 예를 들면, 손가락 하나를 이용하여 평면을 터치하는 'Tap' 제스처는 선택, 입력 및 확인 등의 사용자 의도를 표현하는 용도, 손가락 하나를 평면에 터치한 상태로 움직이는 'Drag' 제스처는 이동 및 그리기 등의 사용자에 의한 동적인 의도를 표현하는 용도 및 손가락 두 개를 평면에 터치한 상태로 멀리 떨어뜨리거나 가깝게 움직이는 'Pinch/Spread' 제스처는 화면을 확대하거나 축소하는 등의 디스플레이 환경을 조절하는 용도로 사용되고 있다.At this time, the user touch input used is utilized as various input commands according to the gesture of the user's finger. For example, a 'Tap' gesture that touches a plane with one finger may be used to express user intent such as selection, input and confirmation, and a 'Drag' gesture that moves with one finger touching a plane. And 'Pinch / Spread' gestures that move away or close with two fingers touched on a plane are used to adjust the display environment such as enlarging or reducing the screen .

이 중에서 가장 많이 사용되는 사용자 제스처는 'Tap' 제스처로써, 이는 가장 기본이 되는 터치 제스처이기도 하면서 동시에 가장 빈번하게 사용되는 입력 제스처이다. 이러한 'Tap' 제스처는 'double tap', 'long tap' 및 'multi tap' 등과 같은 모습으로 확장되어 사용되기도 한다. 특히 'multi tap' 제스처의 경우는 두 개 이상의 손가락에 적용될 수 있으며, 한 손 또는 두 손으로 확장이 가능함으로써 사용자 제스처의 종류 및 적용 범위를 크게 확대시켰다. The most popular user gesture is the 'Tap' gesture, which is the most basic touch gesture and the most frequently used input gesture. These 'Tap' gestures can be extended to 'double tap', 'long tap', and 'multi tap'. In particular, 'multi tap' gestures can be applied to two or more fingers, and can be extended with one hand or two hands, greatly expanding the type and scope of user gestures.

그러나 터치 장치의 다양화와 저변화 추세는 보다 새로운 터치 제스처의 요구 또한 증대시키고 있으며, 이에 상응하게 새로운 터치 제스처 방식이 절실하게 대두된다.However, the diversification of touch devices and the tendency to change tend to increase the demand for more new touch gestures, and a new touch gesture method is urgently needed.

한국 공개 특허 제10-2011-0133904호, 2011년 12월 14일 공개(명칭: 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법)Korean Patent Laid-Open No. 10-2011-0133904, published on December 14, 2011 (name: method of enlarging / reducing a mobile device and a touch window having a touch window enlargement / reduction function)

본 발명의 목적은 터치 제스처뿐만 아니라 터치를 수행하는 손가락을 인식하여 새로운 터치 제스처 형태를 제공함으로써, 보다 확장된 터치 명령 기술을 제공하는 것이다.It is an object of the present invention to provide a more extended touch command technique by recognizing not only a touch gesture but also a finger performing a touch and providing a new type of touch gesture.

또한, 본 발명의 목적은 사용자 입장에서 보다 간편한 제스처를 사용해서 보다 다양한 입력 명령을 수행할 수 있는 터치 제스처 형태를 제공하는 것이다.It is also an object of the present invention to provide a touch gesture type capable of performing more various input commands using a simpler gesture from a user's viewpoint.

또한, 본 발명의 목적은 터치 장치뿐만 아니라 각기 다른 장치들의 다양한 컨텐츠에 최적화하여 활용 가능한 사용자 터치 입력 기술을 제공하는 것이다.It is also an object of the present invention to provide a user touch input technique which can be optimized not only for a touch device but also for various contents of different devices.

상기한 목적을 달성하기 위한 본 발명에 따른 손가락 인식을 통한 터치 입력 방법은, 적어도 하나의 손가락을 이용한 터치를 인식하는 단계; 사용자의 손가락들 중 상기 터치를 수행한 상기 적어도 하나의 손가락을 구별하는 단계; 명령 데이터베이스에 저장된 복수 개의 명령들 중, 상기 터치에 상응하는 터치 인식 정보 및 상기 적어도 하나의 손가락에 대한 손가락 인식 정보 중 적어도 하나의 정보를 고려하여 사용자 명령을 검색하는 단계; 및 상기 사용자 명령에 상응하는 동작을 수행하는 단계를 포함한다. 이 때, 터치를 수행한 상기 적어도 하나의 손가락을 구별하는 단계는 상기 적어도 하나의 손가락이 터치된 위치에 대한 위치 정보를 기반으로 한 손가락 모델을 적용하여, 3차원 영상을 통해 상기 적어도 하나의 손가락을 구별하는 인식 알고리즘을 구현할 수 있다. According to an aspect of the present invention, there is provided a touch input method using finger recognition, comprising: recognizing a touch using at least one finger; Identifying at least one finger of the user's fingers that has performed the touch; Retrieving a user command in consideration of at least one of the touch recognition information corresponding to the touch and the finger recognition information for the at least one finger among a plurality of commands stored in the command database; And performing an operation corresponding to the user command. Wherein the step of distinguishing the at least one finger that has performed a touch comprises applying a finger model based on position information about the touched position of the at least one finger to cause the at least one finger Can be implemented.

이 때, 사용자 명령은 상기 복수 개의 명령들 중 상기 터치 인식 정보 및 상기 손가락 인식 정보에 동시에 상응하는 명령일 수 있다.At this time, the user command may be a command simultaneously corresponding to the touch recognition information and the finger recognition information among the plurality of commands.

이 때, 적어도 하나의 손가락을 구별하는 단계는 컨텐츠, UI 환경 및 사용자 설정 중 적어도 하나를 포함하는 운용 프로그램들 중 상기 터치에 대응되는 응용 프로그램에서 상기 손가락 인식 정보를 통한 터치 입력을 지원하는지 판단하는 단계를 포함하고, 상기 손가락 인식 정보를 통한 터치 입력을 지원하는 경우 상기 적어도 하나의 손가락을 구별할 수 있다.At this time, the step of distinguishing at least one finger determines whether or not the application corresponding to the touch among the operation programs including at least one of the content, the UI environment, and the user setting supports touch input through the finger recognition information And may distinguish the at least one finger when supporting touch input through the finger recognition information.

이 때, 복수 개의 명령들은 상기 터치 인식 정보에 상응하는 사용자 명령 및 상기 터치 인식 정보와 상기 손가락 인식 정보에 동시에 상응하는 사용자 명령 중 어느 하나에 상응할 수 있다.At this time, the plurality of commands may correspond to a user command corresponding to the touch recognition information and a user command simultaneously corresponding to the touch recognition information and the finger recognition information.

이 때, 명령 데이터베이스는 상기 사용자 및 상기 컨텐츠 중 적어도 하나로부터 사전에 설정된 상기 복수 개의 명령들을 저장할 수 있다.At this time, the command database may store the plurality of commands preset from at least one of the user and the contents.

또한, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 장치는, 적어도 하나의 손가락을 이용한 터치를 인식하는 터치 인식부; 사용자의 손가락들 중 상기 터치를 수행한 상기 적어도 하나의 손가락을 구별하는 손가락 인식부; 사전에 설정된 복수 개의 명령들을 저장하는 명령 데이터베이스; 상기 복수 개의 명령들 중, 상기 터치에 상응하는 터치 인식 정보 및 상기 적어도 하나의 손가락에 대한 손가락 인식 정보 중 적어도 하나의 정보를 고려하여 사용자 명령을 검색하는 명령 검색부; 및 상기 사용자 명령에 상응하는 동작을 수행하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a touch input device using finger recognition, including: a touch recognition unit for recognizing a touch using at least one finger; A finger recognition unit that distinguishes at least one finger of the user's fingers that has performed the touch; An instruction database for storing a plurality of commands set in advance; An instruction retrieval unit for retrieving a user command by considering at least one of the touch recognition information corresponding to the touch and the finger recognition information for the at least one finger among the plurality of commands; And a controller for performing an operation corresponding to the user command.

이 때, 손가락 인식부는 상기 적어도 하나의 손가락이 터치된 위치에 대한 위치 정보를 기반으로 한 손가락 모델을 적용하여, 3차원 영상을 통해 상기 적어도 하나의 손가락을 구별하는 인식 알고리즘을 구현할 수 있다.At this time, the finger recognition unit may implement a recognition algorithm that distinguishes the at least one finger through a three-dimensional image by applying a finger model based on positional information on the touched position of the at least one finger.

이 때, 손가락 인식부는 컨텐츠, UI 환경 및 사용자 설정 중 적어도 하나를 포함하는 운용 프로그램들 중 상기 터치에 대응되는 응용 프로그램에서 상기 손가락 인식 정보를 통한 터치 입력을 지원하는지 판단하고, 상기 손가락 인식 정보를 통한 터치 입력을 지원하는 경우 상기 적어도 손가락을 구별할 수 있다.At this time, the finger recognition unit determines whether the application program corresponding to the touch supports touch input through the finger recognition information among operation programs including at least one of contents, UI environment, and user setting, The user can distinguish the at least one finger.

본 발명에 따르면, 터치 제스처뿐만 아니라 터치를 수행하는 손가락을 인식하여 새로운 터치 제스처 형태를 제공함으로써, 보다 확장된 터치 명령 기술을 제공할 수 있다.According to the present invention, not only a touch gesture but also a finger for performing a touch are recognized to provide a new type of touch gesture, thereby providing a more extended touch command technique.

또한, 본 발명은 터치 인식 정보를 사용자 손가락 구별을 위한 인식 알고리즘에 함께 적용함으로써 쉽고 간단한 구현이 가능하다.Further, the present invention can be easily and simply implemented by applying the touch recognition information to the recognition algorithm for distinguishing the user's finger.

또한, 본 발명은 사용자 입장에서 보다 간편한 제스처를 사용해서 보다 다양한 입력 명령을 수행할 수 있는 터치 제스처 형태를 제공할 수 있다.In addition, the present invention can provide a touch gesture type capable of performing more various input commands using a simpler gesture from a user's viewpoint.

또한, 본 발명은 터치 장치뿐만 아니라 각기 다른 장치들의 다양한 컨텐츠에 최적화하여 활용 가능한 사용자 터치 입력 기술을 제공할 수 있다.In addition, the present invention can provide a user touch input technology that can be utilized not only for a touch device but also for various contents of different devices.

도 1은 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법을 상세하게 나타낸 동작 흐름도이다.
도 3은 광학식 센서를 이용하여 손가락의 모양을 추출하는 MS Surface 장치를 나타낸 도면이다.
도 4는 반사경을 이용하여 손가락의 모양을 추출하는 Osmo 장치를 나타낸 도면이다.
도 5는 본 발명에 따른 터치 입력 방법을 이용하여 키보드입력을 수행하는 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 장치를 나타낸 블록도이다.
도 7은 본 발명에 따른 터치된 손가락 구별을 위한 손가락 모델의 일 예를 나타낸 도면이다.1 is a flowchart illustrating a touch input method using finger recognition according to an embodiment of the present invention.
2 is a detailed flowchart illustrating a touch input method using finger recognition according to an exemplary embodiment of the present invention.
3 is a view showing an MS Surface device for extracting the shape of a finger using an optical sensor.
4 is a view showing an Osmo apparatus for extracting the shape of a finger using a reflector.
5 is a diagram illustrating an example of performing keyboard input using the touch input method according to the present invention.
6 is a block diagram illustrating a touch input device through finger recognition according to an embodiment of the present invention.
7 is a diagram illustrating an example of a finger model for distinguishing a touched finger according to the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법을 나타낸 동작 흐름도이다.1 is a flowchart illustrating a touch input method using finger recognition according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법은 적어도 하나의 손가락을 이용한 터치를 인식할 수 있다(S110).Referring to FIG. 1, a touch input method using finger recognition according to an embodiment of the present invention can recognize a touch using at least one finger (S110).

이 때, 단말에 포함된 2D 센서장치 또는 터치 센서장치에서 센싱된 정보를 바탕으로 터치를 인식할 수 있다.At this time, the touch can be recognized based on the information sensed by the 2D sensor device or the touch sensor device included in the terminal.

사용자의 손가락을 이용한 터치는 서로 다른 하나의 손가락을 터치하는 동작을 기본으로 할 수 있다. 이 때, 터치에 따라 운용되는 컨텐츠, UI 환경 및 사용자 설정 등에 따라서 매핑되는 명령을 사전에 정의하여 수행할 수 있다.The touch using the user's finger may be based on the operation of touching one finger. At this time, commands to be mapped according to contents operated on the touch, UI environment, user setting, and the like can be defined and executed in advance.

이러한 터치를 인식하기 위한 기술은 기존의 터치 패널 및 터치 스크린 등에서 사용되는 터치 센서 및 인식 기술을 활용할 수 있다. 이는 터치 패널의 구현 원리와 동작 방법에 따라서 저항막, 광학, 정전용량, 초음파 및 압력 방식 중 적어도 하나를 이용할 수 있다. 이러한 방법들 중에서도 터치되는 손끝에 반사 또는 차단되는 빛을 이용하는 광학식, 도체인 손끝의 터치로 인한 전하량의 변화를 이용하는 정전용량 방식 및 터치하는 손끝으로 눌러지는 힘에 의한 변화를 이용하는 감압식 등의 방법이 주로 이용될 수 있다. The technology for recognizing such a touch can utilize a touch sensor and a recognition technology used in a conventional touch panel and a touch screen. It can use at least one of a resistive film, an optical film, an electrostatic capacity, an ultrasonic wave, and a pressure method depending on the principle of operation and the operation method of the touch panel. Among these methods, an optical method using light reflected or intercepted at the fingertip touch, a capacitive method using a change in the amount of electric charge due to a touch of a fingertip that is a conductor, and a decompression method using a change due to a force applied by a touching fingertip It can be mainly used.

이 때, 터치의 방식은 tap, press, drag, flick, pinch 및 spread 중 적어도 하나를 포함할 수 있다. 예를 들어, tap이나 press는 선택, 입력, 확인 등의 사용자 의도를 표현하는 용도로 사용될 수 있고, drag는 이동하거나 그리기, flick는 화면 넘기기나 화면 이동 그리고 pinch나 spread는 화면 확대 및 축소를 수행하는 용도로 사용될 수 있다.At this time, the touch mode may include at least one of tap, press, drag, flick, pinch, and spread. For example, tap or press can be used to express user's intentions such as selection, input, confirmation, etc. Drag can be moved or drawn, flick can be turned on or off, pinch or spread can be zoomed Can be used.

이 때, tap의 경우에는 double tap, long tap 및 multi tap을 포함할 수 있다. 예를 들어, double tap은 게임과 같은 컨텐츠를 실행할 때 조이스틱과 같은 용도로 사용될 수 있으며, long tap은 컨텐츠의 이동이나 삭제를 위한 용도 그리고 multi tap은 화면의 회전이나 이동 등을 수행하는 용도로 사용될 수도 있다.At this time, in the case of tap, it may include double tap, long tap, and multi tap. For example, a double tap can be used for a joystick when playing content such as a game, a long tap is used for moving or deleting content, and a multi tap is used for rotating or moving a screen It is possible.

또한, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법은 사용자의 손가락들 중 터치를 수행한 적어도 하나의 손가락을 구별할 수 있다(S120).In addition, the touch input method using finger recognition according to an embodiment of the present invention can distinguish at least one finger that performed a touch among the user's fingers (S120).

이 때, 단말에 포함된 3D 센싱장치의 센싱 정보를 이용하여 해당 시점의 손가락의 모형을 추적하여 손가락을 구별할 수 있다. At this time, it is possible to distinguish the fingers by tracking the model of the finger at the point of time using the sensing information of the 3D sensing device included in the terminal.

이 때, 터치된 지점에 대한 정보를 함께 이용함으로써 3D 센싱장치의 센싱 정보에서 터치를 수행한 손가락의 위치 정보를 유추할 수 있다. 또한, 도 7과 같은 3차원 손가락 모델을 터치된 지점의 위치 및 터치 점의 개수 정보와 함께 적용함으로써 터치된 손가락의 정보, 예를 들면 각각의 손가락에 상응하는 손가락 번호와 같은 값을 쉽게 추출할 수 있다. 이 때, 손가락을 구별하기 위해 손이나 손가락의 상세한 움직임이나 제스처와 같은 정보를 요구하는 것이 아니라 단순히 터치 시점의 터치된 손가락 번호와 같은 간단한 정보만을 획득하면 되기 때문에 구현의 난이도나 복잡도 문제는 쉽게 해결할 수 있다.At this time, by using the information about the touched point together, it is possible to infer the position information of the finger that performed the touch in the sensing information of the 3D sensing device. In addition, by applying the three-dimensional finger model as shown in FIG. 7 together with the position of the touched point and the number of touch points, information such as the finger number corresponding to each finger can be easily extracted . In this case, in order to distinguish the fingers, rather than requiring detailed information such as a hand or a finger or gesture, it is necessary to acquire only simple information such as the number of touched fingers at the touch point. .

이 때, 터치에 대한 제스쳐를 구분하는 것뿐만 아니라 터치 입력을 수행하는 손가락을 구별하여 사용자 명령을 수행함으로써, 종류가 많아 복잡해질 수 있는 사용자 명령을 단순히 손가락을 교체하여 터치 입력을 수행할 수 있다. 예를 들어, 모바일 단말에서와 같이 하나의 버튼에 다수의 문자가 매핑되어 있는 키패드 구성에서 하나의 버튼을 검지손가락으로 터치한 경우, 첫 번째 문자의 입력을 수행하고 중지손가락으로 터치한 경우 두 번째 문자의 입력을 수행하게 할 수 있다.At this time, not only the gesture for the touch is distinguished but also the finger for performing the touch input is discriminated to perform the user command, so that the user command which can be complicated due to a large number of kinds can be simply replaced with a finger to perform touch input . For example, in a keypad configuration in which a plurality of characters are mapped to one button as in a mobile terminal, when one finger is touched with the index finger, the first character is input and the second finger is touched with the stop finger, Characters can be input.

또 다른 예를 들면, 모바일 단말에서 다수의 아이콘이 바탕화면에 배치되어 있을 때, 검지손가락으로 아이콘을 터치한 경우 해당 프로그램을 실행시키고, 중지손가락으로 터치한 경우 해당 프로그램의 정보가 나타나도록 설정할 수 있다.In another example, when a plurality of icons are arranged on the desktop, a corresponding program is executed when the icon is touched with the index finger, and information of the corresponding program is displayed when the user touches the stop finger have.

또 다른 예를 들면, 전투 비행기를 터치하여 총알 및 미사일을 발사하여 목표물을 폭파하는 게임의 경우, 검지손가락으로 전투 비행기를 터치하면 총알이 발사되고, 중지손가락으로 전투 비행기를 터치하면 미사일이 발사되도록 설정할 수 있다.Another example is a game in which a battle airplane is tapped to fire bullets and missiles to blow up targets, touching a battle airplane with an index finger will fire a bullet, and touching a battle airplane with a stop finger will cause the missile to fire Can be set.

또 다른 예를 들면, ATM 기기 등의 키오스크 단말에서 사용자 비밀번호를 입력해야 하는 경우, 입력되는 숫자 정보와 함께 터치되는 손가락의 종류가 비밀번호의 구성에 함께 포함되게 함으로써 주변에서 눈으로 쉽게 볼 수 있는 숫자와는 달리 손가락 종류의 구별은 쉽게 노출되지 않으므로 비밀번호의 비밀성이 보다 강화될 수 있다.In another example, when a user password is required to be input from a kiosk terminal such as an ATM device, the type of the finger to be touched together with the inputted numeric information is included in the password configuration, The distinction of the finger type is not easily exposed, so that the confidentiality of the password can be further strengthened.

이 때, 컨텐츠, UI 환경 및 사용자 설정 중 적어도 하나를 포함하는 운용 프로그램들 중 터치에 대응되는 운용 프로그램에서 손가락 인식 정보를 통한 터치 입력을 지원하는지 판단할 수 있고, 손가락 인식 정보를 통한 터치를 지원하는 경우 적어도 하나의 손가락을 구별할 수 있다. 예를 들어, 터치 인식 정보를 지원하지만 손가락 인식 정보에 대한 사용자 명령을 지원하지 않는 운용 프로그램인 경우에는 불필요하게 손가락을 구별하는 플로우를 수행하지 않아도 되기 때문에 시스템의 효율성을 상승시킬 수 있다.At this time, it is possible to determine whether the operation program corresponding to the touch among the operation programs including at least one of the content, the UI environment, and the user setting supports the touch input through the finger recognition information, At least one finger can be distinguished. For example, in the case of an operating program that supports touch recognition information but does not support user commands for finger recognition information, it is unnecessary to perform a flow for discriminating fingers, thereby increasing the efficiency of the system.

이와 같은 손가락 인식 정보는 터치 인식 정보가 획득된 것이 확인된 이후에 요청될 수 있다.Such finger recognition information may be requested after it is confirmed that the touch recognition information has been acquired.

또한, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법은 명령 데이터베이스에 저장된 복수 개의 명령들 중, 터치에 상응하는 터치 인식 정보 및 적어도 하나의 손가락에 대한 손가락 인식 정보 중 적어도 하나의 정보를 고려하여 사용자 명령을 검색할 수 있다(S130).According to another aspect of the present invention, there is provided a touch input method using finger recognition, including at least one of touch recognition information corresponding to a touch and finger recognition information corresponding to at least one finger among a plurality of commands stored in an instruction database The user command can be searched for (S130).

이 때, 사용자 명령은 복수 개의 명령들 중 터치 인식 정보 및 손가락 인식 정보에 동시에 상응하는 명령일 수 있다. 이 때, 운용 프로그램의 종류에 따라 손가락을 구별하지 않아 손가락 인식 정보가 없다면, 사용자 명령은 터치 인식 정보에 상응하는 명령일 수도 있다. At this time, the user command may be a command simultaneously corresponding to the touch recognition information and the finger recognition information among the plurality of commands. At this time, if there is no finger identification information according to the type of the operation program and there is no finger recognition information, the user command may be a command corresponding to the touch recognition information.

이 때, 복수 개의 명령들은 터치 인식 정보에 상응하는 사용자 명령 및 터치 인식 정보와 손가락 인식 정보에 동시에 상응하는 사용자 명령 중 어느 하나에 상응할 수 있다. 예를 들어, 손가락 인식 정보가 존재한다면 터치 인식 정보도 존재해야 하기 때문에, 복수 개의 명령들은 터치 인식 정보에만 상응하는 사용자 명령 또는 터치 인식 정보와 손가락 인식 정보에 모두 상응하는 사용자 명령 중 어느 하나일 수 있다.At this time, the plurality of commands may correspond to any one of a user command corresponding to the touch recognition information and a user command simultaneously corresponding to the finger recognition information and the touch recognition information. For example, if finger recognition information exists, since the touch recognition information must also exist, the plurality of commands may be any one of a user command corresponding to only the touch recognition information or a user command corresponding to both the touch recognition information and the finger recognition information have.

이 때, 명령 데이터베이스는 사용자 및 컨텐츠 중 적어도 하나로부터 사전에 설정된 복수 개의 명령들을 저장할 수 있다. 예를 들어, 사용자 설정과 같이 단말의 사용자만이 접근할 수 있는 운용 프로그램의 경우에는 단말의 사용자 개개인들이 터치 인식 정보 및 손가락 인식 정보를 이용하여 사용자 명령을 설정할 수 있다. At this time, the command database may store a plurality of commands preset from at least one of the user and the contents. For example, in the case of an operating program that can be accessed only by a user of the terminal, such as a user setting, individual users of the terminal can set a user command using the touch recognition information and the finger recognition information.

이 때, 터치 인식 정보는 손가락으로 터치된 터치점의 개수 및 평면 화면 상에서 터치된 터치점의 위치 등을 포함할 수 있다.At this time, the touch recognition information may include the number of touch points touched with the finger, the position of the touch point touched on the plane screen, and the like.

또한, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법은 사용자 명령에 상응하는 동작을 수행할 수 있다(S140). In addition, the touch input method using finger recognition according to an embodiment of the present invention can perform an operation corresponding to a user command (S140).

이 때, 명령 데이터베이스에서 터치 인식 정보 및 손가락 인식 정보에 상응하는 사용자 명령이 검색되지 않으면, 사용자가 터치한 입력을 무시하고 동작하지 않거나 또는 다시 입력을 요청하는 메시지 또는 팝업 메시지 등을 출력할 수 있다.
At this time, if the user command corresponding to the touch recognition information and the finger recognition information is not retrieved from the command database, the user can ignore the input touched by the user and output a message or pop-up message requesting input again .

도 2는 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법을 상세하게 나타낸 동작 흐름도이다.2 is a detailed flowchart illustrating a touch input method using finger recognition according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 방법은 먼저 적어도 하나의 손가락을 이용한 터치를 인식할 수 있다(S210).Referring to FIG. 2, a touch input method using finger recognition according to an embodiment of the present invention can recognize a touch using at least one finger (S210).

단계(S210)에서 터치를 인식한 후, 컨텐츠, UI 환경 및 사용자 설정과 같은 운용 프로그램들 중 터치에 대응되는 운용 프로그램에서 손가락 인식 정보를 통한 터치 입력을 지원하는지 판단할 수 있다(S215).After recognizing the touch in step S210, it can be determined whether the operation program corresponding to the touch among the operation programs such as the content, the UI environment, and the user setting supports the touch input through the finger recognition information (S215).

단계(S215)의 판단결과 손가락 인식을 지원하면, 터치를 수행한 손가락을 인식하기 위한 손가락 구별을 수행할 수 있다(S220).If the finger recognition is supported as a result of the determination in step S215, it is possible to distinguish the finger for recognizing the finger having performed the touch (S220).

단계(S215)의 판단결과 손가락 인식을 지원하지 않으면, 명령 데이터베이스에 저장된 복수 개의 명령들 중 터치 인식 정보에 상응하는 사용자 명령이 검색되는지 여부를 판단할 수 있다(S225).If the finger recognition is not supported as a result of the determination in step S215, it may be determined whether a user command corresponding to the touch recognition information among the plurality of commands stored in the command database is searched (S225).

또한, 단계(S220)이 후 명령 데이터베이스에서 터치 인식 정보 및 손가락 인식 정보에 동시에 상응하는 사용자 명령이 검색되는지 여부도 판단할 수도 있다(S225).Further, after step S220, it may be determined whether a user command corresponding to both the touch recognition information and the finger recognition information is simultaneously searched in the command database (S225).

단계(S225)의 판단결과 명령 데이터베이스에서 상응하는 사용자 명령이 검색되면, 사용자 명령에 따른 동작을 수행할 수 있다(S230).If it is determined in operation S225 that the corresponding user command is found in the command database, the operation according to the user command may be performed in operation S230.

단계(S225)의 판단결과 명령 데이터베이스에서 상응하는 사용자 명령이 검색되지 않으면, 사용자가 설정되지 않은 제스쳐를 입력하였거나 터치 입력 장치가 사용자의 제스쳐를 오인식했을 가능성이 있으므로 다시 재인식을 수행할 수 있다. 이 때, 사용자에게 재 입력을 안내하는 메시지 또는 팝업 메시지를 제공할 수도 있다.
If it is determined in step S225 that the corresponding user command is not found in the command database, it is possible that the user has input the unset gesture or that the touch input device misidentified the user's gesture. At this time, the user may be provided with a message or a pop-up message to guide re-entry.

도 3은 광학식 센서를 이용하여 손가락의 모양을 추출하는 MS Surface 장치를 나타낸 도면이다. 도 4는 반사경을 이용하여 손가락의 모양을 추출하는 Osmo 장치를 나타낸 도면이다.3 is a view showing an MS Surface device for extracting the shape of a finger using an optical sensor. 4 is a view showing an Osmo apparatus for extracting the shape of a finger using a reflector.

도 3 및 도 4 를 참조하면, 손가락의 모양을 추출하는 장치들은 터치가 인식되는 시점에 어떤 손가락이 터치되었는가를 인식할 수 있다. Referring to FIGS. 3 and 4, devices for extracting the shape of a finger can recognize which finger is touched at the time when the touch is recognized.

이 때, 터치 입력 장치에 부착되는 부가적인 인식 센서를 활용하여 그 기능을 수행할 수 있다. 예를 들어, 카메라를 이용하여 손가락의 영상을 분석하는 방법을 이용하거나 또는 도 3과 같이 스크린 평면 전판에 설치된 광학식 센서를 이용하여 손가락의 모양을 추출하는 MS Surface 장치(310)를 이용하여 인식할 수 있다.At this time, an additional recognition sensor attached to the touch input device can be used to perform the function. For example, by using a method of analyzing images of a finger using a camera, or by using an MS surface device 310 for extracting the shape of a finger using an optical sensor installed on a screen plane front plate as shown in FIG. 3 .

이 외에도 개별 손가락을 구분하기 위하여 손가락 끝에 마커를 부착하거나 장갑 등을 사용하는 방법도 있으나, 이러한 방법들은 사용자 편의성 측면에서 실용성이 떨어지기 때문에 추천되지 않는다. In addition, there is a method of attaching a marker to a fingertip or using a glove to separate individual fingers, but these methods are not recommended because of their low practicality in terms of user convenience.

현재 사용되고 있는 모바일 단말들의 경우는 내장된 카메라가 존재하지만, 내장된 카메라들의 시야각이 손가락을 통해 터치하는 화면을 커버하지 못하기 때문에 별도의 장치를 요구할 수 있다. The mobile terminals currently used include a built-in camera, but a built-in camera may require a separate device because the viewing angle of the built-in cameras can not cover the screen touching the finger.

이 때, 도 4와 같이 아이패드용 액세서리 및 컨텐츠를 제공하는 Osmo 장치와 같이 화면과 수평에 가까운 방향의 영상을 카메라로 보내기 위해 반사경(410)을 활용할 수도 있다.At this time, as shown in FIG. 4, a reflector 410 may be used to transmit an image in a horizontal direction to the camera, such as an Osmo device for providing accessories and contents for an iPad.

테이블탑 디스플레이와 같은 대형 장치의 경우 화면의 프레임 부분에 카메라를 부착할 수 있으며, 만약 카메라가 테이블탑 장치의 화면 아래에서 화면 상단의 영상을 인식하여 화면 터치의 기능을 구현하는 경우는 손가락의 모양까지 함께 인식이 가능할 수 있다.
In the case of a large device such as a tabletop display, a camera may be attached to a frame portion of the screen. If the camera recognizes an image at the top of the screen at the bottom of the tabletop device and implements the function of the screen touch, Can be recognized together.

도 5는 본 발명에 따른 터치 입력 방법을 이용하여 키보드입력을 수행하는 일 예를 나타낸 도면이다.5 is a diagram illustrating an example of performing keyboard input using the touch input method according to the present invention.

도 5를 참조하면, 모바일 단말의 키패드(510)에는 하나의 버튼에 다수의 문자가 매핑되어 있는 것을 확인할 수 있다. Referring to FIG. 5, it can be seen that a plurality of characters are mapped to one button on the keypad 510 of the mobile terminal.

기존의 방법을 이용하여 'ㅋ'을 입력하기 위해서는 'ㄱ, ㅋ'이 포함된 버튼을 두 번 터치하여 입력을 수행할 수 있었다. 그러나 장문의 글을 입력할 때에는 이와 같이 터치를 여러 번 하는 동작이 번거로울 수 있다. 또한 두 번은 연달아 터치하는 위치가 정확하지 않으면 두번째에는 옆에 다른 버튼을 터치하는 경우도 발생할 수 있다. In order to input 'k' using the conventional method, the user can touch the button including 'a' and 'b' twice to perform input. However, when inputting a long text, it is troublesome to perform the touch many times. Also, if the second touch point is incorrect, the second touch point may be touched.

따라서, 본 발명은 이러한 문제점을 해결하기 위해 터치 인식에 더불어 손가락 인식을 통한 방법을 제공할 수 있다.Therefore, in order to solve such a problem, the present invention can provide a finger recognition method in addition to the touch recognition.

예를 들어 도 5의 키패드(510)에서 'ㄱ, ㅋ'에 상응하는 버튼을 검지 손가락(520)으로 터치하는 경우 'ㄱ'이 입력되고, 'ㄱ, ㅋ'에 상응하는 버튼을 중지 손가락(530)으로 터치하는 경우 'ㅋ'이 입력될 수 있다. For example, when the finger corresponding to 'a' and 'b' on the keypad 510 of FIG. 5 is touched with the index finger 520, 'a' is input and a button corresponding to 'a' 530), 'ke' can be input.

이 때, 단말에 포함된 터치 입력 장치는 'ㄱ, ㅋ'에 상응하는 버튼을 터치하는 손가락을 인식함으로써 인식된 손가락에 상응하게 설정된 문자를 출력할 수 있다. 또한, 사용자에 따라 검지 손가락(520)이나 중지 손가락(530)이 아닌 다른 손가락에 상응하게 설정을 변경할 수도 있다.
At this time, the touch input device included in the terminal can recognize a finger touching a button corresponding to 'a' and 'b' to output a character set corresponding to the recognized finger. In addition, the settings may be changed corresponding to other fingers other than the index finger 520 and the stop finger 530 depending on the user.

도 6은 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 장치를 나타낸 블록도이다.6 is a block diagram illustrating a touch input device through finger recognition according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 손가락 인식을 통한 터치 입력 장치는 터치 인식부(610), 손가락 인식부(620), 명령 데이터베이스(630), 명령 검색부(640) 및 제어부(650)를 포함할 수 있다.6, a touch input device using finger recognition according to an exemplary embodiment of the present invention includes a touch recognition unit 610, a finger recognition unit 620, an instruction database 630, an instruction search unit 640, (650).

터치 인식부(610)는 적어도 하나의 손가락을 이용한 터치를 인식할 수 있다.The touch recognition unit 610 can recognize a touch using at least one finger.

손가락 인식부(620)는 사용자의 손가락들 중 터치를 수행한 적어도 하나의 손가락을 구별할 수 있다.The finger recognition unit 620 can distinguish at least one finger of the user's fingers.

명령 데이터베이스(630)는 사전에 설정된 복수 개의 명령들을 저장할 수 있다. The command database 630 may store a plurality of commands set in advance.

명령 검색부(640) 명령 데이터베이스(630)에 저장된 복수 개의 명령들 중, 터치에 상응하는 터치 인식 정보 및 적어도 하나의 손가락에 대한 손가락 인식 정보 중 적어도 하나의 정보를 고려하여 사용자 명령을 검색할 수 있다.The command search unit 640 can search for a user command by considering at least one of the touch recognition information corresponding to the touch and the finger recognition information for at least one of the plurality of commands stored in the command database 630 have.

이 때, 명령 데이터베이스(630)는 사용자 및 컨텐츠 중 적어도 하나로부터 사전에 설정된 복수 개의 명령들을 저장할 수 있다. 예를 들어, 사용자 설정과 같이 단말의 사용자만이 접근할 수 있는 운용 프로그램의 경우에는 단말의 사용자 개개인들이 터치 인식 정보 및 손가락 인식 정보를 이용하여 사용자 명령을 설정할 수 있다. At this time, the command database 630 may store a plurality of commands set in advance from at least one of the user and the contents. For example, in the case of an operating program that can be accessed only by a user of the terminal, such as a user setting, individual users of the terminal can set a user command using the touch recognition information and the finger recognition information.

이 때, 터치 인식 정보는 손가락으로 터치된 터치점의 개수 및 평면 화면 상에서 터치된 터치점의 위치 등을 포함할 수 있다. At this time, the touch recognition information may include the number of touch points touched with the finger, the position of the touch point touched on the plane screen, and the like.

제어부(650)는 사용자 명령에 상응하는 동작을 수행할 수 있다.The control unit 650 may perform an operation corresponding to a user command.

이상에서와 같이 본 발명에 따른 손가락 인식을 통한 터치 입력 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the touch input device and method using finger recognition according to the present invention are not limited to the configuration and method of the embodiments described above. All or some of the embodiments may be selectively combined.

310: MS Surface 장치 410: 반사경
510: 키패드 520: 검지 손가락
530: 중지 손가락 610: 터치 인식부
620: 손가락 인식부 630: 명령 데이터베이스
640: 명령 검색부 650: 제어부310: MS Surface device 410: reflector
510: keypad 520: index finger
530: Stop finger 610: Touch recognition unit
620: finger recognition unit 630: command database
640: command search unit 650: control unit

Claims

Recognizing a touch using at least one finger;
Identifying at least one finger of the user's fingers that has performed the touch;
Retrieving a user command in consideration of at least one of the touch recognition information corresponding to the touch and the finger recognition information for the at least one finger among a plurality of commands stored in the command database; And
Performing an operation corresponding to the user command
The touch input method according to claim 1,