KR20160031940A

KR20160031940A - User input apparatus using location or change thereof

Info

Publication number: KR20160031940A
Application number: KR1020150018907A
Authority: KR
Inventors: 고재용
Original assignee: 주식회사 와이드벤티지
Priority date: 2014-09-15
Filing date: 2015-02-06
Publication date: 2016-03-23

Abstract

The present invention relates to a user input device using a location or a change in a location for checking a location of an electronic device or a change in a location thereof (a motion path) and reflecting the checked location or the location change as a user input in order to control an operation of the electronic device (software). The user input device comprises: a location sensing unit installed in the user input device to sense a location and an angle of the user input device, and a change in a location and an angle of the same when the user input device moves; and a control unit determining the user input according to the change in the location or angle of the user input device, or the change in the location or the angle, based on a sensed value from the location sensing unit.

Description

USER INPUT APPARATUS USING LOCATION OR CHANGE THEREOF USING THE SAME

본 발명은 사용자 입력 장치에 관한 것으로서, 특히 사용자 터치 스크린이나 다양한 센서와 통신 모듈을 갖춘 스타일러스 등 복잡한 장치 없이, 전기 기기의 위치나 위치 변화(움직임 경로)를 확인하고, 확인된 위치나 위치 변화를 사용자의 입력으로 반영하여, 전기 기기(소프트웨어)의 동작 제어를 수행할 수 있는 위치 또는 위치 변화를 이용한 사용자 입력 장치에 관한 것이다. The present invention relates to a user input device, and more particularly, it relates to a user input device, in which a position or a position change (movement path) of an electric device is checked without a complicated device such as a stylus having a user touch screen or various sensors and a communication module, The present invention relates to a user input device using a change in position or position capable of performing an operation control of an electric device (software) by reflecting the input to a user.

태블릿 PC와 스마트 폰의 출현과 함께 이미지가 표시되는 스크린 위에 펜 촉을 대면 정전, 정압, 또는 광학식으로 스타일러스 펜 촉의 위치가 인지되는 입력 장치가 일반화되었다. 대부분의 터치스크린은 손가락으로 눌러 입력을 하기도 하고 펜이나 스타일러스 등의 포인팅 장치로 입력을 하기도 하는데, 특히 일본 와콤사에서 EMR(electromagnetic resonance)이라 명명한 자기 공명에 기반한 기술을 미국 특허　6556190에 공개했는데 현재 삼성전자의 갤럭시 노트 제품군을 포함한 여러 상품에 사용되고 있다. 이 기술은 입력 패드 위에 손가락이나 손 볼 등 피부에 의한 터치와 스타일러스를 구분하여 처리하는 것이 가능하며, 누르는 압력 측정이 가능하여 압력에 따라 획의 굵기 조절을 하는 등 고급 기능을 갖추고 있다.　With the advent of tablet PCs and smartphones, input devices have become commonplace when the pen touches the screen on which the image is displayed, recognizing the position of the stylus pen tip by static electricity, static pressure, or optically. Most of the touch screens are input by pressing with a finger or input by a pointing device such as a pen or a stylus. In particular, a magnetic resonance-based technology called EMR (electromagnetic resonance) is disclosed in U.S. Patent No. 6556190 Currently, it is used in various products including Samsung Galaxy Note product line. This technology can distinguish touch and stylus by touching the skin such as finger or hand ball on the input pad, and it is possible to measure the pressing pressure, and it has advanced functions such as controlling the thickness of stroke according to the pressure.

미국의 애플사는 Optical Stylus라 명명한 미국 특허 출원 2012/0127110을 통해 별도의 터치 스크린 입력 없이 스타일러스에 카메라와 전원을 포함하는 회로, 프로세서, 무선 통신 모듈을 넣어 스타일러스의 팬 촉이 스마트 폰의 스크린 상에 충분히 가까워지거나 터치를 하면, 스크린에 미세하게 형성된 시각 표지를 스타일러스의 카메라가 인식하여 스타일러스 팬 촉의 스크린 상 위치를 인지하고, 스타일러스가 스크린과 이루는 기울임 각도(tilt) 등을 알아내는 기술을 공개하였다. 터치 스크린 없이 입력이 가능한 스타일러스들은 다양하게 개발되어 있다. 스타일러스에 카메라가 장착되어 있고, 특수 종이 위에 미세하게 형성된 패턴을 인식하여 특수 종이 상의 터치 위치를 알아내어 컴퓨터로 획이 전달되는 OID(optical identification) 펜들이나, 초음파와 적외선을 발생시키는 스타일러스와 스타일러스가 발생시킨 초음파와 적외선을 인식하는 둘 이상의 센서 모듈을 통해 두 신호의 시간 차이로부터 스타일러스 팬 촉의 위치를 계산하여 컴퓨터로 전달하는 초음파 펜 제품들이 그 예이다. 또한, 적외선 램프와 여러 대의 전용 카메라를 스크린의 측면에 장착하여, 스크린을 터치하는 손가락이나 펜의 x, y 좌표계에서의 위치를 카메라의 촬상으로부터 삼각측량으로 계산하여 컴퓨터에 전달해주는 기술도 상용화되어 있다. In the United States, Apple Inc. has filed a US patent application named Optical Stylus 2012/0127110 to add a camera, a power supply, a circuit, a processor and a wireless communication module to the stylus without a separate touch screen input, The camera of the stylus recognizes the minute mark formed on the screen and recognizes the position of the stylus pen tip on the screen and discloses a technique of detecting the tilt angle between the stylus and the screen . There are a variety of stylus types that can be input without a touchscreen. OID (optical identification) pens that are equipped with a camera on the stylus, recognize minute patterns on special paper, find out the touch position on special paper and transfer the strokes to the computer, or stylus and stylus that generate ultrasound and infrared An example is an ultrasonic pen product that calculates the position of a stylus pen tip from the time difference between two signals through two or more sensor modules that recognize the generated ultrasonic waves and infrared rays and transmits them to a computer. In addition, infrared ray lamps and several dedicated cameras are mounted on the side of the screen, and the technology of transferring the position of the finger or pen touching the screen in the x- and y-coordinate system from the camera image to the computer by triangulation is also commercialized have.

한편, 일본 닌텐도 사나 소니사의 PS VITA 등의 게임기는 다양한 휴대형 증강 현실 시스템은 카메라와 마커(시각 표지)를 사용한다. 이들 게임기 들은 테이블 위에 놓인 시각 표지의 위치와 각도를 카메라 촬영을 통해 인식하고, 게임기의 스크린에 촬영된 영상을 출력하고 그 영상 중에 시각표지를 인식하여 시각표지의 위치와 방향에 따라 게임 캐릭터 등, 현실에는 없는 정보를 더해 게임기의 스크린 위에 출력한다. 스포츠 게임기인 Wii remote 등도 적외선 카메라를 구비하고 적외선 LED를 시각표지로 두어 카메라를 통해 촬영되는 적외선 LED의 시각 정보로부터 리모콘의 공간상의 위치를 감지한다. 　On the other hand, game machines such as PS VITA of Nintendo Co., Ltd. of Japan use various cameras and markers (visual signs) for various augmented reality systems. These game devices recognize the position and angle of the visual mark placed on the table through camera shooting, output the captured image on the screen of the game device, recognize the visual mark in the image, and display the game character, The information that is not present in reality is added and outputted on the screen of the game machine. The Wii remote, which is a sports game machine, also has an infrared camera. The infrared LED is set as a visual indicator, and the position of the remote controller is detected from the visual information of the infrared LED taken through the camera.

다른 한편, 미국의 마이크로소프트사의 키넥트라는 제품은 적외선 레이저와 두 개의 적외선 카메라를 써서 주변 물체의 깊이를 포함한 3차원 정보를 입력 받아 게임에 활용하고 있으며, 미국의 구글사는 탱고라는 프로젝트에서는 스마트 폰에 여러 개의 광각 카메라나 시각적 깊이 센서를 장착하여 폰 주변의 삼차원 형상들을 인식하는 기술을 여러 파트너사와 본격적으로 개발하기 시작했다. 미국의 Leapmotion 등의 신생 제품은 두 개의 카메라를 활용하여 공중에 뜬 손의 10개 손가락이 움직이는 개별 위치를 센싱하는 제품을 발표하였다. On the other hand, Microsoft 's Kinecta product uses 3D infrared information including depth of the surrounding objects by using infrared laser and two infrared cameras. In the US, Has developed a technology to recognize three-dimensional shapes around the phone by installing a plurality of wide-angle cameras or visual depth sensors with various partners in earnest. New products, such as Leapmotion in the US, have released products that utilize two cameras to sense the individual positions of 10 fingers in the airborne hand.

이외의 촬영과 관련 분야로, 거울, 렌즈, 프리즘 등을 쓴 다양한 광학 기구들이 전통적으로 쓰여왔다. 카메라에는 다양한 광각 렌즈가 쓰여왔고, 차량이나 커브길에 광각 거울 등이 쓰인다. 충분히 넓은 광각을 만들기 위해서는 정밀한 렌즈가 여러 개 쓰여야 하고 부피가 커진다. Other imaging and related fields, such as mirrors, lenses, and prisms, have been traditionally used for various optical instruments. Various wide-angle lenses have been used in cameras, and wide-angle mirrors are used in vehicles and curves. To create a wide enough wide angle, several precision lenses must be used and the volume becomes large.

카메라를 구비한 컴퓨팅 장치들은 자신의 스크린을 누르는 손가락이나 기타 포인팅 장치를 내장된 카메라로 촬영하여 컴퓨팅 장치에서 수행되는 소프트웨어가 분석하여 디스플레이만 되는 스크린을 터치 스크린처럼 사용하는 등 사용자 인터페이스를 더욱 효과적으로 할 수 있는 잠재성이 있다. 그러나 카메라의 설치 방향이 전술한 이유에 의해 스크린이 보는 방향과 같은 방향이고 대부분의 노트북 컴퓨터처럼 서로 붙어 있으므로, 컴퓨팅 장치의 스크린 평면에서 움직이는 포인팅 장치를 촬영할 수 없다.Computing devices equipped with a camera can capture a user's finger or other pointing device with a built-in camera so that the software executed on the computing device analyzes the screen and uses the screen as a touch screen to more effectively perform the user interface There is a potential to be. However, since the installation direction of the camera is the same direction as that of the screen in view of the above-mentioned reason and is attached to each other like most notebook computers, the pointing device moving in the screen plane of the computing device can not be photographed.

그러나, 스마트 폰의 터치 스크린은 너무 작아 필기 응용의 경우 극히 단순한 메모 이상의 입력은 힘들며, 그렇다고 커다란 터치 스크린을 구비하면 휴대하기가 힘들 뿐 아니라 비용이 커진다. 이에 비해 기존의 터치 스크린 입력을 쓰지 않는 초음파 스타일러스나 OID 펜, 외장 키보드 등은 충분히 넓은 공간을 입력용으로 쓸 수 있는 장점이 있으나, 복잡한 센서와 통신 모듈을 구비하여 신호를 발생시키는 포인팅 장치가 필수이며 신호를 잡아내는 별도의 센서 모듈이나 특수한 종이가 추가로 필요한 경우가 대부분이고, 자주 충전해야 하며, 고가이며 고장이 잦다.However, the touch screen of a smart phone is so small that it is difficult to input an extremely simple memo in case of a handwriting application, and it is difficult to carry with a large touch screen, and the cost increases. On the other hand, an ultrasonic stylus, an OID pen, an external keyboard, etc., which do not use the conventional touch screen input, has an advantage that a sufficiently wide space can be used for input, but a pointing device for generating a signal with a complicated sensor and communication module is required , A separate sensor module to pick up the signal, or special paper is required in most cases. It is frequently charged, expensive, and frequent.

카메라를 써서 손가락 끝이나 점광원, 기타 시각표지를 추적하는 연구는 이미 있으나, 이러한 방법들은 1) 시각 표지가 움직이는 3차원 상의 위치 중 카메라가 바라보는 방향과 직각인 이차원적인 움직임을 추적하기는 쉬우나 바라보는 방향으로 움직이는 것을 추적하기가 쉽지 않고 2) 조명 환경이 어둡거나 너무 밝은 경우에도 동작하려면 시각표지에 독립된 광원과 이를 위한 회로 및 전원 장치가 필요하여 충전이나 배터리 교환 등의 관리가 필요하고 3) 시각표지와 비슷한 색상이나 패턴, 광원이 주변에도 있는 경우 추적이 어려워지는 문제가 있다.There are already studies to track the fingertip, point light source, and other visual markers using a camera, but these methods are easy to track two-dimensional motion that is perpendicular to the direction in which the camera looks at the three- It is difficult to keep track of moving in the viewing direction. 2) In order to operate even when the lighting environment is dark or too bright, a separate light source for the visual indicator, a circuit for that purpose and a power supply are required. ) There is a problem that it becomes difficult to trace if there is a color or pattern similar to the visual mark, and the light source is also in the vicinity.

기존의 시각표지를 카메라로 추적하는 방법이 시각표지의 카메라가 바라보는 방향의 움직임 성분에 대해 변별력이 크지 않으므로, 테이블 위에서 움직이는 손가락 등의 포인팅 장치의 x, y 이차원 위치를 추적하기 위해서는 카메라가 테이블을 내려다 보도록 방향이 설정 되어야 하고, 테이블에서 충분히 들린 높은 위치에 있어야 한다. In order to track the x, y two-dimensional position of the pointing device such as a finger moving on the table, the camera moves to the table Should be oriented to look down, and should be in a high enough position in the table.

그런데, 대부분의 스마트폰, 태블릿, wearable 컴퓨팅 장치의 카메라는 주요 응용인 녹화나 화상 전화 등을 지원하기 위해 스크린과 함께 사용자를 바라보도록 장착되어 있거나 스크린의 반대 면에 설치되어 있다. 따라서, 포인팅 장치를 추적하기 위해서 테이블 위의 충분한 높이에서 테이블 면을 내려 보도록 컴퓨팅 장치를 설치하려면 큰 거치대가 따로 필요할 뿐 아니라 사용자가 컴퓨팅 장치의 스크린을 볼 수 없게 된다. 사용자가 스크린을 볼 수 없다면, 포인팅 장치인 손가락이나 펜이 아무런 디스플레이가 되지 않는 테이블 위에서 움직이는 것만으로 컴퓨팅 장치 소프트웨어 상의 커서 위치를 알 수 없고, 포인팅 장치 조작에 의한 소프트웨어 피드백을 받을 수 없으므로, 아이콘의 선택, 끌기, 그리기를 포함하여 대부분의 사용자 인터페이스를 할 수 없게 된다. 따라서 카메라가 스크린과 별도의 위치에 있거나, 사용자가 허공에서 포인팅 장치를 움직일 수 밖에 없다. 별도의 카메라는 휴대성을 대단히 악화시키며, 허공에 손가락을 움직이고 객체를 클릭하는 제스처는 부자연스럽고 불편한 경우가 많다.By the way, most smartphones, tablets, and wearable computing devices are equipped with a screen that is either facing the user or on the opposite side of the screen to support the main application, recording or video calling. Therefore, installing a computing device to lower the table surface at a sufficient height above the table to track the pointing device requires a large cradle and also prevents the user from viewing the screen of the computing device. If the user can not see the screen, the cursor position on the computing device software is not known only by moving the pointing device, such as a finger or pen, on a table that is not displayed, and software feedback by the pointing device operation can not be received. You will not be able to do most user interfaces, including selection, dragging, and drawing. Thus, the camera is in a separate position from the screen, or the user is forced to move the pointing device in the air. Separate cameras make portability much worse, and gestures that move fingers in the air and click on objects are often unnatural and inconvenient.

컴퓨팅 장치가 포인팅 장치와 같은 평면 위에 거치되어 포인팅 장치의 측면을 촬영하므로, 스마트폰에 내장된 카메라는 평면과 평행한 가로 방향으로 넓은 광각 영상을 높은 해상도로 얻어야 한다. 기존의 어안렌즈와 같은 광학기구는 가격이 비쌀 뿐 아니라, 정해져 있는 촬상 센서의 면적에 더 많은 이미지가 들어가는 것이므로 촬영 시야가 넓어짐에 비례해서 해상도는 떨어질 수밖에 없다.Since the computing device is mounted on the same plane as the pointing device to photograph the side of the pointing device, the camera built in the smartphone must obtain a wider wide angle image in a horizontal direction parallel to the plane with a higher resolution. Optical instruments, such as conventional fisheye lenses, are not only expensive, but they also include more images in a given area of the image sensor, which inevitably leads to lower resolution in proportion to the wider field of view.

본 발명은 별도의 터치 스크린이나 센서 모듈, 센서와 전원 등 회로를 구비한 스타일러스, 특수 종이 등이 일체 없이 대부분의 정보 통신 기기에 구비된 센서들을 이용하여, 정보 통신 기기의 위치나 위치 변화(움직임 경로)를 확인하고, 확인된 위치나 위치 변화를 사용자의 입력으로 반영하여, 전기 기기(소프트웨어)의 동작 제어를 수행할 수 있는 위치 또는 위치 변화를 이용한 사용자 입력 장치를 제공하는 것을 목적으로 한다. The present invention can be applied to various information communication devices, such as a touch screen, a sensor module, a stylus equipped with a sensor and a power supply, a special paper, and the like, And a user input device using a change in position or position capable of performing an operation control of the electric device (software) by reflecting the confirmed position or position change to the input of the user.

또한, 본 발명은 사용자에 의한 입력 시작 시점과 종료 시점을 확인할 수 있도록 하여, 사용자가 의도하지 않은 입력을 배제하는 기능(palm rejection)을 구비하는 위치 또는 위치 변화를 이용한 사용자 입력 장치를 제공하는 것을 목적으로 한다.The present invention also provides a user input device using a position or position change having a function (palm rejection) that allows a user to confirm an input start time and an end time, The purpose.

또한, 본 발명은 거울을 포함하는 단순한 기구를 카메라 앞에 설치하여 카메라의 촬영각도를 변화시켜 정보 통신 기기가 접촉하는 위치의 객체를 촬영하여, 촬영된 객체에 대응하는 정보(오디오 애니메이션, 인터넷 URL 등의 링크, 주석 등)을 입력하거나, 대응하는 정보를 표시하는 위치 또는 위치 변화를 이용한 사용자 입력 장치를 제공하는 것을 목적으로 한다.In the present invention, a simple mechanism including a mirror is installed in front of a camera to photograph an object at a position where the information communication device makes contact by changing the photographing angle of the camera, and information corresponding to the photographed object (audio animation, And a user input device using a change in position or position for displaying corresponding information.

본 발명은 스마트폰 등의 정보 통신 기기의 공간에서의 움직임을 추적하고, 그에 따라 음악이나 음성 등 소리와 진동, 화면 전체의 반짝임 등을 출력하여 스크린으로 제한되지 않는 다양한 교구와 음악 게임 등을 구현할 수 있는 위치 또는 위치 변화를 이용한 사용자 입력 장치를 제공하는 것을 목적으로 한다.The present invention tracks movements in a space of an information communication device such as a smart phone and outputs various sounds and voices such as music and voice and flashes of the entire screen to implement diverse paradigms and music games not limited to screens The present invention provides a user input device using a change in position or position.

본 발명인 위치 또는 위치 변화를 이용한 사용자 입력 장치는 사용자 입력 장치에 구비되어, 사용자 입력 장치의 위치나 각도 및, 사용자 입력 장치의 이동에 의한 위치나 각도 변화를 감지하는 위치 감지부와, 위치 감지부로부터의 감지값을 기준으로 하여, 사용자 입력 장치의 위치나 각도 또는 위치나 각도 변화에 따라 사용자 입력을 판단하는 제어부로 구성된다. A user input device using the position or position change of the present invention is provided in a user input device and includes a position sensing part for sensing a position and an angle of the user input device and a position or an angle change due to movement of the user input device, And a controller for determining a user input based on a position, an angle, a position, or an angle change of the user input device based on the sensing value from the user.

또한, 제어부는 위치 감지부로부터의 감지값을 기준으로 하여 사용자 입력 장치의 기준부의 위치나 각도를 판단하고, 판단된 위치나 각도에 따라 현재 수행 중인 프로그램에 대한 제어를 수행하는 것이 바람직하다. Preferably, the controller determines the position and angle of the reference portion of the user input device based on the sensed value from the position sensing portion, and controls the currently executed program according to the determined position or angle.

또한, 사용자 입력 장치는 사용자 입력이나 현재 수행 중인 프로그램을 표시하는 표시부나 사용자 입력 장치의 이동 경로에 따른 사용자 입력을 판단하기 위한 판단 기준 데이터를 저장하는 저장부를 구비하고, 제어부는 위치 감지부로부터의 위치 변화에 따른 이동 경로와, 기저장된 판단 기준 데이터를 비교하여, 이동 경로에 대응하는 판단 기준 데이터를 사용자 입력을 판단하여, 판단된 사용자 입력을 표시부에 표시하거나 저장부에 저장하거나 현재 수행 중인 프로그램을 제어하는 것이 바람직하다. Also, the user input device may include a display unit for displaying a user input or a program currently being executed, or a storage unit for storing judgment reference data for judging a user input according to a moving path of the user input device, Comparing the movement route according to the position change and the previously stored judgment reference data to judge the user input as the judgment reference data corresponding to the movement route and displaying the judged user input on the display unit or storing it in the storage unit, .

또한, 위치 감지부는 이미지를 촬영하는 카메라를 포함하고, 판단 기준 데이터는 물체나 물체에 표시된 이미지의 원본 이미지를 포함하며, 제어부는 카메라에 의해 촬영된 물체의 이미지와, 물체나 물체에 표시된 이미지의 원본 이미지를 비교하여, 물체에 대한 사용자 입력 장치의 위치와 각도, 위치 변화와 각도 변화 또는 사용자 입력 장치에 대한 물체의 위치와 각도, 위치 변화와 각도 변화를 판단하는 것이 바람직하다. Further, the position sensing unit includes a camera for photographing an image, and the determination reference data includes an original image of an object or an image displayed on the object, and the control unit displays the image of the object photographed by the camera, It is preferable to compare the original image to determine the position and angle of the user input device with respect to the object, the position change and the angle change or the position and angle of the object with respect to the user input device, and the position change and the angle change.

또한, 위치 감지부는 물체의 이미지를 촬영하는 카메라나, 깊이 센서를 포함하고, 제어부는 카메라에 의해 복수의 시점에서 촬영된 물체의 이미지들을 서로 비교하거나 깊이 센서로부터 복수의 시점에서 획득된 물체에 대한 깊이 감지값들을 서로 비교하여, 물체에 대한 사용자 입력 장치의 위치와 각도, 위치 변화와 각도 변화 또는 사용자 입력 장치에 대한 물체의 위치와 각도, 위치 변화와 각도 변화를 판단하는 것이 바람직하다. The position sensing unit may include a camera that captures an image of an object or a depth sensor. The control unit may compare images of an object photographed at a plurality of points of view by a camera, It is desirable to compare the depth sensing values to determine the position and angle of the user input device with respect to the object, the position change and the angle change, or the position and angle of the object with respect to the user input device, and the position change and the angle change.

또한, 제어부는 물체의 식별을 위해, 표시부를 통하여 물체로 광을 조사하는 것이 바람직하다. In addition, the control unit preferably irradiates the object with light through the display unit in order to identify the object.

또한, 제어부는 표시부에 원본 이미지를 표시하고, 물체인 거울로부터 반사되는 이미지를 카메라를 이용하여 촬영하여, 촬영된 반사 이미지와 원본 이미지를 비교하는 것이 바람직하다. In addition, it is preferable that the control unit displays an original image on a display unit, photographs an image reflected from a mirror, which is an object, using a camera, and compares the taken reflected image with the original image.

또한, 제어부는 사용자 입력의 시작 시점과 종료 시점을 판단하는 것이 바람직하다. In addition, the control unit preferably determines a start time and an end time of the user input.

또한, 제어부는 시작 시점과 종료 시점 사이의 사용자 입력과, 시작 시점 이전 및 종료 시점 이후의 사용자 입력을 서로 상이하게 처리하는 것이 바람직하다. In addition, it is preferable that the control unit processes the user input between the start point and the end point and the user input before and after the start point differently from each other.

또한, 사용자 입력 장치는 마이크를 구비하고, 저장부는 기준 입력 소리를 저장하고, 제어부는 마이크로부터 획득된 소리와 기준 입력 소리를 비교하여, 사용자 입력의 시작 시점과 종료 시점을 판단하는 것이 바람직하다. Preferably, the user input device includes a microphone, the storage unit stores the reference input sound, and the control unit compares the sound obtained from the microphone with the reference input sound to determine a start time and an end time of the user input.

또한, 위치 감지부는 자기장 센서와, 가속도계 및 자이로스코프 중의 적어도 하나 이상으로 구성된 모션 센서를 포함하고, 제어부는 모션 센서로부터의 가속도가 기준 가속도보다 큰 시점 이후, 사용자 입력 장치의 위치 변화가 평면 상에서 움직이는 것으로 판단되면, 사용자 입력의 시작 시점으로 판단하는 것이 바람직하다. The position sensing unit may include a magnetic field sensor, a motion sensor composed of at least one of an accelerometer and a gyroscope, and the control unit may control the positional change of the user input device when the acceleration from the motion sensor is greater than the reference acceleration, It is determined that the start time of the user input is determined.

또한, 사용자 입력 장치는 케이스와, 케이스 외부로 돌출되어 누름 신호를 생성하는 누름 감지 어댑터와, 케이스 내부에 형성되어 누름 감지 어댑터와 접속하여 누름 신호를 제어부로 인가하는 접속부를 구비하는 것이 바람직하다. The user input device may further include a case, a pressing detection adapter protruding from the case to generate a pressing signal, and a connection unit connected to the pressing detection adapter and applying a pressing signal to the control unit.

또한, 제어부는 누름 신호의 전기적 특성에 따라 사용자 입력의 시작 시점과 종료 시점을 판단하는 것이 바람직하다. Preferably, the controller determines the start and end points of the user input according to the electrical characteristics of the push signal.

또한, 사용자 입력 장치는 유선 통신 또는 무선 통신을 수행하는 통신부를 구비하고, 제어부는 사용자 입력의 시작 시점 또는 종료 시점을 포함하는 신호를 통신부를 통하여 외부의 전기 기기로 전송하고, 외부의 전기 기기는 전송된 신호에 포함된 시작 시점 또는 종료 시점을 기준으로 하여 사용자 입력을 판단하는 것이 바람직하다. Also, the user input device includes a communication unit that performs wired communication or wireless communication, and the control unit transmits a signal including the start time or the ending time of the user input to the external electric device through the communication unit, It is preferable to determine a user input based on a start time or an end time included in the transmitted signal.

또한, 본 발명인 사용자 입력 시스템은 인체의 조직에 장착되어, 인체의 조직을 통하여 전달되는 소리를 감지하여, 감지된 소리를 포함하는 누름 신호를 생성하여 사용자 입력 장치로 전송하는 누름 감지 장치와, 누름 감지 장치로부터 수신된 누름 신호를 기준으로 하여, 사용자 입력의 시작 시점과 종료 시점을 판단하는 사용자 입력 장치로 구성된다. In addition, the user input system of the present invention is a user input system which is mounted on a tissue of a human body and detects a sound transmitted through a tissue of a human body, generates a push signal including a sensed sound and transmits the push signal to a user input device, And a user input device for determining start and end points of the user input based on the push signal received from the sensing device.

또한, 누름 감지 장치는 인체의 조직에 접하거나 근접되는 소리를 획득하는 마이크와, 누름 신호를 사용자 입력 장치로 전송하는 통신부와, 마이크로부터의 소리를 포함하는 누름 신호를 생성하여 통신부를 통하여 사용자 입력 장치로 전송하는 통신부로 구성된 것이 바람직하다.
The touch sensing device includes a microphone for acquiring a sound in contact with or proximity to a tissue of a human body, a communication unit for transmitting a push signal to a user input device, a touch signal including a sound from the microphone, And a communication unit for transmitting the data to the device.

본 발명은 별도의 터치 스크린이나 센서 모듈, 센서와 전원 등 회로를 구비한 스타일러스, 특수 종이 등이 일체 없이 대부분의 정보 통신 기기에 구비된 센서들을 이용하여, 정보 통신 기기의 위치나 위치 변화(움직임 경로)를 확인하고, 확인된 위치나 위치 변화를 사용자의 입력으로 반영하여, 전기 기기(소프트웨어)의 동작 제어를 편리하게 할 수 있는 효과가 있다.The present invention can be applied to various information communication devices, such as a touch screen, a sensor module, a stylus equipped with a sensor and a power supply, a special paper, and the like, Path), and the changed position or position change is reflected to the input of the user, so that the operation control of the electric device (software) can be made convenient.

또한, 본 발명은 사용자에 의한 입력 시작 시점과 종료 시점을 확인할 수 있도록 하여, 포인팅 장치인 사용자 입력 장치의 단순한 위치 변화와, 사용자가 의도한 입력인 필기나 끌기를 포함하는 위치 변화를 구분할 수 있으며, 사용자가 의도하지 않은 입력을 배제하는 기능(palm rejection)을 제공하는 효과가 있다.In addition, the present invention can identify input start and end points by a user, so that it is possible to distinguish between a simple position change of a user input device, which is a pointing device, and a position change including a handwriting or a drag, , And a function of excluding a user's unintended input (palm rejection).

또한, 본 발명은 거울을 포함하는 단순한 기구를 카메라 앞에 설치하여 카메라의 촬영각도를 변화시켜 정보 통신 기기가 접촉하는 위치의 객체를 촬영하여, 촬영된 객체에 대응하는 정보(오디오 애니메이션, 인터넷 URL 등의 링크, 주석 등)을 입력하거나, 대응하는 정보를 표시하여, 사용자의 편의성을 향상시키는 효과가 있다.In the present invention, a simple mechanism including a mirror is installed in front of a camera to photograph an object at a position where the information communication device makes contact by changing the photographing angle of the camera, and information corresponding to the photographed object (audio animation, Link, annotation, etc.) of the user, or the corresponding information is displayed, thereby improving the user's convenience.

또한, 본 발명은 사용자가 정보 통신 기기 자체를 펜 등과 같은 필기 도구로 사용할 때, 그 위치 변화를 인식하기 위한 시작 시점과 종료 시점을 정확하게 판단할 수 있도록 하는 효과가 있다. In addition, the present invention has the effect of accurately determining the start time and the end time for recognizing the position change when the user uses the information communication device itself as a writing tool such as a pen or the like.

또한, 본 발명은 사용자 입력 장치에 대하여 독립된 전기 기기로부터 사용자 입력의 시작 시점이나 종료 시점을 포함하는 신호를 획득하여 이용하여, 사용자의 진정한 입력(의도된 입력)을 구별할 수 있는 효과가 있다. In addition, the present invention has an effect of obtaining a user's true input (intended input) by acquiring and using a signal including a start point or a end point of a user input from an independent electric device for the user input device.

도 1은 본 발명에 따른 위치 또는 위치 변화를 이용한 사용자 입력 장치의 제1실시예의 구성도이다.
도 2는 도 1의 사용자 입력 장치의 사용 예시이다.
도 3a 및 3b는 사용자 입력 장치의 제2 실시예의 사시도와 평면도이다.
도 4a 내지 4e는 제2 실시예에 따른 사용자 입력 장치의 누름 감지 어댑터의 실시예들이다.
도 5는 사용자 입력 장치의 제3실시예이다.
도 6a 및 6b은 사용자 입력 장치의 제4 및 제5 실시예이다.
도 7은 제2실시예에 따른 사용자 입력 장치가 적용된 사용자 입력 시스템의 실시예이다.
도 8은 사용자 입력 장치의 제6실시예이다.
도 9a 및 9b는 누름 감지 어댑터에 대응하는 누름 감지 장치의 실시예와 구성도이다.1 is a block diagram of a first embodiment of a user input device using position or position changes according to the present invention.
Figure 2 is an example of use of the user input device of Figure 1;
3A and 3B are a perspective view and a plan view of a second embodiment of a user input device.
4A to 4E are embodiments of the push-detection adapter of the user input device according to the second embodiment.
5 is a third embodiment of a user input device.
6A and 6B are fourth and fifth embodiments of a user input device.
7 is an embodiment of a user input system to which a user input device according to the second embodiment is applied.
8 is a sixth embodiment of the user input device.
9A and 9B show an embodiment and a configuration diagram of a pressure sensing device corresponding to the pressure sensing adapter.

이하에서, 본 발명은 실시예들과 도면들을 통하여 상세하게 설명된다.Hereinafter, the present invention will be described in detail with reference to embodiments and drawings.

도 1은 본 발명에 따른 위치 또는 위치 변화를 이용한 사용자 입력 장치의 제1실시예의 구성도이다. 1 is a block diagram of a first embodiment of a user input device using position or position changes according to the present invention.

사용자 입력 장치(1)는 사용자로부터의 입력을 획득하는 입력부(10)와, 누름 감지 어댑터가 접속되는 접속부(11)와, 다양한 정보와 컨텐츠(예를 들면, 프로그램, 사용자 입력 등)를 표시하는 표시부(12)와, 외부 영상을 촬영하는 카메라(13)와, 음향/음성을 외부로 발산하는 스피커(14)와, 음향/음성 신호를 획득하는 마이크(15)와, 다양한 판단 기준 정보와 프로그램을 저장하는 저장부(16)와, 다양한 통신 방식에 따른 통신을 수행하는 통신부(17)와, 외부 물체와의 거리를 측정하는 깊이 센서(18)와, 사용자 입력 장치(1)의 위치 및 위치 변화를 감지하는 모션 센서(19)(자기장 센서(19a), 가속도계(19b), 자이로스코프(19c))와, 위 구성요소들을 제어하여 사용자 입력 처리 장치(1)의 고유 기능(유무선 통신, 영상 플레이 등)을 수행하며, 모션 센서(19)로부터의 위치 감지값 또는 카메라(13)로부터의 획득된 이미지(정지/동영상)와, 깊이 센서(18)로부터의 거리값 등을 이용하여 사용자 입력 장치(1)의 위치 및 위치 변화를 산정하여 사용자 입력(필기 등)으로 처리하는 제어부(20)로 구성된다. 다만, 전원부가 기재되고 있지 않으나, 이러한 구성요소는 널리 알려진 기술에 해당하여 그 설명이 생략되었으며, 표시부(12), 카메라(13), 스피커(14), 마이크(15), 저장부(16), 통신부(17), 깊이 센서(depth sensor)(18), 자기장 센서(19a), 가속도계(19b), 자이로스코프(19c) 등에 대한 설명도 생략된다. 모션 센서(19)와, 카메라(13) 및 깊이 센서(18)는 하기에서 사용자 입력 장치(1)의 위치 및 위치 변화 등을 감지하는 위치 감지부의 예시들이며, 제어부(20)는 위치 감지부로부터의 감지값들(위치 감지값, 이미지, 거리값 등)을 수신한다.The user input device 1 includes an input unit 10 for obtaining an input from a user, a connection unit 11 to which the push detection adapter is connected, and a display unit for displaying various information and contents (for example, A microphone 13 for acquiring a sound / voice signal; and a display unit 12 for displaying various judgment criterion information and a program 13. The display unit 12, the camera 13 for photographing an external image, the speaker 14 for emitting sound / voice to the outside, A communication unit 17 for communicating in accordance with various communication methods, a depth sensor 18 for measuring a distance between the external object and a storage unit 16 for storing the position and position of the user input device 1, A motion sensor 19 (magnetic field sensor 19a, accelerometer 19b and gyroscope 19c) for sensing the change and the above components to control the inherent functions of the user input processing apparatus 1 Play, etc.), and the position sensing value from the motion sensor 19 (Handwriting or the like) by calculating the position and the positional change of the user input device 1 using the obtained image (still / moving picture) from the camera 13, the distance value from the depth sensor 18, As shown in FIG. A camera 13, a speaker 14, a microphone 15, a storage unit 16, a display unit 12, a camera 13, a speaker 14, a microphone 15, and a storage unit 16, The communication unit 17, the depth sensor 18, the magnetic field sensor 19a, the accelerometer 19b, the gyroscope 19c, and the like are also omitted. The motion sensor 19 and the camera 13 and the depth sensor 18 are examples of a position sensing unit for sensing the position and the position of the user input device 1 and the like. (Position sensing value, image, distance value, etc.) of the vehicle.

입력부(10)는 일반적인 버튼식 입력부와, 표시부(230) 상에 위치되는 터치 스크린 형태로 구현될 수 있다.The input unit 10 may be implemented as a general button type input unit and a touch screen type located on the display unit 230.

접속부(11)는 예를 들면, headset jack이나 USB 포트 등을 구비하는 외부 장치(본 발명에서는 누름 감지 어댑터)와 전기적 접속되어 통신을 수행하도록 하는 구성요소에 해당된다. The connection unit 11 corresponds to a component that is electrically connected to an external device (a push detection adapter in the present invention) having a headset jack, a USB port, or the like to perform communication.

제어부(20)는 사용자가 사용자 입력 장치(1)를 직접적으로 이동시키는 것(위치와, 위치 변화)을 구비된 구성요소들로부터의 입력값들(이미지, 위치 감지값들)을 이용하여 판단하고, 판단된 위치와 위치 변화를 사용자로부터의 입력(필기)으로 처리하여 필기 등으로 저장부(16)에 저장하거나 표시부(12)에 표시하거나, 프로그램에 대한 제어 입력 등으로 사용한다. The control unit 20 judges whether or not the user directly moves the user input device 1 (position and position change) using input values (image, position sensing values) from the provided components (Handwritten) from the user and stores the handwriting in the storage unit 16, the display unit 12, or the control input to the program.

도 2는 도 1의 사용자 입력 장치의 사용 예시이다. 사용자가 사용자 입력 장치(1)를 펜, 스타일러스 등의 필기 도구와 같이 손(H)으로 쥐고 쓰는 것이 가능하다. 사용자는 예를 들면, 사용자 입력 장치(1)의 표시부(12)가 구비된 케이스 전면을 엄지로 누르고, 케이스 배면을 두번째 손가락의 측면으로 눌러 쥐고 움직이거나, 사용자 입력 장치(1)의 한 모서리(1a)(또는 변두리 중 볼록한 부분)를 책상면 등의 평면 등의 기준면(E)에 대고 선을 그을 수 있다. 또한, 사용자는 획을 필기하며, 즉, 사용자 입력 장치(1)의 형상이 판상이지만 막대기 형상의 펜처럼 쥐고, 볼록한 부분을 펜 촉 삼아 필기를 할 수도 있다. Figure 2 is an example of use of the user input device of Figure 1; It is possible for the user to grasp the user input device 1 with the hand H like a writing instrument such as a pen or a stylus. The user can press the thumb face of the front face of the case provided with the display unit 12 of the user input device 1 and hold the back face of the case by the side of the second finger and move it, 1a (or the convex portion of the marginal portion) can be drawn on a reference plane E such as a flat surface such as a desk surface. In addition, the user writes strokes, that is, the shape of the user input device 1 may be plate-shaped but may be held like a stick-shaped pen, and a convex portion may be handwritten as a pen tip.

도 2에서, 사용자 입력 장치(1)가 사용자에 의한 이동 시에, 사용자 입력으로 판단하기 위해서, 예를 들면, 사용자 입력 장치(1)의 위치(및 각도)로부터 적어도 기준면(E)(예를 들면, 책상면)에 닿는 모서리 또는 볼록한 부분의 2차원 좌표를 판단해야 하며, 사용자 입력 장치(1)의 기준부인 모서리(1a)가 기준면(E)에 닿았는지 여부를 알아야 한다. 이를 통해, 사용자 입력 장치(1)의 이동 경로인 획을 긋는 시작 시점과 종료 시점도 확인되어야 한다. 2, at least the reference plane E (for example, the position (and the angle)) of the user input device 1 is determined from the position (and angle) of the user input device 1, It is necessary to determine whether the corner 1a of the user input device 1 touches the reference plane E or not. Accordingly, the starting point and the ending point of drawing a stroke, which is the moving path of the user input device 1, should be checked.

제어부(20)는 사용자 입력 장치(1)가 사용자의 이동 동작(필기 동작)에 의해 이동되면, 사용자 입력 장치(1)의 위치와 기울임 각도를 카메라(13), 모션 센서(19), 깊이 센서(18) 등을 이용하여 산정한다. When the user input device 1 is moved by the user's movement operation (handwriting operation), the controller 20 controls the position and the tilt angle of the user input device 1 to the camera 13, the motion sensor 19, (18) and so on.

제어부(20)는 카메라(13)에 의해 촬영된 물체의 이미지를 저장부(16)에 저장된 이미지 처리 기능을 이용하여 사용자 입력 장치(1)(또는 기준부인 모서리(1a))의 위치와 각도를 인식한다. 이미지 처리 기능은 저장부(16)에 저장된 물체의 원본 이미지 정보와, 촬영된 이미지를 비교하여, 사용자 입력 장치(1)의 위치와 각도를 판단하는 것이다. 제어부(20)는 판단된 위치와 각도를 기준으로 하여 위치 변화 및 각도 변화를 판단하고, 위치 변화에 따른 이동 경로와, 기저장된 판독 기준 데이터(문자, 숫자, 기호, 도형 등)와 비교하여, 대응하는 판독 기준 데이터를 선택하고, 이렇게 선택된 판단 기준 데이터를 사용자 입력으로 하여 표시부(12)에 표시하거나, 현재 수행중인 프로그램의 사용자 입력으로 처리한다. The controller 20 controls the position and angle of the user input device 1 (or the reference corner 1a) by using the image processing function stored in the storage unit 16 as an image of the object photographed by the camera 13 . The image processing function compares the original image information of the object stored in the storage unit 16 with the photographed image to determine the position and the angle of the user input device 1. [ The control unit 20 determines the positional change and the angular change based on the determined position and angle, and compares the movement route according to the positional change with pre-stored read reference data (letters, numbers, symbols, figures, Selects the corresponding read criterion data, displays the selected criterion data on the display unit 12 as a user input, or processes it as a user input of the currently executed program.

또한, 제어부(20)는 물체의 원본 이미지 정보를 이용하지 않고, 복수의 시점에서 카메라(13)에 의해 촬영된 물체(기준위치)의 이미지들이나 깊이 센서(18)로부터 물체(기준위치)에 대한 깊이 감지값을 획득하여, 획득된 이미지들이나 깊이 감지값들을 서로 비교하여 물체에 대한 상대적인 사용자 입력 장치(1)의 위치와 각도 및 위치 및 각도의 변화를 산정할 수 있다. The control unit 20 can also use the images of the object (reference position) photographed by the camera 13 at a plurality of points of view or the object (reference position) from the depth sensor 18 without using the original image information of the object It is possible to calculate the position, angle, position and angle change of the user input device 1 relative to the object by obtaining the depth detection value and comparing the obtained images or the depth detection values with each other.

또한, 제어부(20)는 각도 변화를 사용자 입력인 획의 굵기, 색상 등의 새로운 입력으로 판단하여, 굵기나 색상의 변화로 처리할 수도 있다. 이때, 제어부(20)는 깊이 센서(18)를 이용하여, 물체와 카메라(13)(또는 깊이 센서(18)) 간의 거리를 고려하여, 사용자 입력 장치(1)의 위치, 각도 및 이동 경로를 보다 정확하게 판단할 수 있다. In addition, the control unit 20 may judge the angle change as a new input such as the thickness and color of the stroke, which is a user input, and may process the change as a change in thickness or color. At this time, the control unit 20 uses the depth sensor 18 to calculate the position, angle, and movement path of the user input device 1 in consideration of the distance between the object and the camera 13 (or the depth sensor 18) It can be judged more accurately.

또한, 제어부(20)는 가속도계(19b)의 값을 적분 처리하여 속도 및 위치를 산정하고, 이때, 자이로스코프(19c) 및 자기장 센서(19a)를 함께 사용하여 그 위치의 정확도를 향상시킬 수 있다. 제어부(20)는 모션 센서(19)를 이용하여 기준부인 모서리(1a)(또는 사용자 입력 장치(1))의 위치와 각도를 인식하고, 사용자의 이동 동작에 의한 위치 변화(이동 경로)를 판단하여, 판단된 위치와 각도 및 위치 변화를 사용자의 입력으로 저장부(16)에 저장하거나 표시부(12)에 표시할 수 있다. 또한, 제어부(20)는 판단된 이동 경로와 기저장된 판독 기준 데이터와 비교하여, 대응하는 판독 기준 데이터를 선택하고, 이렇게 선택된 판단 기준 데이터를 사용자 입력으로 하여 표시부(12)에 표시하거나, 현재 수행중인 프로그램의 사용자 입력으로 처리한다. 예를 들면, 제어부(20)는 판단된 위치 변화에 따라 음악이나 음성 등 소리와 진동, 화면 전체의 반짝임 등을 출력하여 스크린으로 제한되지 않는 다양한 교구와 음악 게임 등을 수행할 수 있다. The control unit 20 may integrate the value of the accelerometer 19b to estimate the velocity and the position of the accelerometer 19b and use the gyroscope 19c and the magnetic field sensor 19a together to improve the accuracy of the position . The control unit 20 recognizes the position and angle of the corner 1a (or the user input device 1), which is a reference portion, using the motion sensor 19, and determines a position change (movement path) And the change in the determined position, angle, and position can be stored in the storage unit 16 or displayed on the display unit 12 as a user's input. In addition, the control unit 20 compares the determined travel route with pre-stored read reference data, selects the corresponding read reference data, displays the selected reference data on the display unit 12 as a user input, And processes it as a user input of the program being executed. For example, the control unit 20 can output various sounds such as music and voice, vibration, and twinkling of the entire screen according to the determined position change, thereby performing various diopters and music games not limited to the screen.

또한, 도 2에서는 전기 기기의 이동 경로 전체가 사용자 입력으로 판단되는 경우이나, 사용자가 사용자 입력을 시작하는 시점과 종료하는 시점을 제어부(20)가 판단해야 한다. In addition, in FIG. 2, the control unit 20 determines whether the entire travel path of the electric device is determined as a user input or when a user starts and ends a user input.

우선, 제어부(20)는 마이크(15)를 이용하여, 사용자 입력 장치(1)가 기준면(E)에 닿거나 닿은 상태에서 이동하는지를 판단할 수 있다. 예를 들면, [꿍, 딱 등]과 같은 충돌 소리나, 긁히는 진동 또는 소리가 발생될 수 있기에, 제어부(20)는 마이크(15)로부터 획득된 소리와, 기저장된 기준 입력 소리(충돌 소리나 긁히는 진동 소리)를 비교하여, 입력 시작 시점과 종료 시점을 판단할 수 있다. 즉, 제어부(20)는 입력 소리가 마이크(15)로부터 획득되는 동안은 사용자 입력 장치(1)의 이동이 진행되는 것으로 판단할 수 있다. First, the control unit 20 can use the microphone 15 to determine whether the user input device 1 moves or touches the reference plane E or not. For example, since the collision sound, scratching vibration, or sound may be generated, such as [peek, perfect, etc.], the control unit 20 may control the sound obtained from the microphone 15 and the previously stored reference input sound Scratching vibration sound) can be compared to determine the input start time and the end time. That is, the control unit 20 can determine that the movement of the user input device 1 is proceeding while the input sound is acquired from the microphone 15.

또한, 제어부(20)는 모션 센서(19)로부터의 위치 감지값을 이용한다. 제어부(20)는 예를 들면, 3차원 상에서 움직이는 속도의 변화, 즉 가속도가 짧은 시간 동안 상대적으로 크다는 것(속도의 변화가 기저장된 기준 가속도보다 큰 경우)을 모션 센서(19)로부터 획득된 위치 감지값으로부터 확인하면, 사용자 입력 장치(1)가 기준면(E)에 닿은 것으로 판단한다. 이때, 사용자 입력 장치(1)가 공간 상에 움직이다 기준면(E)에 닿거나 부딪히게 되어, 가속도의 방향은 지구 중력 방향의 반대 방향에 가까울 것이다. 이 시점 이후에, 제어부(20)는 대체적으로 기준부(1a)가 평면 상, 즉 지구 중력과 수직의 방향으로 움직이는지를 모션 센서(19)로부터의 위치 감지값을 이용하여 판단하여 기준면(E)에 닿아 움직이는 것으로 판단할 수 있다. Further, the control unit 20 uses the position sensing value from the motion sensor 19. For example, the control unit 20 determines that the change in the speed of moving on three dimensions, that is, the acceleration is relatively large for a short time (when the change in velocity is greater than the previously stored reference acceleration) When it is confirmed from the detection value, it is judged that the user input device 1 touches the reference plane E. At this time, since the user input device 1 touches or strikes the reference plane E moving in space, the direction of the acceleration will be close to the direction opposite to the direction of the earth's gravity. After this point, the control unit 20 generally determines whether the reference portion 1a moves in a plane, that is, in a direction perpendicular to the earth's gravity, using the position sensing value from the motion sensor 19, It can be judged that it moves.

도 3a 및 3b는 사용자 입력 장치의 제2 실시예의 사시도와 평면도이다. 도 3a에 도시된 바와 같이, 사용자 입력 장치(1)의 접속부(11)의 리셉터클(11a)에, 사용자의 입력 시작과 종료를 확인하도록 하는 누름 감지 어댑터(30)의 잭(32)이 삽입되는 과정이 도시되고, 도 3b는 누름 감지 어댑터(30)가 사용자 입력 장치(1)의 케이스 외부로 돌출되며 접속부(11)와 통신 가능하게 고정 장착된 평면도이다. 3A and 3B are a perspective view and a plan view of a second embodiment of a user input device. 3A, a jack 32 of the push-detection adapter 30 is inserted into the receptacle 11a of the connection part 11 of the user input device 1 so as to confirm the start and end of inputting of the user 3B is a plan view in which the push-detection adapter 30 protrudes outside the case of the user input device 1 and is fixedly mounted so as to be able to communicate with the connection portion 11. As shown in Fig.

누름 감지 어댑터(30)는 사용자가 누름 감지 어댑터(30)를 기준면(E) 등에 눌렀을 때 누름 신호를 생성하는 것으로, 외부를 형성하는 케이스(30)와, 생성된 누름 신호를 접속부(11)를 통하여 전달하는 잭(32)을 구비한다. 케이스(30)의 내부에는 누름 신호를 생성하는 회로 등이 구비되며 이러한 회로는 도 4a 내지 도 4e에서 상세하게 설명된다. The push detection adapter 30 generates a push signal when the user presses the push detection adapter 30 on the reference plane E or the like and includes a case 30 forming the outside and a push signal (Not shown). A circuit or the like for generating a push signal is provided inside the case 30, and this circuit is described in detail in Figs. 4A to 4E.

도 3a 및 3b에서는, 도 2의 사용자 입력 장치(1)의 기준부인 모서리(1a)가 기준면(E)에 닿은 상태로 이동 동작(필기 동작)이 수행되는 것을 대신하여, 누름 감지 어댑터(30)가 기준면(E)에 닿거나 눌린 상태에서 이동 동작이 수행되는 것이다. 제어부(20)는 누름 신호가 입력되는 동안(누름 상태가 지속되는 동안)의 사용자 입력 장치(1)의 위치와 위치 변화를 판단하여 사용자에 의해 의도된 사용자 입력으로 표시부(12)에 표시하거나 저장부(16)에 저장하거나, 판단된 위치와 위치 변화에 대응하는 판독 기준 데이터를 선택하고, 선택된 판독 기준 데이터에 따른 프로그램의 제어 등을 수행한다. 또는, 사용자 입력 장치(1)는 누름 신호가 입력되는 동안의 사용자 입력 장치(1)의 위치와 위치 변화와, 누름 신호가 입력되지 않은 시간 동안의 사용자 입력 장치(1)의 위치와 위치 변화를 서로 상이한 사용자 입력으로 처리하여 현재 수행 중인 프로그램에서의 제어 입력으로 모두 이용할 수도 있다. 3A and 3B, instead of the movement operation (handwriting operation) being performed with the corner 1a of the user input device 1 of Fig. 2 touching the reference surface E, The moving operation is performed in a state in which it is pressed or pressed against the reference plane E. The control unit 20 determines the position and the positional change of the user input device 1 while the push signal is being input (while the pushing state is maintained), displays it on the display unit 12 as a user input intended by the user, Unit 16, or selects read reference data corresponding to the determined position and position change, and performs control of the program in accordance with the selected read reference data. Alternatively, the user input device 1 may change the position and the position of the user input device 1 while the push signal is input, and the position and the position change of the user input device 1 during the time when no push signal is input It is possible to process them as different user inputs and to use them as control inputs in the program currently being executed.

도 4a 내지 4e는 제2 실시예에 따른 사용자 입력 장치의 누름 감지 어댑터의 실시예들이다. 4A to 4E are embodiments of the push-detection adapter of the user input device according to the second embodiment.

도 4a는 누름 감지 어댑터의 단면 구성도이고, 도 4b는 누름 감지 어댑터의 동작 상태 단면도이다. FIG. 4A is a cross-sectional view of the pressure-sensitive adapter, and FIG.

누름 감지 어댑터(30)의 제1 실시예인 누름 감지 어댑터(300)는 사용자 입력 장치(1)의 접속부(11)에 대한 입력용 그라운드선(GND)와 마이크 신호선(MIC)과, 그라운드선(GND)와 마이크 신호선(MIC) 사이에 적절한 임피던스를 부과하는 저항(R1)으로 구성된 회로부과, 그라운드선(GND)에 연결되며 중공된 전도체 링(310b)과, 전도체 링(310b)의 중공 전면을 덮으면서 그 테두리가 전도체 링(310b)에 삽입 장착되며 탄성을 지닌 전도성 단부(팬 촉)(310c)와, 전도체 링(310b)의 중공 내에 위치되며 적어도 일부분이 전도체 링(310b) 외부로 돌출되며 전도성 단부(310c) 내측에 위치되며, 마이크 신호선(MIC)에 연결된 돌출 전도체(310d)와, 전도체 링(310b)의 중공에 위치되며 돌출 전도체(310d)와 전도체 링(310b) 사이를 절연시키는 절연체(310e)로 구성된다. 누름 감지 어댑터(300)는 외형을 형성하며 내부의 회로부를 보호하고, 전도체 링(310b)을 지지하는 케이스(310a)를 포함한다. The touch sensing adapter 300 according to the first embodiment of the touch sensing adapter 30 is connected to the input ground line GND and the microphone signal line MIC to the connection portion 11 of the user input device 1 and the ground line GND A hollow conductor ring 310b which is connected to the ground line GND and which covers the hollow front face of the conductor ring 310b and which is connected to the ground line GND, (Flange) 310c having an elastic edge and inserted into the conductor ring 310b, a flange 310c positioned in the hollow of the conductor ring 310b and at least partially protruding out of the conductor ring 310b, A protruding conductor 310d which is located inside the end portion 310c and connected to the microphone signal line MIC and an insulator which is located in the hollow of the conductor ring 310b and which insulates the protruding conductor 310d from the conductor ring 310b 310e. The push-sensing adapter 300 includes a case 310a that forms an outer shape, protects the internal circuitry, and supports the conductor ring 310b.

누름 감지 어댑터(300)는 잭(32)이 사용자 입력 장치(1)의 리셉터클(11a)을 통하여 접속부(11)에 접속되었을 때, 제어부(20)가 마이크가 꼽힌 것으로 인식하여 향후 누름 신호를 입력 받을 수 있다. When the jack 32 is connected to the connection unit 11 through the receptacle 11a of the user input device 1, the pressure sensing adapter 300 recognizes that the microphone is plugged in, Can receive.

도 4a와 같이, 누름 감지 어댑터(300)가 눌리지 않은 상태(전도성 단부(310c)와 돌출 전도체(310d)가 이격된 상태로, 전도성 단부(310c)와 돌출 전도체(310d)가 전기적으로 연결되지 않은 상태)에서는, 제어부(20)는 저항(R1)에 의해 정해지는 임피던스(제1 임피던스)에 대응하는 마이크 입력을 획득한다. 도 4b와 같이, 누름 감지 어댑터(300)가 눌린 상태(누름 감지 어댑터(300)의 전도성 단부(310c)가 눌려져서 돌출 전도체(310d)에 접촉한 상태로, 전도성 단부(310c)와 돌출 전도체(310d)가 전기적으로 연결된 상태)에서는, 저항(R1)과 전도성 단부(310c)의 저항이 서로 병렬로 연결된 저항과, 이때 전도성 단부(310c)가 돌출 전도체(310d)에 닿기 전에 전도성 단부(310c) 주변에 형성된 기생 캐패시턴스(parasite capacitance) 등이 AC 전압 변화의 형태인 누름 신호로 제어부(20)에 인가되게 된다. 따라서, 제어부(20)는 제1 임피던스에 대응하는 마이크 입력과 누름 신호를 구별할 수 있으며, 누름 신호가 인가되는 동안의 사용자 입력 장치(1)의 위치와 위치 변화와, 누름 신호가 인가되지 않는 동안의 사용자 입력 장치(1)의 위치와 위치 변화를 구분하여 상이하게 처리한다. 도 4a와 같이, 누름 감지 어댑터(300)가 실제 마이크를 포함하지 않고 저항과 전도체만으로 구성되므로 누름 감지 어댑터(300)가 추가적인 방음 장치를 구비하지 않아도 외부에 큰 소음이 있는 환경에서도 누름 감지 어댑터가 눌리는 신호 외의 신호나 잡음이 마이크 입력으로 제어부(20)에 전달되지 않으므로, 제어부(20)는 정확하게 누름 감지 어댑터(300)가 눌렸는지 여부를 측정할 수 있다. 4A, when the conductive end portion 310c and the protruding conductor 310d are not electrically connected with each other in a state in which the pressing detection adapter 300 is not pressed (with the conductive end portion 310c and the protruding conductive portion 310d being spaced apart) State), the control unit 20 acquires a microphone input corresponding to an impedance (first impedance) determined by the resistor R1. The conductive end 310c and the protruding conductor 310c are pressed in the pressed state (the conductive end 310c of the pressure sensitive adapter 300 is pressed down and in contact with the protruding conductor 310d) And the conductive end 310c is electrically connected to the protruding conductor 310d before the protruding conductor 310d touches the protruding conductor 310d, the resistance of the resistor R1 and the conductive end 310c are connected in parallel with each other. The parasitic capacitance formed around it is applied to the control unit 20 as a push signal in the form of an AC voltage change. Therefore, the control unit 20 can distinguish the microphone input corresponding to the first impedance from the push signal, and can change the position and position of the user input device 1 while the push signal is applied, The position and the positional change of the user input device 1 are distinguished from each other and processed differently. As shown in FIG. 4A, since the push-sensing adapter 300 does not include an actual microphone but is composed only of a resistor and a conductor, even if the push-sensing adapter 300 does not have an additional soundproofing device, Since the signal or noise other than the pressed signal is not transmitted to the control unit 20 through the microphone input, the control unit 20 can accurately determine whether the pressure detection adapter 300 is pressed.

도 4a의 저항(R1)뿐만 아니라 코일 또는 커패시터를 포함하는 수동 소자만을 포함하는 회로부를 적용하여, 누름 감지 어댑터(300)가 마이크 입력단인 접속부(11)의 특성에 맞는 신호를 발생시켜 전도성 단부(310c)의 눌림을 제어부(20)가 인지할 수 있는 전기 신호로 변환하여 전달할 수 있다. 마이크 입력단인 접속부(11)를 통해 제어부(20)가 인지할 수 있는 전기적 특성은 사용자 입력 장치(1)가 지원하는 마이크의 종류에 따라 다르고, 전도성 물질인 전도체 링(310b), 전도성 단부(310c) 및 돌출 전도체(310d)의 전기적 특성도 모두 다르므로, 회로부는 이러한 전기적 특성에 맞추어 누름에 의해 발생된 전기적 특성 변화를 마이크 입력단의 전기적 특성 변화로 변환해 주어야 한다. A circuit portion including only a passive element including a coil or a capacitor as well as the resistor R1 of FIG. 4A is applied so that the push-detection adapter 300 generates a signal matching the characteristic of the connection portion 11 as a microphone input, 310c can be converted into electric signals that can be recognized by the control unit 20 and transmitted. The electrical characteristics that the control unit 20 recognizes through the connection unit 11 as the microphone input terminal are different depending on the types of the microphones supported by the user input device 1. The electrical characteristics of the conductive ring 310b, And the protruding conductor 310d are all different from each other, the circuit portion must convert the electrical characteristic change caused by the pressing to the electrical characteristic change of the microphone input terminal in accordance with the electrical characteristic.

도 4c는 누름 감지 어댑터(30)의 제2 실시예인 누름 감지 어댑터(301)의 단면도이다. 누름 감지 어댑터(301)는 내부에 홈을 지니면 외형을 구성하는 케이스(311a)와, 스피커 신호선(SPK-L)과 그라운드선(GND)에 연결되며 홈에 삽입되며 일부분이 전면으로 돌출되어 압력을 감지하는 센서부(311b)와, 케이스(311a)의 홈 주변에 그 테두리가 삽입 장착되며, 센서부(311b)를 덮는 탄성 재질의 단부(311c)와, 사용자 입력 장치(1)의 접속부(11)를 통하여 출력되는 스피커 출력을 센서부(311b)에 전력이나 신호로 공급하는 스피커 신호선(SPK-L)과, 일단은 마이크 신호선(MIC)에 연결되고 타단은 그라운드선(GND)에 연결되는 저항(R2)과, 그라운드선(GND)과, 마이크 신호선(MIC)을 구비한다.4C is a cross-sectional view of the push-sensing adapter 301 which is the second embodiment of the push-detection adapter 30. As shown in FIG. The push-sensing adapter 301 is connected to the speaker signal line (SPK-L) and the ground line (GND), a case 311a constituting an outer shape when the groove is formed therein, An end portion 311c of an elastic material which covers the sensor portion 311b and has a rim at the periphery of the groove of the case 311a and a connection portion 311b of the user input device 1 A speaker signal line SPK-L for supplying a speaker output to the sensor unit 311b as power or a signal and a speaker signal line SPK-L connected at one end to a microphone signal line MIC and the other end to a ground line GND A resistor R2, a ground line GND, and a microphone signal line MIC.

사용자 입력 장치(1)는 왼쪽 및 오른쪽(L, R) 적어도 두 개의 스피커 출력(SPK-L, SPK-R)을 구비하며 왼쪽과 오른쪽이 구분되어 사용될 경우는 많지 않으므로, 이하에서 이를 제 1 스피커, 제 2 스피커 출력으로 지시된다.The user input device 1 has at least two speaker outputs SPK-L and SPK-R on the left and right sides (L and R), and there are not many cases where the left and right speakers are used separately. , And the second speaker output.

제어부(20)는 오디오 출력 버퍼에 데이터를 쓰는 방법 등을 통해 제 1 또는 2 스피커 출력에 특정의 전기 신호 파형을 전송하고, 이 스피커 출력(예를 들면, SPK-L)과 단부(311c)의 센서부(311b)와 모두 연결되어 있는 저항(R2)을 거쳐 변형된 스피커의 전기 신호가 그라운드선(GND)와 마이크 신호선(MIC)을 통해 수신한다. 제어부(20)가 변형된 스피커의 전기 신호를 오디오 입력 버퍼를 읽어오는 등의 방법으로 획득하여 분석하며, 누름 감지 어댑터(301)로 보내진 스피커의 신호 파형(GND와 SPK-L간)과 센서부(311b)의 전기적 상태에 의해 결정되므로, 제어부(20)는 전송한 스피커 신호 파형과 되돌아 수신된 전기 신호를 비교하여 센서부(311b)의 전기적 상태(눌림 여부나 받고 있는 눌린 압력의 정도)를 확인할 수 있다. The control unit 20 transmits a specific electric signal waveform to the first or second speaker output through a method of writing data in the audio output buffer or the like so that the speaker output (SPK-L, for example) and the end 311c An electric signal of a speaker deformed through a resistor R2 connected to the sensor unit 311b is received via the ground line GND and the microphone signal line MIC. When the control unit 20 receives the electric signal of the deformed speaker (GND and SPK-L) of the speaker sent to the push-detection adapter 301 and the electrical state of the sensor unit 311b, The controller 20 can compare the transmitted speaker signal waveform with the received electrical signal to check the electrical state of the sensor unit 311b (whether the speaker unit 311b is pressed or not).

즉, 누름 감지 어댑터(301)는 제어부(2)의 제 1 스피커(SPK-L) 출력을 신호원으로 사용하고, 사용자의 누름에 의해 단부(311c)를 통하여 센서부(311b)로 가해지는 압력에 따라 저항값이 변하는 FSR(force sensing resistor)을 저항(R3)으로 사용한다. 예를 들면, 제어부(20)는 일정한 크기의 사인(sine)파를 SPK-L 출력으로 전송하고, 마이크 신호선-그라운드선(MIC-GND)으로 들어오는 사인파의 크기를 측정한다. 저항(R2)와 센서부(311b) 내의 저항(R3)의 전압 분배에 따라 저항(R3)의 저항값이 커지면 고정 저항인 저항(R2)에 걸리는 전압은 그만큼 작아지고, 저항(R3)의 저항값 작아지면 저항(R2)에 걸리는 전압이 그만큼 높아지므로, 제어부(20)는 마이크 입력에서 읽히는 사인파의 크기를 측정하면 저항(R3)의 저항값 크기를 알아낼 수 있고, 이를 통해 단부(311c)와 센서부(311b)에 가해지는 압력(필압)을 산정할 수 있다. 또한, 제어부(20)는 단부(311c)에 가해진 압력(필압)의 크기에 따라 표시부(12)에 그려지는 획의 굵기나 진하기를 변화시키거나 기타 프로그램의 제어 상태를 변경할 수 있다. 이때 저항(R2)은 사용자 입력 장치(1)의 접속부(11)에, 누름 감지 어댑터(301)가 접속될 때, 제어부(20)가 그 접속 여부를 확인하는 기능도 겸한다.That is, the pressure sensing adapter 301 uses the output of the first speaker SPK-L of the control unit 2 as a signal source, and the pressure applied to the sensor unit 311b through the end portion 311c by the user's depression (FSR) is used as the resistor R3. For example, the control unit 20 transmits a sine wave of a predetermined size to the SPK-L output, and measures the size of a sine wave input to the microphone signal line-ground line (MIC-GND). When the resistance value of the resistor R3 increases according to the voltage division of the resistor R2 and the resistor R3 in the sensor portion 311b, the voltage applied to the resistor R2, which is a fixed resistor, becomes smaller and the resistance of the resistor R3 The control unit 20 can determine the magnitude of the resistance value of the resistor R3 by measuring the magnitude of the sine wave read from the microphone input so that the end 311c and The pressure (pressure) applied to the sensor unit 311b can be calculated. The control unit 20 can change the thickness or the size of the stroke drawn on the display unit 12 or change the control state of other programs according to the magnitude of the pressure (pressure) applied to the end 311c. At this time, the resistor R2 also functions to check whether the control unit 20 is connected to the connection unit 11 of the user input device 1 when the push detection adapter 301 is connected.

도 4d는 누름 감지 어댑터(30)의 제3 실시예인 누름 감지 어댑터(302)의 단면도이다. 누름 감지 어댑터(302)는 케이스(311a)와 동일한 케이스(312a)와, 압력을 감지하는 센서부(312b)와, 단부(311c)와 동일한 단부(312c)와, 센서부(312b)의 압력에 비례하는 주파수의 사인파를 발생시켜 마이크 신호선-그라운드선(MIC-GND)을 통해 제어부(20)에 인가하는 서브 제어부(312d)와, 스피커 출력선(SPK-R)을 통하여 스피커 출력을 변압, 정류 등의 처리를 수행하여 직류의 전원을 서브 제어부(312d)에 공급하는 전력 수확부(312e)를 구비한다. 4D is a cross-sectional view of the push-sensing adapter 302, which is a third embodiment of the push-detection adapter 30. The pressure sensing adapter 302 has the same case 312a as the case 311a, a sensor portion 312b for sensing pressure, an end 312c that is the same as the end portion 311c, A sub control unit 312d for generating a sine wave of a proportional frequency and applying the generated sine wave to the control unit 20 through the microphone signal line-ground line MIC-GND, and a speaker output line SPK- And a power harvesting unit 312e for supplying DC power to the sub control unit 312d.

제어부(20)는 누름 감지 어댑터(302)로부터 사인파를 수신하고, 사인파의 주파수를 분석하여 센서부(312b)의 압력을 판단한다. The control unit 20 receives the sinusoidal wave from the pressure sensing adapter 302 and analyzes the frequency of the sinusoidal wave to determine the pressure of the sensor unit 312b.

전력 수확부(312e)는 몇 개의 아날로그 소자만을 사용하여 AC 커플링 된 스피커 출력단에 발생되는 교류 출력을 변압, 정류, 안정화 과정을 거처 직류로 출력하는 단순한 회로로 구성될 수 있다. 직류 전원으로 동작하는 서브 제어부(312d)는 마이크로프로세서를 포함하는 등 다양한 저전력 소자로 구성될 수 있음은 자명하다. 마이크로프로세서가 서브 제어부(312d)에 구비되면, 센서부(312b)의 전기적 상태에 대한 정보를 마이크 입력단(MIC)을 통해 제어부(20)에 디지털 데이터 형태로 보낼 수도 있다. The power harvesting unit 312e may be constructed of a simple circuit that outputs AC output generated by an AC-coupled speaker output stage using only a few analog devices through a process of transforming, rectifying, and stabilizing the DC output. It is apparent that the sub-control unit 312d operated by the DC power supply may be composed of various low-power devices including a microprocessor. When the microprocessor is provided in the sub control unit 312d, information on the electrical state of the sensor unit 312b may be sent to the control unit 20 in the form of digital data through a microphone input (MIC).

센서부(312b)는 하나의 압력 센서일 수도 있고, 펜 촉의 곡면의 여러 위치에 구비되는 복수 개의 압력 센서로 구성되어 펜 촉의 곡면 중 어느 부분에 압력이 집중되는지를 알아내어 펜이 어느 방향 및 어느 정도의 각도로 기울어져 있는지를 측정할 수도 있다. 센서부(312b)는 압력을 측정하기 위해 펜 촉에 전기 저항이 변하는 FSR을 쓸 수도 있고, 압력에 따라 전압이 발생하는 피에조 소자 등을 대신 사용할 수 있다. 이외에도 센서부(3121b)로 기울기 센서를 사용하여 누름 감지 어댑터(302)의 기울임 정도를 측정할 수도 있다. 또한, 스피커 출력(SPK-R)은 전력원, 스피커 출력(SPK-L)은 서브 제어부(312d)에서 제어부(20)가 신호를 보내는 신호원으로 사용하는 등의 구성도 가능하다. The sensor unit 312b may be a single pressure sensor or a plurality of pressure sensors provided at various positions on the curved surface of the pen point so as to find out which part of the curved surface of the pen point has pressure, Or a tilt angle of about 20 degrees. The sensor unit 312b may use an FSR whose electric resistance changes in a pen tip in order to measure a pressure, or may use a piezo element or the like in which a voltage is generated in response to a pressure. In addition, the degree of tilt of the push-detection adapter 302 may be measured using the tilt sensor with the sensor unit 3121b. The speaker output (SPK-R) may be a power source and the speaker output (SPK-L) may be used as a signal source by the control unit 20 in the sub control unit 312d.

도 4e는 누름 감지 어댑터(30)의 제4 실시예인 누름 감지 어댑터(303)의 단면도이다. 누름 감지 어댑터(303)는 케이스(311a)와 동일한 케이스(313a)와, 센서부(312b)와 동일한 센서부(313b)와, 단부(311c)와 동일한 단부(313c)와, 센서부(313b)의 압력에 대한 정보를 포함하는 데이터를 생성하여 데이터선(DATA)을 제어부(20)에 인가하는 서브 제어부(313d)를 구비하고, 잭(32) 대신에 USB 플러그(32a)를 구비한다. 4E is a cross-sectional view of the pressure sensitive adapter 303, which is a fourth embodiment of the pressure sensitive adapter 30. The pressing detection adapter 303 has the same case 313a as the case 311a and the same sensor portion 313b as the sensor portion 312b and the same end portion 313c as the end portion 311c and the sensor portion 313b, And a sub control unit 313d for generating data including information on the pressure of the data line DATA to the control unit 20 and a USB plug 32a instead of the jack 32. [

누름 감지 어댑터(303)의 USB 플러그(32a)는 사용자 입력 장치(1)의 접속부(11)에 구비된 USB OTG(on the go) 리셉터클(미도시)에 꼽혀 유선으로 연결된다. 서브 제어부(313d)는 사용자 입력 장치(1)로부터 전원선(VCC)을 통하여 전원을 공급받는다. The USB plug 32a of the push detecting adapter 303 is connected to a USB OTG receptacle (not shown) provided at the connection part 11 of the user input device 1 by wire. The sub control unit 313d receives power from the user input device 1 through the power line VCC.

제어부(20)는 USB 방식의 접속부(11)를 통해 서브 제어부(313d)로부터 전달받은 센서부(313b)의 압력 상태에 관련된 데이터를 분석하여, 누름 감지 어댑터(303)가 그리는 획의 굵기, 진하기나 펜의 색상, 투명도, 굵기 등을 변경할 수 있다. USB 플러그(32a) 및 리셉터클은 USB OTG외에도 USB host 단자나 애플사의 도크(dock) 커넥터 등 꼽히는 장치에 전원을 공급하고 데이터나 제어신호를 주고받는 단자들이 될 수 있다.The control unit 20 analyzes the data related to the pressure state of the sensor unit 313b received from the sub control unit 313d via the USB type connection unit 11 and determines the thickness of the stroke drawn by the pushing sensing adapter 303, You can change the color, transparency, thickness, and so on of a pen or a pen. The USB plug 32a and the receptacle may be terminals for supplying power and transmitting data and control signals to a device such as a USB host terminal or an Apple's dock connector in addition to the USB OTG.

도 4a 내지 4e에 설명된 누름 감지 어댑터(30)의 구조에서 기재된 단부(310c)와 돌출 전도체(310d) 간의 접촉 구조나 단부(311c, 312c, 313c)와 센서부(311b, 312b, 313b) 간의 접촉 구조 이외에도, 단부와 돌출 전도체나 센서부 사이에 스프링과 같은 탄성부재가 위치되어, 단부가 외부로부터 눌려지지 않으면 단부와 돌출 전도체나 센서부가 탄성부재의 탄성에 의해 이격되어 있고, 단부가 돌출 전도체나 센서부가 위치된 방향으로 눌려지면 단부와 돌출 전도체나 센서부가 접촉되는 구조 등도 가능하며, 그 접촉 위치도 사용자 입력 장치(1)의 케이스 외부가 아닌 케이스 내부에 구현될 수도 있다.Between the contact structure or the end portions 311c, 312c and 313c between the end portion 310c and the protruding conductor 310d described in the structure of the pressure sensitive adapter 30 described in Figs. 4a to 4e and the sensor portions 311b, 312b, and 313b In addition to the contact structure, an elastic member such as a spring is disposed between the end portion and the protruding conductor or the sensor portion. If the end portion is not pressed from the outside, the end portion and the protruding conductor or sensor portion are separated by the elasticity of the elastic member, Or a structure in which the end portion and the protruding conductor or the sensor portion come into contact with each other when the sensor portion is pushed in the direction in which the sensor portion is positioned, and the contact position may also be realized inside the case, not outside the case of the user input device 1.

도 5는 사용자 입력 장치의 제3실시예이다. 전기 기기(2)는 유선 또는 무선 통신이 가능한 기기에 해당되며, 표시부(2a)를 구비한다. 이동 가능한 사용자 입력 장치(1)와 전기 기기(2)는 유선 또는 무선 통신을 통하여 정보를 전송할 수 있으며, 사용자 입력 장치(1)와 전기 기기(2)는 일종의 사용자 입력 시스템을 구성한다. 5 is a third embodiment of a user input device. The electric device 2 corresponds to a device capable of wired or wireless communication, and has a display portion 2a. The portable user input device 1 and the electric device 2 can transmit information through wired or wireless communication and the user input device 1 and the electric device 2 constitute a kind of user input system.

전기 기기(2)는 표시부(2a)에 표시된 제1 및 제2 이미지(I1, I2)를 포함하여 표시부(2a)에 표시되는 이미지의 원본에 해당하는 정보를 사용자 입력 장치(1)로 전송한다. 사용자 입력 장치(1)는 카메라(13)를 이용하여 전기 기기(2)의 표시부(2a)에 표시된 제1 및 제2 이미지(I1, I2)를 포함한 화면 이미지를 촬영한다. 제어부(20)는 카메라(13)에 의해 촬영된 이미지 안에서, 전기 기기(2)가 유무선 통신으로 전송한 원본 이미지 정보를 참조하여, 카메라(13)로 촬영된 이미지의 어느 위치, 크기 및 각도로 원본 이미지 정보에 해당하는 제1 및 제2 이미지(I1, I2)가 있는지를 컴퓨터 비전 알고리즘을 사용하여 파악하여, 전기 기기(2)에 대한 사용자 입력 장치(1)의 위치 및 각도를 산정할 수도 있고, 사용자 입력 장치(1)에 대한 전기 기기(2)의 위치 및 각도를 산정할 수도 있다. 촬영된 이미지 안에서의 표시부(2a)와 제1 및 제2 이미지(I1, I2)는 사용자 입력 장치(1)와 전기 기기(2) 간의 상대적 위치와 각도에 따라 상이하게 될 것이며, 예를 들면, 전기 기기(2)의 기준 위치(O2)가 도시된 바와 같이, 기준점이 되며, 제어부(20)는 기준점(O2)에 대한 사용자 입력 장치(1)의 위치 및 각도(O1)를 산정할 수 있다. 또한, 제어부(20)는 판단된 위치와 각도를 이용하여, 위치 변화에 따른 이동 경로를 산정하며, 이러한 이동 경로를 표시부(12)에 표시하거나 저장부(16)에 저장하며, 또한 이동 경로와 각도를 이용하여 현재 수행 중인 프로그램의 사용자 입력으로 사용할 수 있다. The electric appliance 2 transmits the information corresponding to the original of the image displayed on the display unit 2a to the user input device 1 including the first and second images I1 and I2 displayed on the display unit 2a . The user input device 1 photographs a screen image including the first and second images I1 and I2 displayed on the display unit 2a of the electric device 2 by using the camera 13. [ The control unit 20 refers to the original image information transmitted by the electric device 2 through the wired / wireless communication in the image photographed by the camera 13 and determines the position, size and angle of the image photographed by the camera 13 It is possible to grasp the presence or absence of the first and second images I1 and I2 corresponding to the original image information by using the computer vision algorithm to calculate the position and angle of the user input device 1 with respect to the electric device 2 And the position and angle of the electric device 2 with respect to the user input device 1 may be calculated. The display portion 2a and the first and second images I1 and I2 in the photographed image will differ depending on the relative positions and angles between the user input device 1 and the electric device 2, The reference position O2 of the electric device 2 becomes a reference point and the controller 20 can calculate the position and the angle O1 of the user input device 1 with respect to the reference point O2 . The control unit 20 calculates the movement route according to the positional change by using the determined position and angle and stores the movement route on the display unit 12 or in the storage unit 16, It can be used as the user input of the currently executing program by using the angle.

또한, 제어부(20)는 위치와 각도 및 이동 경로에 대한 정보를 전기 기기(2)로 전송하고, 전기 기기(2)는 자신이 수행하는 프로그램의 사용자 입력으로 수신된 위치와 각도 및 이동 경로에 대한 정보를 사용할 수 있다. 또한, 전기 기기(2)는 수신된 위치와 각도 및 이동 경로에 대한 정보를 이용하여 사용자 입력 장치(1)의 기준점(O1)에 대한 전기 기기(2)의 위치와 각도를 산정할 수도 있다.Further, the control unit 20 transmits information on the position, the angle, and the movement path to the electric device 2, and the electric device 2 controls the position, the angle and the movement path received by the user input of the program Can be used. The electric device 2 may calculate the position and the angle of the electric device 2 with respect to the reference point O1 of the user input device 1 by using information on the received position,

도 5에서의 사용자 입력 장치(1)는 구글 글래스나 MS의 홀로렌즈(hololens), Magic Leap 또는 오큘러스 VR 등의 카메라를 구비한 안경 또는 고글이고, 전기 기기(2)는 스마트폰일 수 있다. 이때, 스마트폰인 전기 기기(2)의 이동 경로(궤적) 등은 안경/고글인 사용자 입력 장치(1)의 출력 내용에 반영될 수 있다.　 예를 들면, 사용자가 전기 기기(2)인 스마트폰으로 책상 위에 필기를 하면, 구글 글래스 등의 사용자 입력 장치(1)가 전기 기기(2)의 위치를 상술된 방법으로 추적하여 사용자의 필기 내용을 산정하여, 사용자 입력 장치(1)의 표시부에 책상 이미지와 겹쳐서 표시할 수 있다.The user input device 1 in Fig. 5 may be a glasses or a goggles provided with a camera such as Google glass, Hololens, Magic Leap or Oculus VR of the MS, and the electric device 2 may be a smart phone. At this time, the moving path (locus) and the like of the electric device 2 as a smartphone can be reflected in the output contents of the user input device 1 which is a spectacle / goggles. For example, when a user writes on a desk with a smart phone as the electric device 2, the user input device 1 such as Google Glass tracks the position of the electric device 2 in the above-described manner, And display it on the display unit of the user input device 1 in a superimposed manner on the desk image.

도 6a 및 6b은 사용자 입력 장치의 제4 및 제5 실시예이다.6A and 6B are fourth and fifth embodiments of a user input device.

도 6a는 사용자 입력 장치의 제4 실시예로, 사용자 입력 장치(1)는 카메라(13)를 이용하여 고정된 기준이 되는 물체(P1)를 촬영하여 촬영된 이미지를 이용하여 위치와 각도를 판단한다. 물체(P1)는 예를 들면, 직사각형(r1, r2, r3, r4)의 물체나, 시각 마커(visual marker)를 전면에 표시하는 물체로, 저장부(16)는 물체(P1)(시각 마커 등)에 대한 이미지 정보를 저장한다. 제어부(20)는 카메라(13)를 이용하여 물체(P1)의 이미지를 촬영하고, 촬영된 이미지와 저장부(16)에 저장된 물체(P1)의 이미지 정보를 비교하여, 물체(P1)의 모서리(r1)에 대한 상대적인 위치와 각도를 산정할 수 있다. 6A shows a fourth embodiment of the user input device. The user input device 1 photographs the fixed object P1 using the camera 13, determines the position and angle using the captured image, do. The object P1 is an object displaying rectangles r1, r2, r3 and r4 and a visual marker on the whole. The storage unit 16 stores an object P1 And the like). The control unit 20 photographs the image of the object P1 using the camera 13 and compares the photographed image with the image information of the object P1 stored in the storage unit 16, the relative position and angle with respect to r1 can be calculated.

제어부(20)는 산정된 위치와 각도를 이용하여 위치 변화인 이동 경로를 판단할 수 있으며, 이동 경로와 각도를 사용자 입력으로 사용할 수 있다. The control unit 20 can determine a movement path, which is a position change, using the estimated position and angle, and can use the movement path and the angle as a user input.

물체(P1)는 거울일 수 있으며, 저장부(16)는 표시부(12)에 표시한 원본 이미지를 저장한다. 제어부(20)는 표시부(12)에 원본 이미지를 표시하고, 이 표시된 원본 이미지는 반사체인 물체(P1)에 의해 반사된다. 제어부(20)는 카메라(13)를 이용하여 반사된 이미지를 촬영하고, 촬영된 반사 이미지와, 원본 이미지 정보를 비교하여, 물체(P1)에 대한 사용자 입력 장치(1)의 위치 및 각도를 산정한다. 촬영된 반사 이미지는 사용자 입력 장치(1)와 물체(P1) 간의 상대적 위치에 따라 상이하게 될 것이며, 물체(P1)의 모서리(r1)의 위치가 기준점이 되며, 제어부(20)는 기준점에 대한 사용자 입력 장치(1)의 위치 및 각도를 판단할 수 있다.The object P1 may be a mirror, and the storage unit 16 stores the original image displayed on the display unit 12. [ The control unit 20 displays an original image on the display unit 12 and the original image is reflected by the object P1 which is a reflector. The control unit 20 photographs the reflected image using the camera 13 and compares the captured reflected image with the original image information to calculate the position and angle of the user input device 1 with respect to the object P1 do. The taken reflection image will be different according to the relative position between the user input device 1 and the object P1 and the position of the edge r1 of the object P1 becomes the reference point, The position and angle of the user input device 1 can be determined.

도 6b는 사용자 입력 장치의 제5 실시예로서, 사용자 입력 장치(1)는 기준면(P2)의 영역(S1)에 표시된 정보(예를 들면, dot code 등)를 반사 장치(40)를 통하여 카메라(13)가 촬영하여, 촬영된 정보를 저장부(16)에 저장된 판독 정보(예를 들면, dot code에 대응하는 이미지, 텍스트 등)와 비교하여, 누름 감지 어댑터(30)가 접촉하는 기준면(P2) 상의 사용자 입력 장치(1)의 위치 및 각도를 판단한다. 6B shows a fifth embodiment of the user input device in which the user input device 1 transmits information (for example, dot code, etc.) displayed in the area S1 of the reference plane P2 to the camera (For example, an image corresponding to dot code, text, etc.) stored in the storage unit 16, and the reference surface P2 and the position and angle of the user input device 1 are determined.

반사 장치(40)는 사용자 입력 장치(1)의 카메라(13) 주변의 외측면에 고정 장착하기 위한 지지부(41)와, 지지부(41)에 연결되며 카메라(13)의 촬영 각도를 영역(S1)으로 변경하기 위한 반사부(42)를 구비한다. 이 반사부(42)는 카메라(13)의 전방에 위치되어, 카메라(13)가 반사부(42)에 의해 반사된 영역(S1)의 이미지를 촬영하도록 한다. 이러한 반사를 위해, 지지부(41)는 사다리꼴 형태로 촬영하고자 하는 영역(S1)에 가까운 제1측면(41a)이 반대편의 제2측면(41b)보다 길며, 제3측면(41c)가 사용자 입력 장치(1)의 케이스에 탈착 가능하게 장착된다.The reflecting device 40 includes a supporting part 41 for fixing and mounting the user input device 1 on the outer surface around the camera 13 and a supporting part 41 connected to the supporting part 41, And a reflection part 42 for changing the reflection part 42 to the reflection part 42. The reflection section 42 is located in front of the camera 13 and allows the camera 13 to photograph an image of the area S1 reflected by the reflection section 42. [ The first side 41a closer to the area S1 to be photographed in the trapezoidal shape is longer than the second side 41b opposite to the first side 41b and the third side 41c is longer than the second side 41b, (Not shown).

도 6b의 사용자 입력 장치(1)는 도 1의 구성요소들에 추가하여 반사 장치(40)와, 누름 감지 어댑터(30)를 구비한 것이다. The user input device 1 of FIG. 6B is provided with a reflection device 40 and a push-detection adapter 30 in addition to the components of FIG.

제어부(20)는 누름 감지 어댑터(30)로부터의 누름 신호를 획득하는 동안, 카메라(13)에 의해서 획득되는 영역(S1)의 이미지 정보와 기저장된 판독 정보를 비교 분석하여, 누름 감지 어댑터(30)가 접촉하는 기준면(P2) 상의 사용자 입력 장치(1)의 위치 및 각도를 판단한다. 또한, 제어부(20)는 대응하는 판독 정보에 포함된 이미지나, 애니메이션, 주석, 텍스트 또는 인터넷 링크 등을 표시부(12)에 표시한다. 또한, 제어부(20)는 표시된 판독 정보에 대하여, 사용자 입력 장치(1)의 위치 변화에 대응하는 사용자 입력(예를 들면, 필기 동작)을 저장부(16)에 저장하여, 이후에, 대응하는 판독 정보와 사용자 입력을 함께 표시부(12)에 표시한다. The control unit 20 compares and analyzes the image information of the area S1 obtained by the camera 13 with the previously stored read information while acquiring the push signal from the push detection adapter 30, ) Of the user input device 1 on the reference plane P2. Further, the control unit 20 displays on the display unit 12 an image, animation, annotation, text, or Internet link included in the corresponding read information. The control unit 20 stores user input (for example, a handwriting operation) corresponding to the positional change of the user input device 1 in the storage unit 16 with respect to the displayed read information, The read information and the user input are displayed on the display unit 12 together.

추가적으로, 기준면(P2)의 외측 가장 자리(P2-E)와, 외측 가장 자리(P2-E)에서 일정 간격만큼 내측으로 이격된 내부 경계선(P2-I) 사이에 위치 표시부(VM)(예를 들면, 시각 마커 등)가 표시된다. 위치 표시부(VM)는 기준면(P2) 상에 표시된 위치마다 서로 다른 형상 등으로 구성되며, 사용자 입력 장치(1)의 제어부(20)는 사용자가 사용자 입력 장치(1)를 이동이나 정지시키는 동안, 카메라(40)를 통하여 획득된 위치 표시부(VM)의 이미지를 분석하여, 기준면(P2) 상의 위치 표시부(VM)의 위치를 확인하여 저장부(16)에 저장한다. 또한, 제어부(20)는 현재 획득된 위치 표시부(VM)의 이미지와 저장부(16)에 저장된 위치 표시부(VM)의 위치 정보를 비교하여, 현재 획득된 위치 표시부(VM)의 이미지가 획득될 수 있는 카메라(13) 또는 사용자 입력 장치(1)의 위치와 각도를 판단할 수 있다. 이러한 과정을 통하여, 제어부(20)는 기준면(P2)에 대한 사용자 입력 장치(1)의 상대적인 위치와 각도(기울임 정도)를 확인한다. In addition, a position indicator VM (for example, a position indicator) VM is provided between the outer edge P2-E of the reference plane P2 and an inner borderline P2-I spaced inwardly by a predetermined distance from the outer edge P2- A visual marker, etc.) is displayed. The position display unit VM is configured in a different shape for each position displayed on the reference plane P2 and the control unit 20 of the user input device 1 controls the position of the user input device 1 while the user moves or stops the user input device 1. [ Analyzes the image of the position display unit VM obtained through the camera 40 and confirms the position of the position display unit VM on the reference plane P2 and stores it in the storage unit 16. [ The control unit 20 compares the image of the currently obtained position indicator VM with the position information of the position indicator VM stored in the storage unit 16 to obtain an image of the currently obtained position indicator VM It is possible to determine the position and the angle of the camera 13 or the user input device 1 that can be used. Through this process, the controller 20 confirms the relative position and angle (degree of tilt) of the user input device 1 with respect to the reference plane P2.

예를 들면, 기준면(P2)이 책의 특정 페이지이고, 저장부(16)는 책의 내용에 대한 정보를 저장할 경우, 제어부(20)는 사용자 입력 장치(1)의 위치와 각도에 대응하는 특정 페이지의 영역(S1)에 대응하는 내용을 저장부(16)의 책의 내용에 대한 정보로부터 판독하여 표시부(12)를 통하여 사용자에게 제공할 수 있다. For example, when the reference plane P2 is a specific page of a book, and the storage unit 16 stores information on the contents of the book, the control unit 20 determines whether or not the reference plane P2 is a specific page corresponding to the position and angle of the user input device 1 The contents corresponding to the area S1 of the page can be read out from the information on the contents of the book of the storage unit 16 and provided to the user through the display unit 12. [

도 5, 도 6a 및 도 6b에서, 사용자 입력 장치(1)는 전기 기기(2)의 표시부(2a)에 표시된 제1 및 제2 이미지(I1, I2)나, 물체(P1)와, 기준면 (P2) 상의 영역을 보다 명확하게 촬영할 수 있도록 표시부(12)를 제어하여 밝은 화면을 표시할 수도 있다. 또한, 표시부(2a)의 제1 및 제2 이미지(I1, I2)와, 물체(P1)와, 기준면 (P2)의 색상이 주변과 같거나 유사한 색상인 경우, 카메라(13)가 정확하게 이미지를 획득하기 어렵다. 이러한 경우, 사용자 입력 장치(1)는 주변으로부터 제1 및 제2 이미지(I1, I2)와, 물체(P1)와, 기준면(P2)을 보다 명확하게 식별하기 위해, 표시부(12)를 제어하여, 주변색과 상이한 광을, 예를 들면, 적색광을 제1 및 제2 이미지(I1, I2)와, 물체(P1)와, 기준면 (P2)에 조사할 수 있다. 또는, 사용자 입력 장치(1)는 별도의 램프부를 구비하여, 주변색과 상이한 광을 제1 및 제2 이미지(I1, I2)와, 물체(P1)와, 기준면 (P2)에 조사할 수도 있다.5, 6A and 6B, the user input device 1 includes first and second images I1 and I2 displayed on the display portion 2a of the electric device 2, an object P1, It is also possible to display the bright screen by controlling the display unit 12 so as to photograph the area on the screen P2 more clearly. When the colors of the first and second images I1 and I2 of the display unit 2a and the colors of the object P1 and the reference plane P2 are the same or similar to each other, It is difficult to obtain. In this case, the user input device 1 controls the display unit 12 to more clearly identify the first and second images I1 and I2, the object P1, and the reference plane P2 from the periphery It is possible to irradiate the first and second images I1 and I2, the object P1 and the reference plane P2 with light different from the surrounding color, for example, red light. Alternatively, the user input device 1 may include a separate lamp unit to irradiate the first and second images I1 and I2, the object P1, and the reference plane P2 with light different from the surrounding color.

도 7은 제2실시예에 따른 사용자 입력 장치가 적용된 사용자 입력 시스템의 실시예이다. 도 7의 사용자 입력 장치(1)는 도 1의 사용자 입력 장치(1)에 누름 감지 어댑터(30)가 장착된 경우이며, 전기 기기(3)는 유선 또는 무선 통신이 가능한 기기에 해당되며, 터치 스크린으로 형성된 표시부(3a)를 구비하며, 도 1의 사용자 입력 장치(1)와 동일한 구성요소들을 구비할 수 있으며, 사용자 입력 장치(1)와 전기 기기(3)는 일종의 사용자 입력 시스템을 구성한다. 7 is an embodiment of a user input system to which a user input device according to the second embodiment is applied. The user input device 1 of FIG. 7 corresponds to a case where the push-detection adapter 30 is mounted on the user input device 1 of FIG. 1 and the electric device 3 corresponds to a device capable of wired or wireless communication, The user input device 1 and the electric device 3 constitute a kind of user input system. The user input device 1 includes a display unit 3a formed of a screen, .

사용자가 사용자 입력 장치(1)를 손으로 쥐고 전기 기기(3)의 터치 스크린에 접속하여 필기 동작을 수행할 때, 통상 많이 사용되는 전기 기기(3)의 터치 스크린(3a)은 누름 감지 어댑터(30)의 접촉 입력뿐만 아니라, 손바닥이나 다른 손가락에 의한 접촉 입력 역시 입력받는다. 사용자의 의도가 종이에 필기도구로 필기하듯이 누름 감지 어댑터(30)의 접촉만을 입력하는 경우에는, 손바닥이나 손가락의 접촉 입력은 무시되어야 한다(palm rejections). 이를 위해, 제어부(20)는 누름 감지 어댑터(30)로부터의 누름 신호가 획득되면, 이 누름 신호를 통신부(17)를 통하여 전기 기기(3)로 전송하며, 전기 기기(3)는 누름 신호의 수신 시점을 이용하여 누름 감지 어댑터(30)의 접촉 입력만을 선택할 수 있다. When the user holds the user input device 1 by hand and performs a writing operation by connecting to the touch screen of the electric device 3, the touch screen 3a of the electric device 3, which is commonly used, 30, as well as contact input by the palm or other finger. If the intention of the user is to input only the touch of the push-detection adapter 30 as if the user were writing with a writing tool on the paper, the palm or finger touch input should be ignored (palm rejections). When the push signal from the push detection adapter 30 is obtained, the control unit 20 transmits the push signal to the electrical apparatus 3 via the communication unit 17, and the electrical apparatus 3 transmits the push signal Only the contact input of the push-detection adapter 30 can be selected using the reception timing.

도 7의 하단에 도시된 바와 같이, 전기 기기(3)의 제어부(미도시)는 터치 스크린(3a)으로부터 복수의 접촉 입력을 획득한다. 전기 기기(3)의 제어부는 시간(t1-t3) 사이에 획(TI2)에 대응하는 접촉 입력을 획득하고, 시간(t2-t5) 사이에 획(TI1)에 대응하는 접촉 입력을 획득하고, 시간(t4-t6) 사이에 획(TI3)에 대응하는 접촉 입력을 획득한다. 그리고, 전기 기기(3)의 제어부는 시간(t2'-t5') 사이에 누름 신호를 사용자 입력 장치(1)로부터 획득한다. 전기 기기(3)의 제어부는 누름 신호가 획득되어 유지된 시간(t2'-t5')과 동일하거나 가장 근접한 시간(t2-t5)에 입력된 접촉 입력을 누름 감지 어댑터(30)의 입력으로 식별할 수 있다. 따라서, 전기 기기(3)의 제어부는 시간(t2-t5)에 획득된 획(TI1)의 접촉 입력을 사용자가 의도한 접촉 입력을 판단하고, 다른 획(TI2, TI3)의 접촉 입력은 무시한다. 즉, 전기 기기(3)는 누름 신호를 이용하여 palm rejection 기능을 수행한다.As shown in the lower part of Fig. 7, a control unit (not shown) of the electric device 3 acquires a plurality of contact inputs from the touch screen 3a. The control unit of the electric device 3 acquires the touch input corresponding to the stroke TI2 during the time period t1 to t3 and acquires the contact input corresponding to the stroke TI1 during the time period t2 to t5, And a touch input corresponding to the stroke TI3 is obtained between times t4 and t6. Then, the control unit of the electric device 3 acquires a push signal from the user input device 1 during the time period (t2'-t5 '). The control unit of the electric device 3 identifies the touch input inputted at the time t2-t5 equal to or near the time t2'-t5 'at which the push signal is acquired and held as the input of the push detection adapter 30 can do. Therefore, the control unit of the electric device 3 judges the contact input intended by the user as the contact input of the stroke TI1 obtained at the time t2-t5, and ignores the contact input of the other strokes TI2 and TI3 . That is, the electric device 3 performs a palm rejection function using a push signal.

또한, 사용자 입력 장치(1)와 전기 기기(3)는 내장된 모션 센서(19)나 카메라(13)나 깊이 센서(18) 등을 이용하여, 각각 자신의 절대적인 위치/방향(각도)를 산정할 수 있다. 또한, 사용자 입력 장치(1)와 전기 기기(3)는 자신의 위치/방향 정보를 서로 통신을 통하여 송수신하여, 사용자 입력 장치(1)와 전기 기기(3)는 서로에 대한 상대적인 위치/방향/자전 각도도 산정할 수 있다. The user input device 1 and the electric device 3 calculate their absolute positions / directions (angles) using the built-in motion sensor 19, the camera 13, the depth sensor 18, can do. The user input device 1 and the electric device 3 transmit and receive their position and direction information through communication with each other so that the user input device 1 and the electric device 3 can communicate with each other in position / The rotation angle can also be calculated.

도 8은 사용자 입력 장치의 제6실시예이다. 사용자 입력 장치(100)는 일측면에 기준면에 접촉한 상태로 이동 시에 소리를 발생하는 소리 발생부(30a)와, 소리 발생부(30a)에 의해 발생되는 소리를 마이크(15)로 유도하기 위한 소리 유도관(SP)을 추가적으로 구비한다. 이 소리 유도관(SP)은 사용자 입력 장치(100)의 케이스 내부에 형성되어, 소리 발생부(30a) 이외의 소리를 차단하는 기능도 수행한다. 8 is a sixth embodiment of the user input device. The user input device 100 includes a sound generating unit 30a for generating a sound in a state of being in contact with a reference surface on one side and a sound generating unit 30b for guiding a sound generated by the sound generating unit 30a to the microphone 15 A sound guide pipe SP is additionally provided. The sound guiding pipe SP is formed inside the case of the user input device 100 and also functions to shut off sounds other than the sound generating part 30a.

소리 발생부(30a)는 사용자 입력 장치(100)의 외측부에서 소리 유도관(SP)에 접하여 장착된다. 소리 발생부(30a)는 기준면과 소리 발생부(30a)의 외부면 간의 마찰에 의해 소리를 발생하는 소자일 수도 있고, 소리 발생부(30a)의 외부면이 기준면에 닿거나 눌려지면, 소리를 발생하는 소자일 수도 있다. The sound generating unit 30a is mounted on the outside of the user input device 100 in contact with the sound guide pipe SP. The sound generating unit 30a may be a device that generates sound by friction between the reference surface and the outer surface of the sound generating unit 30a. When the outer surface of the sound generating unit 30a touches the reference surface or is pressed, Or may be an element that occurs.

사용자 입력 장치(100)는 사용자 입력 장치(1)의 구성요소를 동일하게 포함할 수 있으며, 사용자 입력 장치(100)의 제어부는 마이크(15)를 통하여 소리가 획득되는 동안, 사용자 입력 장치(100)의 위치와 각도, 위치 변화를 사용자 입력으로 처리한다. The user input device 100 may equally include elements of the user input device 1 and the control unit of the user input device 100 may control the operation of the user input device 100 ) Position, angle, and position changes are processed as user input.

도 9a 및 9b는 누름 감지 어댑터에 대응하는 누름 감지 장치의 실시예와 구성도이다. 9A and 9B show an embodiment and a configuration diagram of a pressure sensing device corresponding to the pressure sensing adapter.

도 9a는 누름 감지 장치(50)가 사용되는 실시예로, 누름 감지 장치(50)는 예를 들면, 반지 형태로 되어, 손가락(f)에 끼워져서 손가락(f)과 함께 이동한다. 누름 감지 장치(50)는 손가락(f)의 표면에 적어도 일부분이 접촉되며, 손가락(f)(또는 손가락(f)의 피부)을 통하여 전달되는 소리를 감지하거나 획득하여, 감지되거나 획득된 소리를 포함하는 누름 신호를 사용자 입력 장치(1)로 전송한다. 누름 감지 장치(50)는 손가락 이외에도 인체의 조직에 접하여 장착되어, 인체의 조직의 이동과 함께 이동하는 구성요소를 포함한다. 9A is an embodiment in which the pushing detection device 50 is used. The pushing detection device 50 is, for example, in a ring form and is fitted on the finger f and moves with the finger f. The pushing detection device 50 detects at least a part of the surface of the finger f and detects or acquires sound transmitted through the finger f (or the skin of the finger f) To the user input device (1). The push-detection device 50 includes components that are mounted in contact with the tissue of the human body in addition to the finger, and move with the movement of the tissue of the human body.

위치(L1)에 손가락(f)이 위치된 경우, 손가락(f)이 기준면(P3) 상의 공중에 떠있는 것으로, 누름 감지 장치(50)는 손가락(f)을 통하여 거의 소리를 전달받지 않는다. When the finger f is positioned at the position L1, the finger f is floating in the air on the reference plane P3, so that the pushing detection device 50 hardly receives sound through the finger f.

위치(L2)의 경우, 손가락(f)의 끝이 기준면(P3)의 접촉점(T1)에 접촉된 상태로, 손가락(f)의 끝이 접촉점(T1)에 닿는 소리(충격음, 진동 등)이 손가락(f)을 통하여 누름 감지 장치(50)에 전달된다. In the case of the position L2, a sound (impact sound, vibration, or the like) that the end of the finger f touches the contact point T1 with the end of the finger f touching the contact point T1 of the reference plane P3 Is transmitted to the push-detection device (50) through the finger (f).

위치(L2)에서 위치(L3)로 손가락(f)의 끝이 기준면(P3)에 닿은 상태로 끌려서 이동하는 경우, 이 이동 중에는 손가락(f)의 끝과 기준면(P3)의 마찰에 의한 소리(진동)가 손가락(f)을 통하여 누름 감지 장치(50)에 전달된다. When the end of the finger f touches the reference plane P3 from the position L2 to the position L3 and is dragged and moved, the sound due to the friction between the tip of the finger f and the reference plane P3 Vibration) is transmitted to the push-detection device 50 through the finger f.

누름 감지 장치(50)는 이렇게 전달된 소리를 포함하는 누름 신호를 생성하여 사용자 입력 장치(1)로 전송하고, 사용자 입력 장치(1)는 상술된 누름 감지 어댑터(30)로부터의 누름 신호와 동일하게 처리한다. The pushing detection device 50 generates a pushing signal including the transmitted sound and transmits the pushing signal to the user input device 1. The user input device 1 is identical to the pushing signal from the above- .

도 9b는 누름 감지 장치(50)의 구성도로, 누름 감지 장치(50)는 사용전원을 공급하는 전원부(51)와, 누름 신호를 외부로 무선 통신으로 전송하는 통신부(53)와, 전달되는 소리를 획득하는 마이크(55) 및 마이크(55)로부터 획득된 소리를, 누름 신호로 생성하여 통신부(53)를 통하여 사용자 입력 장치(1)로 전송하는 제어부(57)로 구성된다. 전원부(51)는 예를 들면, 배터리로 통신부(53), 마이크(55) 및 제어부(57)에 사용전원을 공급하며, 통신부(53)는 예를 들면, 블루투스나 RF 통신 등의 무선 통신을 수행하는 소자에 해당된다. 특히, 마이크(55)는 도 9a에 도시된 바와 같이, 손가락(f)의 표면에 접촉될 수 있도록 누름 감지 장치(50)의 환형 케이스 내측면에 노출되거나 누름 감지 장치(50)의 케이스 내측면에 근접하게 장착되며, 손가락(f)을 통한 소리 이외의 소리는 차단되도록 하여 손가락(f)을 통한 소리만을 정밀하게 획득할 수 있다. 9B is a block diagram of the push-detection device 50. The push-detection device 50 includes a power supply unit 51 for supplying power to be used, a communication unit 53 for transmitting the push signal to the outside via wireless communication, And a control unit 57 for generating a sound obtained from the microphone 55 and the microphone 55 for acquiring the sound signal from the microphone 55 and transmitting it to the user input device 1 through the communication unit 53. [ The power supply section 51 supplies power to the communication section 53, the microphone 55 and the control section 57 with a battery, for example. The communication section 53 performs wireless communication such as Bluetooth or RF communication It corresponds to the device to perform. 9A, the microphone 55 is exposed to the inner surface of the annular case of the pressure sensing device 50 so as to be brought into contact with the surface of the finger f, And sound other than sound through the finger f is blocked, so that only sound through the finger f can be precisely obtained.

제어부(57)는 마이크(55)를 통하여 소리가 획득되는 때 누름 신호를 생성하여 통신부(53)를 제어하여 누름 신호를 전송한다. The control unit 57 generates a push signal when sound is obtained through the microphone 55 and controls the communication unit 53 to transmit the push signal.

사용자 입력 장치(1)는 누름 감지 장치(50)로부터의 누름 신호를 수신하여, 누름 신호를 기준으로 하여 사용자 입력의 시작 시점(누름 신호가 수신된 시점)과 종료 시점(누름 신호가 중단되는 시점)을 확인하여, 시작 시점과 종료 시점 사이의 사용자 입력만을 이용하거나, 시작 시점과 종료 시점 사이의 입력과, 그 사이 이외의 입력들을 구분하여 서로 상이하게 처리하여, 현재 수행 중인 프로그램에 대한 제어로 사용할 수 있다. The user input device 1 receives a push signal from the push detection device 50 and detects the start point of the user input (the point at which the push signal was received) and the end point ), And inputs only the user input between the start point and the end point, or inputs between the start point and the end point, and inputs other than the input, and processes them differently, Can be used.

본 발명에서 논의된 사용자 입력 처리 장치가 누름 신호 등의 전기적 신호의 처리 과정과, 사용자 입력 장치의 위치 및 각도, 위치 변화와 각도 변화의 연산 등에 대한 처리 과정 등은 프로그램 파일로 저장매체에 저장될 수 있으며, 이 프로그램 파일은 네트워크를 통한 전송에 의해 전기 기기 간에 전송되어, 다양한 전기 기기에 설치되고 동일한 동작이 수행된다. 즉, 사용자 입력 처리 장치가 수행하는 기능은 컴퓨터 판독 가능한 저장 매체에 저장되는 프로그램으로 제공될 수 있다.The process of processing an electrical signal such as a push signal and the process of the position and angle of the user input device, the process of changing the position and the angle change, and the like are stored in the storage medium as a program file This program file is transferred between the electric devices by transmission over the network, installed in various electric devices, and the same operation is performed. That is, the functions performed by the user input processing device may be provided as a program stored in a computer-readable storage medium.

이상에서, 본 발명은 본 발명의 실시예 및 첨부도면에 기초하여 예로 들어 상세하게 설명하였다. 그러나, 이상의 실시예들 및 도면에 의해 본 발명의 범위가 제한되지는 않으며, 본 발명의 범위는 후술한 특허청구범위에 기재된 내용에 의해서만 제한될 것이다.In the foregoing, the present invention has been described in detail by way of examples on the basis of the embodiments of the present invention and the accompanying drawings. However, the scope of the present invention is not limited by the above embodiments and drawings, and the scope of the present invention will be limited only by the content of the following claims.

10: 입력부 11: 접속부
12: 표시부 13: 카메라
14: 스피커 15: 마이크
16: 저장부 17: 통신부
18: 깊이 센서 19: 모션 센서
20: 제어부 30: 누름 감지 어댑터10: input unit 11: connection unit
12: display section 13: camera
14: Speaker 15: Microphone
16: storage unit 17: communication unit
18: Depth sensor 19: Motion sensor
20: control unit 30: push detection adapter

Claims

A position sensing unit provided in the user input device for sensing a position or an angle of the user input device and a position or an angle change caused by movement of the user input device;
And a controller for determining a user input according to a position, an angle, a position, or an angle change of the user input device based on the sensed value from the position sensing unit.

The method according to claim 1,
The control unit judges the position and angle of the reference unit of the user input device based on the sensing value from the position sensing unit and controls the currently executed program according to the determined position or angle. User input device using change.

The method according to claim 1,
The user input device includes a display unit for displaying a user input or a program currently being executed, and a storage unit for storing judgment reference data for determining a user input according to a moving path of the user input device,
The control unit compares the movement route according to the positional change from the position sensing unit and the previously stored judgment reference data, judges the user input of the judgment reference data corresponding to the movement route, displays the judged user input on the display unit, Or controlling a program that is currently being executed.

The method according to claim 1,
The position sensing unit includes a camera that captures an image, and the determination reference data includes an original image of an object or an image displayed on the object,
The control unit compares the image of the object photographed by the camera with the original image of the object or the image displayed on the object to determine the position and angle of the user input device with respect to the object, And a change of an angle, a position, and an angle.

The method according to claim 1,
The position sensing unit includes a camera for photographing an image of an object, a depth sensor
The control unit compares the images of the object photographed by the camera at a plurality of viewpoints with each other or compares the depth detection values of the objects obtained at a plurality of viewpoints from the depth sensor with each other to determine the position and angle of the user input device with respect to the object, And a position and an angle of the object with respect to the user input device, and a change of the position and an angle of the user with respect to the user input device.

The method according to claim 4 or 5,
Wherein the control unit irradiates light to the object through the display unit for identification of the object.

The method according to claim 4 or 5,
Wherein the control unit processes the change of the angle by changing the thickness or color of the stroke, which is a user input displayed on the display unit.

The method according to claim 4 or 5,
Wherein the object is a mirror or an electric device having a display unit for displaying an image.

9. The method of claim 8,
Wherein the control unit displays an original image on a display unit, photographs an image reflected from a mirror, which is an object, using a camera, and compares the taken reflected image with the original image.

9. The method of claim 8,
Wherein the electric device provides the original image including the image displayed on the electric device to the user input device.

The method according to claim 4 or 5,
Wherein the user input device is provided with a reflecting device for changing the photographing angle in front of the camera.

6. The method according to any one of claims 1 to 5,
Wherein the control unit determines a start time and an end time of a user input.

13. The method of claim 12,
Wherein the control unit processes the user input between the start point and the end point and the user input before and after the start point differently from each other.

13. The method of claim 12,
The user input device includes a microphone, the storage unit stores a reference input sound,
Wherein the control unit compares the sound obtained from the microphone with the reference input sound to determine the start and end points of the user input.

15. The method of claim 14,
The user input device comprises a case, a sound generating part for generating sound on one side of the case, and a sound induction pipe for microwaving the sound generated by the sound generating part inside the case. .

13. The method of claim 12,
The position sensing unit includes a magnetic field sensor, a motion sensor composed of at least one of an accelerometer and a gyroscope, and the control unit determines that the position change of the user input device moves on a plane after the point of time when the acceleration from the motion sensor is greater than the reference acceleration The user input is determined as the start time of the user input.

13. The method of claim 12,
The user input device includes a case, a pressing detection adapter protruding outside the case to generate a pressing signal, and a connection part formed inside the case and connected to the pressing detection adapter to apply a pressing signal to the control part. User input device using position change.

18. The method of claim 17,
Wherein the control unit determines start and end points of the user input according to the electrical characteristics of the push signal.

18. The method of claim 17,
The push-sensing adapter includes a ground circuit (GND) for input and a microphone signal line (MIC), a circuit part composed of a resistor connected between the ground line (GND) and the microphone signal line (MIC), a first conductor connected to the ground line And a second conductor portion connected to the microphone signal line (MIC), wherein the first and second conductors are not electrically connected or connected by an external force.

18. The method of claim 17,
The push-sensing adapter includes a case constituting an outer shape with a groove in the inner part, a sensor part connected to a speaker signal line and a ground line (GND), a part of which protrudes to the front to sense pressure, The speaker signal line is connected to the microphone signal line (MIC) and the other end is connected to the ground line (GND). The electrical signal corresponding to the pressure applied to the sensor unit is supplied to the microphone signal line A ground line (GND), and a microphone signal line (MIC).

18. The method of claim 17,
The pressure sensing adapter includes a case constituting an outer shape with a groove in the interior thereof, a sensor part inserted in the groove and sensing pressure, an end part contacting the sensor part with an external force covering the sensor part, A sub-control unit for generating a control signal for controlling the speaker output through the microphone signal line and ground line (MIC-GND), and a power harvesting unit for performing a process of transforming and rectifying the speaker output through the speaker output line to supply the DC power to the sub- Wherein the position or position change is characterized by comprising:

18. The method of claim 17,
The pressure sensing adapter includes a case constituting an outer shape when the groove is formed therein, a sensor inserted in the groove and sensing pressure, an end contacting with the sensor by an external force, data including information on the pressure of the sensor, And a sub-control unit for generating the data by applying the data to the control unit through the data line DATA.

The user input device according to claim 12 has a communication unit for performing wired communication or wireless communication,
The control unit transmits a signal including a start point or an end point of a user input to an external electric device through a communication unit,
And an external electric device for determining a user input based on a start time or an end time included in the transmitted signal.

A touch sensing device mounted on a tissue of a human body for sensing a sound transmitted through a tissue of a human body and generating a push signal including a sensed sound and transmitting the push signal to a user input device;
And a user input device for determining start and end points of a user input based on a push signal received from the push detection device.

25. The method of claim 24,
The pushing detection device includes a microphone for acquiring sounds approaching or coming close to the tissue of the human body, a communication unit for transmitting the pushing signal to the user input device, a pushing signal including sound from the microphone, And a communication unit for transmitting the user input information.

25. The method of claim 24,
Wherein the user input device processes a user input between a start point and an end point of a user input and a user input before or after a start point and controls a program currently being executed.

25. The method of claim 24,
Wherein the push-detection device has a ring-shaped structure that fits on the finger.