KR100660165B1

KR100660165B1 - Image sensor using remote pointing system with general infrared remote control communication function

Info

Publication number: KR100660165B1
Application number: KR1020040052846A
Authority: KR
Inventors: 한상현; 한창석; 송우석
Original assignee: 주식회사 포인칩스
Priority date: 2004-07-08
Filing date: 2004-07-08
Publication date: 2006-12-20
Anticipated expiration: 2024-07-08
Also published as: KR20040066776A

Abstract

본 발명은 PDP, LCD방식의 대형 디지털 텔레비젼이나 VTR, DVD 플레이어, Set-Top Box, 노래방 기기, 각종 감시 모니터, 프로젝터 등의 제품들이 그 기능의 다양화와 더불어 수신채널의 증가, 다양한 메뉴기능의 추가로 인해 기존의 일반적 리모콘으로는 그 사용상의 제약이 많았을 뿐만 아니라 리모콘이 이미 그 수용한계를 벗어날 정도로 되었다. 본 발명의 포인팅 방식의 화면상의 직접적 커서이동과 선택방식의 3-D 포인팅 방법의 도입으로 기존 리모콘 기능을 획기적으로 개선하였다. 기존의 단순한 리모콘 키입력에 의해 채널을 선택하거나 볼륨을 제어하는 등의 단순 제어기능뿐 만 아니라 화면상에 특정 지점을 지정하여 그 지정 포인트를 기준으로 선택 혹은 비선택 또는 그 지정 점에서의 추가 서브 메뉴를 열어서 필요한 기능을 선택한다거나 하는 등의 마치 일반 컴퓨터의 마우스처럼 사용할 수 있게끔 함으로서 기존의 방식의 리모콘에서 정의된 각각의 입력키를 일일이 눌러서 최종의 원하는 제어를 하는 방식의 고전적 방식을 탈피하여 원격 포인팅 및 제어방식 기술을 추가함으로서 대형 디스플레이에서의 각종 제어를 마치 인터넷에서 웹 서핑을 하는 것처럼 화면상에 뿌려진 모든 문자나 그림정보가 하나의 메뉴가 되어 그 부분을 찍으면(Pointing) 이미 약속된 그 부분에 해당된 기능을 바로 수행하는 즉 다이렉트 명령체계를 가능케 한 발명이다. 따라서 몇 회의 조작으로 직접 원하는 제어를 완성할 수 있는 장점을 가질 뿐만 아니라 대형 디스플레이에서의 인터넷 웹서핑이나 컴퓨터에서 이루어지는 각종의 작업들도 아주 복잡한 작업을 제외하고는 어느 정도 가능하다는 장점이 있다. The present invention is a product such as PDP, LCD type digital TV, VTR, DVD player, Set-Top Box, karaoke equipment, various monitors, projectors, etc. In addition, the existing general remote control was not only limited in terms of its use, but also the remote control had already exceeded its limit. The existing remote control function has been remarkably improved by the direct cursor movement on the screen of the pointing method and the introduction of the 3-D pointing method of the selection method of the present invention. In addition to simple control functions such as channel selection or volume control by existing simple remote control key inputs, a specific point can be designated on the screen to select or deselect based on the designated point, or additional subs at the specified point. By opening the menu and selecting the required function, it can be used like a mouse of a normal computer, and by pressing each input key defined in the conventional remote control one by one, the remote control is removed from the classical method of final control. By adding pointing and control technology, all the texts and picture information spread on the screen become a menu and point to that part as if you are surfing the web on the large display. The direct command system. It is an invention made possible. Therefore, not only has a merit of directly controlling the desired control with a few operations, but also has the advantage that the Internet web surfing on a large display or various tasks performed on a computer are possible to some extent except for a very complicated task.

Pointing, Infrared, Remote, Control Pointing, Infrared, Remote, Control

Description

Remote Pointing System combined with Infrared Remote Control Function

도 1 본 발명의 전체 블록다이어그램1 is a complete block diagram of the present invention.

도 2 본 발명의 이미지센서측 이동 궤적에 관한 개념도2 is a conceptual diagram related to the movement trajectory of the image sensor according to the present invention.

도 3 본 발명의 광학 필터의 파장과 투과율에 대한 특성도Figure 3 is a characteristic diagram for the wavelength and transmittance of the optical filter of the present invention

도 4 본 발명의 원격 포인팅 개념도4 is a conceptual diagram of the remote pointing of the present invention

본 발명은 대형화가 가속되고 있는 디지털 텔레비젼이나 VTR, DVD 플레이어, Set-Top Box등에서 사용되어지는 리모콘 기능을 획기적으로 개선하여 기존의 단순한 리모콘 키입력에 의해 채널을 선택하거나 볼륨을 제어하는 등의 단순 제어기능뿐 만 아니라 화면상에 자유롭게 커서를 이동하고 또한 특정 지점을 지정하여 그 지정 지점 기준으로 선택 혹은 비선택 또는 그 지정 점에서의 추가 서브 메뉴를 열어서 필요한 기능을 선택한다거나 하는 등의 마치 일반 컴퓨터의 마우스처럼 사용할 수 있게끔 하는 방법을 제시하는 발명으로 기존의 방식의 리모콘에서 정의된 각각의 입력키를 일일이 눌러서 최종의 원하는 제어를 하는 방식의 고전적 방식에 부 가하여 원격 포인팅 기술을 추가함으로서 대형 디스플레이에서의 각종 제어를 마치 인터넷에서 웹 서핑을 하는 것처럼 화면상에 뿌려진 모든 문자나 그림정보가 하나의 메뉴가 되어 그 부분을 찍으면(Pointing) 이미 약속된 그 부분에 해당된 기능을 바로 수행하는 즉 다이렉트 명령체계를 가능케 한 발명이다. 따라서 본 발명의 Pointing방법을 적용할 시에는 기존의 주메뉴에서 하위 다단계의 서브메뉴로 이동하여 최종의 원하는 제어를 하는 경우의 조작의 순서나 방법이 무척 복잡하고 키입력 횟수도 보통 4~5회가 넘었으나 본 발명의 포인팅 방법을 적용 시에는 단 몇 회의 조작으로 직접 원하는 제어를 완성할 수 있는 장점을 가질 뿐만 아니라 대형 디스플레이에서의 인터넷 웹서핑도 무난하게 할 수 있으며 컴퓨터에서 이루어지는 각종의 작업들도 아주 복잡한 작업을 제외하고는 어느 정도 가능하다는 장점이 있다. The present invention dramatically improves the remote control functions used in digital TVs, VTRs, DVD players, set-top boxes, etc., which are accelerating the enlargement of the screen, and select a channel or control the volume by using a simple remote control key input. In addition to the control functions, you can move the cursor freely on the screen, select a specific point, select or deselect based on the specified point, or open additional submenus at the specified point to select the required function. It is an invention that suggests the method to use like a mouse. In addition to the classic method of final desired control by pressing each input key defined in the conventional remote controller, the remote pointing technology is added to the large display. Surf the web on the internet (Pointing) That is an invention made possible the direct chain of command to immediately carry out the functions corresponding to the portion that has already been promised, as every letter or picture information scattered on the screen is one of the menu that you take a part. Therefore, when applying the Pointing method of the present invention, the procedure or method for the final desired control by moving from the existing main menu to the lower multi-level submenu is very complicated and the number of key inputs is usually 4 to 5 times. However, when the pointing method of the present invention is applied, not only has a merit of directly completing the desired control with a few operations, but also the Internet web surfing on a large display is safe and various operations performed on a computer. It also has the advantage that it is possible to some extent except for very complex tasks.

본 발명은 이러한 원격 포인팅이 가능하게 하기 위해 이미지 센서와 특수파장의 발광소자 그리고 간단한 광학필터와 렌즈시스템을 적용, 이를 조합하여 임의의 거리에서 주사되어지는 발광소자로 부터의 광을 상기한 이미지센서가 인식하여 그 수신된 광의 위치변이 값을 인식하여 2차원상의 가로와 세로축 변이 값으로 환산 한 후 상대좌표 변이방식의 알고리즘을 응용하여 본 발명의 공간상의 위치변동을 인식, 표시하는 방법을 구현하였다. 본 발명은 일정거리에서 이러한 위치 변동을 인식해야 함으로 거리에 따른 수신광의 퍼짐 현상을 막고 정확한 좌표연산과 거리 계산을 위해 발광부 쪽이나 이미지센서부 쪽에 간단한 렌즈시스템을 적용하였으며 특수한 파장의 광만을 이용하기 위해서 발광부나 수광부쪽에 기존의 적외선 리 모콘에서와 유사한 방식의 특수파장대의 광학 필터를 이용한다. 또한 상기한 원격 포인팅의 기능을 구현함과 아울러 일반적 리모트 컨트롤 기능을 수행 가능하게 하기 위해 기존방식의 발광부를 본 방식과 겸용하는 것도 가능하며 수신부쪽의 이미지 센서부도 겸용이 가능토록 함으로서 일반적으로 널리 사용되어지는 리모콘기능도 선택적으로 사용 가능하도록 하였다. The present invention applies an image sensor, a light emitting device having a special wavelength, and a simple optical filter and lens system in order to enable such a remote pointing, combining the light from the light emitting device that is scanned at an arbitrary distance by combining them. Recognizes the positional shift value of the received light, converts it to the horizontal and vertical shift value in two dimensions, and then applies the algorithm of the relative coordinate shifting method to implement the method of recognizing and displaying the positional shift in the space of the present invention. . The present invention has to recognize such a change in position at a certain distance to prevent the spread of the received light according to the distance, and to apply a simple lens system to the light emitting part or the image sensor part for accurate coordinate calculation and distance calculation, using only a special wavelength light In order to achieve this, a special wavelength band optical filter is used on the light emitting part or the light receiving part similar to that of the existing IR remote control. In addition, in order to implement the above-mentioned remote pointing function and to perform a general remote control function, it is also possible to use the conventional light emitting part with the present method, and also to use the image sensor part on the receiving side, which is generally widely used. The remote control function can be selectively used.

본 발명은 상기한바와 같이 임의의 거리에서 대형 디스플레이나 각종의 미디어 재생기 즉 VTR, DVD 플레이어, Set-Top Box등에서 표출되는 화면상에 컴퓨터의 마우스처럼 커서를 나타나게 하고 더불어 그 커서의 이동좌표를 연산하고 또한 특정의 위치에서 선택키나 취소키 그리고 그 지점에서의 서브메뉴제어등의 유저인터페이스가 가능하게 하는 기술로서 특히 기존의 리모콘기능도 같이 겸용할 수 있게 하여 사용자가 선택적으로 본 발명의 기술을 사용할 수 있게 하였다.
본 발명을 다시 설명하면 임의의 거리를 두고 비치된 디스플레이 장치 혹은 디스플레이 출력기능을 가지는 장치에 광수신장치를 두고, 이 광수신장치에 수신하는 광을 발신하는 광발신장치를 이용하여 디스플레이 장치 등에 나타나는 커서(또는 포인팅 위치)를 광학 네비게이션 방식으로 이동시키게 된다.
광수신장치는 광 이미지를 수신하기 위한 메트릭스방식 광 이미지센서와 상기한 광 이미지센서 전단에 광발신장치로부터의 이미지가 정확히 맺힐 수 있도록 하기 위한 광학장치와 상기한 광학장치 전단 혹은 광학장치 표면에 광발신부로부터 발광된 특정 광파장특성대의 신호만을 통과시키기 위한 필터를 구비하는 것이 바람직하다.
또한 광발신장치는 광원의 밝기를 일정하게 하기 위한 정전류방식의 광원구동방식을 채용하며 광원에 전원을 인가하기 위한 전원과 광원을 제어하기 위한 스위치장치 그리고 광원소자를 구비하는 것이 바람직하다.
임의의 거리에서 광발신장치가 좌우상하 이동을 하면, 광수신장치는 상기한 메트릭스방식 광 이미지센서에 맺힌 광 이미지의 최초 출발점으로부터 이동궤적을 연산함에 있어 상대좌표방식의 연산방식을 취하여 0도에서 360도의 전 방향의 이동방향과 이동거리의 궤적연산을 수행하며, 이때 거리에 따른 이동량 보상을 위해 수신 이미지의 이미지 센서의 픽셀 점유량 연산방식을 취하게 된다. As described above, the present invention makes a cursor appear as a mouse of a computer on a screen displayed on a large display or various media players such as a VTR, a DVD player, a set-top box, and calculates a moving coordinate of the cursor at an arbitrary distance as described above. In addition, as a technology that enables a user interface such as a select key or a cancel key at a specific position and a sub-menu control at that point, the user can selectively use the technology of the present invention by allowing the existing remote control function to be used together. Made it possible.
The present invention will be described again by placing an optical receiver on a display device provided at a predetermined distance or a device having a display output function, and using the optical transmitter that transmits light to the optical receiver. The cursor (or pointing position) is moved by optical navigation.
The optical receiver includes an optical device for receiving an optical image and an optical device for accurately forming an image from the optical transmitter in front of the optical image sensor, and an optical transmitter in front of the optical device or the surface of the optical device. It is preferable to include a filter for passing only a signal of a specific light wavelength characteristic band emitted from.
In addition, the light emitting device adopts a constant current light source driving method for making the brightness of the light source constant, and preferably includes a power source for applying power to the light source, a switch device for controlling the light source, and a light source element.
When the optical transmitter moves up and down at an arbitrary distance, the optical receiver adopts a relative coordinate method in calculating the movement trajectory from the initial starting point of the optical image formed on the matrix optical image sensor. The trajectory calculation of the moving direction and the moving distance in the omnidirectional direction of the figure is performed, and the pixel occupancy calculation method of the image sensor of the received image is taken to compensate for the movement amount according to the distance.

도 1은 발명의 전체 블록다이어그램으로서 임의의 거리에서 발광하는 포인팅광 모듈(450)과 상기한 발광체로부터의 광신호를 수신하여 처리하는 포인팅 이미지 센서모듈(200)을 주요구성으로 하고 있다. 먼저 이미지 모듈센서부(200)를 보면 포인팅광 모듈(450)로 부터의 발광신호는 특정대의 파장을 갖고 있으며 이 특정대의 신호만을 수신하기 위해 광학필터(240)을 센서 전면에 구비하고 있으며 상기한 광학필터 바로 후단에는 무한 촛점특성을 갖는 광학렌즈를 구성하고 있다. 무한촛점 렌즈란 최근에 휴대폰이나 저가형 휴대용 카메라에 일반적으로 채용하고 있는 피사계심도(Focal Length)가 깊은 특성을 갖은 초소형 타입의 렌즈로서 통상 수십cm에 서 무한대까지 촛점이 맞혀지는 방식의 보편적 렌즈이다. 이러한 무한촛점특성의 렌즈를 적용하는 이유는 발광체로부터 광신호를 광번짐없이 인식하기 위해 적용하는 것으로 만약에 이러한 렌즈의 적용이 없다면 광원으로부터 이미지 센서가 인식한 신호가 번져 인식됨으로 인해 정확한 좌표연산이나 데이터입력이 어렵게 되며 후술하겠지만 입력 광신호의 크기에 의한 광원과 이미지 센서와의 거리연산도 어려워지기 때문이다. 이렇게 무한촛점 렌즈를 거쳐 이미지센서(210)로 입사광이 입력되며 이미지센서는 광마우스에서 적용하는 이미지 센서처럼 메트릭스방식의 저 해상도를 가지는 CMOS센서를 이용하고 있다. 본 발명이 상대좌표방식 즉 변이의 기준을 매번 옮겨가며 방향과 이동량을 연산하는 방식임으로 고해상도의 고가방식의 이미지센서를 적용할 필요는 없다. 하지만 적용제품이나 분야에 따라 고해상도가 요구될 때는 적용할 이미지센서의 해상도만 높은 것을 적용하면 쉽게 구현 가능하다. 포인팅광 발신모듈(450)의 구성을 보면 우선 리모콘류는 밧데리를 이용하는 것이 일반적이기 때문에 동일 유사한 전원이 구비되고 특정파장대의 광원(456)에 전원이 인가되며 상기한 광원(456)에 일정한 전류로만 구동하기 위한 정전류회로(470)가 연결 구성되며 광원(456)의 ON/OFF 작용을 위한 스위치장치(480)와 광원(456)전면에는 특정파장대만의 광신호만을 통과 시켜주기 위해 광학필터(455)를 구비하고 있다. 주요 동작 관계를 알아보면 광원(456)은 전원으로부터 전원을 공급받아 정전류원회로(470)에 의해 스위치(580)의 ON/OFF작용에 동기하여 점멸작용을 하게 되는데 이때 점등시 전류량을 일정하게 하지 않으면 광원(456)에서 방사되는 광량이 변화가게 된다. 이 경우 포인팅 이미지센서부(200)에서는 상기한 바와 같이 밝기와 입사광의 크기에 따라 거리계산을 자동으로 하게 되는데 이러한 방사체로 부터의 광량이 포인팅 광모듈(450)의 전원조건에 따라 변동되면 정확한 연산이 어렵게 된다. 따라서 이러한 점을 보완하기 위해 본 발명에서는 정전류원회로(470)을 부가하였다. 상기한 바와 같이 광 방사체와 광 수신부와의 거리계산이 필요한 이유는 광 방사체와 광 수신부와의 거리에 따른 포인팅 디바이스(400)부의 상하좌우 변이량이 서로 상이하기 때문이다. 즉 가까울 경우는 포인팅 디바이스(400)의 약간의 움직임에도 포인팅 이미지센서부(200)에서는 많이 움직인 것으로 연산 할 것이고 반대로 서로의 거리가 멀 경우에는 포인팅 디바이스(400)의 큰 움직임에도 포인팅 이미지센서부(200)에서는 적게 움직인 것으로 연산 할 것임으로 거리에 따른 변이량의 보상 알고리즘의 적용이 불가하기 때문이다. 이러한 광발신부와 수신부의 거리계산은 광 발신부로 부터의 광신호를 받은 포인팅 이미지센서부(200) 이미지 셀의 빔이 점유하는 셀수를 카운터하는 방식을 사용하게 된다. 즉 동일한 전류조건에서 방사된 광 발신부로 부터의 광신호가 포인팅 이미지센서부(200) 이미지 셀의 점유면적이 많으면 먼 거리이고 점유면적이 작으면 가까운 거리임을 추정할 수 있는 것이다. FIG. 1 is a block diagram of the present invention, which includes a pointing light module 450 for emitting light at an arbitrary distance and a pointing image sensor module 200 for receiving and processing an optical signal from the light emitter. First, in the image module sensor unit 200, the light emission signal from the pointing light module 450 has a specific wavelength, and an optical filter 240 is provided on the front of the sensor to receive only the specific signal. Immediately after the optical filter, an optical lens having infinite focusing characteristics is formed. Infinite focus lenses are micro lenses that have a deep depth of field (Focal Length), which is generally adopted in mobile phones and low-cost portable cameras. It is a universal lens that focuses from tens of centimeters to infinity. The reason for applying the lens of infinite focus is to recognize the optical signal from the light emitting body without light blur. If there is no application of this lens, the signal recognized by the image sensor is spread from the light source and the correct coordinate calculation is performed. This is because data input becomes difficult and distance calculation between the light source and the image sensor due to the magnitude of the input optical signal becomes difficult. The incident light is input to the image sensor 210 through the infinite focus lens, and the image sensor uses a CMOS sensor having a low resolution of the matrix type like the image sensor applied in the optical mouse. Since the present invention is a method of calculating the direction and the amount of movement by shifting the relative coordinate method, that is, the standard of variation every time, it is not necessary to apply a high resolution and expensive image sensor. However, when high resolution is required depending on the application or the field, it is possible to easily implement by applying only the high resolution of the image sensor to be applied. Looking at the configuration of the pointing light transmission module 450, first, since the remote controllers generally use a battery, the same power source is provided and power is applied to the light source 456 of a specific wavelength band, and the light source 456 has a constant current. The constant current circuit 470 for driving is connected, and the optical filter 455 to pass only an optical signal of a specific wavelength band on the front of the switch device 480 and the light source 456 for the ON / OFF operation of the light source 456. ). Looking at the main operation relationship, the light source 456 is supplied with power from the power source and is blinked in synchronism with the ON / OFF action of the switch 580 by the constant current source circuit 470. Otherwise, the amount of light emitted from the light source 456 is changed. In this case, the pointing image sensor unit 200 automatically calculates the distance according to the brightness and the size of the incident light as described above. If the amount of light from the radiator varies according to the power condition of the pointing optical module 450, the calculation is accurate. This becomes difficult. Therefore, in order to compensate for the above, the constant current source circuit 470 is added in the present invention. As described above, the reason for calculating the distance between the light emitter and the light receiver is that the vertical, left, right, and right shift amounts of the pointing device 400 are different according to the distance between the light emitter and the light receiver. In other words, if it is close to the movement of the pointing device 400, the pointing image sensor unit 200 will be calculated as moving a lot. On the contrary, if the distance is far from each other, the pointing image sensor unit will move even if the movement of the pointing device 400 is large. This is because it is not possible to apply the compensation algorithm of the variation amount according to the distance because the operation will be performed with less movement. The distance calculation of the optical transmitter and receiver uses a method of counting the number of cells occupied by the beam of the image cell of the pointing image sensor unit 200 which receives the optical signal from the optical transmitter. That is, it can be estimated that the optical signal from the light transmitting unit radiated under the same current condition is a long distance if the occupied area of the image cell of the pointing image sensor unit 200 is large, and a short distance if the occupied area is small.

도 2는 본 발명의 이미지센서측 이동 궤적에 관한 개념도로서 상대적 좌표계를 이용하여 이동 궤적을 구하는 방법에 대해 설명하면 다음과 같다.2 is a conceptual diagram of the image sensor-side movement trajectory of the present invention. A method of obtaining a movement trajectory using a relative coordinate system will now be described.

이동궤적 연산방식은 삼각좌표연산방식을 이용하여 최종 가로축과 세로축의 변이값을 연산하며 수신광의 움직임과 점유 이미지 셀수 정보를 이용하여 근거리와 원거리에서의 이동량의 차이를 보정하는 방식으로 수행한다.
최초 포인팅 디바이스(400)로 부터 정상 투영된 포인팅 이미지센서부(200)에 광원의 이미지[이미지센서(210)에 맺힌 이미지)는 도면 2의 'O' 와 같이 중앙부에 있었다고 가정한다. 잠시후 원격 포인팅 디바이스(400)가 이동하여 광원이 이동되었으며, 이로 인하여 이미지센서(210)에 맺힌 광원의 이미지가 'O'에서 'R'로 변경되었다면 X축으로는 +dX만큼 이동한 것이고 Y축으로는 이동량이 없는 것이다. 이때 'O'와 'R'의 밝기와 픽셀의 수량을 계산하여 더해지거나 감해진 값이 @라면 상대 좌표계에서 포인팅 디바이스(400)가 이동한 거리 량은 X축으로는 +dX + @가 되며, Y축으로는 이동량이 제로이다. 마찬가지로 'O'에대해서 'L', 'T' , 'B'에 대한 이동량을 각각 구할 수 있으며, 그 외의 궤적 방향에 대해서는 삼각연산법에 의해 X축과 Y축값의 변이량을 연산하여 이동방향과 이동량을 구할 수 있게된다.The movement trajectory calculation method calculates the shift value of the final horizontal axis and the vertical axis by using the trigonometric coordinate calculation method, and corrects the difference between the movement amount in the short distance and the far distance by using the received light movement and occupied image cell information.
It is assumed that the image of the light source (the image formed on the image sensor 210) in the pointing image sensor unit 200 projected normally from the first pointing device 400 was in the center as shown by 'O' in FIG. After a while, the remote pointing device 400 moved to move the light source. As a result, when the image of the light source formed on the image sensor 210 was changed from 'O' to 'R', it moved by + dX on the X axis. There is no movement on the axis. At this time, if the brightness and the number of pixels of 'O' and 'R' are added or subtracted from @, the amount of distance moved by the pointing device 400 in the relative coordinate system is + dX + @ on the X axis. The movement amount is zero on the Y axis. Similarly, the movement amount for 'L', 'T' and 'B' can be obtained for 'O', and for the other trajectory directions, the displacement amount of the X and Y axis values is calculated by trigonometric method. The amount of movement can be obtained.

다음번 연산을 할 때는 바로 전에 존재했던 위치를 다시 새로운 기준점(Origin, 'O')으로 가정하고 새로 획득된 변위점과의 상관 관계를 통해 포인팅 디바이스(400)의 이동방향과 이동량에 관한 정보를 연산한다. 이러한 과정이 반복되면 포인팅 디바이스(400)의 이동 궤적을 정확하게 연산할 수 있게 된다. 이때 구해진 이동량은 실제 화면에서의 이동특성과 포인팅 디바이스(400)의 이동특성 그리고 거리정보와의 관계를 통해 보상처리를 함으로서 실제 사용자가 운용하면서 느끼는 이동성향과의 자연스러움을 유지할 수 있게 된다. 즉 궤적이동 방향과 이동량 값을 이동 거리로 환산하여 호스트시스템으로 전송할 최종적인 적절한 변이량 값을 연산해 낸다.In the next calculation, it is assumed that the position that existed immediately before is a new reference point (Origin, 'O'), and information about the moving direction and the moving amount of the pointing device 400 is calculated through correlation with the newly acquired displacement point. do. If this process is repeated, it is possible to accurately calculate the movement trajectory of the pointing device 400. At this time, the calculated movement amount can maintain the naturalness with the movement propensity felt by the actual user by performing compensation processing through the relationship between the movement characteristics on the actual screen, the movement characteristics of the pointing device 400 and the distance information. In other words, the trajectory movement direction and the movement amount are converted into the movement distance to calculate the final appropriate displacement value to be transmitted to the host system.

도 3은 본 발명의 광학 필터의 파장과 투과율에 대한 특성도를 나타낸 것으로 포인팅 이미지 센서모듈(200)에 이미지센서(210)로 입력되는 이미지중 원격 포인팅 디바이스(400)의 광원(IR)의 파장대역만을 투과시키고 나머지 빛의 파장대역은 통과시키지 않는 대역통과 특성의 필터시스템이다. 이러한 광학 필터는 이미지센서(210)의 표면에 코팅 할수도 있고 광학렌즈(230) 표면에 코팅할 수도 있으며, 도 1의 광학필터(240)와 같이 광 투과율이 좋은 재질로 제작된 필터를 별도로 사용할 수 도 있다. 포인팅 광 모듈(450)에도 동일한 기능을 수행하며 상기한 이미지 센서모듈(200)측의 필터보다는 기능이 비교적 덜 중요하다. 원격 포인팅 디바이스(400)에서 발생하는 광원 중에 원하지 않는 파장 대역의 광원에 대해서는 이를 투과시키지 않는 광학적 특성이 있는 재질을 사용한다.3 is a view illustrating the wavelength and the transmittance of the optical filter of the present invention, the wavelength of the light source IR of the remote pointing device 400 among the images input to the image sensor 210 to the pointing image sensor module 200. It is a bandpass filter system that transmits only the band but does not pass the remaining wavelength band. Such an optical filter may be coated on the surface of the image sensor 210, or may be coated on the surface of the optical lens 230, and separately used a filter made of a material having good light transmittance, such as the optical filter 240 of FIG. Can also be. The pointing optical module 450 performs the same function, and the function is relatively less important than the filter on the image sensor module 200 side. Among the light sources generated by the remote pointing device 400, a material having an optical characteristic that does not transmit the light of an unwanted wavelength band is used.

도 4는 본 발명의 원격 포인팅 개념도를 나타내는 것으로 포인팅 베이스시스템(100)은 앞서 언급한바와 같이 디지털 텔레비젼이나 VTR, DVD 플레이어, Set-Top Box등이 될 수 있으며 이외에도 디스플레이가 구비된 각종의 기기 즉 노래방 기기, 산업용 모니터, 일반 직시형 브라운과 방식 텔레비젼, 프로젝터, 컴퓨터 등에도 널리 응용이 가능하다. 포인팅이미지센서(200)은 상기한 포인팅 베이스시스템(100)의 전면에 배치가 되어지며 포인팅 디바이스시스템(400)은 포인팅 광원(450)을 포함하며 그와 관련된 구동부도 포함하고 있다. 현재는 기존 일반 리모콘기능과의 겸용을 위해 적외선신호(300)를 사용하고 있지만 향후 레이저나 기타의 직진성이 높은 신호는 얼마든지 응용이 가능하다.4 is a conceptual diagram showing the remote pointing of the present invention. As described above, the pointing base system 100 may be a digital television, a VTR, a DVD player, a set-top box, or the like. It can also be widely applied to karaoke equipment, industrial monitors, general direct view brown and televisions, projectors and computers. The pointing image sensor 200 is disposed on the front surface of the pointing base system 100, and the pointing device system 400 includes a pointing light source 450 and a driving unit associated with the pointing light source 450. At present, the infrared signal 300 is used for the combined use with the existing general remote control function, but in the future, any signal having high straightness of a laser or other can be applied.

본 발명은 상기한바와 같이 PDP, LCD방식의 대형 디지털 텔레비젼이나 VTR, DVD 플레이어, Set-Top Box등에서는 그 기능의 다양화와 더불어 수신채널이나 기타의 다양한 메뉴기능의 추가로 인해 기존의 일반적 리모콘으로는 전문가들도 사용하기 힘들 정도로 그 사용상의 제약이 많았으나 본 발명의 포인팅방식의 화면상의 직접적 커서이동과 선택방식의 3-D 포인팅방법의 도입으로 기존 리모콘 기능을 획기 적으로 개선하였다. 기존의 단순한 리모콘 키입력에 의해 채널을 선택하거나 볼륨을 제어하는 등의 단순 제어기능뿐 만 아니라 화면상에 특정 지점을 지정하여 그 지정 포인트를 기준으로 선택 혹은 비선택 또는 그 지정점에서의 추가 서브 메뉴를 열어서 필요한 기능을 선택한다거나 하는 등의 마치 일반 컴퓨터의 마우스처럼 사용할 수 있게끔 함으로서 기존의 방식의 리모콘에서 정의된 각각의 입력키를 일일이 눌러서 최종의 원하는 제어를 하는 방식의 고전적 방식을 탈피하여 원격 포인팅 기술을 추가함으로서 대형 디스플레이에서의 각종 제어를 마치 인터넷에서 웹 서핑을 하는 것처럼 화면상에 뿌려진 모든 문자나 그림정보가 하나의 메뉴가 되어 그 부분을 찍으면(Pointing) 이미 약속된 그 부분에 해당된 기능을 바로 수행하는 즉 다이렉트 명령체계를 가능케 한 발명이다. 따라서 몇 회의 조작으로 직접 원하는 제어를 완성할 수 있는 장점을 가질 뿐만 아니라 대형 디스플레이에서의 인터넷 웹서핑이나 컴퓨터에서 이루어지는 각종의 작업들도 아주 복잡한 작업을 제외하고는 어느 정도 가능하다는 장점이 있다. The present invention, as described above, in the large digital TV of the PDP, LCD system, VTR, DVD player, Set-Top Box, etc., due to the diversification of the function and the addition of the receiving channel or other various menu functions of the existing general remote control Although there are many restrictions on their use, it is difficult for experts to use them. However, the functions of the present invention have been greatly improved by the direct cursor movement on the screen of the present invention and the introduction of the 3-D pointing method of the selection method. In addition to simple controls such as channel selection or volume control by existing simple remote control keystrokes, a specific point can be specified on the screen to select or deselect based on the specified point, or additional submenus at the specified point. Remote pointing by breaking the classical method of final desired control by pressing each input key defined in the conventional remote control by making it available as a mouse of a general computer by opening a function and selecting a required function. By adding technology, you can control various displays on a large display as if you are surfing the web on the Internet, and all the texts and pictures on the screen become a menu and point to that function. The ability to perform the command immediately People. Therefore, not only has a merit of directly controlling the desired control with a few operations, but also has the advantage that the Internet web surfing on a large display or various tasks performed on a computer are possible to some extent except for a very complicated task.

Claims

In the remote pointing system which is provided in the pointing base system for remote control is performed according to the movement of the light source of the light emitting device for outputting light of a wavelength of a predetermined band,

An optical filter for passing only light of the wavelength of the predetermined band;

Optical lenses; And

And an image sensor for recognizing an image of a light source of the light emitting device incident through the optical filter and the optical lens.

The remote pointing system calculates a value for the amount of movement of the pointer on the screen of the pointing base system by using the size of the light source image recognized by the image sensor and the distance traveled by the recognized light source image by the image sensor. Characterized by the remote control system using the image sensor method.

The system of claim 1, wherein the remote pointing system

Compute the amount of shift in the image of the light source by calculating the shift value of the horizontal axis and the vertical axis of the recognized light source using a triangular coordinate calculation method, and using the information on the number of cells occupied by the image sensor of the light source image at near and far distances. An image sensor using remote pointing system, characterized in that for correcting the difference in movement amount.

The method of claim 1, wherein the optical filter

An image sensor using remote pointing system, characterized in that the coating on the surface of the optical lens or the image sensor.