[go: up one dir, main page]

KR20090048197A - 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템 - Google Patents

포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템 Download PDF

Info

Publication number
KR20090048197A
KR20090048197A KR1020070114475A KR20070114475A KR20090048197A KR 20090048197 A KR20090048197 A KR 20090048197A KR 1020070114475 A KR1020070114475 A KR 1020070114475A KR 20070114475 A KR20070114475 A KR 20070114475A KR 20090048197 A KR20090048197 A KR 20090048197A
Authority
KR
South Korea
Prior art keywords
pointer
image information
calculating
dimensional image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070114475A
Other languages
English (en)
Other versions
KR100907104B1 (ko
Inventor
박준
박준석
김종원
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070114475A priority Critical patent/KR100907104B1/ko
Publication of KR20090048197A publication Critical patent/KR20090048197A/ko
Application granted granted Critical
Publication of KR100907104B1 publication Critical patent/KR100907104B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템에 관한 것이다. 보다 상세하게는 유비쿼터스 환경 하에서의 원격 협업 과정에서 협업자들 상호간의 원활한 의사소통을 위해 요구되는 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템에 관한 것이다. 본 발명은 복수개의 카메라들로부터 획득된 복수개의 이차원 영상정보를 입력받고, 상기 각각의 영상 정보에 따른 포인터 지시 방향을 계산하는 포인터 방향 계산부; 및 상기 각각의 영상정보에 따라 계산된 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 계산부를 포함하는 것을 특징으로 한다.
본 발명에 의하면 포인터가 디스플레이 화면에 지시하는 지점의 좌표를 계산하는데 있어서, 상대 좌표를 이용하지 않고 상기 지점의 좌표를 계산하므로 포인팅의 오차가 감소하는 효과를 가진다.
원격 협업, 포인터, 적외선 LED, 디스플레이, 카메라

Description

포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템 {Calculation method and system of pointing locations, and collaboration system comprising it}
본 발명은 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템에 관한 것이다. 보다 상세하게는 유비쿼터스 환경에서 진행되는 원격협업시 상호간의 원활한 의사소통을 목적으로 진행자가 디스플레이 화면상에 지시하는 위치를 원격지에 위치한 협업자에게 알리기 위하여 사용되는 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템에 관한 것이다.
향상된 컴퓨터와 네트워크를 통한 유비쿼터스 환경의 발전은 사람과 컴퓨터 사이의 인터랙션(interaction)을 보다 직관적으로 발전시켜 왔으며, 그와 함께 인터페이스 장치의 발전은 인터랙션 환경에 변화를 가져왔다. 종래에 사용되던 키보드와 마우스를 대체하기 위한 장치 및 시스템이 개발됨에 따라서 상기 장치 및 시스템을 활용한 원격협업은 유비쿼터스 환경의 발전과 함께 더욱 주목받고 있다.
기존의 협업 환경에서 진행자는 일반적으로 지시봉이나 레이저 포인터를 사 용하여 화면을 지시하였으며 상기 화면에 표시되는 자료를 다음 페이지로 넘기는 등의 단순 작업용으로 키보드나 마우스와 같은 입력 장치를 이용하였다. 그러나 유비쿼터스 환경의 발전과 함께 기존의 협업 환경은 원격에서 상호간의 연결이 가능한 원격 협업 환경으로 전환되었다.
원격 협업 환경 하에서는 종래에 사용되던 지시봉이나 레이저 포인터와 같은 포인팅 장치로는 원거리에 위치한 협업자들에게 정확한 지시 위치를 전달하기 힘들며, 키보드나 마우스 등의 입력 장치 또한 진행자의 행동에 제약을 주며 진행자와 협업자 상호간의 원활한 의사소통에 제약을 주는 문제점이 있다. 따라서 원격 협업 환경에서는 사용이 쉽고 원격지에서도 진행자의 정확한 포인팅 정보를 제공할 수 있는 포인팅 시스템이 요구된다.
따라서 원활한 원격 협업 환경 구현을 위한 쌍방 간의 의사소통을 위한 포인팅 시스템이 개발되었다. 상기 포인팅 시스템은 키보드나 마우스를 대체하여 발표 자료를 조정하는 역할을 주로 수행하며, 디스플레이 화면에 포인팅을 하기 위한 포인터로는 레이저 포인터가 주로 사용된다. 그러나 상기 포인터는 포인팅 시스템과 동기화 되지 않아 원격지에 위치한 협업자에게 상기 포인터가 지시하는 위치 정보가 전달되기 힘들다는 문제점이 있으며, 상기 레이저 포인터의 출력이 높을 경우 사용자의 눈에 치명적 손상을 입힐 수 있다는 문제점이 있다.
그 밖에 관성 센서를 이용하여 포인팅과 그에 따른 인터랙션이 동시에 이루어지는 장치가 개발되었으나 상기 관성 센서를 이용한 장치는 디스플레이 화면에 지시되는 포인팅 위치의 계산을 위하여 상대 좌표를 사용하므로 사용자가 포인팅 장치를 이동시키는 정도에 따른 실제 디스플레이 화면에서 발생하는 인터랙션이 일치하지 않고 오차가 발생되어 사용자가 원격 협업시에 활용하기는 불편이 따르며, 상기와 같은 오차를 줄이기 위해서는 고가의 센서를 필요로 하므로 고비용으로 인해 효율적이지 못하다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 원격 협업 환경하에서 진행자가 상기 포인터를 이동시키는 정도와 그에 따라 실제 디스플레이 화면에서 발생하는 인터랙션 간의 오차를 최소화하여 현지의 진행자와 원격지에 위치한 협업자가 상호간의 의사소통을 위한 정보를 동시에 확인 가능하도록 하며, 포인터의 사용 시에 상기 진행자의 눈에 손상을 주지 않기 위한 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를 포함하는 원격 협업 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 포인팅 지점 산출 장치는 복수개의 카메라들로부터 획득된 복수개의 2차원 영상정보를 입력 받고, 상기 각각의 2차원 영상 정보에 따른 포인터 지시 방향을 계산하는 포인터 방향 계산부; 및 상기 각각의 2차원 영상 정보에 따라 계산된 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 계산부를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 원격 협업 시스템은 원격 협업 진행을 위한 포인팅 시스템에 있어서, 디스플레이 화면상의 일 지점을 지시하기 위한 포인터; 상기 포인터 주위에 배치되어 상기 포인터에 대한 2차원 영상정보 를 기록하는 복수개의 카메라; 상기 카메라와 대향한 방향의 지정된 장소에 위치하며, 상기 포인터의 지시 방향과 상기 포인터의 지시방향에 대응하는 카메라의 3차원 위치 정보를 계산하기 위한 기준이 되는 표지 테이블; 및 상기 포인터의 지시 방향과 상기 카메라의 3차원 위치 정보를 바탕으로 상기 포인터가 상기 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 산출 장치를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 포인팅 지점 산출 방법은 a)복수개의 카메라들로부터 획득된 복수개의 2차원 영상정보를 입력받는 단계; b) 상기 복수개의 2차원 영상 정보 각각에 따른 포인터 지시 방향을 계산하는 단계; 및 c)상기 복수개의 2차원 영상 정보 각각에 따른 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 포인터가 디스플레이 화면상에 지시하는 일 지점의 좌표를 구하는데 있어서, 카메라와 대향하는 방향으로 지정된 자리에 위치한 표지 테이블을 기준으로 하는 월드 좌표를 이용하므로 상대 좌표를 사용하는 것에 비해 사용자가 포인터를 이동시키는 정도와 상기 디스플레이 화면에서 수행되는 인터랙션 간의 오차가 감소되어 사용자가 원격 협업 환경에서 편리하게 활용 가능하며, 상기 포인터의 발광부를 레이저가 아닌 적외선 LED로 대체하여 사용자의 눈에 피해를 주지 않는 효과를 가진다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호들을 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 원격 협업 시스템의 참고도이다. 도 1에 도시된 바와 같이 본 발명의 원격 협업 시스템(1)은 포인터(10), 카메라(20), 표지 테이블(30) 및 포인팅 지점 산출 장치(40)를 포함한다.
포인팅 장치(10)는 디스플레이(15) 화면의 일 지점에 지시를 하며, 발광 수단으로 적외선 LED를 구비하고, 포인팅 장치(10)의 구동을 위한 구동회로 및 상기 적외선 LED가 방출하는 적외선을 산란시키기 위한 파이프 형태의 막대가 결합된 형태인 것이 바람직하다.
카메라(20)는 포인터(10)의 주위에 복수개가 배치되어 포인터(10)에 대한 2차원 영상정보를 기록하며, 렌즈의 전면부에 적외선 필터(미도시)가 결합되어 상기 2차원 영상정보 기록시 상기 적외선 LED가 방출하는 적외선은 통과시키고 불필요한 가시광선 성분은 차단하는 것이 바람직하다.
표지 테이블(30)은 카메라(20)와 대향한 방향의 지정된 장소에 위치하며 지정된 위치에 복수개의 적외선 LED가 결합되어 카메라(20)가 기록하는 2차원 영상정보를 분석할 시에 상기 2차원 영상정보에서의 상기 적외선 LED들 간의 배열 관계와 실제 3차원 상에서의 상기 적외선 LED들 간의 배열 관계에 대한 비교가 가능하므로 포인터(10)의 지시방향과 카메라(20)의 3차원 위치 결정을 위한 기준이 된다.
포인팅 지점 산출 장치(40)는 카메라(20)를 통하여 기록되는 상기 2차원 영상정보를 바탕으로 포인터(10)가 디스플레이(15) 화면상에 지시하는 일 지점의 좌표를 계산한다.
이와 같이 포인팅 지점 산출 장치(40)를 통하여 얻어지는 디스플레이(15) 화면상의 상기 일 지점의 좌표값은 포인터 메니져(50)에 전달되어 사용자가 포인터(10)를 통하여 지시하는 좌표값의 변화가 기록되며, 디스플레이 메니져(60)는 상기 기록된 좌표값의 변화에 따라 디스플레이(15) 화면상에서 해당 인터랙션을 수행한다. 예를 들어 사용자가 포인터(10)를 사용하여 디스플레이(15) 화면상의 지시 위치를 이동하게 되면 그에 따라 디스플레이(15) 화면상에 위치한 커서가 상기 지시 위치로 함께 이동하는 인터랙션이 수행된다.
도 2는 본 발명의 바람직한 실시예에 따른 포인팅 지점 산출 장치의 블록도이다. 도 1에 도시된 바와 같이 본 발명의 포인팅 지점 산출 장치(40)는 카메라 보정부(42), 포인터 동작 확인부(44), 포인터 방향 계산부(46), 및 포인팅 지점 계산부(48)를 포함한다.
카메라 보정부(42)는 복수개의 카메라(20)를 통하여 입력되는 복수개의 2차원 영상정보에 대한 카메라의 왜곡특성을 고려하여 카메라의 고유 파라미터와 외부 파라미터를 계산하고, 상기 카메라의 고유 파라미터와 외부 파라미터를 통하여 보정된 복수개의 2차원 영상정보를 생성한다. 구형인 카메라의 렌즈를 통하여 입력되는 영상 정보가 평면인 센서에 맺히면서 생기는 왜곡은 상기 영상 정보를 바탕으로 정보를 처리하는 과정에서 오차를 증가시키게 된다. 따라서 이러한 오차를 낮추기 위해서는 상기 렌즈에 의하여 발생되는 왜곡을 보정하여야 하는데, 이와 같이 카메라의 왜곡과 관련된 파라미터를 카메라의 고유 파라미터라고 하며, 상기 고유 파라미터를 통하여 카메라 렌즈의 왜곡을 보정한다. 또한 카메라를 통하여 측정된 상기 영상 정보를 분석하기 위해서는 상기 영상 정보와 실세계 간의 상관관계에 대한 데이타가 요구되는데, 이와 같이 실세계와 상기 영상 정보와의 상관관계와 관련된 파라미터를 카메라의 외부 파라미터라고 한다.
특히, 본 실시예에서는 카메라의 외부파라미터를 계산하기 위하여 Zhang`s Method가 사용되는 것이 바람직하다. Zhang`s Method는 카메라 보정을 위해 제안된 방법으로서, 카메라 렌즈와 이미지 평면에 관한 고유 파라미터와 외부 파라미터를 찾아낼 수 있으므로 여러가지 비전 연구에 사용된다.
Zhang`s Method은 다음의 수학식 1과 같이 표현할 수 있다.
수학식 1
Figure 112007080666614-PAT00001
여기에서, s는 임의의 스케일 인자, A는 카메라의 고유 파라미터,
Figure 112007080666614-PAT00002
은 카메라 평면상의 2차원 좌표,
Figure 112007080666614-PAT00003
은 실세계상의 3차원 좌표 및 행렬 [R t]는 카메라의 외부 파라미터로서 이미지 평면과 실세계 좌표계 사이의 회전 및 이동에 관한 행렬이다.
카메라(20)로 부터 얻어진 2차원 영상 정보는 카메라(20)와 대향한 방향으로 지정된 장소에 위치한 표지 테이블(30)의 지정된 위치에 결합되어 있는 복수개의 적외선 LED의 정보인 표지화면이 포함된다. 그리고 상기 적외선 LED의 3차원 좌표는 미리 지정되어 있으므로, 상기 수학식 1을 이용하여 카메라의 외부 파라미터 [R t]를 구하는 것이 가능하다. 따라서 상기 카메라의 외부 파라미터 값을 통하여 상기 2차원 영상 정보에 대응하는 카메라(20)의 3차원 위치 정보를 계산하는 것이 가능해진다.
포인터 동작 확인부는(44)는 카메라(20)에 기록된 2차원 영상 정보를 분석하여 포인터(10)의 동작 유무를 판단한다. 여기서, 상기 영상 정보를 통한 포인터(10) 의동작 유무를 판단하기 위해서는 그 기준이 되는 Threshold 값을 결정하는 것이 필요하며 상기 Threshold 값은 다음의 수학식 2에 의해서 결정된다.
수학식 2
Figure 112007080666614-PAT00004
여기에서, P(i,j)는 회색조 이미지의 픽셀 좌표 (i,j)의 값으로 0에서 255사이의 값을 가지며, i는 이미지의 넓이 인덱스, j는 이미지의 높이 인덱스이다. N는 이미지의 전체 넓이이며, M은 이미지의 전체 높이이다. 마지막으로 MaxP는 전체 P(i,j)중 최대값이다.
상기 수학식 2에서 계산되는 threshold 값은 유동적이 되며, 이와 같은 유동적인 threshold 값은 포인팅 시스템(1)이 잡음이나 조명 변화가 많은 환경에서도 포인터(10)의 동작 유무를 판단하는 것이 가능하도록 한다.
포인터 방향 계산부(46)는 카메라(20)를 통하여 기록된 2차원 영상정보로부터 포인터(10)의 지시 방향을 계산한다. 여기서 포인터(10)는 상기 2차원 영상정보에서 한쪽이 굵고 다른 한쪽은 가는 혜성과 같은 모양으로 잡히게 되며, 포인터(10) 지시 방향을 계산하기 위해 상기 2차원 영상정보에 포함된 표지 테이블(30)에 부착된 복수개의 적외선 LED의 정보인 표지화면을 기준으로 하여 포인터(10)의 기울기를 계산한다. 상기 기울기는 포인팅 장치(10)의 지시 방향에 대한 함수를 y=a+bx 라 할때 다음의 수학식 3을 이용하여 계산한다.
수학식 3
Figure 112007080666614-PAT00005
양변을 a와 b에 관해서 미분하면
Figure 112007080666614-PAT00006
위 식을 정리하면,
Figure 112007080666614-PAT00007
여기에서,
Figure 112007080666614-PAT00008
Figure 112007080666614-PAT00009
Figure 112007080666614-PAT00010
는 2차원 영상 상에서의 포인터 위치이고,
Figure 112007080666614-PAT00011
로서
Figure 112007080666614-PAT00012
의 표준편차를 의미한다.
포인팅 지점 계산부(48)는 상기 각각의 2차원 영상 정보에 따라 계산된 포인터(10) 지시 방향과 포인터(10) 지시 방향에 대응하는 카메라(20)의 3차원 위치 정보를 이용하여 포인터(10)가 디스플레이(15) 화면상에 지시하는 지점의 좌표를 계산하며, 복수개의 카메라(20)를 통하여 기록된 각각의 2차원 영상 정보에 따라 계산된 포인터(10) 지시 방향과 상기 포인터(10) 지시 방향에 대응하는 카메라(20)의 3차원 위치 정보를 이용하여 각각의 평면 방정식을 산출하는 제1 산출부(미도시), 상기 각각의 평면 방정식들이 교차하는 공통 직선 방정식을 산출하는 제2 산출부(미도시) 및 상기 공통 직선 방정식을 이용하여 상기 포인터가 상기 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 제3 산출부(미도시)를 포함한다.
도 3은 본 발명의 바람직한 실시예에 따른 포인팅 지점 산출이 이루어지는 단계에 대한 흐름도이다. 도 3에 도시된 바와 같이 S110에서 카메라 보정부(42)에 카메라(20)를 통하여 기록된 2차원 영상 정보가 입력된다. S120에서 상기 2차원 영 상 정보를 바탕으로 카메라의 고유 파라미터와 외부 파라미터가 계산되며 상기 카메라의 고유 파라미터와 외부 파라미터를 통한 영상 보정을 거쳐 보정된 2차원 영상 정보가 생성된다. S130에서 상기 보정된 2차원 영상 정보를 바탕으로 포인터 동작 확인부(44)에서 포인터(10)의 동작 유무를 확인하여 동작이 발생하면 S140으로 진행되며, 동작이 발생하지 않으면 다시 상기 S110이 진행된다. S140에서 상기 보정된 2차원 영상 정보를 통하여 포인터(10) 지시 방향을 계산한다. S150에서는 상기 포인터(10) 지시 방향과 상기 포인터(10) 지시 방향에 대응하는 카메라(20)의 3차원 위치 정보를 이용하여 포인터(10)가 디스플레이(15) 화면상에 지시하는 지점의 좌표를 계산하면 종료된다.
도 4는 본 발명의 바람직한 실시예에 따른 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 것에 대한 참고도이다. 도 4에 도시된 바와 같이 각각의 카메라(20)를 통하여 기록된 2차원 영상정보에 대한 포인터(10) 지시 방향과 상기 지시 방향에 대응하는 카메라(20)의 3차원 위치 정보에 의해 구해지는 각각의 평면 방정식을 통해 상기 평면 방정식들이 교차하는 공통 직선 방정식을 산출한다. 그리고 상기 공통 직선 방정식과 디스플레이(15) 화면과의 교점을 구하면, 상기 교점이 포인터(10)가 디스플레이(15) 화면을 지시하는 일 지점의 좌표가 된다.
이때 디스플레이(15) 화면의 영역은 디스플레이(15) 평면상의 일부이기 때문에 포인터(10)가 지시하는 디스플레이(15) 화면상의 일 지점의 좌표를 디스플레이(15) 화면의 좌표값에 대응시키기 위해서 다음의 수학식 4를 사용하였다.
수학식 4
Figure 112007080666614-PAT00013
여기에서, X와 Y는 포인터 (10)의 표지 테이블(30)을 기준으로 한 디스플레이(15) 화면상의 일지점의 좌표이며, Rx와 Ry는 디스플레이(15)의 넓이와 높이 해상도이고, Wx와 Wy는 디스플레이(15) 화면의 실제 크기이다. 이와 같이 구해진 디스플레이(15) 화면에서의 좌표는 소켓 통신을 통하여 원격지와 현장의 원격 협업 시스템으로 제공되어 시스템의 포인터를 이동하거나 제스쳐 인식에 사용하는 것이 가능하다.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변결 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면 에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 의하면 포인터가 디스플레이 화면에 지시하는 지점의 좌표를 계산하는데 있어서, 상대좌표를 사용하지 않고 표지 테이블을 이용한 월드 좌표를 이용하여 쉽게 표기화 시킬 수 있으며, 포인터의 위치도 추적 가능하므로 원격 협업 환경을 개선하는 것이 가능하다는 측면에서 산업상 이용가능성이 있다.
도 1은 본 발명의 바람직한 실시예에 따른 원격 협업 시스템의 참고도,
도 2는 본 발명의 바람직한 실시예에 따른 포인팅 지점 계산부의 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 포인팅 지점 산출이 이루어지는 단계에 대한 흐름도, 및
도 4은 본 발명의 바람직한 실시예에 따른 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 것에 대한 참고도이다.
<도면의 주요 부호에 대한 간단한 설명>
(1) : 원격 협업 시스템 (10) : 포인터
(20) : 카메라 (30) : 표지 테이블
(40) : 포인팅 지점 산출 장치 (42) : 카메라 보정부
(44) : 포인터 동작 확인부 (46) : 포인터 방향 계산부
(48) : 포인팅 지점 계산부 (50) : 포인터 메니져
(60) : 디스플레이 메니져

Claims (19)

  1. 복수개의 카메라들로부터 획득된 복수개의 2차원 영상 정보를 입력받고, 상기 각각의 2차원 영상 정보에 따른 포인터 지시 방향을 계산하는 포인터 방향 계산부; 및
    상기 각각의 2차원 영상 정보에 따라 계산된 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 계산부를 포함하는 특징으로 하는 포인팅 지점 산출 장치.
  2. 제 1항에 있어서,
    상기 포인팅 지점 계산부는,
    상기 각각의 2차원 영상 정보에 따른 상기 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보에 따라 각각의 평면 방정식을 산출하는 제1 산출부, 상기 각각의 평면 방정식들이 교차하는 공통 직선 방정식을 산출하는 제2 산출부 및 상기 공통 직선 방정식을 이용하여 상기 포인터가 상기 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 제3 산출부를 포함하는 것을 특징으로 하는 포인팅 지점 산출 장치.
  3. 제 1항에 있어서,
    상기 포인터 방향 계산부는,
    상기 각각의 2차원 영상 정보에 포함된 표지 화면을 기준으로 상기 각각의 2차원 영상 정보에 포함된 포인터 정보로부터 상기 포인터의 기울기를 계산하여 상기 포인터의 지시방향을 계산하는 것을 특징으로 하는 포인팅 지점 산출 장치.
  4. 제 1항에 있어서,
    상기 포인팅 지점 산출 장치는,
    상기 입력되는 복수개의 2차원 영상정보에 대한 상기 포인터의 동작 유무를 판단하기 위한 포인터 동작 확인부를 더 포함하며, 상기 포인터 방향 계산부는 상기 포인터 동작 확인부에서 상기 포인터의 동작이 판단된 경우에만 상기 2차원 영상 정보에 따른 포인터 지시방향을 계산하는 것을 특징으로 하는 포인팅 지점 산출 장치.
  5. 제 1항에 있어서,
    상기 포인팅 지점 산출 장치는
    상기 입력되는 복수개의 2차원 영상정보에 대한 카메라의 고유 파라미터와 외부 파라미터를 계산하고, 상기 카메라의 고유 파라미터와 외부 파라미터를 통하여 보정된 2차원 영상정보를 생성하는 카메라 보정부를 더 포함하며,
    상기 포인터 방향 계산부는 상기 카메라 보정부에서 보정된 2차원 영상정보에 따른 포인터 지시방향을 계산하는 것을 특징으로 하는 포인팅 지점 산출 장치.
  6. 원격 협업 시스템에 있어서,
    디스플레이 화면상의 일 지점을 지시하기 위한 포인터;
    상기 포인터 주위에 배치되어 상기 포인터에 대한 2차원 영상정보를 기록하는 복수개의 카메라;
    상기 카메라와 대향한 방향의 지정된 장소에 위치하며, 상기 포인터의 지시방향과 상기 카메라의 3차원 위치 정보를 계산하기 위한 기준이 되는 표지 테이블; 및
    상기 포인터의 지시 방향과 상기 카메라의 3차원 위치 정보를 바탕으로 상기 포인터가 상기 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 산출 장치를 포함하는 것을 특징으로 하는 원격 협업 시스템.
  7. 제 7항에 있어서, 상기 포인팅 지점 산출 장치는,
    상기 복수개의 카메라로부터 획득된 복수개의 2차원 영상정보를 입력 받고, 상기 각각의 2차원 영상 정보에 포함된 상기 표지 테이블의 영상정보를 기준으로 상기 포인터 지시 방향을 계산하는 포인터 방향 계산부, 상기 각각의 2차원 영상 정보에 따라 계산된 상기 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 포인팅 지점 계산부를 포함하는 것을 특징으로 하는 원격 협업 시스템.
  8. 제 8항에 있어서, 상기 포인팅 지점 계산부는,
    상기 각각의 2차원 영상 정보에 따른 상기 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보에 따라 각각의 평면 방정식을 산출하는 제1 산출부와 상기 각각의 평면 방정식들이 교차하는 공통 직선 방정식을 산출하는 제2 산출부, 및 상기 공통 직선 방정식을 이용하여 상기 디스플레이 화면 상에서 지시하는 지점의 좌표를 계산하는 제3 산출부를 포함하는 것을 특징으로 하는 원격 협업 시스템.
  9. 제 7항에 있어서, 상기 포인팅 지점 산출 장치는,
    상기 입력되는 복수개의 2차원 영상정보에 대한 상기 포인터의 동작 유무를 판단하기 위한 포인터 동작 확인부를 더 포함하며, 상기 포인터 방향 계산부는 상기 포인터 동작 확인부에서 상기 포인터의 동작이 판단된 경우에만 상기 2차원 영상정보에 따른 포인터 지시방향을 계산하는 것을 특징으로 하는 원격 협업 시스템.
  10. 제 7항에 있어서, 상기 포인터 방향 계산부는,
    상기 각각의 2차원 영상 정보에 포함된 표지 화면을 기준으로 상기 각각의 2차원 영상 정보에 포함된 포인터 정보의 기울기를 계산하여 상기 포인터의 지시방향을 산출하는 것을 특징으로 하는 원격 협업 시스템.
  11. 제 5항에 있어서, 상기 포인팅 시스템은,
    상기 포인팅 지점 산출 장치를 통하여 얻어지는 좌표값을 통해서 사용자가 상기 포인터를 통해 지시한 좌표값의 변화를 인식하는 포인터 메니져와 상기 좌표값의 변화에 따라 상기 디스플레이 화면상에서 해당 인터렉션(interaction)을 수행하는 디스플레이 메니져를 더 포함하는 것을 특징으로 하는 원격 협업 시스템.
  12. 제 5항에 있어서, 상기 포인터는,
    발광수단으로 적외선 LED를 구비하는 것을 특징으로 하는 원격 협업 시스템.
  13. 제 5항에 있어서, 상기 카메라는,
    렌즈의 전면부에 적외선 필터가 결합되는 것을 특징으로 하는 원격 협업 시스템.
  14. 제 2항에 있어서, 상기 표지 테이블은,
    복수개의 적외선 LED가 지정된 위치에 결합되어 있는 것을 특징으로 하는 원격 협업 시스템.
  15. a) 복수개의 카메라들로부터 획득된 복수개의 이차원 영상 정보를 입력받는 단계;
    b) 상기 복수개의 이차원 영상 정보 각각에 따른 포인터 지시 방향을 계산하 는 단계;
    c) 상기 복수개의 2차원 영상 정보 각각에 따른 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보를 이용하여 상기 포인터가 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 단계를 포함하는 것을 특징으로 하는 포인팅 지점 산출 방법.
  16. 제 15항에 있어서,
    상기 c) 단계는,
    c1) 상기 복수개의 2차원 영상 정보 각각에 따른 상기 포인터 지시 방향과 상기 포인터 지시 방향에 대응하는 카메라의 3차원 위치 정보에 따른 각각의 평면 방정식을 산출하는 단계, c2) 상기 평면 방정식들이 교차하는 공통 직선 방정식을 산출하는 단계 및 c3) 상기 공통 직선 방정식을 이용하여 상기 디스플레이 화면상에 지시하는 지점의 좌표를 계산하는 단계를 포함하는 것을 특징으로 하는 포인팅 지점 산출 방법.
  17. 제 15항에 있어서,
    상기 b) 단계는,
    상기 각각의 2차원 영상 정보에 포함된 표지 화면 정보를 기준으로 상기 각각의 2차원 영상 정보에 포함된 포인터의 영상정보로부터 상기 포인터의 기울기를 계산하여 상기 포인터의 지시방향을 계산하는 것을 특징으로 하는 포인팅 지점 산 출 방법.
  18. 제 15항에 있어서,
    각각의 상기 2차원 영상 정보에 대한 카메라의 고유 파라미터와 외부 파라미터가 계산되며, 상기 카메라의 고유 파라미터와 외부 파라미터를 통한 상기 2차원 영상 정보에 대한 보정 작업이 이루어지는 단계를 더 포함하며,
    상기 a) 단계는, 상기 단계에 이어 수행되는 것을 특징으로 하는 포인팅 지점 산출 방법.
  19. 제 15항 내지 제 18항 중 어느 한 항이 포인팅 지점 산출 방법을 컴퓨터 상에 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록 매체.
KR1020070114475A 2007-11-09 2007-11-09 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템 Expired - Fee Related KR100907104B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070114475A KR100907104B1 (ko) 2007-11-09 2007-11-09 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070114475A KR100907104B1 (ko) 2007-11-09 2007-11-09 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템

Publications (2)

Publication Number Publication Date
KR20090048197A true KR20090048197A (ko) 2009-05-13
KR100907104B1 KR100907104B1 (ko) 2009-07-09

Family

ID=40857419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070114475A Expired - Fee Related KR100907104B1 (ko) 2007-11-09 2007-11-09 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템

Country Status (1)

Country Link
KR (1) KR100907104B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100969927B1 (ko) * 2009-08-17 2010-07-14 (주)예연창 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
WO2012111998A3 (ko) * 2011-02-18 2012-12-20 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
WO2012154001A3 (ko) * 2011-05-12 2013-03-21 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101321274B1 (ko) * 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR20140054214A (ko) * 2011-09-08 2014-05-08 이에이디에스 도이치란트 게엠베하 협력 3d 워크스테이션
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
CN108151731A (zh) * 2017-12-22 2018-06-12 北京轻威科技有限责任公司 一种新型快速视觉定位传感器
CN108776547A (zh) * 2018-08-30 2018-11-09 宁波视睿迪光电有限公司 一种交互装置及3d计算机系统
KR20240076598A (ko) 2022-11-22 2024-05-30 옥정훈 원격협업장치를 활용한 대리현장파견 서비스 운용 방법 및 이를 지원하는 시스템
KR20240085934A (ko) * 2022-12-08 2024-06-18 주식회사 메타뷰 증강현실 원격협업시스템의 이미지를 활용한 증강 오브젝트 보정 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101103058B1 (ko) * 2009-08-25 2012-01-05 김근섭 컴퓨터 시스템 및 이의 구동방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161415A (ja) * 1997-11-28 1999-06-18 Seiko Epson Corp 入力方法および入力装置
KR20010094455A (ko) * 2000-03-30 2001-11-01 양훈기 레이저 포인터 마우스를 이용한 프리젠테이션 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100969927B1 (ko) * 2009-08-17 2010-07-14 (주)예연창 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
WO2012111998A3 (ko) * 2011-02-18 2012-12-20 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
WO2012154001A3 (ko) * 2011-05-12 2013-03-21 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR20140054214A (ko) * 2011-09-08 2014-05-08 이에이디에스 도이치란트 게엠베하 협력 3d 워크스테이션
KR101321274B1 (ko) * 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
US9734582B2 (en) 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
CN108151731A (zh) * 2017-12-22 2018-06-12 北京轻威科技有限责任公司 一种新型快速视觉定位传感器
CN108151731B (zh) * 2017-12-22 2019-02-19 北京轻威科技有限责任公司 一种新型快速视觉定位传感器
CN108776547A (zh) * 2018-08-30 2018-11-09 宁波视睿迪光电有限公司 一种交互装置及3d计算机系统
KR20240076598A (ko) 2022-11-22 2024-05-30 옥정훈 원격협업장치를 활용한 대리현장파견 서비스 운용 방법 및 이를 지원하는 시스템
KR20240085934A (ko) * 2022-12-08 2024-06-18 주식회사 메타뷰 증강현실 원격협업시스템의 이미지를 활용한 증강 오브젝트 보정 방법

Also Published As

Publication number Publication date
KR100907104B1 (ko) 2009-07-09

Similar Documents

Publication Publication Date Title
KR100907104B1 (ko) 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
TWI408587B (zh) 觸控系統及其定位方法
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
JP5707497B2 (ja) 複合現実感装置
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
CN102591505B (zh) 电子装置及其触碰位置的校正方法
US8441480B2 (en) Information processing apparatus, information processing system, and computer readable medium
CN102722254B (zh) 一种定位交互方法及系统
JP5802247B2 (ja) 情報処理装置
KR20140135116A (ko) Tiled Display에서 3D 영상을 보정하는 방법 및 장치
CN105074780B (zh) 用于由电子装置进行交互式图像漫画生成的系统和方法
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
CN107407994A (zh) 交互式投影仪以及交互式投影系统
JP2015212927A (ja) 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
CN108363494A (zh) 一种基于虚拟现实系统的鼠标输入系统
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
US10551972B2 (en) Interactive projector and method of controlling interactive projector
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP2011258102A (ja) 入力装置
CN102346601A (zh) 多点触摸显示屏装置
Kuronen et al. 3d hand movement measurement framework for studying human-computer interaction

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20170825

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180703

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180703

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000