WO2013176525A1

WO2013176525A1 - Camera registration method for augmented reality of navigation system for surgical operation

Info

Publication number: WO2013176525A1
Application number: PCT/KR2013/004594
Authority: WO
Inventors: 이현기
Original assignee: Koh Young Technology Inc
Current assignee: Koh Young Technology Inc
Priority date: 2012-05-25
Filing date: 2013-05-27
Publication date: 2013-11-28
Anticipated expiration: 2014-11-25

Description

Camera Registration Method for Augmented Reality in Surgical Navigation System

본 발명은 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법에 관한 것으로, 보다 상세하게는 카메라의 광학 센터와 카메라에 장착된 마커 사이의 공간좌표를 보정할 수 있는 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법에 관한 것이다.The present invention relates to a camera registration method for augmented reality of a surgical navigation system, and more particularly to augmented reality of a surgical navigation system that can correct the spatial coordinates between the optical center of the camera and a marker mounted on the camera. It relates to a camera registration method.

증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실 환경이다. 즉, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경에 필요한 정보를 추가 제공하는 역할을 하는 것이다.Augmented Reality is a technology that allows computer graphics (CG) to coexist with the real world so that computer graphics can feel as if they exist in the real world. Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. In other words, the 3D virtual image is overlapped with the live image viewed by the user, thereby providing additional information necessary for the real environment.

한편, 의사가 환자에게 의술을 시술함 있어서는 일정 정도 이상의 정밀도를 확보해야하며 집도의는 수술 중에 현재 진행상황을 지속적으로 확인할 수 있어야 한다. 특히 뇌수술의 경우 집도의가 원하는 시야를 능동적으로 확보해 주어야 하는데 이런 과제를 해결하기 위해서는 현재의 수술 시스템으로는 부족한 면이 있다.On the other hand, when a doctor is performing a medical procedure to the patient, a certain degree of precision must be secured, and the surgeon must be able to continuously check the current progress during the operation. Especially in the case of brain surgery, the surgeon should actively secure the desired field of view. To solve this problem, there is a lack of current surgical system.

이에, 내비게이션(Navigation) 시스템 등이 이 문제를 해결하고자 수술시 이용된다. 기존의 수술법이 의사의 경험에 의존한 것이라면 내비게이션 수술은 컴퓨터를 통한 정확한 검증 과정을 거친 방법인 만큼 정확도가 높다.Thus, a navigation system or the like is used during surgery to solve this problem. If the existing surgery is based on the doctor's experience, navigation surgery is accurate because it is a computer-assisted verification process.

하지만, 내비게이션 시스템만으로는 효과적인 디스플레이가 불가능하다. 즉, 획득된 영상들은 대부분 2차원 영상들이어서 진료에 있어서 의사의 많은 경험과 판단을 요구하며, 실제 시술에 있어서도 이러한 정보들은 시술자의 상상에 의존해서 실제 환자의 상태를 파악하게 되므로 자칫 실수를 유발하게 되거나 정확한 시술이 어렵다는 문제점이 있다.However, navigation systems alone do not provide effective display. That is, most of the acquired images are two-dimensional images, which require a lot of experience and judgment of the doctor in the treatment, and even in the actual procedure, such information depends on the imagination of the operator to grasp the actual patient's condition, causing mistakes. There is a problem that is difficult or accurate to be done.

그리하여, 최근에는 시술의 정확성을 향상시키기 위하여 카메라에 의해 획득된 영상에 CT(computed tomography)나 MRI(magnetic resonance imaging)와 같은 환자의 이미지 데이터를 겹쳐 디스플레이 하는 증강현실(AR)이 상기 내비게이션 시스템에 적용되고 있는 실정이다.Thus, in recent years, augmented reality (AR), which superimposes and displays image data of a patient such as computed tomography (CT) or magnetic resonance imaging (MRI), on an image acquired by a camera in order to improve the accuracy of the procedure, It is being applied.

이때, 상기 카메라의 광학 센터 좌표의 보정이 이루어져야만 보다 정확한 증강 현실을 구현할 수 있다.In this case, more accurate augmented reality may be implemented only when the optical center coordinates of the camera are corrected.

도 1은 카메라의 광학 센터의 좌표를 보정하는 종래의 일반적인 방법을 설명하기 위한 도면이다.1 is a view for explaining a conventional general method for correcting the coordinates of the optical center of the camera.

도 1을 참조하면, 상기 카메라(120)의 광학 센터를 보정하기 위해서는 먼저, 작업자가 마커(140)가 부착된 도구를 패턴보드(130)에 수작업으로 찍은 후 내비게이션 시스템의 옵티컬 트래커(110)를 통하여 상기 카메라(120)에 부착된 마커(140)와 상기 도구에 부착된 마커(140)를 트래킹하여 상기 카메라(120)에 부착된 마커(140)의 좌표(O_cm)와 상기 도구에 부착된 마커(140)의 좌표(O_pp)를 검출한다. 이후, 프로세서(도시되지 않음)에 상기 카메라(120)에 부착된 마커(140)의 좌표(O_cm)와 상기 도구에 부착된 마커(140)의 좌표(O_pp)를 이용하여 상기 카메라(120)의 광학 센터의 좌표(O_c)를 검출하여 상기 카메라(120)의 광학 센터의 포지션과 오리엔테이션을 보정한다. 여기서, 상기 마커(140)가 부착된 도구를 수회 이상 상기 패턴보드(130)의 서로 다른 위치에 찍어서 각각의 마커(140)의 좌표를 검출하게 된다.Referring to FIG. 1, in order to calibrate the optical center of the camera 120, first, a worker manually takes a tool having a marker 140 attached to the pattern board 130, and then uses the optical tracker 110 of the navigation system. Through tracking the marker 140 attached to the camera 120 and the marker 140 attached to the tool through the coordinates (O _cm ) of the marker 140 attached to the camera 120 and attached to the tool The coordinate O _pp of the marker 140 is detected. Subsequently, the camera 120 using the coordinates O _cm of the marker 140 attached to the camera 120 and the coordinates O _pp of the marker 140 attached to the tool to a processor (not shown). The coordinates (O _c ) of the optical center of) are detected to correct the position and orientation of the optical center of the camera 120. In this case, the tool having the marker 140 attached thereto is photographed at different positions of the pattern board 130 several times to detect the coordinates of each marker 140.

그러나, 상술한 바와 같이 종래의 일반적인 카메라(120)의 광학 센터 사이의 거리를 검출하는 방법은, 수작업으로 상기 마커(140)가 부착된 도구를 패턴보드(130)에 찍어서 상기 도구에 부착된 마커(140)의 좌표(O_pp)를 검출하게 됨으로써 증강현실의 오차범위가 매우 커지게 된다는 문제점이 있었다. 즉, 수작업으로는 상기 패턴보드(130)에 마커(140)가 부착된 도구를 찍을 시마다 좌표계 방향을 정확하게 찍는 것이 불가능함으로써 증강현실의 오차가 매우 클 뿐만 아니라, 상기 마커(140)가 부착된 도구를 수회 이상 패턴보드(130)의 서로 다른 위치에 찍어서 각각의 위치에 따른 상기 도구에 부착된 마커(140)의 공간좌표를 검출해야 함으로써 오차가 누적되어 증강현실의 오차가 더욱 커진다는 문제점이 있었다.However, as described above, the method for detecting the distance between the optical centers of the conventional general camera 120 is a marker attached to the tool by dipping a tool with the marker 140 on the pattern board 130 by hand. By detecting the coordinate (O _pp ) of 140, there was a problem that the error range of augmented reality becomes very large. That is, it is impossible to accurately record the coordinate system direction every time the tool 140 is attached to the pattern board 130 by hand, so that the error of augmented reality is very large, and the tool to which the marker 140 is attached. There was a problem that the error is accumulated and the error of the augmented reality is further increased by having to detect the spatial coordinates of the marker 140 attached to the tool according to each position by taking a plurality of times at different positions of the pattern board 130. .

이에 더하여, 상기 도구를 수작업으로 상기 패턴보드(130)에 찍어야 함으로써 1인 작업이 불가능하다는 문제점이 있었다.In addition, there was a problem that the work by one person is impossible by taking the tool on the pattern board 130 by hand.

따라서, 본 발명의 목적은 오차가 적은 보다 정확한 증강현실을 구현할 수 있는 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 제공하는 것이다. Accordingly, it is an object of the present invention to provide a camera registration method for augmented reality of a surgical navigation system that can implement a more accurate augmented reality with less error.

본 발명에 따른 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은 카메라와 패턴 보드에 각각 부착되어 상기 옵티컬 트래커에 의해 트래킹 되는 제1, 2 마커의 공간좌표가 복수 회 변경된 경우, 매회 프로세서를 통해 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간 좌표를 검출함과 동시에 상기 카메라의 광학 센터의 공간좌표로부터 상기 패턴보드 원점의 공간좌표를 산출하여 상기 프로세서에 저장하는 제1 단계 및, 상기 프로세서에 저장된 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간좌표들과 상기 카메라의 광학 센터의 공간좌표로부터 상기 패턴보드 원점의 공간좌표들을 이용하여 상기 프로세서에 의해 상기 카메라의 광학 센터의 공간좌표를 보정하여 상기 프로세서에 저장하는 제2 단계를 포함한다.Camera registration method for augmented reality of the surgical navigation system according to the present invention is attached to the camera and the pattern board, respectively, when the spatial coordinates of the first and second markers tracked by the optical tracker is changed a plurality of times, each time through a processor A first step of detecting the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker and calculating and storing the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera; The optical center of the camera by the processor using the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker and the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera stored in the processor A second stage of correcting and storing the spatial coordinates of the processor It includes the system.

일예를 들면, 상기 제2 마커는 상기 패턴보드의 패턴이 형성된 부분에 부착될 수 있다.For example, the second marker may be attached to a portion where a pattern of the pattern board is formed.

다른 예를 들면, 상기 제2 마커는 상기 패턴보드의 패턴이 형성되지 않은 부분에 부착될 수 있다.In another example, the second marker may be attached to a portion where the pattern of the pattern board is not formed.

일예를 들면, 상기 패턴보드에는 체스무늬 형태의 패턴 혹은 원형 무늬의 패턴이 형성될 수 있다.For example, a pattern in the form of a chess pattern or a pattern in a circular pattern may be formed on the pattern board.

일예를 들면, 상기 제1 단계는, 상기 옵티컬 트래커에 의해 상기 제1, 2 마커를 트래킹하여 상기 프로세서를 통해 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간 좌표를 검출하는 단계와, 상기 카메라에 의해 획득된 체크보드의 이미지를 이용하여 상기 프로세서를 통해 상기 카메라의 광학 센터의 공간좌표로부터 상기 패턴보드 원점의 공간좌표를 산출하는 단계 및, 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간좌표를 복수 회 변경함과 동시에 매회 상기 공간좌표 검출 및 공간 좌표 산출단계를 실행하여 각각의 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간좌표들과 상기 카메라의 광학 센터 공간좌표로부터 패턴보드 원점의 공간좌표들을 검출하는 단계를 포함한다.For example, the first step may include tracking the first and second markers by the optical tracker and detecting the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker through the processor; Calculating the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera using the image of the check board acquired by the camera, and the first, from the spatial coordinates of the optical tracker. The spatial coordinates of the first and second markers and the optical center of the camera are changed from the spatial coordinates of the optical tracker by executing the spatial coordinate detection and spatial coordinate calculation step each time at the same time by changing the spatial coordinates of the two markers a plurality of times. Detecting spatial coordinates of the pattern board origin from the spatial coordinates.

한편, 상기 패턴보드 원점의 공간좌표를 산출하는 단계는, 상기 카메라를 통해 상기 패턴보드의 이미지를 촬영하는 단계와, 상기 카메라에 의해 획득된 상기 패턴보드의 이미지를 상기 프로세서로 전송하는 단계 및, 상기 프로세서에서 상기 카메라에 의해 획득된 패턴보드의 이미지를 이용한 카메라 보정을 통해 상기 카메라의 광학 센터의 공간좌표로부터 상기 패턴보드 원점의 공간좌표를 산출하는 단계를 포함한다.On the other hand, the step of calculating the spatial coordinates of the origin of the pattern board, photographing the image of the pattern board through the camera, transmitting the image of the pattern board obtained by the camera to the processor, Calculating the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera through camera correction using the image of the pattern board acquired by the camera in the processor.

일예를 들면, 상기 제1 단계에서 상기 옵티컬 트래커에 의해 트래킹되는 상기 제1, 2 마커의 공간좌표는 상기 옵티컬 트래커와 패턴보드 및 카메라 중 적어도 어느 하나의 위치를 적어도 4회 이동시켜 변경되는 것이 바람직하다.For example, the spatial coordinates of the first and second markers tracked by the optical tracker in the first step may be changed by moving at least one of the positions of the optical tracker, the pattern board and the camera at least four times. Do.

일예를 들면, 상기 제2 단계는, 상기 프로세서에 저장된 상기 옵티컬 트래커의 공간좌표로부터 상기 제1, 2 마커의 공간좌표들과 상기 카메라의 광학 센터의 공간좌표로부터 패턴보드 원점의 공간좌표들을 이용하여 상기 프로세서에 의해 상기 제1 마커로부터 카메라의 광학 센터의 공간좌표와 상기 제2 마커로부터 상기 패턴보드 원점의 공간좌표를 산출하는 단계와, 상기 프로세서에 의해 산출된 상기 제1 마커로부터 상기 카메라의 광학 센터의 공간좌표 값과 상기 제2 마커로부터 상기 패턴보드 원점의 공간좌표 값을 이용하여 상기 프로세서를 통해 상기 카메라의 광학 센터의 공간좌표를 보정하는 단계 및, 상기 프로세서에 의해 보정된 상기 카메라의 광학 센터의 공간좌표를 상기 프로세서에 저장하는 단계를 포함한다.For example, the second step may be performed by using the spatial coordinates of the pattern board origin from the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker stored in the processor and the spatial coordinates of the optical center of the camera. Calculating the spatial coordinates of the optical center of the camera from the first marker by the processor and the spatial coordinates of the pattern board origin from the second marker; and the optical of the camera from the first marker calculated by the processor Correcting the spatial coordinates of the optical center of the camera by the processor using the spatial coordinate values of the center and the spatial coordinate values of the pattern board origin from the second marker; and the optical of the camera corrected by the processor Storing the spatial coordinates of the center in the processor.

일예를 들면, 상기 카메라의 광학 센터의 공간좌표는, 상기 옵티컬 트래커로부터 제1 마커를 통한 상기 카메라의 광학 센터의 공간 좌표와, 상기 옵티컬 트래커로부터 제2 마커와 패턴보드의 원점을 통한 상기 카메라의 광학 센터의 공간 좌표가 동일하다는 조건 하에 상기 프로세서에 의해 상기 제1 마커의 좌표로부터 상기 카메라의 광학 센터의 공간 좌표를 산출하여 보정된다.For example, the spatial coordinates of the optical center of the camera, the spatial coordinates of the optical center of the camera through the first marker from the optical tracker, and the coordinates of the camera through the origin of the second marker and the pattern board from the optical tracker. Under the condition that the spatial coordinates of the optical center are the same, the processor calculates and corrects the spatial coordinates of the optical center of the camera from the coordinates of the first marker.

한편, 상기 제1 단계에서 상기 옵티컬 트래커에 의해 트래킹되는 상기 제1, 2 마커의 공간좌표는 상기 옵티컬 트래커와 패턴보드 및 카메라 중 적어도 어느 하나의 위치를 적어도 1회 이동시켜 변경될 수도 있다.Meanwhile, the spatial coordinates of the first and second markers tracked by the optical tracker in the first step may be changed by moving at least one position of the optical tracker, the pattern board, and the camera at least once.

이와 같이 본 발명에 따른 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은, 카메라에 제1 마커를 부착하고, 패턴보드에 제2 마커를 부착한 후 옵티컬 트래커에 의해 트래킹되는 상기 제1 마커 또는 제 2 마커의 공간좌표를 적어도 1회 또는 적어도 4회 변경시켜 상기 카메라 광학 센터의 좌표를 산출하여 제2 마커의 공간좌표로부터의 상기 카메라 광학 센터의 공간좌표를 보정할 수 있도록 한다. As described above, a camera registration method for augmented reality of a surgical navigation system according to the present invention includes attaching a first marker to a camera, attaching a second marker to a pattern board, and then tracking the first marker or an optical tracker. The spatial coordinates of the second marker are changed at least once or at least four times to calculate the coordinates of the camera optical center so as to correct the spatial coordinates of the camera optical center from the spatial coordinates of the second marker.

상기와 같이 본 발명에 따른 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은, 제2 마커를 수작업으로 패턴보드에 찍는 것이 아니라 패턴보드에 부착한 상태로 옵티컬 트래커나 카메라 또는 패턴보드를 움직여 가면서 상기 카메라 광학 센터의 좌표를 산출하여 보정할 수 있도록 함으로 1인 작업이 가능함과 동시에 상기 패턴보드에 부착된 상기 제2 마커의 공간좌표가 일정함으로써 상기 제2 마커의 공간좌표에 의한 누적 오차가 발생되지 않아 보다 정확한 증강현실을 구현할 수 있으므로 수술의 정확성과 안전성을 한층 더 향상시킬 수 있는 효과가 있다.Camera registration method for augmented reality of the surgical navigation system according to the present invention as described above, while moving the optical tracker or the camera or the pattern board in the state attached to the pattern board rather than taking the second marker manually Since the coordinates of the camera optical center can be calculated and corrected, one person can be operated and the spatial coordinates of the second marker attached to the pattern board are constant, resulting in a cumulative error due to the spatial coordinates of the second marker. Because it is not possible to implement more accurate augmented reality has the effect of further improving the accuracy and safety of surgery.

도 1은 카메라의 광학 센터의 좌표를 보정하는 종래의 일반적인 방법을 설명하기 위한 도면1 is a view for explaining a conventional general method for correcting the coordinates of the optical center of the camera

도 2는 본 발명의 제1 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 개념도2 is a conceptual diagram illustrating a camera registration method for augmented reality of a surgical navigation system for surgery according to a first embodiment of the present invention

도 3은 패턴보드의 다른 예시도3 is another exemplary view of a pattern board

도 4는 본 발명의 제1 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 흐름도4 is a flowchart illustrating a camera registration method for augmented reality of a surgical navigation system for surgery according to a first embodiment of the present invention

도 5는 S120단계를 설명하기 위한 흐름도5 is a flowchart for explaining an operation S120.

도 6은 S122단계를 설명하기 위한 흐름도6 is a flowchart for explaining an operation S122.

도 7은 S130 단계를 설명하기 위한 흐름도7 is a flowchart for explaining an operation S130.

도 8은 본 발명의 제2 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 개념도8 is a conceptual diagram illustrating a camera registration method for augmented reality of a surgical navigation system for surgery according to a second embodiment of the present invention

도 9는 본 발명의 제2 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 흐름도9 is a flowchart illustrating a camera registration method for augmented reality of a surgical navigation system for surgery according to a second embodiment of the present invention

도 10은 S220단계를 설명하기 위한 흐름도10 is a flowchart for explaining an operation S220.

도 11은 S230 단계를 설명하기 위한 흐름도11 is a flowchart for explaining an operation S230.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, and that one or more other features It should be understood that it does not exclude in advance the possibility of the presence or addition of numbers, steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

<실시예1>Example 1

도 2는 본 발명의 제1 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 개념도이며, 도 3은 패턴보드의 다른 예시도이고, 도 4는 본 발명의 제1 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 흐름도이다.2 is a conceptual diagram illustrating a camera registration method for augmented reality of a surgical navigation system for surgery according to a first embodiment of the present invention, Figure 3 is another illustration of a pattern board, Figure 4 is a first view of the present invention A flowchart for explaining a camera registration method for augmented reality of a surgical navigation system according to an embodiment.

도 2 내지 도 4를 참조하면, 본 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은 카메라(120)와 패턴보드(130)에 각각 부착된 제1, 2 마커(140)(150)를 트래킹하기 위한 옵티컬 트래커(110)의 공간좌표로부터 상기 제1 마커(140) 또는 제2 마커(150)의 공간좌표를 복수 회 변경하여 상기 카메라(120)의 광학 센터의 공간좌표를 산출한 후 상기 제1 마커(140)의 공간좌표로부터 상기 카메라(120)의 광학 센터의 공간좌표를 보정할 수 있도록 함으로써 종래의 일반적인 증강현실을 위한 카메라(120) 레지스트레이션 방법에 비하여 오차가 적은, 즉 보다 정확한 증강현실을 구현할 수 있도록 한다.2 to 4, the camera registration method for augmented reality of the surgical navigation system according to the present embodiment is the first and second markers 140 (140) attached to the camera 120 and the pattern board 130, respectively ( The spatial coordinates of the optical center of the camera 120 are calculated by changing the spatial coordinates of the first marker 140 or the second marker 150 a plurality of times from the spatial coordinates of the optical tracker 110 for tracking 150. Since the spatial coordinates of the optical center of the camera 120 can be corrected from the spatial coordinates of the first marker 140, the error is less than that of the conventional camera 120 registration method for augmented reality. It enables to implement more accurate augmented reality.

이와 같은 본 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법에 의해 상기 제1 마커(140)의 공간좌표로부터 상기 카메라(120)의 광학 센터의 공간좌표를 보정하기 위해서는, 먼저 상기 카메라(120)에 상기 옵티컬 트래커(110)에 의해 트래킹되는 적어도 하나의 제1 마커(140)를 부착함과 동시에 상기 패턴보드(130)에 상기 옵티컬 트래커(110)에 의해 트래킹되는 적어도 하나의 제2 마커(150)를 부착한다(S110). In order to correct the spatial coordinates of the optical center of the camera 120 from the spatial coordinates of the first marker 140 by the camera registration method for augmented reality of the surgical navigation system according to this embodiment, the first Attaching at least one first marker 140 tracked by the optical tracker 110 to the camera 120 and at least one agent tracked by the optical tracker 110 on the pattern board 130. 2 Marker 150 is attached (S110).

여기서, 상기 패턴보드(130)에는 체스무늬 형태의 패턴이 형성될 수 있다. 한편, 상기 제2 마커(150)는 상기 패턴보드(130)에 체스무늬 형태의 패턴(chess board pattern)이 형성된 부분에 부착될 수 있다. 이와는 다르게, 상기 제2 마커(150)는 상기 패턴보드(130)에 체스무늬 형태의 패턴이 형성되지 않은 부분에 부착될 수도 있다. 즉, 상기 제2 마커(150)는 발생되는 광이 상기 옵티컬 트래커(110)에 의해 검출될 수 있으면 상기 패턴보드(130)의 위치상의 구애를 받지 않고 상기 패턴보드(130)에 부착될 수 있다. 한편, 상기 패턴보드(130)에는 체스무늬 형태의 패턴 외에도 도 3에 도시된 바와 같이 원형 무늬(131) 형태의 패턴이 포함될 수도 있다. 물론, 삼각형 무늬, 사각형 무늬 등과 같이 다각형 무늬도 적용 가능하다.Here, a pattern in the form of a chess pattern may be formed on the pattern board 130. Meanwhile, the second marker 150 may be attached to a portion where a chess board pattern is formed on the pattern board 130. Alternatively, the second marker 150 may be attached to a portion where the chessboard pattern is not formed on the pattern board 130. That is, if the generated light can be detected by the optical tracker 110, the second marker 150 may be attached to the pattern board 130 regardless of the position of the pattern board 130. . On the other hand, the pattern board 130 may include a pattern in the form of a circular pattern 131, as shown in Figure 3 in addition to the pattern of the chess pattern. Of course, a polygon pattern, such as a triangle pattern or a square pattern, is also applicable.

상기와 같이 카메라(120)와 패턴보드(130)에 각각 제1, 2 마커(140)(150)를 부착한 다음에는, 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1 마커(140) 또는 제2 마커(150)의 공간좌표를 복수 회 변경하면서 매회 프로세서를 통해 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표를 검출함과 동시에 상기 카메라(120) 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표를 산출하여 상기 프로세서에 저장한다(S120). After attaching the first and second markers 140 and 150 to the camera 120 and the pattern board 130 as described above, the first marker 140 tracked by the optical tracker 110 or The camera detects the spatial coordinates of the first and second markers 140 and 150 from the optical coordinates of the optical tracker 110 through a processor every time while changing the spatial coordinates of the second marker 150 a plurality of times. The spatial coordinates of the origin of the pattern board 130 are calculated from the spatial coordinates of the optical center and stored in the processor (S120).

예를 들면, 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표는 상기 옵티컬 트래커(110)와 패턴보드(130) 및 카메라(120) 중 적어도 어느 하나의 위치를 이동시켜 변경될 수 있으며, 상기 옵티컬 트래커(110) 혹은 카메라(120)의 위치를 이동 시키는 것이 바람직하다.For example, the spatial coordinates of the first and second markers 140 and 150 tracked by the optical tracker 110 may be at least one of the optical tracker 110, the pattern board 130, and the camera 120. It can be changed by moving one position, it is preferable to move the position of the optical tracker 110 or the camera 120.

한편, 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표는 적어도 4회 변경되는 것이 바람직하다. 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표가 적어도 4회 변경되는 이유에 대해서는 후술되는 S120 단계에 대한 상세한 설명에서 설명하겠다.The spatial coordinates of the first and second markers 140 and 150 tracked by the optical tracker 110 may be changed at least four times. The reason why the spatial coordinates of the first and second markers 140 and 150 that are tracked by the optical tracker 110 is changed at least four times will be described later in the detailed description of step S120.

상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표를 검출함과 동시에 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표를 산출하여 상기 프로세서에 저장한 다음에는, 상기 프로세서에 저장된 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표들과, 상기 카메라(120) 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 이용하여 상기 프로세서에 의해 상기 카메라(120)의 광학 센터의 공간좌표를 보정하여 상기 프로세서에 저장한다(S130).The spatial coordinates of the first and second markers 140 and 150 are detected from the spatial coordinates of the optical tracker 110, and at the same time, the origin of the pattern board 130 is determined from the spatial coordinates of the optical center of the camera 120. After calculating the spatial coordinates and storing them in the processor, the spatial coordinates of the first and second markers 140 and 150 and the camera 120 are stored from the spatial coordinates of the optical tracker 110 stored in the processor. The spatial coordinates of the optical center of the camera 120 are corrected by the processor by using the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the optical center and stored in the processor (S130).

도 2, 도 5 및 도 6을 참조하여 S120단계에 대하여 보다 상세하게 설명하면 다음과 같다.Referring to Figures 2, 5 and 6 will be described in more detail with respect to step S120 as follows.

도 5는 S120단계를 설명하기 위한 흐름도이고, 도 6은 S122단계를 설명하기 위한 흐름도이다.5 is a flowchart for explaining an operation S120 and FIG. 6 is a flowchart for describing an operation S122.

도2, 도 5 및 도 6을 참조하면, 상기 S120 단계는, 먼저 상기 옵티컬 트래커(110)에 의해 상기 제1, 2 마커(140)(150)를 트래킹하여 상기 프로세서를 통해 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표를 1차 검출하여 프로세서에 저장한다(S121).2, 5, and 6, in step S120, the optical tracker 110 first tracks the first and second markers 140 and 150 by the optical tracker 110 and the optical tracker 110 through the processor. The spatial coordinates of the first and second markers 140 and 150 are first detected from the spatial coordinates and stored in the processor (S121).

이후, 상기 카메라(120)에 의해 획득된 패턴보드(130)의 이미지를 이용하여 상기 프로세서를 통해 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표를 1차 산출하여 프로세서에 저장한다(S122).Subsequently, the spatial coordinates of the origin of the pattern board 130 are first obtained from the spatial coordinates of the optical center of the camera 120 through the processor using the image of the pattern board 130 acquired by the camera 120. It is calculated and stored in the processor (S122).

그 다음으로는, 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표를 복수 회, 즉 적어도 4회 변경함과 동시에, 매회 상기 S121 단계와 상기 S122단계를 실행하여 적어도 4개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표들과, 적어도 4개의 상기 카메라(120)의 광학 센터 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 검출하여 상기 프로세서에 순차적으로 저장한다(S123). Thereafter, the spatial coordinates of the first and second markers 140 and 150 are changed from the spatial coordinates of the optical tracker 110 a plurality of times, that is, at least four times, and the steps S121 and S122 are each time. And executing the steps from the spatial coordinates of the at least four optical trackers 110 to the spatial coordinates of the first and second markers 140 and 150 and from the optical center spatial coordinates of the at least four cameras 120. The pattern board 130 detects the spatial coordinates of the origin and stores them in the processor sequentially (S123).

즉, 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표를 1회 변경할 때 마다 상기 S121 단계와 상기 S122단계를 실행하여 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표와, 상기 카메라(120)의 광학 센터 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표를 검출하여 상기 프로세서에 순차적으로 저장함으로써, 상기 프로세서에는 S121 단계에서 1차적으로 검출된 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표와, S122 단계에서 1차적으로 산출된 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표와, 상기 S123 단계에서 산출된 적어도 4개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표 및, 적어도 4개의 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표가 저장된다. That is, each time the spatial coordinates of the first and second markers 140 and 150 are changed from the spatial coordinates of the optical tracker 110, the steps S121 and S122 are executed to perform the operation of the optical tracker 110. Detecting the spatial coordinates of the first and second markers 140 and 150 from the spatial coordinates and the spatial coordinates of the origin of the pattern board 130 from the optical center spatial coordinates of the camera 120 and sequentially storing them in the processor. Thus, the processor includes the spatial coordinates of the first and second markers 140 and 150 from the spatial coordinates of the optical tracker 110 primarily detected in operation S121, and the camera computed primarily in operation S122. The first and second markers 140 from the spatial coordinates of the optical center of the optical board 120 and the spatial coordinates of the origin of the pattern board 130 and the spatial coordinates of the at least four optical trackers 110 calculated in step S123. 150 spatial coordinates, and at least 4 Of the spatial coordinates of the origin pattern board 130 is stored from the space coordinates of the optical center of the camera 120.

따라서, 상기 프로세서에는 적어도 5개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표와, 적어도 5개의 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표가 저장된다.Accordingly, the processor may include the spatial coordinates of the first and second markers 140 and 150 from the spatial coordinates of at least five optical trackers 110 and the spatial coordinates of the optical centers of the at least five cameras 120. The spatial coordinates of the origin of the pattern board 130 are stored.

도 6을 참조하면, 상기 S122 단계는, 먼저 상기 카메라(120)를 통해 상기 패턴보드(130)의 이미지를 촬영한다(S1220).Referring to FIG. 6, in step S122, first, an image of the pattern board 130 is photographed through the camera 120 (S1220).

이후, 상기 카메라(120)에 의해 촬영되어 획득된 상기 패턴보드(130)의 이미지는 상기 프로세서로 전송하게 된다(S1221).Thereafter, the image of the pattern board 130 captured by the camera 120 is transmitted to the processor (S1221).

상기 카메라(120)에 의해 획득된 패턴보드(130)의 이미지를 상기 프로세서로 전송한 다음에는 상기 프로세서에서 상기 카메라(120)에 의해 획득된 이미지를 이용한 카메라(120) 보정을 통해 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표를 산출한다(S1222). 여기서, 상기 카메라(120)의 보정을 통한 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표는 일반적으로 행해지는 Zhang의 방법()에 의해 산출할 수 있다.After the image of the pattern board 130 acquired by the camera 120 is transmitted to the processor, the camera 120 is calibrated by the camera 120 using the image acquired by the camera 120 in the processor. The spatial coordinates of the origin of the pattern board 130 are calculated from the spatial coordinates of the optical center (S1222). Here, the spatial coordinates of the origin of the pattern board 130 can be calculated by the method of Zhang, which is generally performed from the spatial coordinates of the optical center of the camera 120 through the correction of the camera 120.

도 2 및 도 7을 참조하여 S130 단계에 대하여 보다 상세하게 설명하면 다음과 같다.Referring to Figure 2 and 7 will be described in more detail with respect to step S130 as follows.

도 7은 S130 단계를 설명하기 위한 흐름도이다.7 is a flowchart for explaining an operation S130.

도 2 및 도 7을 참조하면, 상기 S130 단계는, 먼저 상기 프로세서에 의해 검출된 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간좌표들과, 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 이용하여 상기 프로세서에 의해 상기 제1 마커(140)로부터 상기 카메라(120)의 광학센터의 공간좌표와 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표를 산출한다(S131). 2 and 7, in step S130, first, the spatial coordinates of the first and second markers 140 and 150 and the spatial coordinates of the optical tracker 110 detected by the processor are determined. The spatial coordinates and the first coordinates of the optical center of the camera 120 from the first marker 140 by the processor using the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the optical center of the camera 120. The spatial coordinates of the origin of the pattern board 130 are calculated from the two markers 150 (S131).

즉, 상기 프로세서는 상기 S121 단계에서 상기 프로세서에 저장된 1개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표와, 상기 S122 단계에서 상기 프로세서에 저장된 1개의 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표와, 상기 S123 단계에서 상기 프로세서에 저장된 적어도 4개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표들 및, 상기 S123 단계에서 상기 프로세서에 저장된 적어도 4개의 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 이용하여 상기 제1 마커(140)로부터 상기 카메라(120)의 광학센터의 공간좌표와 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표를 산출한다. That is, the processor stores the spatial coordinates of the first and second markers 140 and 150 from the spatial coordinates of one optical tracker 110 stored in the processor in step S121, and the processor stores the spatial coordinates of the first and second markers 140 and 150 in step S122. The first coordinate from the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the optical center of the camera 120, and from the spatial coordinates of the at least four optical tracker 110 stored in the processor in step S123. Using the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the two markers 140 and 150 and the spatial coordinates of the optical center of the at least four cameras 120 stored in the processor in operation S123. By calculating the spatial coordinates of the optical center of the camera 120 from the first marker 140 and the spatial coordinates of the origin of the pattern board 130 from the second marker 150.

환언하면, 상기 S131 단계에서 상기 프로세서는 저장된 적어도 5개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표들과, 적어도 5개의 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 이용하여 상기 제1 마커(140)로부터 상기 카메라(120)의 광학센터의 공간좌표와 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표를 산출한다.In other words, in step S131, the processor may store spatial coordinates of the first and second markers 140 and 150 and at least five cameras 120 from the stored spatial coordinates of the at least five optical trackers 110. The spatial coordinates of the optical center of the camera 120 from the first marker 140 and the pattern from the second markers 150 using the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the optical center of The spatial coordinates of the origin of the board 130 are calculated.

이후, 상기 프로세서는 상기 제1 마커(140)로부터 상기 카메라(120)의 광학 센터의 공간좌표 값과 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표 값을 이용하여 상기 카메라(120)의 광학 센터의 공간좌표를 보정한다(S132).Subsequently, the processor uses the spatial coordinates of the optical center of the camera 120 from the first marker 140 and the spatial coordinates of the origin of the pattern board 130 from the second marker 150. The spatial coordinates of the optical center of 120 are corrected (S132).

그 다음으로는, 상기 프로세서에 의해 보정된 상기 카메라(120)의 광학 센터의 공간좌표를 상기 프로세서에 저장하게 된다(S133).Next, the spatial coordinates of the optical center of the camera 120 corrected by the processor are stored in the processor (S133).

한편, 상기 S132 단계에서는 상기 카메라(120)의 광학 센터의 공간좌표는 상기 옵티컬 트래커(110)로부터 상기 제1 마커(140)를 통한 상기 카메라(120)의 광학 센터의 공간 좌표(제1 경로)와, 상기 옵티컬 트래커(110)로부터 상기 제2 마커(150)와 패턴보드(130)의 원점을 순차적으로 통한 상기 카메라(120)의 광학 센터의 공간좌표(제2 경로)가 동일하다는 조건 하에 상기 프로세서에 의해 상기 제1 마커(140)의 좌표로부터 상기 카메라(120)의 광학 센터의 공간 좌표를 산출하여 보정된다.Meanwhile, in step S132, the spatial coordinates of the optical center of the camera 120 are the spatial coordinates (first path) of the optical center of the camera 120 from the optical tracker 110 through the first marker 140. And the spatial coordinates (second path) of the optical center of the camera 120 which are sequentially passed from the optical tracker 110 to the origin of the second marker 150 and the pattern board 130. The processor calculates and corrects the spatial coordinates of the optical center of the camera 120 from the coordinates of the first marker 140.

환언하면, 상기 S132 단계에서 상기 카메라(120)의 광학 센터의 공간좌표는 도 2에 도시된 바와 같이 제1 경로를 통한 상기 카메라(120)의 광학 센터의 공간 좌표와, 제2 경로를 통한 상기 카메라(120)의 광학 센터의 공간 좌표가 동일하다는 조건 하에 상기 프로세서에 의해 상기 제1 마커(140)의 좌표로부터 상기 카메라(120)의 광학 센터의 공간 좌표를 산출하여 보정하게 된다.In other words, the spatial coordinates of the optical center of the camera 120 in the step S132 is the spatial coordinates of the optical center of the camera 120 through the first path, as shown in FIG. Under the condition that the spatial coordinates of the optical center of the camera 120 are the same, the spatial coordinates of the optical center of the camera 120 are calculated and corrected by the processor from the coordinates of the first marker 140.

이하, 도 2를 참조하여 상기 S131 단계에서 상기 프로세서에 의해 상기 제1 마커(140)로부터 상기 카메라(120)의 광학센터의 공간좌표와, 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표를 산출하기 위하여, 적어도 5개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표들과, 적어도 5개의 상기 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들이 필요한 이유에 대하여 설명한다. 즉, 상기 S120 단계에서 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표가 적어도 4회 변경되는 이유에 대하여 설명한다.Hereinafter, the spatial coordinates of the optical center of the camera 120 from the first marker 140 and the pattern board 130 from the second marker 150 by the processor in step S131 with reference to FIG. 2. In order to calculate the spatial coordinates of the origin, the spatial coordinates of the first and second markers 140 and 150 and the optical coordinates of the at least five cameras 120 from the spatial coordinates of the at least five optical trackers 110. The reason why the spatial coordinates of the origin of the pattern board 130 are needed from the spatial coordinates of the center will be described. That is, the reason why the spatial coordinates of the first and second markers 140 and 150 tracked by the optical tracker 110 are changed at least four times in step S120.

도 2를 참조하면, 월드 공간좌표를 사용하는 옵티컬 트래커(110)의 원점을 O_p라고 하고, 상기 카메라(120)에 부착된 제1 마커(140)의 원점을 O_cm 이라고 하며, 상기 패턴보드(130)에 부착된 제2 마커(150)의 원점을 O_pm이라고 하고, 상기 패턴보드(130)의 원점을 O_pp라고 하면, 상기 옵티컬 트래커(110)의 공간좌표로부터 평행 이동된 상기 카메라(120)에 부착된 상기 제1 마커(140)의 공간좌표(T_p->cm)는 수학식 1과 같이 표현될 수 있다.Referring to FIG. 2, an origin of the optical tracker 110 using world space coordinates is referred to as O _p , an origin of the first marker 140 attached to the camera 120 is referred to as O _cm , and the pattern board When the origin of the second marker 150 attached to the 130 is called O _pm and the origin of the pattern board 130 is referred to as O _pp , the camera moved in parallel from the spatial coordinates of the optical tracker 110 ( The spatial coordinate T _{p-> cm} of the first marker 140 attached to 120 may be expressed as Equation 1 below.

수학식 1

Equation 1

여기서, 'R'은 공간좌표의 자세의 상관관계를 나타내며, 'T'는 공간좌표의 거리의 상관관계를 나타낸다. 즉, 수학식 1에서 R_a는 옵티컬 트래커(110)의 공간좌표와 제1 마커(140)의 공간좌표 사이의 자세에 대한 상관관계를 나타내고, T_a는 옵티컬 트래커(110)의 공간좌표와 제1 마커(140)의 공간좌표 사이의 거리에 대한 상관관계를 나타내며, 이하, 수학식에서는 이에 대한 설명은 생략한다.Here, 'R' represents the correlation of the attitude of the spatial coordinates, and 'T' represents the correlation of the distance of the spatial coordinates. That is, in Equation 1, R _a represents a correlation with respect to the posture between the spatial coordinates of the optical tracker 110 and the spatial coordinates of the first marker 140, and T _a represents the spatial coordinates and the zero coordinates of the optical tracker 110. 1 shows the correlation of the distance between the spatial coordinates of the marker 140, the description thereof will be omitted in the following equation.

또한, 상기 제1 마커(140)의 공간좌표로부터 평행 이동된 상기 카메라(120)의 광학 센터의 공간좌표(T_cm->c)는 수학식 2와 같이 표현될 수 있다.In addition, the spatial coordinates T _{cm-> c} of the optical center of the camera 120 which are parallelly moved from the spatial coordinates of the first marker 140 may be expressed by Equation 2 below.

수학식 2

Equation 2

따라서, 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1 마커(140)의 원점을 통하여 평행 이동된 상기 카메라(120)의 광학 센터의 공간좌표, 즉 상기 옵티컬 트래커(110)의 공간좌표로부터 제1 경로를 통하여 평행 이동된 상기 카메라(120)의 광학 센터의 공간좌표(T_p->cm T_cm->c)는 수학식 3과 같이 표현될 수 있다.Accordingly, the spatial coordinates of the optical center of the camera 120, which are parallelly moved from the spatial coordinates of the optical tracker 110 through the origin of the first marker 140, that is, from the spatial coordinates of the optical tracker 110. The spatial coordinates (T _{p-> cm} T _{cm-> c} ) of the optical center of the camera 120 moved in parallel through one path may be expressed by Equation 3 below.

수학식 3

Equation 3

한편, 상기 옵티컬 트래커(110)의 공간좌표로부터 평행 이동된 상기 패턴보드(130)에 부착된 상기 제2 마커(150)의 공간좌표(T_p->pm)는 수학식 4와 같이 표현될 수 있다.On the other hand, the spatial coordinates (T _{p-> pm} ) of the second marker 150 attached to the pattern board 130 moved in parallel from the spatial coordinates of the optical tracker 110 can be expressed as Equation 4 have.

수학식 4

Equation 4

또한, 상기 제2 마커(150)의 공간좌표로부터 평행 이동된 상기 패턴보드(130) 원점의 공간좌표(T_pm->pp)는 수학식 5와 같이 표현될 수 있다.In addition, the spatial coordinates (T _{pm-> pp} ) of the origin of the pattern board 130 moved in parallel from the spatial coordinates of the second marker 150 may be expressed by Equation 5 below.

수학식 5

Equation 5

또한, 상기 패턴보드(130) 원점의 공간좌표로부터 평행 이동된 상기 카메라(120) 원점의 공간좌표(T_pp->c)는 수학식 6과 같이 표현될 수 있다In addition, the spatial coordinates T _{pp-> c} of the origin of the camera 120 moved in parallel from the spatial coordinates of the origin of the pattern board 130 may be expressed by Equation 6 below.

수학식 6

Equation 6

따라서, 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제2 마커(150)의 원점과 상기 패턴보드(130)의 원점을 순차적으로 통하여 평행 이동된 상기 카메라(120)의 광학 센터의 공간좌표, 즉 상기 옵티컬 트래커(110)의 공간좌표로부터 제2 경로를 통하여 평행 이동된 상기 카메라(120)의 광학 센터의 공간좌표(T_pp->c T_pm->pp T_p->pm)는 수학식 7과 같이 표현된다.Accordingly, the spatial coordinates of the optical center of the camera 120 are moved in parallel through the origin of the second marker 150 and the origin of the pattern board 130 from the spatial coordinates of the optical tracker 110. The spatial coordinates (T _{pp-> c} T _{pm-> pp} T _{p-> pm} ) of the optical center of the camera 120 which are moved in parallel through the second path from the spatial coordinates of the optical tracker 110 are represented by Equation 7 It is expressed as

수학식 7

Equation 7

그리고, 상기 제1 경로와 제2 경로를 통한 카메라(120)의 광학센터의 공간 좌표가 동일하므로 수학식 3과 수학식 7을 비교하면 수학식 8과 수학식 9와 같은 결과가 나온다.In addition, since the spatial coordinates of the optical center of the camera 120 through the first path and the second path are the same, comparing Equation 3 and Equation 7 results in Equation 8 and Equation 9.

수학식 8

Equation 8

수학식 9

Equation 9

따라서, 상기 수학식 8에 의해 R₁R₂를 수학식 10과 같이 치환할 수 있다.Therefore, R ₁ R ₂ may be replaced with Equation 10 by Equation 8.

수학식 10

Equation 10

그러므로, 상기 수학식 9에 R₁R₂대신 R_aR_bR₃ ^-1을 대입하여 정리하면 수학식 11과 같Therefore, substituting R _a R _b R ₃ ^-1 in place of R ₁ R ₂ into Equation 9 gives Equation 11 below.

이 표현된다.Is expressed.

수학식 11

Equation 11

상기 수학식 10을 다시 정리하면 수학식 12와 같이 표현될 수도 있다.If Equation 10 is rearranged, Equation 12 may be expressed.

수학식 12

Equation 12

그리고, 상기 수학식 12에서 R₃ ^-1T₃을T_A로 치환하고, R_a ^-1R₁을R_A로 치환하며, R_a ^-1(T_a - T₁)을 T_K로 치환한다. 한편, 상기 R_b,T_A, T_b, R_A, T₂, T_K는 각각 수학식 13 내지 수학식 18과 같이 표현될 수 있다.And, in the equation (12) R₃ ^-OneT₃ofT_ASubstituted with R_a ^-OneR_OneofR_ASubstituted with R_a ^-One(T_a -T_OneT_KReplace with. Meanwhile, R_b,T_A, T_b, R_A, T₂, T_KMay be expressed as in Equations 13 to 18, respectively.

수학식 13

Equation 13

수학식 14

Equation 14

수학식 15

Equation 15

수학식 16

Equation 16

수학식 17

Equation 17

수학식 18

Equation 18

따라서, 상기 수학식 12에 수학식 13 내지 18에서 표현된 R_b,T_A, T_b, R_A, T₂, T_K값을 대입하면 상기 수학식 12는 수학식 19와 같이 표현될 수 있다.Accordingly, R expressed in Equations 13 to 18 in Equation 12_b,T_A, T_b, R_A, T₂, T_KIf the value is substituted, Equation 12 may be expressed as Equation 19.

수학식 19

Equation 19

상기 수학식 19를 살펴보면 산출해야할 파라메타(unknown parameter)들은 R_{11_b}, R_{12_b}, R_{13_b}, R₂₁__b, R_{22_b}, R_{23_b}, R_{31_b}, R_{32_b}, R_{33_b}, T_1-b, T_2-b, T_3-b, T_1-2, T_2-2, T_3-2와 같이 15개이며, 1개의 컨피겨레이션(configuration)에서 3개의 수식이 나오므로 상기 옵티컬 트래커(110)와 카메라(120) 및 패턴보드(130) 중 적어도 하나를 적어도 4회 움직이거나, 상기 카메라(120)와 패턴보드(130) 중 적어도 하나를 적어도 4회 움직이면 상기 수식을 풀 수 있다.Referring to Equation 19, unknown parameters to be calculated are R _{11_b} , R _{12_b} , R _{13_b} , R ₂₁ _ _b , R _{22_b} , R _{23_b} , R _{31_b} , R _{32_b} , R _{33_b} , T _1-b , T ₂ 15, such as _-b , T _3-b , T _1-2 , T _2-2 , T _3-2, and three equations are generated in one configuration, so that the optical tracker 110 The equation may be solved by moving at least one of the camera 120 and the pattern board 130 at least four times or by moving at least one of the camera 120 and the pattern board 130 at least four times.

따라서, 상기 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표가 적어도 4회 변경되어 상기 프로세서에 적어도 5개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표와 적어도 5개의 카메라(120)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표가 저장되면 상기 프로세서를 통해 상기 제1 마커(140)로부터 상기 카메라(120)의 광학센터의 공간좌표와 상기 제2 마커(150)로부터 상기 패턴보드(130) 원점의 공간좌표를 산출하여 상기 카메라(120)의 광학 센터의 공간좌표를 보정할 수 있다.Accordingly, the spatial coordinates of the first and second markers 140 and 150 tracked by the optical tracker 110 are changed at least four times so that the processor can be changed from the spatial coordinates of at least five optical trackers 110 to the processor. When the spatial coordinates of the origin of the pattern board 130 are stored from the spatial coordinates of the first and second markers 140 and 150 and the spatial coordinates of the optical centers of the at least five cameras 120, the first marker is stored through the processor. Compensating the spatial coordinates of the optical center of the camera 120 by calculating the spatial coordinates of the optical center of the camera 120 and the spatial coordinates of the origin of the pattern board 130 from the second marker 150 from 140. can do.

상술한 바와 같이 본 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은, 패턴보드(130)에 제2 마커(150)를 부착한 후 옵티컬 트래커(110)에 의해 트래킹되는 상기 제1, 2 마커(140)(150)의 공간좌표를 적어도 4회 변경시켜 상기 카메라(120) 광학 센터의 좌표를 산출하여 제2 마커(150)의 공간좌표로부터의 상기 카메라(120) 광학 센터의 공간좌표를 보정할 수 있도록 한다. As described above, the camera registration method for augmented reality of the surgical navigation system according to the present embodiment, after the second marker 150 is attached to the pattern board 130 is tracked by the optical tracker 110 The coordinates of the optical center of the camera 120 are calculated by changing the spatial coordinates of the first and second markers 140 and 150 at least four times to determine the coordinates of the optical center of the camera 120 from the spatial coordinates of the second marker 150. Allows you to correct spatial coordinates.

상기와 같이 본 발명에 따른 수술용 내비게이션 시스템의 증강현실을 위한 카메라(120) 레지스트레이션 방법은 제2 마커(150)를 수작업으로 패턴보드(130)에 찍는 것이 아니라 패턴보드(130)에 부착한 상태로 옵티컬 트래커(110)나 카메라(120) 또는 패턴보드(130)를 움직여 가면서 상기 카메라(120) 광학 센터의 좌표를 산출하여 보정할 수 있도록 함으로 1인 작업이 가능함과 동시에 상기 패턴보드(130)에 부착된 상기 제2 마커(150)의 공간좌표가 일정함으로써 상기 제2 마커(150)의 공간좌표에 의한 누적 오차가 발생되지 않아 보다 정확한 증강현실을 구현할 수 있다는 장점이 있다.As described above, the camera 120 registration method for augmented reality of a surgical navigation system according to the present invention is a state in which the second marker 150 is not attached to the pattern board 130 by hand but attached to the pattern board 130. By operating the optical tracker 110, the camera 120, or the pattern board 130, the coordinates of the optical center of the camera 120 can be calculated and corrected so that a single person can work and the pattern board 130 at the same time. Since the spatial coordinates of the second markers 150 attached to the fixed coordinates are not fixed, cumulative errors due to the spatial coordinates of the second markers 150 do not occur, thereby making it possible to implement more accurate augmented reality.

<실시예2>Example 2

도 8은 본 발명의 제2 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 개념도이며, 도 9는 본 발명의 제2 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법을 설명하기 위한 흐름도이고, 도 10은 S220단계를 설명하기 위한 흐름도이다.8 is a conceptual view illustrating a camera registration method for augmented reality of a surgical navigation system according to a second embodiment of the present invention, Figure 9 is augmented reality of a surgical navigation system according to a second embodiment of the present invention 10 is a flowchart for describing a camera registration method, and FIG. 10 is a flowchart for describing an operation S220.

본 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법은 S220 단계와 S230 단계를 제외하고는 제1 실시예에 의한 카메라 레지스트레이션 방법과 실질적으로 동일하므로, 상기 S220 단계와 S230 단계의 일부 내용을 제외한 다른 방법에 대한 설명은 생략하기로 한다.Since the camera registration method for augmented reality of the surgical navigation system according to the present embodiment is substantially the same as the camera registration method according to the first embodiment except for steps S220 and S230, a part of the steps S220 and S230 A description of other methods except the content will be omitted.

도 8 및 도 10을 참조하면, 본 실시예에 의한 S220 단계는, 먼저 상기 옵티컬 트래커(220)에 의해 제1, 2 마커(240)(250)를 트래킹하여 프로세서를 통해 옵티컬 트래커(210)의 공간좌표로부터 제1, 2 마커(240)(250)의 공간 좌표를 1차 검출하여 프로세서에 저장한다(S221).8 and 10, in step S220, the optical tracker 220 first tracks the first and second markers 240 and 250 by the optical tracker 220 to process the optical tracker 210 through the processor. The spatial coordinates of the first and second markers 240 and 250 are first detected from the spatial coordinates and stored in the processor (S221).

이후, 상기 카메라(220)에 의해 획득된 패턴보드(230)의 이미지를 이용하여 상기 프로세서를 통해 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표를 1차 산출하여 프로세서에 저장한다(S222).Subsequently, the spatial coordinates of the origin of the pattern board 230 are first-orderd from the spatial coordinates of the optical center of the camera 220 through the processor using the image of the pattern board 230 acquired by the camera 220. It is calculated and stored in the processor (S222).

다음으로, 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표를 복수 회, 즉 적어도 1회 변경함과 동시에, 매회 S221단계와 S222단계를 실행하여 적어도 1개의 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표들과, 적어도 1개의 상기 카메라(220)의 광학 센터 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표들을 검출하여 상기 프로세서에 순차적으로 저장한다(S223).Next, the spatial coordinates of the first and second markers 240 and 250 are changed from the spatial coordinates of the optical tracker 210 a plurality of times, that is, at least once, and each time step S221 and S222 is performed. From the spatial coordinates of at least one optical tracker 210, the spatial coordinates of the first and second markers 240 and 250, and the optical center spatial coordinates of the at least one camera 220, the pattern board 230 ) Spatial coordinates of the origin are detected and sequentially stored in the processor (S223).

즉, 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표를 1회 변경할 때 마다 상기 S221 단계와 상기 S222 단계를 실행하여, 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표와, 상기 카메라(220)의 광학 센터 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표를 검출하여 상기 프로세서에 순차적으로 저장함으로써, 상기 프로세서에는 S221 단계에서 1차적으로 검출된 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표와, S222 단계에서 1차적으로 산출된 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표와, 상기 S233 단계에서 산출된 적어도 1개의 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표 및, 적어도 1개의 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230)의 원점의 공간좌표가 저장된다.That is, each time the spatial coordinates of the first and second markers 240 and 250 are changed from the spatial coordinates of the optical tracker 210, the optical tracker 110 is executed by performing the steps S221 and S222. The spatial coordinates of the origin of the pattern board 230 are detected from the spatial coordinates of the first and second markers 240 and 250 and the spatial coordinates of the pattern board 230 from the optical center spatial coordinates of the camera 220. By storing, the processor calculates the spatial coordinates of the first and second markers 240 and 250 from the spatial coordinates of the optical tracker 210 primarily detected in operation S221, and calculates the primary coordinates calculated in operation S222. The first and second markers 240 from the spatial coordinates of the origin of the pattern board 230 from the spatial coordinates of the optical center of the camera 220 and the spatial coordinates of the at least one optical tracker 210 calculated in step S233. 250) and at least 1 Of the spatial coordinates of the origin point of the pattern board 230 is stored from the space coordinates of the optical center of the camera 220.

따라서, 상기 프로세서에는 적어도 2개의 상기 옵티컬 트래커(220)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표와, 적어도 2개의 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표가 저장된다.Accordingly, the processor may include the spatial coordinates of the first and second markers 240 and 250 from the spatial coordinates of at least two optical trackers 220 and the spatial coordinates of the optical centers of the at least two cameras 220. The spatial coordinates of the origin of the pattern board 230 are stored.

도 11은 S230 단계를 설명하기 위한 흐름도이다.11 is a flowchart for explaining an operation S230.

도 8 및 도 11을 참조하면, 상기 S230 단계는, 먼저 상기 프로세서에 의해 검출된 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간좌표들과 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표들을 이용하여 상기 프로세서에 의해 상기 제1 마커(240)로부터 상기 카메라(220)의 광학센터의 공간좌표와, 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표를 산출한다(S231). 8 and 11, in step S230, first, the spatial coordinates of the first and second markers 240 and 250 and the camera are detected from the spatial coordinates of the optical tracker 210 detected by the processor. The spatial coordinates of the optical center of the camera 220 from the first marker 240 by the processor using the spatial coordinates of the origin of the pattern board 230 from the spatial coordinates of the optical center of 220; The spatial coordinates of the origin of the pattern board 230 are calculated from the two markers 250 (S231).

즉, 상기 프로세서는 상기 S221 단계에서 상기 프로세서에 저장된 1개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(140)(150)의 공간 좌표와, 상기 S222 단계에서 상기 프로세서에 저장된 1개의 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표와, 상기 S223 단계에서 상기 프로세서에 저장된 적어도 1개의 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간 좌표들 및, 상기 S223 단계에서 상기 프로세서에 저장된 적어도 1개의 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(130) 원점의 공간좌표들을 이용하여 상기 제1 마커(240)로부터 상기 카메라(220)의 광학센터의 공간좌표와 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표를 산출한다. That is, the processor stores the spatial coordinates of the first and second markers 140 and 150 from the spatial coordinates of one optical tracker 110 stored in the processor in step S221, and the processor stores the spatial coordinates of the first and second markers 140 and 150. The first coordinate from the spatial coordinates of the origin of the pattern board 230 from the spatial coordinates of the optical center of the camera 220, and from the spatial coordinates of the at least one optical tracker 210 stored in the processor in step S223. Using the spatial coordinates of the origin of the pattern board 130 from the spatial coordinates of the two markers 240 and 250 and the spatial coordinates of the optical center of the at least one camera 220 stored in the processor in step S223. By calculating the spatial coordinates of the optical center of the camera 220 from the first marker 240 and the spatial coordinates of the origin of the pattern board 230 from the second marker 250.

환언하면, 상기 S231 단계에서 상기 프로세서는 저장된 적어도 2개의 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간 좌표들과, 적어도 2개의 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표들을 이용하여 상기 제1 마커(240)로부터 상기 카메라(220)의 광학센터의 공간좌표와 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표를 산출한다.In other words, in step S231, the processor may store spatial coordinates of the first and second markers 240 and 250 and at least two cameras 220 from the spatial coordinates of the stored at least two optical trackers 210. The spatial coordinates of the optical center of the camera 220 from the first marker 240 and the pattern from the second markers 250 using the spatial coordinates of the origin of the pattern board 230 from the spatial coordinates of the optical center of The space coordinates of the origin of the board 230 are calculated.

이후, 상기 프로세서는 상기 제1 마커(240)로부터 상기 카메라(220)의 광학 센터의 공간좌표 값과 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표 값을 이용하여 상기 카메라(220)의 광학 센터의 공간좌표를 보정한다(S232).Thereafter, the processor uses the spatial coordinates of the optical center of the camera 220 from the first marker 240 and the spatial coordinates of the origin of the pattern board 230 from the second marker 250. The spatial coordinates of the optical center of 220 are corrected (S232).

그 다음으로는, 상기 프로세서에 의해 보정된 상기 카메라(220)의 광학 센터의 공간좌표를 상기 프로세서에 저장하게 된다(S233).Next, the spatial coordinates of the optical center of the camera 220 corrected by the processor are stored in the processor (S233).

한편, 상기 S232 단계에서는 상기 카메라(220)의 광학 센터의 공간좌표는 상기 옵티컬 트래커(210)로부터 상기 제1 마커(240)를 통한 상기 카메라(220)의 광학 센터의 공간 좌표(제1 경로)와, 상기 옵티컬 트래커(210)로부터 상기 제2 마커(250)와 패턴보드(230)의 원점을 순차적으로 통한 상기 카메라(220)의 광학 센터의 공간좌표(제2 경로)가 동일하다는 조건 하에 상기 프로세서에 의해 상기 제1 마커(240)의 좌표로부터 상기 카메라(220)의 광학 센터의 공간 좌표를 산출하여 보정된다.Meanwhile, in step S232, the spatial coordinates of the optical center of the camera 220 are the spatial coordinates of the optical center of the camera 220 from the optical tracker 210 through the first marker 240 (first path). And the spatial coordinates (second path) of the optical center of the camera 220 which are sequentially passed from the optical tracker 210 to the origin of the second marker 250 and the pattern board 230. The processor calculates and corrects the spatial coordinates of the optical center of the camera 220 from the coordinates of the first marker 240.

환언하면, 상기 S232 단계에서 상기 카메라(220)의 광학 센터의 공간좌표는 도 8에 도시된 바와 같이 제1 경로를 통한 상기 카메라(220)의 광학 센터의 공간 좌표와, 제2 경로를 통한 상기 카메라(220)의 광학 센터의 공간 좌표가 동일하다는 조건 하에 상기 프로세서에 의해 상기 제1 마커(240)의 좌표로부터 상기 카메라(220)의 광학 센터의 공간 좌표를 산출하여 보정하게 된다.In other words, the spatial coordinates of the optical center of the camera 220 in the step S232 is the spatial coordinates of the optical center of the camera 220 through the first path, as shown in FIG. Under the condition that the spatial coordinates of the optical center of the camera 220 are the same, the spatial coordinates of the optical center of the camera 220 are calculated and corrected by the processor from the coordinates of the first marker 240.

이하, 도 8을 참조하여 상기 S231 단계에서 상기 프로세서에 의해 상기 제1 마커(240)로부터 상기 카메라(220)의 광학센터의 공간좌표와, 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표를 산출하기 위하여 적어도 2개의 상기 옵티컬 트래커(110)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간 좌표들과, 적어도 2개의 상기 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표들이 필요한 이유에 대하여 설명한다. 즉, 상기 S220 단계에서 상기 옵티컬 트래커(210)에 의해 트래킹되는 상기 제1, 2 마커(240)(250)의 공간좌표가 적어도 1회 변경되는 이유에 대하여 설명한다.Hereinafter, the spatial coordinates of the optical center of the camera 220 from the first marker 240 and the pattern board 230 from the second marker 250 by the processor in step S231 with reference to FIG. 8. Spatial coordinates of the first and second markers 240 and 250 and the optical center of the at least two cameras 220 from the spatial coordinates of the at least two optical trackers 110 to calculate the spatial coordinates of the origin. The reason why the spatial coordinates of the origin of the pattern board 230 is needed from the spatial coordinates is described. That is, the reason why the spatial coordinates of the first and second markers 240 and 250 tracked by the optical tracker 210 are changed at least once in step S220.

도 8을 참조하면, 월드 공간좌표를 사용하는 옵티컬 트래커(210)의 원점을 O_p라고 하고, 상기 카메라(220)에 부착된 제1 마커(240)의 원점을 O_cm 이라고 하며, 상기 패턴보드(230)에 부착된 제2 마커(250)의 원점을 O_pm이라고 하고, 상기 패턴보드(230)의 원점을 O_pp라고 하면, 상기 옵티컬 트래커(210)의 공간좌표로부터 평행 이동된 상기 카메라(220)에 부착된 상기 제1 마커(240)의 공간좌표(T_p->cm)는 수학식 20과 같이 표현될 수 있다.Referring to FIG. 8, the origin of the optical tracker 210 using world space coordinates is referred to as O _p , the origin of the first marker 240 attached to the camera 220 is referred to as O _cm , and the pattern board When the origin of the second marker 250 attached to the 230 is called O _pm and the origin of the pattern board 230 is referred to as O _pp , the camera moved in parallel from the spatial coordinates of the optical tracker 210 ( The spatial coordinates T _{p-> cm} of the first marker 240 attached to the 220 may be expressed by Equation 20.

수학식 20

Equation 20

여기서, 'R'은 공간좌표의 자세의 상관관계를 나타내며, 'T'는 공간좌표의 거리의 상관관계를 나타낸다. 즉, 수학식 20에서 R_a는 옵티컬 트래커(210)의 공간좌표와 제1 마커(240)의 공간좌표 사이의 자세에 대한 상관관계를 나타내고, T_a는 옵티컬 트래커(210)의 공간좌표와 제1 마커(240)의 공간좌표 사이의 거리에 대한 상관관계를 나타내며, 이하, 수학식에서는 이에 대한 설명은 생략한다.Here, 'R' represents the correlation of the attitude of the spatial coordinates, and 'T' represents the correlation of the distance of the spatial coordinates. That is, in Equation 20, R _a represents a correlation with respect to a posture between the spatial coordinates of the optical tracker 210 and the spatial coordinates of the first marker 240, and T _a represents the spatial coordinates and the zero coordinates of the optical tracker 210. 1 shows the correlation of the distance between the spatial coordinates of the marker 240, the description thereof will be omitted in the following equation.

또한, 상기 제1 마커(240)의 공간좌표로부터 평행 이동된 상기 카메라(220)의 광학 센터의 공간좌표(T_cm->c)는 수학식 21과 같이 표현될 수 있다.In addition, the spatial coordinates T _{cm-> c} of the optical center of the camera 220 which are parallelly moved from the spatial coordinates of the first marker 240 may be expressed by Equation 21.

수학식 21

Equation 21

따라서, 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1 마커(240)의 원점을 통하여 평행 이동된 상기 카메라(220)의 광학 센터의 공간좌표, 즉 상기 옵티컬 트래커(210)의 공간좌표로부터 제1 경로를 통하여 평행 이동된 상기 카메라(220)의 광학 센터의 공간좌표(T_p->cm T_cm->c)는 수학식 22와 같이 표현될 수 있다.Accordingly, the spatial coordinates of the optical center of the camera 220, which are parallelly moved from the spatial coordinates of the optical tracker 210 through the origin of the first marker 240, that is, from the spatial coordinates of the optical tracker 210. The spatial coordinates T _{p-> cm} T _{cm-> c} of the optical center of the camera 220 which are moved in parallel through one path may be expressed by Equation 22.

수학식 22

Equation 22

한편, 상기 옵티컬 트래커(210)의 공간좌표로부터 평행 이동된 상기 패턴보드(230)에 부착된 상기 제2 마커(250)의 공간좌표(T_p->pm)는 수학식 23과 같이 표현될 수 있다.Meanwhile, the spatial coordinates T _{p-> pm} of the second marker 250 attached to the pattern board 230 parallelly moved from the spatial coordinates of the optical tracker 210 may be expressed as Equation 23. have.

수학식 23

Equation 23

또한, 상기 제2 마커(250)의 공간좌표로부터 평행 이동된 상기 패턴보드(230) 원점의 공간좌표(T_pm->pp)는 수학식 24와 같이 표현될 수 있다.In addition, the spatial coordinates (T _{pm-> pp} ) of the origin of the pattern board 230 moved in parallel from the spatial coordinates of the second marker 250 may be expressed by Equation 24.

수학식 24

Equation 24

또한, 상기 패턴보드(230) 원점의 공간좌표로부터 평행 이동된 상기 카메라(220) 원점의 공간좌표(T_pp->c)는 수학식 25와 같이 표현될 수 있다.In addition, the spatial coordinates T _{pp-> c} of the origin of the camera 220 moved in parallel from the spatial coordinates of the origin of the pattern board 230 may be expressed by Equation 25.

수학식 25

Equation 25

따라서, 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제2 마커(250)의 원점과 상기 패턴보드(230)의 원점을 순차적으로 통하여 평행 이동된 상기 카메라(220)의 광학 센터의 공간좌표, 즉 상기 옵티컬 트래커(210)의 공간좌표로부터 제2 경로를 통하여 평행 이동된 상기 카메라(220)의 광학 센터의 공간좌표(T_pp->c T_pm->pp T_p->pm)는 수학식 26과 같이 표현된다.Accordingly, the spatial coordinates of the optical center of the camera 220 are moved in parallel through the origin of the second marker 250 and the origin of the pattern board 230 from the spatial coordinates of the optical tracker 210. The spatial coordinates (T _{pp-> c} T _{pm-> pp} T _{p-> pm} ) of the optical center of the camera 220 moved in parallel through the second path from the spatial coordinates of the optical tracker 210 are represented by Equation 26. It is expressed as

수학식 26

Equation 26

그리고, 상기 제1 경로와 제2 경로를 통한 카메라(220)의 광학센터의 공간 좌표가 동일하므로 수학식 22와 수학식 26을 비교하면 수학식 27과 수학식 28과 같은 결과가 나온다.In addition, since the spatial coordinates of the optical center of the camera 220 through the first path and the second path are the same, comparing Equation 22 and Equation 26 results in Equation 27 and Equation 28.

수학식 27

Equation 27

수학식 28

Equation 28

따라서, 상기 수학식 27에 의해 R₂R₃을 수학식 29와 같이 치환할 수 있다.Therefore, R ₂ R ₃ may be replaced with Equation 29 by Equation 27.

수학식 29

Equation 29

그러므로, 상기 수학식 28에 R₁ ^-1R_a를 R_D로 치환하여 정리하면 수학식 30과 같이 표현된다.Therefore, when R ₁ ^-1 R _a is replaced with R _D in Equation 28, Equation 30 is expressed.

수학식 30

Equation 30

그리고, R_DR_b는 다시 수학식 31과 같이 표현되며, R₂R₃는 수학식 32와 같이 표현될 수 있다.In addition, R _D R _b may be represented as Equation 31, and R ₂ R ₃ may be represented as Equation 32.

수학식 31

Equation 31

수학식 32

Equation 32

따라서, 수학식 30에 수학식 31과 수학식 32에서 표현된 R_DR_b,R₂R₃ 값을 대입하면 수학식 30은 수학식 33과 같이 표현될 수 있다.Accordingly, R expressed in equations (31) and (32) in equation (30)._DR_b,R₂R₃ If the value is substituted, Equation 30 may be expressed as Equation 33.

수학식 33

Equation 33

상기 수학식 33을 살펴보면 산출해야할 파라메타(unknown parameter)들은 R_{11_b}, R_{12_b}, R_{13_b}, R₂₁__b, R_{22_b}, R_{23_b}, R_{31_b}, R_{32_b}, R_{33_b}, r_11-2, r_12-2, r_13-2, r_21-2, r_22-2, r_23-2, r_31-2, r_32-2, r_33-2와 같이 18개이며, 1개의 컨피겨레이션(configuration)에서 9개의 수식이 나오므로 상기 옵티컬 트래커(210)와 카메라(220) 및 패턴보드(230) 중 적어도 하나를 적어도 1회 움직이거나, 상기 카메라(220)와 패턴보드(230) 중 적어도 하나를 적어도 1회 움직이면 상기 수식을 풀 수 있다.Referring to Equation 33, unknown parameters to be calculated are R _{11_b} , R _{12_b} , R _{13_b} , R ₂₁ _ _b , R _{22_b} , R _{23_b} , R _{31_b} , R _{32_b} , R _{33_b} , r _11-2 , r _{12 18 configurations} , such as _-2 , r _13-2 , r _21-2 , r _22-2 , r _23-2 , r _31-2 , r _32-2 , r _33-2, and one configuration 9 equations are generated from the optical tracker 210 and at least one of the camera 220 and the pattern board 230 at least one time or at least one of the camera 220 and the pattern board 230. The equation can be solved at least once.

따라서, 상기 옵티컬 트래커(210)에 의해 트래킹되는 상기 제1, 2 마커(240)(250)의 공간좌표가 적어도 1회 변경되어 상기 프로세서에 적어도 2개의 상기 옵티컬 트래커(210)의 공간좌표로부터 상기 제1, 2 마커(240)(250)의 공간 좌표와, 적어도 2개의 카메라(220)의 광학 센터의 공간좌표로부터 상기 패턴보드(230) 원점의 공간좌표가 저장되면 상기 프로세서를 통해 상기 제1 마커(240)로부터 상기 카메라(220)의 광학센터의 공간좌표와 상기 제2 마커(250)로부터 상기 패턴보드(230) 원점의 공간좌표를 산출하여 상기 카메라(220)의 광학 센터의 공간좌표를 보정할 수 있다.Accordingly, the spatial coordinates of the first and second markers 240 and 250 tracked by the optical tracker 210 are changed at least once so that the processor can be changed from the spatial coordinates of the at least two optical trackers 210 to the processor. When the spatial coordinates of the origin of the pattern board 230 are stored from the spatial coordinates of the first and second markers 240 and 250 and the spatial coordinates of the optical centers of the at least two cameras 220, the first through the processor. The spatial coordinates of the optical center of the camera 220 are calculated by calculating the spatial coordinates of the optical center of the camera 220 from the marker 240 and the coordinates of the origin of the pattern board 230 from the second marker 250. You can correct it.

상술한 바와 같이 본 실시예에 의한 수술용 내비게이션 시스템의 증강현실을 위한 카메라(220) 레지스트레이션 방법은 패턴보드(230)에 제2 마커(250)를 부착한 후 옵티컬 트래커(210)에 의해 트래킹되는 상기 제1, 2 마커(240)(250)의 공간좌표를 적어도 2회 변경시켜 상기 카메라(220) 광학 센터의 좌표를 산출하여 제2 마커(250)의 공간좌표로부터의 상기 카메라(220) 광학 센터의 공간좌표를 보정할 수 있도록 한다.As described above, the registration method of the camera 220 for augmented reality of the surgical navigation system according to the present embodiment is tracked by the optical tracker 210 after attaching the second marker 250 to the pattern board 230. The coordinates of the optical center of the camera 220 are calculated by changing the spatial coordinates of the first and second markers 240 and 250 at least twice, so that the camera 220 optical from the spatial coordinates of the second marker 250 is calculated. Make sure to correct the spatial coordinates of the center.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the detailed description of the present invention described above with reference to the preferred embodiments of the present invention, those skilled in the art or those skilled in the art having ordinary skill in the art will be described in the claims to be described later It will be understood that various modifications and variations can be made in the present invention without departing from the scope of the present invention.

Claims

When the spatial coordinates of the first and second markers attached to the camera and the pattern board and tracked by the optical tracker are changed a plurality of times, the spatial coordinates of the first and second markers are determined from the spatial coordinates of the optical tracker through a processor every time. A first step of detecting and storing the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera and storing them in the processor; And

The optical center of the camera by the processor using the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker and the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera stored in the processor Camera registration method for augmented reality of a surgical navigation system comprising a second step of correcting the spatial coordinates of the stored in the processor.

The method of claim 1,

The second marker is a camera registration method for the augmented reality of the surgical navigation system, characterized in that attached to the patterned portion of the pattern board.

The method of claim 1,

The second marker is a camera registration method for augmented reality of the surgical navigation system, characterized in that attached to the portion of the pattern board is not formed pattern.

The method of claim 1,

The pattern board is a camera registration method for augmented reality of a surgical navigation system, characterized in that the pattern of the chess pattern or a circular pattern is formed.

The method of claim 1,

The first step,

Tracking the first and second markers by the optical tracker to detect spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker through the processor;

Calculating the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera through the processor using the image of the check board acquired by the camera; And

The spatial coordinates of the first and second markers are changed a plurality of times from the spatial coordinates of the optical tracker, and at the same time, the spatial coordinate detection and spatial coordinate calculation steps are executed each time to perform the first and second spatial coordinates from the spatial coordinates of the optical tracker. Detecting spatial coordinates of the pattern board origin from the spatial coordinates of the marker and the optical center spatial coordinates of the camera.

The method of claim 5,

Computing the spatial coordinates of the pattern board origin,

Capturing an image of the pattern board through the camera;

Transmitting an image of the pattern board acquired by the camera to the processor; And

Augmented reality of a surgical navigation system comprising calculating the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera through camera correction using the image of the pattern board acquired by the camera in the processor; Camera registration method.

The method of claim 1,

Surgical coordinates of the first and second markers tracked by the optical tracker in the first step is changed by moving at least one position of at least one of the optical tracker, the pattern board and the camera at least four times Camera registration method for augmented reality of a navigation system.

The method of claim 1,

The second step,

The camera from the first marker by the processor using the spatial coordinates of the first and second markers from the spatial coordinates of the optical tracker stored in the processor and the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center of the camera. Calculating the spatial coordinates of the pattern board origin from the spatial coordinates of the optical center and the second marker;

The spatial coordinates of the optical center of the camera are calculated through the processor using the spatial coordinates of the optical center of the camera from the first marker and the spatial coordinates of the pattern board origin from the second marker calculated by the processor. Correcting; And

And storing the spatial coordinates of the optical center of the camera, corrected by the processor, in the processor.

The method of claim 8,

The spatial coordinates of the optical center of the camera,

Spatial coordinates of the optical center of the camera from the optical tracker through a first marker,

The spatial coordinates of the optical center of the camera are calculated and corrected from the coordinates of the first marker by the processor under the condition that the optical coordinates of the optical center of the camera from the optical tracker to the origin of the second marker and the pattern board are the same. Camera registration method for augmented reality of a surgical navigation system characterized in that the.

The method of claim 1,

Surgical coordinates of the first and second markers tracked by the optical tracker in the first step is changed by moving at least one position of the optical tracker, the pattern board and the camera at least once Camera registration method for augmented reality of a navigation system.