KR20120035021A - 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법 - Google Patents

Abstract

본 발명의 3차원 추적 시스템은, 물체를 촬영하는 촬영부, 상기 촬영부에서 촬영된 이미지를 이진화하여 물체에 부착된 마커를 인식하는 인식부, 상기 인식부에서 인식된 마커의 2차원 좌표를 추출하는 추출부 및 상기 촬영부의 내부 파라미터를 이용하여 상기 마커의 2차원 좌표를 3차원 좌표로 연산하는 연산부를 포함한다.

Description

수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법{3 DIMENSION TRACKING SYSTEM FOR SURGERY SIMULATION AND LOCALIZATION SENSING METHOD USING THE SAME}

본 발명은 카메라를 이용하여 수술 도구의 3차원 위치를 추적하는 3차원 추적 시스템 및 이를 이용한 위치 감지 방법에 관한 것이다.

컴퓨터의 계산 성능의 증가, 카메라 성능의 향상 등의 하드웨어 기술 발전으로 인해 컴퓨터 비젼 기술(computer vision technology)이 더욱 발전하고 있다. 이러한 컴퓨터 비젼 기술을 의료 시뮬레이션(medical simulation)에 적용하면 시술자에게 효율적이고 안전한 의료 훈련을 제공할 수 있고, 수술이나 다양한 의료 행위에 대한 대비 훈련을 가능하도록 한다. 최근에는 복강경 수술을 이용한 환자의 회복 시간을 단축하고, 시술 시간을 단축하기 위해서 최소 침습 시술(invasive surgery)을 이용하는 사례가 늘고 있으며, 상기 최소 침습 시술에 컴퓨터 비젼 기술을 이용한다. 기존에는 인코더 또는 마그네틱 센서 등을 이용해서 위치를 추정함으로써 시스템 구성을 위한 비용 증가와 구성이 복잡해지는 단점이 있었다.

본 발명은 카메라를 이용하여 수술 도구의 3차원 위치를 추적하는 3차원 추적 시스템 및 이를 이용한 위치 감지 방법을 제공하고자 한다.

상기한 과제를 실현하기 위한 본 발명의 일 실시예와 관련된 3차원 추적 시스템은, 물체를 촬영하는 촬영부, 상기 촬영부에서 촬영된 이미지를 이진화하여 물체에 부착된 마커를 인식하는 인식부, 상기 인식부에서 인식된 마커의 2차원 좌표를 추출하는 추출부 및 상기 촬영부의 내부 파라미터를 이용하여 상기 마커의 2차원 좌표를 3차원 좌표로 연산하는 연산부를 포함한다.

또한, 상기 연산부는 물체에 부착된 마커의 3차원 위치 벡터 또는 3차원 방향 벡터를 통해 3차원 좌표를 연산할 수 있다.

또한, 상기 물체는 막대형 도구이고, 상기 연산부는 상기 물체에 부착된 3개 이상의 마커에 대한 2차원 좌표를 3차원 좌표로 연산할 수 있다.

또한, 상기 물체는 일단에 집게가 부착된 막대형 도구이고, 상기 연산부는 상기 물체에 부착된 기준 마커에 대한 집게에 부착된 가변 마커의 움직임에 따른 거리의 차를 이용하여 집게의 형태 변화를 더 연산할 수 있다.

또한, 상기 물체는 일단에 집게가 부착된 막대형 도구이고, 상기 연산부는 상기 물체에 부착된 기준 마커 및 물체에 부착된 가변 마커의 거리를 이용하여 집게의 회전 각도를 더 연산할 수 있다.

또한, 상기 촬영부는 단일의 카메라를 포함하고, 상기 내부 파라미터는 상기 카메라의 장치 특성 및 상기 카메라가 위치하는 지점으로 결정될 수 있다.

또한, 상기한 과제를 실현하기 위한 본 발명의 일 실시예와 관련된 3차원 추적 시스템을 이용한 위치 감지 방법은, 카메라를 이용하여 물체를 촬영하는 단계, 촬영된 이미지를 이진화하여 물체에 부착된 마커를 인식하는 단계, 인식된 마커의 2차원 좌표를 추출하는 단계 및 상기 카메라의 장치 특성 및 상기 카메라가 위치하는 지점을 통한 파라미터를 이용하여, 상기 추출된 2차원 좌표를 3차원 좌표로 연산하는 단계를 포함한다.

또한, 상기 마커의 2차원 좌표를 추출하는 단계는, 이진화된 이미지에서 유사 영역으로 판단되는 범위를 그룹으로 지정하고, 지정된 그룹의 중심을 마커의 2차원 좌표로 추출할 수 있다.

상기와 같이 구성되는 본 발명의 적어도 일 실시예와 관련된 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법은 물체의 위치를 추적하는 시스템을 저비용으로 효과적으로 구성할 수 있으며, 이를 통해 물체의 3차원 좌표 및 형태 변화를 감지할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 추적 시스템의 구성도.
도 2는 본 발명의 일 실시예에 따른 수술 도구의 3차원 위치 추적 시스템의 외형도를 도시한 도면.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 수술 도구에 부착되는 마커를 도시하는 도면들.
도 4는 본 발명의 일 실시예에 따른 3차원 추적 시스템을 이용한 물체의 위치 감지 과정을 도시하는 도면.

이하, 본 발명과 관련된 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법에 대해서 도면을 참조하여 보다 상세하게 설명한다. 본 발명이 속한 기술 분양에서 통상의 지식을 가진 자라면, 도면을 참조 또는 변형하여 본 발명의 구성에 대한 다양한 실시예를 유추할 수 있을 것이나, 본 발명은 상기 유추되는 다양한 실시예를 포함하며 이루어지며, 아래 도면에 도시된 실시예로 그 기술적 특징이 한정되지 아니한다.

도 1은 본 발명의 일 실시예에 따른 3차원 추적 시스템의 구성도이다.

도 1을 참조하면, 상기 3차원 추적 시스템(100)은 촬영부(110), 인식부(120), 추출부(130) 및 연산부(140)를 포함한다.

상기 촬영부(110)는 물체를 이미지로 촬영하여 상기 3차원 추적 시스템(100)으로 제공하는 기능을 수행한다. 상기 촬영부(110)는 단일 또는 복수의 카메라를 포함할 수 있으며, 카메라를 통해 물체를 이미지로 촬영한다. 상기 촬영부(110)는 설정에 따라 실시간으로 촬영된 이미지 영상을 상기 3차원 추적 시스템(100)으로 전송할 수 있다. 상기 촬영부(110)에 포함되는 카메라의 내부 파라미터(parameter)는 상기 카메라의 장치 특성 및 상기 카메라가 위치하는 지점으로 결정될 수 있다. 즉, 상기 촬영부(110)는 카메라 교정(camera calibration) 작업에 따라 카메라의 내부적인 특징과 카메라가 3차원 공간상에 어떠한 지점에 위치해 있는 지를 규명하여, 상기 카메라 교정 작업에서 구해진 행렬로부터 카메라의 내부적인 특징만을 추출(extraction of camera intrinsic parameter)할 수 있다.

상기 촬영부(110)에 의해 촬영되는 물체의 대표적인 예는 수술 도구로서, 막대형 도구, 일단에 집게가 부착된 형태의 도구 또는 그 조합이 포함될 수 있다. 상기 촬영부(110)에 의해 촬영된 이미지에서 물체의 영상 좌표를 추출하도록, 촬영되는 물체에 표시 장치로서 마커가 부착되고, 상기 마커는 물체의 감지 방법에 따라서 하나 이상이 부착될 수 있다. 상기 마커는 다양한 형태를 가질 수 있으며, 상기 마커의 색상은 단색 또는 복수의 색상을 이용할 수 있다.

상기 인식부(120)는 상기 촬영부(110)에서 촬영된 이미지를 이진화(image binarization)하여, 촬영된 물체에 부착된 마커를 인식한다.

상기 추출부(130)는 상기 인식부(120)에서 인식된 마커의 2차원 좌표를 추출한다. 일 실시예로서, 상기 추출부(130)는 이진화된 이미지에서 유사 영역으로 판단되는 범위를 그룹으로 지정(blob detection)하고, 지정된 그룹의 중심을 마커의 2차원 좌표로 추출(calculration of marker center)할 수 있다.

상기 연산부(140)는 상기 촬영부(110)의 카메라에 의해 결정된 내부 파라미터를 이용하여, 상기 추출부(130)에서 추출된 2차원 좌표를 3차원 좌표로 변환하는 연산을 수행한다. 이때, 상기 연산부(140)는 물체의 부착된 마커의 3차원 위치 벡터 또는 3차원 방향 벡터를 이용하여 3차원 좌표를 연산한다. 촬영되는 물체에는 3개 이상의 마커가 부착될 수 있고, 상기 연산부(140)는 3개 이상의 2차원 좌표를 기하학적인 알고리즘에 대입하여 3차원 좌표를 연산할 수 있다. 도 2는 본 발명의 일 실시예에 따른 수술 도구의 3차원 위치 추적 시스템의 외형도를 도시한 도면이다. 도 2를 참조하면, 상기 3차원 위치 추적 시스템(100)에는 촬영부로서 단일을 카메라(110)가 연결되고, 상기 3차원 위치 추적 시스템(100)가 수술 도구인 물체(200)에 부착된 마커(201, 202 및 203)를 통해 상기 물체(200)의 3차원 위치를 연산할 수 있다. 또한, 촬영되는 물체의 일단에는 집게가 부착될 수 있고, 상기 연산부(140)는 상기 물체에 부착된 고정된 지점의 기준 마커에 대한 움직이는 지점의 가변 마커의 움직임에 따른 거리의 차를 통해 집게의 움직임, 집게의 열리고 닫히는 각도 등의 형태 변화를 더 연산할 수 있다. 도 3a 및 도 3b는 본 발명의 일 실시예에 따른 수술 도구에 부착되는 마커를 도시하는 도면들이다. 도 3a을 참조하면, 수술 도구 상에 부착된 마커 중 P₀는 기준이 되는 지점의 마커로 도 3a의 하나 이상의 마커는 P₀=t, P₁=t+λ₁,..., P_i=t+λ_i(i= 0, 1, 2, 3)으로 정의될 수 있다. 이때, λ_i는 P₀ 및 P₁ 사이의 거리를 의미한다. (u_i, v_i, 1)으로 표현되는 2차원 이미지 좌표를 이용하여, 수학식 1을 표현할 수 있다.

[수학식 1]

이때, 상기 K^c는 카메라 내부 파라미터를 의미하는 K^c=diag(f, f, 1)인 3×3행렬이다.

상기 물체의 3차원 위치 백터 t 및 물체의 3차원 방향 벡터 r은 아래 수학식 2처럼 표현될 수 있다.

[수학식 2]

이때, 상기 행렬 A는 2n×6 행렬이며, 상기 수학식 2는 아래 수학식 3으로 최적화될 수 있다.

[수학식 3]

상기 수학식 3에서 최적화된 값과 아래 수학식 4를 이용하여 고유치를 연산하고, 물체의 3차원 위치 벡터인 t값을 연산할 수 있다.

[수학식 4]

상기 과정을 통해 상기 연산부(140)는 상기 추출부(130)에서 추출된 물체의 2차원 좌표를 이용하여, 물체의 3차원 공간 좌표를 연산할 수 있다.

또한, 도 3a의 막대에 부착된 기준 마커인 P₀ 및 집게에 부착된 가변 마커인 P₃의 거리를 이용하여 집게의 움직임에 따른 형태 변화를 아래 수학식 5를 이용하여 연산할 수 있다. 상기와 같은 방식으로 물체의 특징점을 추적한 후, 상기 막대에 부착된 기준 마커인 P₀ 및 집게에 부착된 가변 마커인 P₃의 거리와 집게의 벌어진 각도와의 상관관계를 이용하여 수학식 2를 정리하면 아래 수학식 5와 같다.

[수학식 5]

상기 수학식 5에서 λ₃에 관하여 정리하면 아래 수학식 6 및 수학식 7을 연산할 수 있다.

[수학식 6]

[수학식 7]

상기 수학식 6은 영상의 x 좌표를 이용하여 λ₃을 연산하는 수학식이고, 수학식 7은 영상의 y좌표를 이용하여 λ₃을 연산하는 수학식이다. 상기의 방법으로 구해진 λ₃값과 집게의 각도 사이의 1차원 관계식을 이용하여 집게의 각도를 연산함으로써, 집게의 움직임에 따른 형태 변화를 연산할 수 있다. 도 3b를 참조하면, 상기 도 3a의 물체에 추가적인 마커로서 띠를 더 부착한다. 상기 띠는 상기 물체를 감싸도록 회전하여 부착하고, 상기 집게의 형태 변화 연산 방법과 마찬가지로, 기준 마커인 P₀와 추가적인 마커인 띠의 중심과의 거리를 이용하여 회전 각도를 연산한다. 상기 거리는 0도에서 360도 사이의 각도와 매칭시켜, 회전 각도를 연산할 수 있다. 예를 들어, 상기 거리가 10인 경우, 0도에서 360도 사이를 0에서 10으로 서로 매칭시키고, 측정되는 거리에 따른 회전 각도를 연산할 수 있다.

도 4는 본 발명의 일 실시예에 따른 3차원 추적 시스템을 이용한 물체의 위치 감지 과정을 도시하는 도면이다.

도 4를 참조하면, 상기 3차원 추적 시스템을 이용하여 물체를 촬영하고(S410), 촬영된 이미지를 이진화하여(image binarization) 마커를 인식한다(S420). 인식된 마커로부터 2차원 좌표를 추출하고(calcaulation marker center of 2D coordination)(S430), 상기 2차원 좌표로부터 3차원 좌표를 연산하여 물체의 3차원 위치를 추적한다(estimation of 3D coordication)(S440). 상기 연산에는 촬영부의 내부 파라미터가 요구되고, 상기 내부 파라미터는 카메라 교정(camera calibaration) 과정을 통해, 카메라의 내부적인 특징을 추출(extraction of camera intrinsic parameter)할 수 있다. 또한, 상기 마커의 2차원 좌표를 추출하는 과정에는 이진화된 이미지에서 유사 영역으로 판단되는 범위를 그룹으로 지정하여(blob detection) 지정된 그룹의 중심을 마커의 2차원 좌표로 추출할 수 있다.

상기 3차원 추적 시스템을 이용하여 막대형 물체에 부착된 3개 이상의 마커를 인식하여 막대형 물체의 3차원 위치를 추출할 수 있으며, 집게형 물체에 부착된 기준 마커에 대한 가변 마커의 움직임에 따른 거리의 차를 이용하여 집게의 움직임, 집게가 열리고 닫히는 각도 등의 집게의 형태 변화를 더 연산할 수 있다.

상기와 같이 설명된 3차원 추적 시스템 및 이를 이용한 위치 감지 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.

100: 3차원 추적 시스템
110: 촬영부
120: 인식부
130: 추출부
140: 연산부

Claims (12)

1. 물체를 촬영하는 촬영부;
   상기 촬영부에서 촬영된 이미지를 이진화하여 물체에 부착된 마커를 인식하는 인식부;
   상기 인식부에서 인식된 마커의 2차원 좌표를 추출하는 추출부; 및
   상기 촬영부의 내부 파라미터를 이용하여 상기 마커의 2차원 좌표를 3차원 좌표로 연산하는 연산부;를 포함하는 3차원 추적 시스템.
   
2. 제1항에 있어서,
   상기 연산부는 물체에 부착된 마커의 3차원 위치 벡터 또는 3차원 방향 벡터를 통해 3차원 좌표를 연산하는 것을 특징으로 하는 3차원 추적 시스템.
   
3. 제1항에 있어서,
   상기 물체는 막대형 도구이고,
   상기 연산부는 상기 물체에 부착된 3개 이상의 마커에 대한 2차원 좌표를 3차원 좌표로 연산하는 것을 특징으로 하는 3차원 추적 시스템.
   
4. 제3항에 있어서,
   상기 물체는 일단에 집게가 부착된 막대형 도구이고,
   상기 연산부는 상기 물체에 부착된 기준 마커에 대한 집게에 부착된 가변 마커의 움직임에 따른 거리의 차를 이용하여 집게의 형태 변화를 더 연산하는 것을 특징으로 하는 3차원 추적 시스템.
   
5. 제3항에 있어서,
   상기 물체는 일단에 집게가 부착된 막대형 도구이고,
   상기 연산부는 상기 물체에 부착된 기준 마커 및 물체에 부착된 가변 마커의 거리를 이용하여 집게의 회전 각도를 더 연산하는 것을 특징으로 하는 3차원 추적 시스템.
   
6. 제1항에 있어서,
   상기 촬영부는 단일의 카메라를 포함하고,
   상기 내부 파라미터는 상기 카메라의 장치 특성 및 상기 카메라가 위치하는 지점으로 결정되는 것을 특징으로 하는 3차원 추적 시스템.
   
7. 제1항에 있어서,
   상기 추출부는 이진화된 이미지에서 유사 영역으로 판단되는 범위를 그룹으로 지정하고, 지정된 그룹의 중심을 마커의 2차원 좌표로 추출하는 것을 특징으로 하는 3차원 추적 시스템.
   
8. 카메라를 이용하여 물체를 촬영하는 단계;
   촬영된 이미지를 이진화하여 물체에 부착된 마커를 인식하는 단계;
   인식된 마커의 2차원 좌표를 추출하는 단계; 및
   상기 카메라의 장치 특성 및 상기 카메라가 위치하는 지점을 통한 파라미터를 이용하여, 상기 추출된 2차원 좌표를 3차원 좌표로 연산하는 단계;를 포함하는 3차원 추적 시스템을 이용한 위치 감지 방법.
   
9. 제8항에 있어서, 상기 마커의 2차원 좌표를 추출하는 단계는,
   이진화된 이미지에서 유사 영역으로 판단되는 범위를 그룹으로 지정하고, 지정된 그룹의 중심을 마커의 2차원 좌표로 추출하는 것을 특징으로 하는 3차원 추적 시스템을 이용한 위치 감지 방법.
   
10. 제8항에 있어서, 물체에 부착된 마커를 인식하는 단계는,
    막대형 물체에 부착된 3개 이상의 마커를 인식하는 것을 특징으로 하는 3차원 추적 시스템을 이용한 위치 감지 방법.
    
11. 제8항에 있어서, 3차원 좌표로 연산하는 단계는,
    집게형 물체에 부착된 기준 마커에 대한 가변 마커의 움직임에 따른 거리의 차를 이용한 집게의 형태 변화를 연산하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 추적 시스템을 이용한 위치 감지 방법.
    
12. 제8항에 있어서, 3차원 좌표로 연산하는 단계는,
    집게형 물체에 부착된 기준 마커에 대한 가변 마커의 거리를 이용하여 집게의 회전 각도를 연산하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 추적 시스템을 이용한 위치 감지 방법.

Images