KR100974900B1 - 동적 임계값을 이용한 마커 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 마커를 인식하기 위한 장치 및 방법에 관한 것으로, 보다 구체적으로는 다양한 교육 시스템에 적용 가능한 마커 인식 장치 및 방법에 관한 것이다.

본 발명의 일 양상에 따른 마커 인식 방법은 동적으로 임계값을 설정하는 방법에 관한 것이다. 구체적으로, 마커 인식 방법은 마커가 포함된 페이지의 영상을 카메라를 통해 획득하고, 페이지의 영상에 대한 샘플링을 수행하고, 샘플링된 픽셀의 영상 값을 임계값을 기준으로 제1 영상 그룹 및 제2 영상 그룹으로 그룹화하고, 제1 영상 그룹 및 제2 영상 그룹 각각의 중앙 값을 산출하고, 중앙 값의 평균 값으로 임계값을 갱신하는 단계를 포함한다.

유비쿼터스 러닝, 학습 시스템, 증강 현실, 마커 인식, 임계값

Description

동적 임계값을 이용한 마커 인식 장치 및 방법{Marker recognition apparatus using dynamic threshold and method thereof}

본 발명은 마커를 인식하기 위한 장치 및 방법에 관한 것으로, 보다 구체적으로는 다양한 교육 시스템에 적용 가능한 마커 인식 장치 및 방법에 관한 것이다.

본 연구는 지식경제부 및 정보통신연구진흥원의 IT 신성장동력핵심기술개발 사업의 일환으로 수행하였음.[2008-S-025-01, 디지털 교과서 및 u-러닝 활성화를 위한 요소기술 개발]

평면 또는 입체면 상에 형성된 마커를 인식하고, 마커에 상응하는 데이터를 획득하는 마커 인식 장치는 증강 현실 구현 기술과 결합하여 e-러닝(Learning) 또는 유비쿼터스-러닝(u-Leraning)이라 불리는 학습 시스템에 활용되고 있다.

이하 종래의 학습 시스템 등에서 활용되는 증강 현실과, 이에 대비되는 가상 현실에 대하여 설명한다. 우선 가상 현실(Virtual Reality)이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다. 가상 현실의 궁극적인 목표는 다양한 입출력 방법을 사용하여 컴퓨터와 인간과의 대화 능력을 높임으로써 컴퓨터와 좀 더 현실적인 통신을 할 수 있는 환경을 제공하는 데 있다. 컴퓨터와 인간과의 입출력 방법으로는 HMD(Head-Mounted Display), 데이터 글러브(Data Glove) 및 모션 캡쳐(Motion Capture)와 같은 장치가 사용되는데, HMD는 사용자의 머리 움직임에 따른 위치 변화 데이터를 컴퓨터에 송신하여 컴퓨터로 하여금 사용자의 시야에 있을 대상의 크기 및 깊이를 계산하여 시뮬레이션하도록 한다. 데이터 글러브는 사용자 손의 위치와 방향을 감지하는데, 사용자가 3차원 공간에서 손을 움직이면 데이터 글러브가 데이터의 흐름을 3차원 좌표 형식으로 컴퓨터에 보내고, 컴퓨터는 그 데이터에 대응하는 대상을 조작한다.

증강 현실(Augmented Reality)은 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다.

실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강 현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.

증강 현실의 가장 간단한 형태로는 엔터테인먼트와 뉴스 분야 등에서 응용되 고 있다. TV에서 일기예보를 하는 경우 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 것을 볼 수 있는데, 실제로는 기상 캐스트가 블루스크린(Blue-Screen) 앞에서 있고 컴퓨터로 만들어진 가상의 영상이 가상 스튜디오 환경을 만들어 증강 현실을 이루어내는 것이다. 이 밖에도, 자기 공명 영상(Magnetic Resonance Image), 단층 영상(Computed Tomography Image) 및 초음파 영상 등과 같은 간접 검사를 통해 실시간으로 환자의 3차원 데이터를 취득한 후, 취득된 데이터를 실시간으로 렌더링하여 환자와 겹쳐서 표현함으로써 의사로 하여금 환자의 수술을 원활하게 수행하도록 할 수도 있으며, 조종사 헬멧의 바이저(Visor) 또는 조종석의 방풍유리에 가상 영상을 디스플레이하여 조종사에게 조종에 필요한 많은 정보를 알려줄 수도 있다.

이하, 종래의 마커 인식 기술에 대하여 설명한다. 종래 마커 인식 기술에 대해 알아보면, 국내특허 "3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합 현실 제공 방법 및 장치"(출원번호 10-2004-0103916호)는 데카르트 좌표 형태의 3차원 마커를 이용하여 실사 영상 내에 포함된 3차원 마커를 인지하는 시스템을 구현하였다. 또한, 종래 공지된 논문으로 "ARTag, a fiducial marker system using digital techniques"(게제지명:Computer Vision and Pattern Recognition, Beier, D. & Billert, R. 공동저, 2005.7 발표)는 마커의 ID 구분을 위해 마커의 내부를 36개의 영역으로 나눠 10비트는 마커의 ID 구분으로, 26비트는 CRC(Cyclical Redundancy Check) 코드로 할당하여 마커 아이디 추출의 성능을 높이는 기술을 제공하였다.

상술한 종래의 마커 인식 기술과 증강 현실 기술을 결합하여 유비쿼터스-러닝 시스템을 구현하는데에는 여러 과제가 존재하였다.

우선 다양한 카메라, 조명 환경에서도 마커 인식 기술이 강인하게 동작해야 한다. 또한, 학습자가 유비쿼터스-러닝 시스템 교재에 인쇄된 마커에 대해서 부자연스럽게 느끼는 경향이 있으므로, 교재에 인쇄되는 마커의 크기를 최대한 줄이는 동시에 마커의 인식률을 높여야 한다. 또한 책의 페이지 수가 늘어나는 만큼 책에 포함되는 마커의 종류가 다양해지기 때문에 이를 위해 여러 종류의 마커를 효율적으로 제작하고 인식할 수 있는 패턴 제작 및 인식 매커니즘이 필요하다.

본 발명은 상술한 종래 기술들을 개선하기 위해 제안된 것으로, 본 발명의 목적은 마커 인식률을 개선하기 위해 동적으로 임계값을 조정하는 마커 인식 장치 및 마커 인식 방법을 제안하는 것이다.

본 발명에 따른 마커 인식 장치 및 마커 인식 방법은 증강 현실 기술과 결합하여 다양한 학습 시스템에 적용 가능하다.

본 발명의 일 양상에 따른 마커 인식 방법은 동적으로 임계값을 설정하는 바업에 관한 것이다. 구체적으로, 마커 인식 방법은 마커가 포함된 페이지의 영상을 카메라를 통해 획득하고, 상기 페이지의 영상에 대한 샘플링을 수행하고, 샘플링된 픽셀의 영상 값을 임계값을 기준으로 제1 영상 그룹 및 제2 영상 그룹으로 그룹화하고, 상기 제1 영상 그룹 및 제2 영상 그룹 각각의 중앙 값을 산출하고, 상기 중앙 값의 평균 값으로 상기 임계값을 갱신하는 단계를 포함한다.

바람직하게, 갱신되기 이전의 임계값 및 갱신된 임계값의 차이가 기준 값 이하가 될 때까지 상술한 단계들은 반복된다. 또한, 상기 갱신된 임계값에 따라 상기 카메라를 통해 획득한 영상을 이진화한다. 또한, 상기 이진화된 영상을 이용하여 마커를 검출한다.

바람직하게, 상기 픽셀의 영상 값은, 펙셀의 밝기에 상응한다. 또한, 상기 마커 검출은 에지 정보를 이용하여 마커의 사각형 테두리의 검출에 의한다. 또한, 상기 마커는 특정한 정보가 인코딩된 코드형 마커 또는 기 설정된 형상을 갖는 아이콘 마커이다.

본 발명의 또 다른 일 양상에 따른 마커 인식 장치는 마커가 포함된 페이지를 촬영하는 카메라; 상기 카메라가 촬영한 페이지의 영상에 대한 샘플링을 수행하고, 샘플링된 픽셀의 영상 값을 임계값을 기준으로 제1 영상 그룹 및 제2 영상 그룹으로 그룹화하고, 상기 제1 영상 그룹 및 제2 영상 그룹 각각의 중앙 값을 산출하고 상기 중앙 값의 평균 값으로 상기 임계값을 갱신하되, 갱신되기 이전의 임계값과 갱신된 임계값의 차이가 기준 값 이하가 될 때까지 갱신을 수행하고, 상기 갱신된 임계값에 따라 상기 촬영한 페이지의 영상에 대한 이진화하는 영상 처리부; 및 상기 영상 처리부에 의해 이진화된 영상을 이용하여 마커를 검출하는 마커 검출부를 포함한다.

삭제

본 발명에 따라 임계값을 설정하고, 이를 이용하여 마커를 인식하는 경우, 영상의 순간적인 조명변화, 영상의 점차적인 조명변화에도 불구하고, 정확하게 마커를 인식할 수 있다. 또한, 동적으로 임계값을 설정함에도 불구하고, 적절한 샘플링과 샘플링 대상의 동적인 변화를 통해 계산량이 크게 증가하지 않는 유리한 효과가 있다.

본 발명의 구체적인 동작 및 특징은 이하에서 설명하는 본 발명의 일 실시예에 의해 더욱 구체화될 것이다. 이하 첨부된 도면을 참조하여 본 발명의 일 실시예를 설명한다.

도 1은 본 발명의 일 실시예가 적용되는 학습 시스템의 일례를 나타낸 도면이다. 도 1의 학습 시스템은, 마커(111)가 인쇄된 학습용 교재(110), 상기 학습용 교재를 촬영하는 카메라(120), 상기 카메라(120)로부터 획득한 영상을 처리하여 마커를 인식하고 마커에 따라 학습을 진행하는 학습 진행부(130)를 포함한다. 상기 카메라(120)는 개인용 컴퓨터에서 사용되는 일반적인 웹 캠일 수 있다. 학습 진행부(130)는 범용 컴퓨터로 구현되거나 별도의 디스플레이 모듈을 구비하는 장치로 구현 가능하다. 상기 카메라(120)를 웹 캠으로 하고, 학습 진행부(130)를 개인용 컴퓨터로 하는 경우, 추가적인 비용 부담없이 유비쿼터스 학습 시스템을 구현할 수 있다.

상기 마커(111)는 도시된 바와 같이 평면 상에 인쇄될 수도 있고, 큐빅과 같은 입체물의 어느 면에 인쇄될 수도 있다. 만약 입체물 상에 마커가 인쇄되는 경우, 상기 카메라(120) 방향에 인쇄된 마커의 정보가 학습 진행부(130)에 의해 처리된다.

도 2는 학습 진행부에 의해 증강된 영상을 나타낸다. 학습 진행부(130)는 증강 현실(Augmented Reality)에 의한 영상을 디스플레이한다. 예를 들어, 마커(111)에 인코딩된 정보, 학습자의 데이터 입력, 학습자의 신체 부위 인식 등에 따라 정적 또는 동적인 객체(200)를 증강할 수 있다.

도 3은 마커 및 학습자의 손을 인식하여 3D 콘텐츠를 증강시킨 일례를 나타낸다. 도시된 바와 같이, 마커(111)에 인코딩된 정보에 따라 3D 콘텐츠로 구성된 객체(200)를 증강시키는 것이 가능하다. 또한, 학습자의 손 동작에 따라 3D 콘텐츠로 구성된 객체(200)를 증강시키는 것이 가능하다. 한편 손동작의 인식률을 높이기 위해 학습자의 손가락에 밴드 형태의 마커를 착용시키는 것도 가능하다. 손가락에 마커를 착용시키는 경우, 손동작에 대한 정밀한 인식이 가능하다.

이하, 학습 진행부(130)에서 마커를 인식하는 기술에 대하여 설명한다.

도 4는 본 발명의 일 실시예에 따른 마커 인식부 및 제어부를 설명하는 도면이다. 도시된 각 모듈들은 소프트웨어 또는 하드웨어로 상기 학습 진행부(130) 내에 구현 가능하다.

도 4의 마커 인식부(410)는 카메라(120)가 학습용 교재(110)를 촬영한 영상 을 입력받고, 입력된 영상으로부터 마커를 검출해 마커의 패턴 아이디 및 마커 자세를 추정하여 마커를 인식하는 마커 검출부(411), 패턴 인식부(412), 자세 추정부(413) 및 마커 복원부(414)를 포함한다. 상기 마커 인식부(410)는 학습용 교재(110)에 인쇄되거나, 입체물의 일면에 인쇄되거나, 신체 일부에 부착된 마커를 인식할 수 있다.

구체적으로 마커 검출부(411)는 카메라(120)로부터 입력된 영상에 대해 에지 정보를 이용해 마커의 테두리가 사각형인지 판단하여 마커를 검출한다. 패턴 인식부(412)는 검출된 마커에 대해 에지 정보와 색상 정보를 이용해 마커의 패턴을 인식하고, 인식된 마커의 패턴 아이디를 검출한다.

자세 추정부(413)는 선형적인 방법으로 초기 자세를 구하고, 이 초기 자세를 최적화하여 첫 번째 후보 자세를 구한다. 구한 첫 번째 후보 자세에 자세 변환 행렬(M)을 곱하여 두 번째 후보 자세를 구하고, 이 두 후보 자세를 비교해 패턴 인식된 마커를 포함하는 학습용 교재(110)의 자세를 추정한다.

마커 복원부(414)는 조명의 변화 및 손가락 등에 의한 마커의 가림으로 인식되지 않은 마커를 마커 배치 구조 파일을 이용해 복원하여 인식한다.

상술한 마커 검출부(411), 패턴 인식부(412), 자세 추정부(413), 마커 복원부(414) 중 일부는 필요에 따라 생략될 수 있으며, 각 모듈의 구체적인 배치 순서는 변경될 수 있다.

도 5는 도 4의 마커 인식부에 있어서 카메라로 취득한 영상으로부터 마커의 패턴 아이디와 마커 자세를 추정하는 과정에 대한 절차 흐름도이다.

마커 인식부(410)는 카메라(120)로 학습용 교재(110)를 촬영하고(S501), 이를 통해 얻은 영상에서 에지 정보를 이용하여 마커의 테두리를 검출하여 마커를 검출한다(S503). 검출한 마커에서 마커의 종류를 나타내는 지시정보에 따라 마커의 종류를 식별하고, 마커에 인코딩된 정보를 검출한다(S505). 이하 마커에 인코딩된 정보 및 마커로부터 파악할 수 있는 정보를 '패턴 아이디'라 칭한다.

한편, 마커가 포함된 교재의 자세 검출이 가능하며, 이 경우 마커가 포함된 교재 페이지의 자세를 자세 변환 행렬(M)을 이용하여 추정하고(S507), 추정된 자세를 표현하는 투영행렬(P)을 구할 수 있다.

또한, 인식된 마커에 대한 조명의 변화 및 마커의 가림에 의해 마커가 인식되지 않은 경우, 마커 배치 구조 파일을 이용하여 인식되지 않은 마커를 복원하고(S509), 최종 마커 인식을 완료한다(S511).

마커 인식부(410)는 마커의 패턴 아이디에 관한 정보와 마커가 포함된 교재의 자세 검출에 관한 정보를 제어부(420)로 전달한다. 상기 제어부(420)는 전달 받은 정보에 따른 객체(예를 들어, 3D 컨텐츠)를 증강시킨 영상을 디스플레이하도록 제어한다. 도 6a 및 6b는 마커의 패턴 아이디와 추정된 자세에 관한 정보를 이용하여 콘텐츠를 증강시킨 일례이다. 본 실시예에 따른 마커 인식부는 교재의 자세를 추정할 수 있으므로, 교재의 자세가 변경되는 경우 증강되는 객체의 자세도 함께 변화한다.

도 7은 도 5의 각 과정을 실제 영상을 통해서 표현한 것이다. 구체적으로, 도 7의 (a)는 학습용 교재(110)를 카메라로 촬영한 실제 영상이며, 도 7의 (b)는 촬영한 영상에서 마커의 사각형을 검출한 영상이며, 도 7의 (c)는 검출한 마커의 사각형에서 패턴을 인식한 영상이며, 도 7의 (d)는 학습용 교재(110)의 자세를 추정한 영상이다.

도 8은 본 발명에 따른 마커 인식부(410)에 있어서 마커 검출부(411)의 사각형 검출 과정을 상세하게 나타낸 절차 흐름도이다.

사각형 검출을 위하여, 카메라를 통해 촬영된 영상의 명암을 문턱값(threshold)으로 이진화(binarization)한 뒤, 그 중 어두운 영역을 그룹핑하여 이 영역이 사각형인지 아닌지를 판단하는 기법 또는 에지(edge) 정보를 이용하여 사각형을 검출하는 기법을 사용할 수 있다. 이하 에지 정보를 이용하는 일례를 설명한다.

우선 카메라로부터 영상을 입력받고(S801), Robert, Sobel, Prewitt과 같은 에지 검출 마스크로 컨볼루션(convolution)하여 에지를 검출한다(S803). 검출된 에지에 대해 1 픽셀 두께로 선성분이 끊어지지 않도록 하는 세선화(thinning)를 수행한다(S805). 세선화는 선을 가늘게 하는 것으로, 검출된 에지에 대해 1 픽셀 두께의 일률적인 선으로 표현하는 것이다. 세선화된 에지들은 아직까지 픽셀로 표현된 래스터(raster) 정보이므로, 직선 성분 검출을 위해 벡터화(vectorization)를 수행한다(S807). 벡터화된 에지들에 대해 각 벡터의 시작과 끝을 비교하여 시작과 끝이 가까운 벡터끼리 그룹핑한다(S809). 그 이후 그룹핑된 각 벡터 그룹에 대하여 최종적으로 사각형을 이루는지 판단한다(S811). 최종적으로 사각형으로 판단되면 마커로 판단하여 검출을 완료한다(S813).

본 실시예는 적어도 두 종류의 마커를 사용한다. 첫 번째 마커는 특정한 정보가 인코딩되는 코드형 마커이고, 두 번째 마커는 미리 설정된 형상을 갖는 아이콘 마커이다. 도 9a 및 도 9b는 본 실시예에서 사용하는 마커의 일례이다. 도 9a는 코드형 마커를 나타내고, 도 9b는 아이콘 마커를 나타낸다.

도 10은 마커 검출부(411)에서 검출된 마커의 사각형으로부터 고정 마커와 아이콘 마커를 하나의 프레임워크에서 인식할 수 있는 패턴 인식부(412)의 패턴 인식 과정을 나타낸 도면이다.

우선 마커를 검출하고(S1001), 마커의 사각형 검출 과정에서 검출된 사각형 테두리 안에 코드형 마커인지 아이콘 마커인지를 구별하는 식별 정보(예를 들어, 미리 정해진 규칙에 따라 도 9a의 마커 내부에 형성된 내부 특성선(왼쪽 위 삼각형 3개 안쪽에 존재하는 직선 성분))를 탐색한다(S1003). 식별 정보 유무에 따라 코드형 마커로 판단되면, 코드형 마커에 인코딩된 정보를 디코딩하고(S1005), 만약 아이콘 마커인 경우 패턴 DB를 검색 및 매칭시켜 어떤 아이콘인지 파악한다(S1007). 상술한 과정을 통해 마커에 상응하는 정보, 즉 패턴 아이디를 획득(검출)할 수 있다(S1009).

이하 자세 추정부(413)가 패턴 인식부(412)로부터 전달된 패턴 인식된 마커에 대해 자세추정을 수행하는 과정을 설명한다.

도 11은 마커 인식부의 자세 추정부(413)에서 작은 크기의 마커에 대한 자세를 추정하는 과정을 나타낸 것이다. 자세 추정(attitude estimation)은 마커의 크기가 작아질수록 불안해지는 경향이 있다. 이는 마커의 크기가 작을수록 실제 자세와 투영오차가 비슷한 다른 자세가 존재하는 데서 비롯된다.

투영행렬(P)은 카메라의 내부 파라메터(K)와 마커의 자세를 나타내는 행렬([R│t])의 곱이다. 마커의 좌표(x, y)를 투영행렬(P)과 곱하게 되면 영상에 투영된 마커의 좌표

를 수학식 1과 같이 구할 수 있다.

투영오차(Projection error)란 영상에서 측정한 마커의 특징점(사각형의 네 개의 꼭지점)의 좌표(x, y)와 추정한 마커의 자세([R│t])를 이용하여 계산된 추정 마커 좌표

사이의 거리의 평균값이다. 따라서, 마커의 자세([R│t])를 정확하게 추정할수록 투영오차는 작아진다. 따라서 투영오차(Projection error)는 마커의 좌표(x, y)와 투영행렬에 의해 구해진 추정 마커 좌표

를 이용해 아래 수학식 2와 같이 구해진다.

도 11을 참조하여 본 발명의 마커 자세 추정 과정을 설명하면, 우선 선형적인 방법(direct linear method)으로 초기 자세를 계산한다(S1101). 선형적인 방법을 통해 얻은 자세의 경우 투영오차가 상당히 크다. 이 초기 자세를 Levenberg- Marquardt method 또는 Newton method과 같은 최적화(optimization) 기법을 적용하여 첫번째 후보 자세를 결정한다(S1103).

카메라로 촬영한 교재에 대한 첫 번째 후보 자세와 두 번째 후보 자세의 관계를 나타낸 도 12를 참조하면, 두 번째 후보 자세는 카메라 변환 벡터에 대하여 첫 번째 후보 자세와 투영오차가 비슷하며, 첫 번째 후보 자세와 거의 대칭을 이룬다.

즉, 마커의 첫 번째 후보 자세(p₁)의 법선벡터(n₁)와 카메라 변환 벡터(t)가 이루는 각(θ₁)은 두번째 후보 자세(p₂)의 법선벡터(n₂)와 카메라 변환 벡터(t)가 이루는 각(θ₂)과 거의 비슷하다.

따라서 두번째 후보 자세는 첫 번째 후보 자세(p1)의 법선벡터(n1)와 -t가 이루는 평면에 수직인 벡터(v_r=n₁×v_t,

)에 대해서 각도 2θ₁ 만큼 회전시키는 자세 변환 행렬을 구함으로써 계산된다. 즉, 두 번째 후보 자세는 첫 번째 후보 자세를 자세 변환 행렬을 통해 이동시키는 것에 의해 구해진다. 이 자세 변환 행렬은 수학식 3으로 구할 수 있다.

여기서, θ₁은 첫번째 후보 자세의 법선벡터와 카메라 시점이 이루는 각, n₁은 첫 번째 후보 자세의 법선 벡터, t는 카메라 중심과 마커의 중심 간의 translation 방향 벡터이다.

그리고 첫 번째 후보 자세를 P₁이라 하고 두 번째 후보 자세를 P₂라 하면, 두 번째 후보 자세(P₂)는 M×P₁을 통해서 구할 수 있다(S1105). P₂=M×P₁을 통해 구한 두 번째 후보 자세도 초기 자세와 마찬가지로 정밀한 자세가 아니므로 이를 최적화하는 과정이 필요하다. 이렇게 구한 첫 번째 후보 자세와 두 번째 후보 자세의 투영 오차를 측정하여 오차가 더 작은 자세를 최종마커의 자세로 결정(선택)한다(S1107).

위의 모든 과정을 거친 후 카메라 영상으로부터 인식된 마커와 컴퓨터 그래픽이 최종적으로 합성된 영상은 도 6과 같다. 도시된 바와 같이 증강된 객체들은 마커의 방향에 따라 배치되므로, 교재의 자세가 변경되는 경우 증강되는 객체들의 자세도 실시간으로 변경된다.

한편, 조명의 변화 등에 의해 마커가 순간적으로 인식되지 않을 수 있다. 이 경우 합성된 가상 콘텐츠가 사라짐으로 사용자는 깜빡거림을 느낄 수 있다. 또한 아이콘 패턴을 이용하여 사용자 인터랙션을 제공하는 경우, 아이콘 패턴이 교재 위에 인쇄된 마커를 가려 마커가 인식되지 않을 수 있다.

이러한 경우를 대비하여 본 실시예에서는 마커의 배치구조 정보를 이용하여 인식되지 않은 마커를 복원한다. 도 13은 마커 복원부의 동작 순서를 나타내는 절 차 흐름도이다. 도 14는 마커 배치 구조 파일의 일례를 나타낸 도면이다. 이하 도 13 및 도 14를 참조하여 마커 복원부의 동작을 설명한다.

우선, 도 14와 같은 마커 배치 구조 파일(marker_str.dat)을 만든다(S1300). 마커 배치 구조 파일에 포함된 정보에 의하면, 현재 페이지(ID=1)의 교재에는 교재 위에 인쇄된 마커가 3개가 있고(id=1, 2, 3), 이 마커들은 마커 아이디가 가장 작은 것(id=1)을 중심(0, 0)으로 각각 (10, 20)(id=2), (20, 30)(id=3)만큼 떨어져 있음을 알 수 있다. 입력된 영상에서 마커를 인식하고(S1310), 만약 인식된 마커의 아이디가 1이라면, 도 14와 같은 마커 배치 구조파일(marker_str.dat)을 이용하여 현재 페이지가 1페이지라는 것을 알 수 있다.

또한, 마커 배치 구조 파일(marker_str.dat)에 의해 현재 마커(id=1)의 위치를 기준(0, 0)으로 (10, 20)의 위치에 마커 2(id=2)가 있다는 것을 알고, (20, 30)의 위치에 마커 3(id=3)이 있다는 것을 알 수 있다(S1320). 이러한 정보(S1320)를 바탕으로, 입력 영상에서 현재 인식된 마커(id=1)를 기준(0, 0)으로 (10, 20)의 위치로 이동하여 영상을 가져온다. 이를 Im(x, y)라고 하고, 마커 2(id=2)의 패턴을 가지는 영상을 Ip(x, y)라고 한다.

마커의 패턴 디자인이 규칙적으로 되어 있으므로 Ip(x, y)를 알 수 있다. 두 영상 Im(x, y)와 Ip(x, y)를 비교하여 두 영상의 유사도가 특정 임계값을 넘으면 그 위치에 id=2인 마커가 있다고 가정하여 마커가 인식된 것으로 파악한다. 이때 두 영상을 비교하는 방법은 PCA 매칭을 이용할 수 있다.

따라서 마커 배치 구조 파일을 이용함으로써 조명의 변화 및 아이콘 패턴이 교재 위에 인쇄된 마커를 가리는 경우와 같은 마커의 가림에 의해 마커가 인식되지 않아 합성된 가상 콘텐츠가 사라지는 깜빡거림을 감소시킬 수 있다.

본 발명의 일 실시예는 마커를 인식하기 위해 카메라가 촬영한 영상을 이진화하는데, 이 경우 이진화의 기준이 되는 임계값을 설정하는 기법이 문제된다. 상술한 바와 같이, 본 발명의 일 실시예는 다양한 범용 장치(예를 들어, 개인용 컴퓨터, 개인용 노트북 컴퓨터 등) 등에 적용 가능하므로, 본 실시예에 사용되는 카메라 역시 그 종류에 제한이 없다. 이 경우, 카메라 각각의 특성에 따라 마커의 인식률이 달라질 수 있다. 또한, 학습이 이루어지는 외부 조명 환경의 변화에 의해서도 마커의 인식률이 달라질 수 있다. 본 실시예는 다양한 카메라 환경 및 조명 환경에서도 우수한 인식률을 갖기 위해, 마커를 인식하는 과정에서 촬영한 영상의 흑색 부분과 백색 부분을 구분하는 임계값을 동적으로 정하는 기법을 제안한다.

이하 촬영한 영상의 흑색 부분과 백색 부분을 구분하는 임계값을 동적으로 정하는 기법을 설명한다. 본 실시예는 카메라를 통해 획득한 영상의 픽셀 중 샘플링된 일부를 이용하여 촬영한 영상의 흑색 부분과 백색 부분을 구분하는 임계값(T_i)을 동적으로 설정할 수 있다.

도 15는 카메라에 의해 촬영되는 영상 중에서 샘플링되는 부분의 일례를 나타낸다. 도시된 바와 같이, 4개의 픽셀 단위로 샘플링이 수행되며, 샘플링되는 픽셀(1501)들은 서로 인접할 수 있다. 샘플링은 다수의 픽셀들 중 어느 일부만을 선택하는 과정으로, 도시된 바와 같이 전체 픽셀 중 일부 픽셀(1501) 만을 선택할 수 있다. 샘플링 레이트를 조절하거나, 샘플링되는 픽셀 들의 패턴을 달리하는 경우, 샘플링에 따른 계산량 및 샘플링의 정확도 등이 변화하므로, 상기 샘플링 레이트 및 샘플링 패턴을 적절하게 정하는 것이 바람직하다.

샘플링된 픽셀들의 영상 값은 상기 임계값(T_i)을 기준으로 흑색에 상응하는 제1 영상 그룹 및 백색에 상응하는 제2 영상 그룹으로 그룹화된다. 도 16은 샘플링된 픽셀들의 영상 값들이 임계값에 따라 그룹화된 일례를 나타낸다. 도시된 도 16의 가로축은 밝기를 나타내며, 세로축은 해당 밝기를 갖는 픽셀들의 개수를 나타낸다. 상기 임계값(T_i)은 임의로 설정된 값이므로, 상기 제1 영상 그룹 및 제2 영상 그룹에 따라 갱신되는 것이 바람직하다. 구체적으로, 상기 제1 영상 그룹의 중앙값(m_a)와 상기 제2 영상 그룹의 중앙값(m_b)의 평균을 구해서, 새로운 임계값(T_i+1)을 산출하는 것이 바람직하다.

도 17은 갱신된 임계값에 따라 제1 영상 그룹과 제2 영상 그룹이 구분된 일례이다. 샘플링된 픽셀들의 영상 값은 다시 갱신된 임계값(T_i+1)에 따라 제1 영상 그룹과 제2 영상 그룹으로 구분되며, 새롭게 구분된 제1 영상 그룹의 중앙값과 제2 영상 그룹의 중앙값으로 새로운 임계값(T_i+2)을 산출할 수 있다.

상술한 방식에 따라 임계값은 T_i, T_i+1, T_i+2 순으로 갱신된다. 만약, 갱신되는 임계값이 갱신되기 이전의 임계값에 수렴하는 경우, 더 이상의 갱신을 중단하고, 새로운 임계값을 기준으로 촬영한 영상의 흑색 부분과 백색 부분을 구분(즉, 이진 화)하는 것이 바람직하다. 구체적으로, 갱신된 임계값이 갱신 이전의 임계값과 동일하거나, 갱신된 임계값과 갱신 이전의 임계값의 차이가 소정의 기준 값 이하가 되는 경우, 더 이상의 갱신을 중단하고, 새로운 임계값을 기준으로 촬영한 영상의 흑색 부분과 백색 부분을 구분할 수 있다.

상술한 바와 같은 동적인 임계값 설정 방법에 따라 영상의 이진화를 수행하면, 순간적이거나 점차적인 조명 변화에도 불구하고 정확하게 흑색/백색 픽셀을 구별할 수 있어 마커의 인식률을 높일 수 있다.

상술한 방법은 마커의 인식률을 높이는 유리한 효과가 있으나, 동적으로 임계값을 설정하는데 따른 계산량이 증가하는 문제가 발생할 수 있다. 이러한 문제를 예방하기 위해 본 실시예는 상술한 동적인 임계값 설정 방법을 마커가 속하는 영역에만 적용하는 방법을 제안한다.

도 18은 동적인 임계값 설정 방법이 적용되는 영역을 설명하기 위한 도면이다. 도시된 바와 같이, 교재(1830) 상에 마커(1810)가 인쇄되는 경우, 교재(1830) 전체에 상응하는 영역(1820)에 대하여 도 16 내지 도 17과 같은 임계값 설정 방법이 적용될 수 있으며, 또한 전체 영역이 아닌 마커(1810)가 속하는 영역에 대해서만 도 16 내지 도 17의 방법이 적용될 수 있다.

도 19는 본 실시예에 따라 계산량을 감소시키며 임계값을 설정하는 방법을 나타내는 절차흐름도이다.

도시된 바와 같이, 처음에 임계값을 설정하는 경우에는 전체 영역(1820)에 대하여 샘플링을 수행하고, 샘플링된 픽셀들에 대해 상술한 도 16 내지 도 17과 같 은 방법으로 임계값을 설정한다(S1901). 임계값이 설정되면, 설정된 값에 따라 마커 인식을 수행한다(S1902).

이 경우 마커가 정상적으로 인식되는지를 판단하여(S1903), 마커가 정상적으로 인식되는 경우에는 마커가 속하는 영역만을 샘플링하고 샘플링된 결과를 이용하여 임계값을 반복하여 동적으로 설정한다(S1904). 도 19의 방법에 따르면, 임계값을 정확하게 설정하여 마커 인식률을 높이면서도 계산량의 증가를 최소화하는 장점이 있다.

도 20은 본 발명의 일 실시예에 따른 동적 임계값을 이용한 마커 인식 방법을 도시한 흐름도이다.

도시된 바와 같이, 동적 임계값을 설정하는 방법은 전체 영역의 샘플링된 픽셀에 대하여 임계값을 설정하는 단계(S2001 내지 S2009)와 마커가 속한 영역만을 샘플링하고 샘플링된 결과를 이용하여 임계값을 설정하는 단계(S2010 내지 S2015)로 구성된다.

먼저, 전체 영역에 대해서 임계값을 설정하는 단계는 카메라에 의해 촬영된 영상을 샘플링하고(S2003), 샘플링된 픽셀로 히스토그램(Histogram)을 생성한다(S2004). 샘플링된 픽셀을 최초 설정된 임계값에 따라 제1 영상 그룹과 제2 영상 그룹으로 그룹화하고(S2005), 각 그룹별 중앙값을 구한후(S2006), 구해진 각 중앙값의 평균값을 구한다(S2007). 설정된 임계값과 평균값 차이가 기준값 이하가 될 때까지 임계값을 갱신하고(S2005 내지 S2008), 갱신 이전 임계값과 갱신된 임계값의 차이가 기준값 이하가 되는 경우, 더 이상의 갱신을 중단하고, 새로운 임계값을 기준으로 촬영된 영상의 이진화를 수행한다(S2009).

전체 영역에 대해 임계값을 이용하여 이진화된 영상에서 마커가 검출된 경우 마커가 속한 영역만을 샘플링하고 임계값을 갱신하는 과정을 반복(S2010 내지 S2019)함으로써 계산량을 감소시킬 수 있으며, 마커가 검출되지 않는 경우 전체 영역에 대한 샘플링 및 임계값 설정 단계(S2001 내지 S2009)를 다시 반복함으로써 마커 인식률을 높일 수 있다.

본 명세서에 첨부된 도면은 본 발명의 일 실시예를 설명하기 위해 첨부된 것으로, 설명의 편의를 위해 특정 부위가 과장되게 도시되거나 축소되어 도시되었는바, 본 발명의 내용이 도면의 구체적인 비율이나 형상에 한정되지 않는다.

또한, 상술한 실시예에서 사용한 구체적인 수치는 본 발명의 일 실시예를 설명하기 위한 것에 불과하므로 본 발명의 내용이 이러한 구체적인 수치에 한정되지 않는다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 일 실시예가 적용되는 학습 시스템의 일례를 나타낸 도면이다.

도 2는 학습 진행부에 의해 증강된 영상을 나타낸다.

도 3은 마커 및 학습자의 손을 인식하여 3D 콘텐츠를 증강시킨 일례를 나타낸다.

도 4는 본 발명의 일 실시예에 따른 마커인식부 및 제어부를 설명하는 도면이다.

도 5는 도 4의 마커 인식부에 있어서 카메라로 취득한 영상으로부터 마커의 패턴 아이디와 마커 자세를 추정하는 과정에 대한 절차 흐름도이다.

도 6a 및 도 6b는 마커의 패턴 아이디와 추정된 자세에 관한 정보를 이용하여 콘텐츠를 증강시킨 일례이다.

도 7은 도 6의 각 과정을 실제 영상을 통해서 표현한 것이다.

도 8은 본 발명에 따른 마커 인식부에 있어서 마커 검출부의 사각형 검출 과정을 상세하게 나타낸 절차 흐름도이다.

도 9a 및 도 9b는 본 실시예에서 사용하는 마커의 일례이다.

도 10은 마커 검출부에서 검출된 마커의 사각형으로부터 고정패턴과 아이콘패턴을 한 프레임워크에서 인식할 수 있는 패턴 인식부의 패턴 인식 과정을 나타낸 도면이다.

도 11은 마커 인식부의 자세 추정부에서 작은 크기의 마커에 대한 자세를 추 정하는 과정을 나타낸 것이다.

도 12는 본 실시예에 따른 자세 추정 기법을 설명하는 도면이다.

도 13은 마커 복원부의 동작 순서를 나타내는 절차 흐름도이다.

도 14는 마커 배치 구조 파일의 일례를 나타낸 도면이다.

도 15는 카메라에 의해 촬영되는 영상 중에서 샘플링되는 부분의 일례를 나타낸다.

도 16은 샘플링된 픽셀들의 영상 값들이 임계값에 따라 그룹화된 일례를 나타낸다.

도 17은 갱신된 임계값에 따라 제1 그룹과 제2 그룹이 구분된 일례이다.

도 18은 동적인 임계값 설정 방법이 적용되는 영역을 설명하기 위한 도면이다.

도 19는 본 실시예에 따라 계산량을 감소시키며 임계값을 설정하는 방법을 나타내는 절차흐름도이다.

도 20은 본 발명의 일 실시예에 따른 동적 임계값을 이용한 마커 인식 방법을 도시한 흐름도이다.

Claims (10)

1. 특정 정보가 인코딩된 코드형 마커 또는 기설정된 형성을 갖는 아이콘 마커가 포함된 학습교재의 페이지의 영상을 카메라를 통해 획득하는 제1단계;

   상기 학습교재의 페이지의 영상에 대한 샘플링을 수행하는 제2단계;

   샘플링된 픽셀의 영상 값을 임계값을 기준으로 제1 영상 그룹 및 제2 영상 그룹으로 그룹화하는 제3단계;

   상기 제1 영상 그룹 및 제2 영상 그룹 각각의 중앙값을 산출하고, 산출된 상기 중앙값들의 평균값으로 상기 임계값을 갱신하는 제4단계;

   갱신되기 이전의 임계값 및 갱신된 임계값의 차이가 기준 값 이하가 될 때까지 상기 제1 내지 제4 단계를 반복하는 제5단계;

   상기 갱신된 임계값에 따라 상기 카메라를 통해 획득한 영상을 이진화하는 제6단계;

   상기 이진화된 상기 영상의 에지 정보를 이용하여 사각형 테두리 및 내부 직선 성분의 검출 여부에 따라 마커를 검출하는 제7단계

   를 포함하는 것을 특징으로 하는 마커 인식 방법.
2. 제1항에 있어서,

   상기 제7단계를 통해 마커가 검출되는 경우, 상기 검출된 마커가 존재하는 영역에 대하여 샘플링을 수행하는 제8단계; 및

   상기 제8단계를 통해 샘플링된 픽셀의 영상 값을 상기 임계값을 기준으로 그 룹화하고, 각 그룹의 중앙값의 평균값으로 상기 임계값을 갱신하는 제9단계를 더 포함하는 것을 특징으로 하는 마커 인식 방법.
3. 제1항에 있어서,

   상기 페이지의 영상은, 상기 마커가 포함된 페이지 전체의 영상인 것을 특징으로 하는 마커 인식 방법.
4. 제1항에 있어서,

   상기 픽셀의 영상 값은, 픽셀의 밝기에 상응하는 것을 특징으로 하는 마커 인식 방법.
5. 삭제
6. 삭제
7. 특정 정보가 인코딩된 코드형 마커 또는 기설정된 형상을 갖는 아이콘 마커가 포함된 학습교재의 페이지를 촬영하는 카메라;

   상기 카메라가 촬영한 학습교재의 페이지의 영상에 대한 샘플링을 수행하고, 샘플링된 픽셀의 영상 값을 임계값을 기준으로 제1 영상 그룹 및 제2 영상 그룹으로 그룹화하고, 상기 제1 영상 그룹 및 제2 영상 그룹 각각의 중앙 값을 산출하고 산출된 상기 중앙값들의 평균값으로 상기 임계값을 갱신하되, 갱신되기 이전의 임계값과 갱신된 임계값의 차이가 기준 값 이하가 될 때까지 갱신을 수행하고, 상기 갱신된 임계값에 따라 상기 촬영한 페이지의 영상을 이진화하는 영상 처리부; 및

   상기 영상 처리부에 의해 이진화된 영상의 에지 정보를 이용하여 사각형 테두리 및 내부 직선 성분의 검출 여부에 따라 마커를 검출하는 마커 검출부

   를 포함하는 것을 특징으로 하는 마커 인식 장치.
8. 제7항에 있어서,

   상기 마커에 코딩된 정보를 이용하여 가상 객체를 증강시키는 객체 증강부

   를 포함하는 것을 특징으로 하는 마커 인식 장치.
9. 삭제
10. 삭제

Images