KR20090089931A

KR20090089931A - 실시간 복합 영상 출력 장치

Info

Publication number: KR20090089931A
Application number: KR1020080015099A
Authority: KR
Inventors: 구자일; 모연섭; 이덕형
Original assignee: 유넷웨어(주)
Priority date: 2008-02-20
Filing date: 2008-02-20
Publication date: 2009-08-25

Abstract

가시광 영상과 적외선 영상을 복합적으로 화면 출력하는 실시간 복합 영상 출력 장치가 개시된다. 본 발명의 실시간 복합 영상 출력 장치는, 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 및 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부에 의해 결합된 가시광 영상 및 적외선 영상을 화면 출력하는 화면 출력부;를 포함한다. 이에 의해 가시광 영상과 적외선 영상을 통해 이중으로 감시하는 것이 가능하며, 또한 적외선 영상을 용이하게 결합하여 화면 출력할 수 있다.

Description

실시간 복합 영상 출력 장치{Real time complex image display apparatus}

본 발명은 영상 감시 시스템에 관한 것으로, 특히 다수의 카메라를 가지고 여러 영역을 동시에 감시하는 영상 감시 시스템에 관한 것이다.

일반적으로 영상 감시 시스템은 감시 카메라로부터 입력받은 영상을 처리하여 디스플레이 장치에 화면을 디스플레이한다. 통상 감시 카메라는 가시광 영상을 촬영하는 가시광 카메라이며, 다수대가 설치된다. 다수대가 설치되는 경우에는 바람직하게 화면을 4분할, 8분할, 16분할 등으로 분할하여 각 감시 카메라로부터 출력되는 영상을 분할 화면에 디스플레이 처리한다. 각각의 감시 영역을 한 화면에 디스플레이하므로, 효과적으로 감시할 수가 있다. 그러나 빛이 없는 야간이나 조명이 없거나 혹은 비나 눈이 내리거나 혹은 안개가 짙게 끼는 등의 요인으로 인해, 가시광 카메라로는 충분한 영상 감시가 이루어지지 못하는 한계가 있다.

한편, 적외선 카메라를 이용하여 넓은 지역의 영상을 관찰, 감시하는 것이 요구된다. 특히 화학 플랜트(chemical plant)에 있어서, 열화상 분석을 통해 화학 플랜트의 실시간 온도 감시가 매우 중요하기 때문에 적외선 카메라의 이용이 필수적이다. 따라서 적외선 카메라를 이용함으로써, 도 1에서와 같이 화학 플랜트의 실시간 온도를 감시하는 것이 가능하다.

그러나 적외선 카메라는 언급한 가시광 카메라의 문제점을 해결할 수는 있지만, 그 특성상 촬영된 영상 내의 물체를 인식하기가 어렵다는 것과 사용자들의 사용 편리성이 가시광 카메라보다는 떨어진다는 단점이 있다. 또한 적외선 카메라는 가시광 카메라 대비 고가라는 단점이 있으며, 특히 해상도가 높아질수록 가격이 급격히 올라간다는 단점이 있다.

본 발명은 이 같은 배경에서 도출된 것으로, 영상 감시 방식을 개선한 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

또한 저가의 적외선 카메라들을 이용해서도 충분히 넓은 지역을 용이하게 감시할 수 있는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

또한 다수의 적외선 카메라들로부터 촬상된 영상을 용이하게 결합할 수 있는 실시간 복합 영상 출력 장치를 제공함을 목적으로 한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 실시간 복합 영상 출력 장치는, 가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들; 상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부; 상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부에 의해 결합된 가시광 영상 및 적외선 영상을 화면 출력하는 화면 출력부;를 포함한다.

상기 장치는, 상기 화면 출력부로부터 출력되는 가시광 영상을 디스플레이하는 가시광 디스플레이부; 및 상기 화면 출력부로부터 출력되는 적외선 영상을 디스플레이하는 적외선 디스플레이부;를 더 포함한다.

상기 화면 출력부는, 상기 가시광 영상 결합부 및 상기 적외선 영상 결합부로부터 출력된 가시광 영상과 적외선 영상을 합성하여 출력하는 영상 합성부;를 더 포함한다.

본 발명은 다수의 복합 카메라로 전체 감시 영역을 빈틈없이 촬영하므로, 감시 대상에 대한 용이한 추적(tracking)을 가능하게 한다. 뿐만 아니라 동일한 감시 영역에 대해 가시광 영상과 적외선 영상으로 이중 감시하므로, 기후 및 외부요인에 관계없이 보다 확실한 감시를 가능하게 한다. 또한 저가의 낮은 해상도를 갖는 적외선 카메라를 이용하더라도 감시 영역에 대한 정보는 가시광 카메라에 의해 보완되므로, 수개의 저가 적외선 카메라를 이용하여 넓은 지역을 감시하는 것을 가능하게 한다. 또한 본 발명은 적외선 영상들의 결합 방식에 대한 독창적인 기술적 방안을 제시함으로써, 적외선 영상들의 결합을 용이하게 하는 효과를 창출한다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도이다. 본 발명에 따른 실시간 복합 영상 출력 장치는 다수의 복합 카메라(100)들을 포함하며, 각각의 복합 카메라(100)는 가시광 카메라(110)와 적외선 카메라(120)가 일체로 구현 된 카메라이다. 여기서 가시광 카메라(110)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하는 일반적인 카메라를 말한다. 그리고 적외선 카메라(120)는 열화상 카메라로써, 일반적인 가시광 카메라와 같이 동작하나 빛(light)이 아닌 적외선 에너지(infrared energy, heat)를 검출하는 것이 다르다. 통상 열 영상은 물체의 표면의 온도가 수천 개의 점으로써 온도의 높낮이에 따라 서로 다른 색으로 매핑되어 표현된다. 이 같은 가시광 카메라(110)와 적외선 카메라(120)를 일체로 구현함으로써, 용이하게 동일 영역의 가시광 영상과 적외선 영상을 촬상할 수 있다.

그리고 복합 카메라(100)들은 서로 다른 영역의 영상을 촬상하되, 인접 카메라와 일부 영역에 대해 중첩되도록 화각(angle of view)이 조절되어 있음이 바람직하며, 도 4에서 그 예를 나타내고 있다. 도 4에 도시된 A영역 내지 I영역은 각각의 복합 카메라(100)에 의한 촬상 영역을 나타내며, 빗금은 인접 영역과의 중첩 부위를 나타낸다. 이 같이 다수의 복합 카메라(100)들의 촬상 영역을 중첩시킴으로써, 감시하고자 하는 전체 영역을 완벽하게 감시할 수 있다.

가시광 영상 결합부(200)는 가시광 카메라(110)들로부터 입력되는 가시광 영상을 결합한다. 가시광 영상 결합은 통상의 알려진 알고리즘을 이용함에 의해 가능하다. 일 실시예에 있어서, 가시광 영상 결합부(200)는 각 가시광 영상의 중첩 부분(도 4의 빗금 부분)을 확인하고 경계선 검출(Boundary Detection)한 후 패턴 매칭(Pattern Matching)을 하는 방식으로 가능하다. 다시 말해, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것이다. 이 같은 방식을 통해 도 5에서와 같이 두 가시광 영상을 결 합할 수 있다.

적외선 영상 결합부(300)는 적외선 카메라(120)들로부터 입력되는 적외선 영상을 결합하되, 가시광 영상 결합부(200)의 영상 결합 정보를 기초로 하여 적외선 영상을 결합한다. 본 실시예에 있어서, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에서 가시광 영상의 결합(이음)을 위해 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 만일 적외선 영상이 가시광 영상보다 저해상도를 갖는다면, 적외선 영상 결합부(300)는 가시광 영상 결합부(200)에 의해 산출된 픽셀 위치값들을 추렴(decimation) 처리하여 적외선 영상의 픽셀 위치값을 산출하고, 산출된 적외선 영상의 픽셀 위치값을 가지고 적외선 영상들을 결합한다. 예를 들어, 가시광 영상이 M*N 해상도이고, 적외선 영상이 m*n 해상도이며, M = am, N = bn (a,b는 유리수)일 때, 가시광 영상에서 X축 방향으로 x1에서 겹치도록 결합하는 것으로 산출되었다면, 적외선 영상에서는 X축 방향으로 x1/a에서 겹치도록 결합하는 것이다.

참고로 적외선 영상은 픽셀 간의 온도 정보이기 때문에 가시광 영상에서 보이는 영상 정보와는 전혀 다른 특성을 가지고 있다. 적외선 영상의 특성이 일반 가시영상에서와 같이 광자(photon)의 세기를 말하는 것이 아니기 때문에, 즉 인간의 눈이 인식하는 방식과 다르기 때문에 기존 가시광 영상을 기본으로 하는 이미지 처리 알고리즘(Image Processing Algorithm)이 적외선 영상에서 제대로 동작하지 않는다. 따라서 본 출원인은 상술한 바와 같이 기존에 알려져 있는 가시광 영상 결합 알고리즘에 의해 획득되는 결합 정보를 가지고 적외선 영상을 결합하는 방식 을 도출한 것이다.

화면 출력부(400)는 가시광 영상 결합부(200) 및 적외선 영상 결합부(300)로부터 출력된 가시광 영상 및 적외선 영상을 화면 표시 방식에 맞게 처리하여 디스플레이 장치로 출력한다. 일 실시예에 있어서, 화면 출력부(400)는 가시광 영상을 가시광 영상 디스플레이부(500)로 출력하고, 적외선 영상을 적외선 영상 디스플레이부(600)로 출력한다. 따라서 가시광 영상 디스플레이부(500) 및 적외선 영상 디스플레이부(600)는 동일한 영역에 대해 동일하게 가시광 영상과 적외선 영상을 디스플레이하게 된다.

이에 따라 두 개의 디스플레이 화면을 통해 가시광 영상으로는 감시가 불가능한 대상에 대해서도 적외선 영상을 통해 감시가 가능하다. 또한 통상 적외선 영상은 온도에 따라 서로 다른 색상이 매핑되어 디스플레이되는데, 감시되는 대상의 색상만으로는 그 대상을 파악하기 어려우나 본 발명에 따라 가시광 영상을 통해 확인이 가능하게 된다.

도 3은 본 발명에 따른 또다른 실시간 복합 영상 출력 장치의 블록도이다. 도 2와 동일 도면 부호를 가진 기술구성은 도 2를 참조로 한 설명과 동일하므로, 중복 설명은 생략한다. 도 3에 도시된 바와 같이, 화면 출력부(400)는 영상 합성부(410)를 포함한다. 영상 합성부(410)는 가시광 영상 결합부(200) 및 적외선 영상 결합부(300)에서 출력된 가시광 영상과 적외선 영상을 합성한다. 일 실시예에 있어서, 디스플레이 장치가 단일로 구비되거나 하나의 화면으로 영상을 디스플레이하고자 하는 경우에, 영상 합성부(410)는 가시광 영상과 적외선 영상을 합성하여 디스플레이부(700)로 출력한다. 일 실시예에 있어서, 가시광 영상 위에 핫 스팟 영역의 적외선 영상을 오버레이(overlay) 처리하며, 바람직하게 투명도 설정을 가능하게 한다. 또한 경우에 따라서 원하는 합성 영역(Region of Interest)을 지정하여 지정된 영역에 대해서만 합성이 이루어지도록 할 수도 있다. 이 같이 가시광 영상에 적외선 영상을 합성함에 의해 가시광 영상만으로는 감시가 어려운 상황 혹은 대상에 대해서도, 보다 넓은 영역을 저가의 복합 영상 장치를 이용하여 용이하게 감시할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 화학 플랜트의 열화상 예시도.

도 2는 본 발명에 따른 실시간 복합 영상 출력 장치의 블록도.

도 3은 본 발명에 따른 또다른 실시간 복합 영상 출력 장치의 블록도.

도 4는 복합 카메라별 촬상 영역의 중첩 부분 예시도.

도 5는 가시광 영상의 결합 예시도.

<도면의 주요 부분에 대한 부호의 설명>

100 : 복합 카메라 110 : 가시광 카메라

120 : 적외선 카메라 200 : 가시광 영상 결합부

300 : 적외선 영상 결합부 400 : 화면 출력부

410 : 영상 합성부

Claims

가시광 영상을 촬상하는 가시광 카메라 및 상기 가시광 카메라와 동일 영역의 적외선 영상을 촬상하는 적외선 카메라를 포함하는 다수의 복합 카메라들;

상기 가시광 카메라들로부터 입력되는 영상을 결합하는 가시광 영상 결합부;

상기 가시광 영상 결합부의 결합 정보를 기초로 상기 적외선 카메라들로부터 입력되는 영상을 결합하는 적외선 영상 결합부; 및

상기 가시광 영상 결합부 및 상기 적외선 영상 결합부에 의해 결합된 가시광 영상 및 적외선 영상을 화면 출력하는 화면 출력부;

를 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
제1항에 있어서,

상기 가시광 영상 결합부는, 가시광 영상들의 이음을 위한 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 가시광 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
제2항에 있어서,

상기 적외선 영상이 상기 가시광 영상보다 저해상도이며,

상기 적외선 영상 결합부는, 상기 픽셀 위치값들의 추렴(decimation) 처리에 의해 적외선 영상의 픽셀 위치값을 산출하고, 산출된 픽셀 위치값을 가지고 적외선 영상들을 결합하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 화면 출력부로부터 출력되는 가시광 영상을 디스플레이하는 가시광 디스플레이부; 및

상기 화면 출력부로부터 출력되는 적외선 영상을 디스플레이하는 적외선 디스플레이부;

를 더 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 화면 출력부는 :

상기 가시광 영상 결합부 및 상기 적외선 영상 결합부로부터 출력된 가시광 영상과 적외선 영상을 합성하여 출력하는 영상 합성부;

를 포함하는 것을 특징으로 하는 실시간 복합 영상 출력 장치.