KR102200299B1 - 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 - Google Patents

Abstract

3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 방법이 제공된다.
상기 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부와, 각 센서마다 정의된 내부 기하 및 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부와, 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부를 포함한다.

Description

3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법{A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof}

본 발명은 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 자동차 도로, 자전거 도로, 도보로, 하천 주위의 도로 등의 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공하는 시스템 등에 관한 것이다.

자동차 도로, 자전거 도로, 도보로, 하천 주변 도로 등의 도로 시설물은 지역별로 관리하고 있으므로, 많은 인력 및 조직이 필요하나, 재원이 충분치 않아 도로 시설물의 관리에 지속적으로 한계가 있다. 이를 극복하기 위해, 보수 부분이 있는지에 대한 현장 실태 조사에 소요되는 비용과 인력이 최소화할 기술이 요구되어지고 있다.

이러한 기술로 지상 또는 공중 이동식 플랫폼에 탑재된 영상 센서를 이용한 도로 시설물의 촬영 등이 활용되어지고 있다.

구체적으로, 다중 카메라 센서를 탑재하여 파노라마 영상으로 도로 시설물의 현황을 제공하는 경우에, 고가도로와 지면과 이격된 시설물은 지면에 위치된 시설물과 중첩되면, 영상에서 동일한 2차원 위치 데이터는 중첩된 시설물들의 다양한 정보들을 확인할 수 없으며, 영상은 2차원 좌표의 위치 데이터만을 보유하고 있으므로, 양 시설물 간의 높이 차이 등으로 인한 다양한 분석이 불가능하다. 또한, 영상 데이터가 더 많은 시설물을 포함하도록 큰 화각을 가진 광역 영상 센서를 사용하는 경우에, 영상 데이터가 3D-VR, 예컨대 헤드 마운트 디스플레이 또는 헤드업 디스플레이 등에 구현가능한 파노라마 영상으로 생성되나, 파노라마 영상은 평면 영상에 비해 왜곡되어 있으므로(도 6(b) 참조), 객체 정보를 추출하는데 용이하지 않다.

이에 더하여, 영상 센서가 탑재된 이동형 플랫폼이 드론인 경우에, 고층 빌딩 및 도로 시설물 등이 집중된 도심에서 비행 고도의 제한으로 인해 활용성이 저하된다. 아울러, 드론에 의한 쵤영인 경우, 교량, 빌딩, 지면과 이격된 시설물 등으로 인해 지면 시설물의 현황을 촬영하지 못하는 폐색 지역이 존재하여, 도로 시설물을 전부 촬영하지 못한다.

한편, 도로 시설물의 현황 및 보수 부분을 확인하기 위한 기술로 이종 센서들이 탑재된 모바일 맵핑 시스템(Mobile Mapping System)이 활용되기도 한다.

모바일 맵핑 시스템은 각각의 고유의 좌표 체계의 항법 센서, 영상 센서, 레이저 센서 등이 조합된 통합 센서 시스템이며, 각각의 좌표 시스템들을 하나의 데이터로 통합시키는 지오레퍼런싱 (Geo-referencing) 및 캘리브레이션 (calibration) 작업을 통해 3차원 공간정보가 포함된 점군 데이터(Point cloud)를 생성한다.

종래에는 3차원 점군 데이터를 기반으로 도화 및 모델링 과정을 통해 벡터 또는 모델 형태의 수치지도, 도로정밀지도, 3차원 모델들을 생성한다.

이는 3차원 좌표를 mm 수준의 정확도로 기록할 수 있는 레이저 센서를 통해 3차원 형상 정보를 기록하여 표현하며, 항법 센서와의 결합을 통해 레이저 센서 데이터들을 지오레퍼런싱하여 공간 좌표들을 부여한다.

여기서 영상 정보는 레이저 센서로부터 취득한 각 점군 데이터에 색상을 입히는 용도로 활용된다.

그러나, 영상의 경우에는 각 픽셀 마다 스케일(scale) 값이 상이하여 영상으로부터는 3차원 위치 데이터과 내부, 외부 기하 등의 기하 구조 정보 등과 같은 정확한 3차원 공간 정보를 획득할 수 없다. 모바일 맵핑 시스템에서의 영상 데이터의 활용은 개략적인 사물의 길이, 위치, 면적 등의 수치를 역산출하는 수준으로만 사용된다.

그리고 영상의 경우에는 영상 픽셀에 3차원 공간 정보를 등록시키기 위해서는 영상 센서의 정확한 위치 및 자세값을 알고 있어야 하지만, 항법 센서와 영상 센서의 중심 간의 불일치로 인해 이격이 발생하게 된다.

이를 해결하기 위한 방안으로 항법 센서, 영상 센서 및 레이저 센서 간의 이격거리를 최소화하거나 영상 센서와 레이저 센서의 시야각을 일치 또는 중첩해야 하는 한계점이 있다.

반면, 객체를 인식하기 위한 인공지능 및 기계학습 알고리즘들은 대부분 평면 영상 데이터에 적용하도록 개발되어 있는 경우가 많아 왜곡 영상으로 생성된 파노라마 영상을 위한 알고리즘들은 실질적으로 전무한 실정이다,

따라서 효과적인 모바일 맵핑 시스템 활용을 위해서는 영상 기반의 대부분 인공지능 및 기계학습 알고리즘들을 모바일 맵핑 시스템에 적용하기 위한 새로운 기술의 개발이 요구되고 있다.

한국등록특허공보 제10-1954963호(2019.03.07.) 한국공개특허공보 제10-2017-0037197호(2017.04.04.) 한국공개특허공보 제10-2019-0003884호(2019.01.10.)

본 발명이 이루고자 하는 기술적 과제는 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공하는 시스템을 제공하는데 있다.

본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부와, 각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부와, 상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부를 포함한다.

다른 실시예에서, 상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함할 수 있다.

또 다른 실시예에서, 상기 객체 검출 인식부는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며, 상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여,대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.

여기서, 상기 데이터베이스부는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장할 수 있다.

또 다른 실시예에서, 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 소정 데이터를 편집가능한 조작/표시부를 더 포함하고, 상기 조작/표시부는 사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하고, 상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 상기 조작/표시부를 제어하는 관심 지역 화면 생성부를 더 포함할 수 있다.

여기서, 상기 영상 데이터 가공부, 상기 객체 검출 인식부 및 상기 데이터베이스부는 고부담 처리 모듈에서 구현되며, 상기 조작/표시부는 상기 고부담 처리 모듈보다 낮은 연산처리능력을 갖는 저부담 처리 모듈에서 구현될 수 있다.

또 다른 실시예에서, 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득하여, 상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 갱신부를 더 포함할 수 있다.

여기서, 상기 영상 센서가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 상기 광역 영상 센서의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 상기 파노라마 영상의 왜곡을 제거하는 왜곡 제거부를 더 포함하고, 상기 왜곡 제거부는 상기 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부와, 상기 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부를 구비하며, 상기 왜곡 제거부는 상기 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 상기 인덱스 기반 왜곡 제거부와 상기 기하 모델 기반 왜곡 제거부 중 어느 하나로 영상 왜곡 제거를 수행할 수 있다.

또한, 상기 인덱스 기반 왜곡 제거부는, 상기 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여하는 픽셀 인덱스 부여부와, 상기 인덱스가 부여된 상기 왜곡 영상 데이터를 기 설정된 구간으로 분해하는 구간 분해부와, 상기 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 상기 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함할 수 있다.

이에 더하여, 상기 기하 모델 기반 왜곡 제거부는 상기 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부와, 가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함할 수 있다.

또 다른 실시예에서, 상기 3차원 공간 정보에 속한 상기 3차원 위치 데이터와 상기 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공하는 시설물 정보 입수부를 더 포함하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련된 상기 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 상기 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 상기 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 상기 도면 데이터와 상기 3D 모델을 디지털화함으로써 도면 정보를 생성하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성하고, 상기 도로 기본 정보, 상기 도면 정보 및 상기 도로 현황/유지 정보를 상기 도로 시설물과 연관하여 상기 데이터베이스부에 저장할 수 있다.

상기 기술적 과제를 이루기 위한 본 발명의 다른 양태에 따르면, 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 단계와, 각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 단계와, 상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 단계와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 단계, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공할 수 있다.

또한, 영상 센서 중심으로 시스템의 기하를 정의하여 정확도를 향상시키고 처리시간을 단축시킨다.

본 발명에 의하면, 영상 기반의 기계학습 및 인공지능 알고리즘이 시스템에 적용 가능하여 도화 및 모델링 작업시간을 단축시키고 정확도를 향상시킨다.

이에 더하여, 레이저가 이용되는 라이다(Light Detection and Ranging; LiDAR)와 같은 3차원 측량 센서와 영상 센서 간 시야각이 일치하지 않는 경우에, 항법 센서의 데이터와 각 센서 관측에 따른 시간 정보를 사용하여 영상 픽셀에 3차원 공간 정보를 부여할 수 있다.

아울러, 각 센서와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킨다.

도 1은 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 관한 구성도이다.
도 2는 지상 이동형 플랫폼 및 이에 탑재된 센서들을 예시한 도면이다.
도 3은 왜곡 제거부의 구성도이다.
도 4는 객체 검출 인식부의 구성도이다.
도 5는 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 관한 순서도이다.
도 6은 기하 구조 정보를 생성하기 위한 기하 모델의 개념을 나타내는 도면이다.
도 7은 광역 영상 센서로부터 촬영된 영상 데이터로서 왜곡된 파노라마 영상을 나타내는 도면이다.
도 8은 인덱스 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다.
도 9는 기하 모델 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다.
도 10 및 도 11은 인덱스 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다.
도 12는 기하 모델 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다.
도 13은 왜곡 제거부에서 왜곡이 제거된 영상 데이터를 예시한 도면이다.
도 14는 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 생성된 공간 정보용 영상 데이터를 예시한 도면이다.
도 15는 사용자가 조작/표시부에 제공된 영상에 있어서 특정의 도로 시설물을 지정한 경우, 도로 시설물의 위치 데이터 및 객체 정보의 일부를 조작/표시부에 출력한 화면을 예시한 도면이다.
도 16은 객체 검출 인식부에서 공간 정보용 영상 데이터에 근거하여 도로 시설물의 보수 부분을 기계 학습에 의해 검출, 인식하여 객체 정보로 판독하고, 데이터베이스부에서 3차원 보수 구간 위치 데이터가 저장된 것을 예시한 도면이다.
도 17은 객체 정보가 포함된 공간 정보용 영상 데이터가 조작/표시부에 제공되는 경우에 제공하는 정보들을 예시한 도면이다.
도 18은 본 발명의 실시예에 따라 갱신부에서 공간 정보용 영상 데이터와 상이한 객체 정보를 포함하는 외부 데이터가 획득되는 경우의 공간 정보용 영상 데이터를 갱신하는 과정을 나타낸 순서도이다.

이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, "부" 내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터 프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터 프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터ㅇ프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1모듈을 1프로그램으로 구성해도 되고, 복수 모듈을 1프로그램으로 구성해도 되고, 반대로 1모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.

또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.

또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.

이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 관한 구성도이다. 도 2는 지상 이동형 플랫폼 및 이에 탑재된 센서들을 예시한 도면이며, 도 3은 왜곡 제거부의 구성도이고, 도 4는 객체 검출 인식부의 구성도이다.

3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템100)은 지상 및/또는 공중 이동체와 같은 플랫폼에 이종 센서들이 탑재되며, 센서들로부터의 데이터를 처리, 분석하여 도로 시설물의 현황 및 보수 부분을 인식하고 분석하는 모바일 맵핑 시스템일 수 있다. 도로 시설물은 자동차 도로, 자전거 도로, 도보로, 하천 주위의 도로 등의 시설물일 수 있으나, 지상에 설치된 다양한 형태의 시설물을 제외하지 않는다.

시스템(100)은 도 1에서와 같이, 영상 센서(102), 3차원 측량 센서(104), 항법 센서(106)를 포함하는 센서 데이터 수집부, 데이터 융합부(108), 왜곡 제거부(110), 영상 데이터 가공부(112), 객체 검출 인식부(114), 데이터베이스부(116), 조작/표시부(118), 관심 지역 화면 생성부(120), 갱신부(122) 및 시설물 정보 입수부(123)를 포함할 수 있다.

영상 센서(102)는 이동 중인 지상 또는 공중 이동형 플랫폼에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상용 관측 데이터 및 관측 데이터가 취득된 당시의 영상용 시간 정보를 취득하는 센서이며, 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서, 측량용 또는 비측량용 카메라, 스테레오 카메라일 있으며, 이에 제한되지 않는다. 광역 영상 센서는 3D-VR, 예컨대 헤드 마운트 디스플레이 또는 헤드업 디스플레이 등에 구현가능한 파노라마 영상을 생성하며, 예컨대 어안 렌즈를 구비하여 어안 렌즈 영상을 생성하는 카메라 또는 다수개의 카메라를 용한 다중 카메라에 의해 전방위 영상을 출력하는 다중 카메라 시스템 등일 수 있다.

3차원 측량 센서(104)는 플랫폼에 탑재되어 그 주위의 대상물과 관련된 3차원 지리 데이터, 예컨대 지형, 지물 관련 데이터를 획득하여 3차원 측량용 관측 데이터 및 관측 데이터가 취득된 당시의 3차원 측량용 시간 정보를 취득하는 센서로서, 능동형 원격 탐사용 센서이다. 예를 들어, 3차원 측량 센서(104)는 레이저 또는 초음파 센서 등일 수 있으며, 레이저 센서의 경우, 라이다 센서일 수 있다. 이러한 라이다 센서는 데이터를 취득하고자 하는 대상물에 레이저를 주사하며 대상물로부터 반사되어 복귀하는 전자파의 시차와 에너지 변화를 감지하여 대상물에 대한 거리와 반사 강도를 산출한다.

항법 센서(106)는 측위 정보, 플랫폼의 위치, 자세 및 속도 등의 항법 정보를 검출하여 항법용 관측 데이터 및 관측 데이터가 취득된 당시의 시간 정보를 취득하는 센서로서, 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치와 관성 측정 장치(Inertial Measurement Unit; IMU), 관성 항법 장치(Inertial Navigation System; INS)를 통해 차량의 자세를 취득하는 자세 취득 장치 등으로 구성될 수 있다.

각 센서는 동일 플랫폼에 탑재될 수 있으나, 지상 이동형 플랫폼과 위성, 항공, 드론 등과 같은 공중 플랫폼에 분산되어 탑재될 수도 있다. 지상 이동형 플랫폼(10)은 자동차, 자전거, 이륜차, 도보시의 별도로 구성된 장비 등일 수 있으며, 영상 센서(102), 라이다 센서로 구성된 3차원 측량 센서(104) 및 항법 센서(106)는 도 2와 같이 지상 이동형 플랫폼(10)에 탑재될 수도 있다.

각 센서(102~106)를 구비한 센서 데이터 수집부는 각 센서(102~106)로부터 획득한 관측 데이터 및 시간 정보와 함께, 각 센서(102~106)마다 장치 고유 속성과 관련된 고유 데이터, 각 센서(102~106) 혹은 플랫폼에서의 관측 데이터 취득시에 나타난 날씨, 풍속, 센서(102~106) 또는 플랫폼이 위치된 기온, 습도를 포함하는 취득 환경 정보를 수집할 수 있다.

영상 센서(102)의 고유 데이터는 센서의 조도, ISO, 셔터속도, 촬영날짜/시간, 시간 동기화정보, 센서 모델, 렌즈 모델, 센서 시리얼번호, 영상파일 이름, 파일 저장 위치 중 적어도 어느 하나를 포함할 수 있다.

3차원 측량 센서(104)의 고유 데이터는 라이다 정보를 예로 들면, 센서의 촬영날짜와 시간, 센서모델, 센서 시리얼 번호, 레이저파장, 레이저강도, 레이저송수신 시간, 레이저 관측 각/거리, 레이저 펄스, 전자적 시간지연, 대기 지연, 센서 온도 중 적어도 하나를 포함할 수 있다.

항법 센서(106)의 고유 데이터는 GNSS/IMU/INS의 센서 모델 정보, GNSS 수신정보, GNSS 위성 정보, GNSS 신호 정보, GNSS 네비게이션 정보, GNSS 신호의 전리층/대류층 신호지연 정보, DOP 정보, 지구 거동정보, 이중/다중 GNSS 장비 정보, GNSS Base Station 정보, Wheel 센서정보, 자이로 센서 Scale/Bias 정보, 가속도계 Scale/Bias 정보, 위치/자세/ 속도/가속도/각속도/각가속도 정보 및 예상오차량, 항법정보 필터링 모델 및 소거 오차 정보, 촬영날짜/시간, 시간동기화 정보 전부 또는 일부 중 적어도 하나를 포함할 수 있다.

데이터 융합부(108)는 관측 데이터, 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 센서들(102~106) 중 적어도 하나가 탑재된 플랫폼(10)의 위치와 자세에 따른 각 센서(102~106) 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행한다.

데이터 융합부(108)는 관측 데이터, 기하 구조 정보 및 시간 정보 등에 근거하여 3차원 측량 센서(104)와 관련된 점군 데이터 관련 정보를 생성하고, 영상 센서(102)의 데이터로부터 생성되어 지오코딩(geocoding) 영상 정보를 포함하는 영상 데이터를 생성할 수 있다. 본 실시예에서는 점군 데이터 관련 정보 및 지오코딩 영상 정보가 데이터 융합부(108)에서 생성되는 것을 예로 들고 있으나, 영상 데이터 가공부(112)에서 생성될 수도 있다.

구체적으로, 데이터 융합부(108)는 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 내부 기하를 산출하며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다.

내부 기하는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 각 센서(102~106)마다의 관측 데이터의 오차이다.

영상 센서 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 적어도 어느 하나일 수 있다.

3차원 측량 센서 기하 파라미터는 라이다 센서를 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 어느 하나일 수 있다.

또한, 항법 센서의 기하 파라미터는 축방향의 스케일 및 축방향의 오프셋 중 적어도 어느 하나일 수 있다.

외부 기하는 이동 중인 플랫폼의 위치와 자세, 즉 각 센서(102~106)의 위치와 자세로 인해, 각 센서(102~106)의 관측 데이터를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다.

점군 데이터 관련 정보는 3차원 위치 데이터, 점군용 색상 정보, 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함할 수 있다.

영상 데이터는 RGB 영상 또는 흑백 영상 데이터일 수 있으며, 영상 데이터에 포함된 지오코딩 영상 정보는 각 픽셀마다의 지오코딩용 좌표 데이터, 지오코딩용 색상 정보 및 지오코딩용 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 지오코딩용 클래스 정보 중 적어도 어느 하나를 포함할 수 있다.

한편, 왜곡 제거부(110)는 영상 센서(102)가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 광역 영상 센서(102)의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 파노라마 영상의 왜곡(도 6(b) 참조)을 제거할 수 있다.

왜곡 제거부(110)는 구체적으로, 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부(110)와, 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부(110)를 구비할 수 있다.

왜곡 제거부(110)는 광역 영상 센서의 종류, 왜곡 제거의 양호도, 사용자의 선택 및 그 외 옵션 중 적어도 어느 하나에 따라. 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110) 중 어느 하나로 영상 왜곡 제거를 수행할 수 있다.

예를 들어, 광역 영상 센서가 어안 렌즈를 구비한 카메라인 경우에, 광역 영상 센서의 종류 등에 기초하여, 영상 데이터가 인덱스 기반 왜곡 제거부(110)에 입력되어 영상 왜곡의 제거를 수행할 수 있다.

또한, 광역 영상 센서가 전방위 영상을 출력하는 다중 카메라 시스템일 경우에, 왜곡 제거의 양호도 및 사용자의 선택 등에 따라, 영상 데이터가 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110) 중 어느 하나로 입력되어 영상 왜곡의 제거를 수행할 수 있다.

인덱스 기반 왜곡 제거부(110)는 어안 렌즈용 영상 데이터가 입력되는 경우의 영상 왜곡을 제거하기 위해, 픽셀 인덱스 부여부(128), 구간 분해부(130) 및 평면 영상 생성부(122)를 포함할 수 있다. 또한, 인덱스 기반 왜곡 제거부(110)는 전방위 영상 데이터가 입력되는 경우의 영상 왜곡을 제거하기 위해, 상술한 부재 외에도 구간 재분해부(134)를 더 포함할 수 있다.

픽셀 인덱스 부여부(128)는 도 10에서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여할 수 있다.

구간 분해부(130)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해할 수 있다.

평면 영상 생성부(122)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성할 수 있다. 왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다.

구간 재분해부(134)는 전방위 영상 데이터의 경우에 사용되는 부재로서, 도 11의 3번째 단계에서와 같이, 구간 분해부(130)에 의해 분해된 전방위 영상을 기 설정된 구간으로 재분해할 수 있다. 이 경우에, 평면 영상 생성부(122)는 구간 재분해부(134)에 의해 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거할 수 있다.

기하 모델 기반 왜곡 제거부(110)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부(136) 및 가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부(138)를 포함할 수 있다.

본 발명에 따른 어안 렌즈용 영상 및 전방위 영상의 왜곡 제거를 위한 왜곡 제거부(110)는 기계 학습에 적용하기 위한 영상 데이터 세트를 만들기 위한 렌즈 왜곡 제거에 관한 것이다.

물리적 렌즈 구조에 따른 왜곡 제거는 각 센서의 기하모델 또는 인덱스를 바탕으로 이루어지고, 영상 투영각에 따라 변화하는 투영 왜곡들을 평면 영상과 유사한 기하적 특성을 지니도록 변환하여 평면 영상에 적용되는 기계학습 모델을 그대로 활용 가능해지도록 한다.

기하모델 기반의 영상 왜곡 제거 방식은 왜곡이 존재하는 영상으로부터 가상의 3차원 물체를 복원하고 이를 가상의 평면 카메라에 재투영하는 방식으로 이루어지고, 인덱스 기반의 영상 왜곡제거 방식은 원본 왜곡영상과 가상의 평면영상의 상호관계를 각 픽셀에 인덱스를 부여하여 해결하는 방식이다.

인덱스 기반의 방식의 경우에는 다수 영상을 처리할 때 기하모델 기반의 방식에 비해 처리 시간에 효율성이 있다.

본 실시예에서는 시스템(100)이 왜곡 제거부(110)가 포함된 것을 예로 들어 설명하나, 다른 실시예로 시스템(100)이 왜곡 제거부(110)를 구비하지 않고, 영상 데이터가 영상 데이터 가공부(112)로 직접 입력되며, 왜곡이 제거되지 않은 파노라마 영상이 조작/표시부(118)에 제공될 수 있다.

한편, 영상 데이터 가공부(112)는 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 기하 구조 정보 및 시간 정보를 참조하여, 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성한다.

3차원 공간 정보는 지오코딩용 좌표 데이터에서 2차원 위치 데이터만 포함하는 영상 데이터를 보완하기 위해 3차원 위치 데이터 뿐만 아니라 점군 데이터 관련 정보를 구성하는 상술의 다양한 데이터 등을 포함할 수 있다. 공간 정보용 영상 데이터는 각 픽셀마다 지오코딩용 영상 정보와 3차원 공간 정보를 결합하여 구성될 수 있다.

인덱스는 항법 데이터를 참조하여 점군 데이터 관련 정보와 영상 데이터를 절대 좌표화하여, 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여될 수 있다. 다른 실시예에서는, 인덱스는 3차원 측량 센서(104)의 좌표계(S) 및 영상 센서용 좌표계(C), 데이터의 클래스, 객체 형상 등을 참조하여, 점군 데이터 관련 정보 및 영상 데이터를 매칭하고, 이들 간에 가상의 절대 좌표계를 설정하여 절대 좌표계에 따라 픽셀과 3차원 위치 데이터 간의 대응 관계를 정의하도록 부여될 수 있다.

이에 의하면, 각 센서와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킨다.

영상 센서(102)와 3차원 측량 센서(104)의 시야각이 일치하지 않거나, 3차원 측량 센서(104)의 시야각이 영상 센서(102)의 화각 범위를 충분히 커버하지 못한 경우에, 영상 데이터 가공부(112)는 항법 데이터와 각 센서(102~106)의 시간 정보를 사용하여 영상 데이터의 픽셀 단위로 3차원 공간 정보를 등록할 수 있다.

영상 데이터의 픽셀에 3차원 공간 정보를 부여하기 위한 모델은 수학식 1와 같이 정의될 수 있으며, 일부 수식 및 변수는 계산시 변형되거나 생략될 수 있다.

(수학식 1)

각 영상 센서(102), 3차원 측량 센서(104), 항법 센서(106), 시스템 모델에 포함된 변수들은 지도 수치 또는 캘리브레이션 과정에 의해 결정되어 3차원 공간 정보 및 데이터 융합 정확도와 정밀도를 결정한다.

여기서, RGB 영상 또는 흑백 영상의 형태로 영상 데이터가 표시될 때에, 영상에 각 픽셀에 3차원 공간정보를 부여하거나 각 픽셀에 시간, 인덱스, 항법 데이터를 부여할 수 있다. 이를 위해, 영상 데이터 가공부(112)는 각 픽셀마다 지오코딩용 영상 정보, 3차원 공간 정보, 시간 정보, 인덱스, 항법 데이터 전체를 연계할 수 있다.

이에 의해, 영상 데이터의 편집시에 RGB 영상 또는 흑백 영상을 기준으로 편집하고, 3차원 위치 데이터와 정확하게 상응하는 각 픽셀마다 오류없이 등록된 3차원 공간 정보를 이용하여 3차원 도화 또는 모델링을 수행할 수 있다.

한편, 객체 검출 인식부(114)는 공간 정보용 영상 데이터에 근거하여 도로 시설물및 시설물의 보수 부분과 관련된 객체 정보를 기계 학습을 통해 검출하고 인식할 수 있다. 객체 검출 인식부(114)는 도로 시설물의 객체 정보를 검출 인식하는 시설물 인식부(140)와 도로 시설물의 객체 정보와 해당 시설물의 공간 정보용 영상 데이터를 참조하여 시설물의 보수 부분을 검출 인식하는 보수 부분 인식부(142)를 구비할 수 있다.

객체 정보는 도로 시설물 및 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.

시설물 인식부(140) 및 보수 부분 인식부(142)는 공간 정보용 영상 데이터로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다.

객체 검출 인식부(114)는 머신 러닝 기법 이전에, 공간 정보용 영상 데이터에서의 객체 검출 및 인식의 정확도를 향상시키는 전처리를 수행할 수 있다. 공간 정보용 영상 센서 데이터에 대한 전처리는 예를 들어, 영상 밝기값 조정, 영상 색상 조정, 영상 흐림도 조정(blurring), 영상 선명도 조정(sharpness), 영상 질감도 분석에 따른 조정, 및 관측 기하 특성 차이로 인한 영상 센서 데이터의 이동, 회전 및/또는 스케일(scale) 변환(2차원 변환 데이터로서 Rigid-body, Affine, Similartiy 중 하나 이상을 변환) 중 적어도 어느 하나로 수행될 수도 있다.

데이터베이스부(116)는 공간 정보용 영상 데이터, 도로 시설물 및 보수 부분의 객체 정보를 연계하여 저장한다. 또한, 데이터베이스부(116)는 객체 정보와 연계된 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 도 16의 좌측 도면과 같이 저장할 수 있다.

사용자는 데이터베이스부(116)에 접근하여 3차원 공간 정보를 편집하거나, 도화 및 모델링을 위해 3차원 공간 정보를 활용할 수 있다.

시설물 정보 입수부(123)는 3차원 공간 정보에 속한 3차원 위치 데이터와 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공할 수 있다.

구체적으로, 시설물 정보 입수부(123)는 도로 시설물과 관련된 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성할 수 있다. 도로선형정보는 예를 들면, 시설물 구조 정보로서의 도로 포장, 지반 상황 등과 부속물로서의 중앙분리대, 표지, 도로 측방에 위치한 도랑형태의 측구 등과 관련된 정보일 수 있다.

시설물 정보 입수부(123)는 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 도면 데이터와 3D 모델을 디지털화함으로써 도면 정보를 생성할 수 있다. 3D 모델은 도로 시설물의 구성품과 관련된 렌더링 이미지와 개략 물량 등일 수 있다.

시설물 정보 입수부(123)는 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성할 수 있다. 현황/유지 문서 및 데이터 시트는 도로 시설물의 유지관리 내역, 도로 대장 및 도로현황 조서를 이용한 통계 정보 등을 포함할 수 있다.

도로 기본 정보, 도면 정보 및 도로 현황/유지 정보는 도로 시설물과 연관하여 데이터베이스부(116)에 저장되고, 데이터베이스부(116)는 외부 요청에 따라 요구 단말로 상술한 정보를 전송할 수 있다.

한편, 조작/표시부(118)는 객체 정보와 연계된 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 사용자 요청에 의한 소정 데이터를 편집할 수 있다. 조작/표시부(118)는 도 15 및 도 17에서와 같이, 사용자가 화면에 표시된 영상 중 특정의 도로 시설물 혹은 보수 부분의 적어도 일부를 지정한 경우에, 특정의 도로 시설물과 보수 부분의 3차원 위치 데이터 및 객체 정보 중 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 3차원 위치 데이터 및 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 행하도록 제어할 수 있다.

조작/표시부(118)에 표현된 영상 데이터는 영상 픽셀에 3차원 공간정보가 포함된 RGB 영상 또는 흑백 영상들로 화면 상에 표시되고 사용자 또는 컴퓨팅 디바이스는 RGB 영상 또는 흑백 영상을 인식할 수 있도록 한다.

이에 더하여, 관심 지역 화면 생성부(120)는 도 15의 우측 및 하측 도면에서와 같이 사용자가 영상의 일부를 관심 지역(Point Of Interest)으로 선택한 경우에, 관심 지역을 확대 처리한 화면 형태로 표시하도록 조작/표시부(118)를 제어할 수 있다.

한편, 갱신부(122)는 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득하여, 외부 데이터로부터 위치 데이터 및 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 외부 데이터의 객체 정보와 상이할 경우, 공간 정보용 영상 데이터를 외부 데이터의 객체 정보로 갱신할 수 있다. 갱신된 객체 정보는 공간 정보용 영상 데이터와 연계되어 데이터베이스부(116)에 저장된다.

외부 데이터는 수치 지도 또는 도로 정밀 지도로서 본 시스템(100)이 아닌 외부 장치가 시스템(100)의 공간 정보용 영상 데이터와 동일한 위치로부터 획득한 데이터이다.

예를 들면, 공간 정보용 영상 데이터와 연계된 객체 정보에 속한 메타 데이터로서 도로 표지판의 속도 제한이 30km로 저장되어 있으나, 수치지도 또는 도로 정밀 지도 등의 외부 데이터의 메타 데이터로서 동일 위치에 있는 도로 표지판의 속도 제한이 40km로 기록되어 있는 외부 데이터가 획득된 경우에, 갱신부(122)는 공간 정보용 영상 데이터의 객체 정보를 40km로 변경한다.

도 1을 통해 설명한 왜곡 제거부(110), 영상 데이터 가공부(112), 객체 검출 인식부(114), 데이터베이스부(116), 갱신부(122) 및 시설물 정보 입수부(123)는 많은 데이터처리가 필요한 고부담 처리 모듈(H), 예컨대 서버측에서 이루어질 수 있다. 조작/표시부(118) 및 관심 지역 화면 생성부(120)는 상술한 부재보다 데이터처리 부담이 적은 저부담 처리 모듈(L), 예를 들면 클라우드 또는 클라이언트 측에서 구현될 수 있다. 본 실시예에서 데이터처리 부담에 따른 모듈을 구별하여 설명하였으나, 다른 실시예에서는 하나의 통합된 모듈에서 상술한 부재의 기능 전부가 구현될 수 있다.

이하, 도 1 내지 도 17을 참조하여, 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 대해 설명하기로 한다.

도 5는 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 관한 순서도이다.

먼저, 영상 센서(102), 3차원 측량 센서(104) 및 항법 센서(106)는 각각의 관측 데이터 및 취득 당시의 시간 정보를 취득하고, 데이터 융합부(108)는 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하를 획득한다(S505).

영상 센서(102), 3차원 측량 센서(104) 및 항법 센서(106)를 포함하는 센서 데이터 수집부는 각 센서(102~106) 마다의 고유 데이터를 추가로 획득할 수 있다. 내부 기하는 시스템(100)에 대한 설명에서 상세하게 기재하여 상세 설명은 생략하기로 한다.

다음으로, 데이터 융합부(108)는 관측 데이터, 내부 기하 및 센서들(102~106) 중 적어도 하나가 탑재된 플랫폼(10)의 위치와 자세에 따른 각 센서(102~106) 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 도 6에서와 같이, 기하 모델에 대한 데이터 융합을 수행한다(S510). 도 6은 기하 구조 정보를 생성하기 위한 기하 모델의 개념을 나타내는 도면이다.

데이터 융합부(108)는 관측 데이터, 기하 구조 정보 및 시간 정보 등에 근거하여 3차원 측량 센서(104)와 관련된 점군 데이터 관련 정보를 생성하고, 영상 센서(102)의 데이터로부터 생성되어 지오코딩 영상 정보를 포함하는 영상 데이터를 생성할 수 있다. 점군 데이터 관련 정보 및 지오코딩 영상 정보는 상술한 데이터를 포함할 수 있으며, 이에 대한 상세 설명은 생략하기로 한다.

이어서, 왜곡 제거부(110)는 영상 센서가 광역 영상 센서인지 여부를 판단한다(S515). 도 7(a)에서와 같이 측정 지점(원 형상의 점)마다 쵤영된 광역 영상 센서로부터의 영상 데이터는 도 7(b)에서와 같이 왜곡된 영상으로 생성된다. 도 7은 광역 영상 센서로부터 촬영된 영상 데이터로서 왜곡된 파노라마 영상을 나타내는 도면이다.

왜곡 제거부(110)는 추가적으로 광역 영상 센서의 종류, 왜곡 제거의 양호도, 사용자의 선택 및 그 외 옵션 중 적어도 어느 하나에 따라. 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110)를 선택할 수 있다.

계속해서 광역 영상 센서로부터 영상 데이터가 생성된 경우에, 왜곡 제거부(110)는 영상 데이터의 왜곡을 제거한다(S415). 왜곡 제거 과정은 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 선택된 인덱스 기반 왜곡 제거부(110) 또는 기하 모델 기반 왜곡 제거부(110)로 진행된다. 이하에서는 도 8 내지 도 13을 참조하여, 인덱스 기반 왜곡 제거부(110) 및 기하 모델 기반 왜곡 제거부(110)를 구별하여 왜곡 제거 과정을 상세히 설명한다.

도 8은 인덱스 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다. 도 9는 기하 모델 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다. 도 10 및 도 11은 인덱스 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다. 도 12는 기하 모델 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다. 도 13은 왜곡 제거부에서 왜곡이 제거된 영상 데이터를 예시한 도면이다.

먼저, 인덱스 기반 왜곡 제거부(110)에서의 영상 왜곡 제거 과정을 도 8, 도 10 및 도 11을 참조하여 설명하면, 어안 렌즈를 구비한 광역 영상 센서로 인해 왜곡된 어안 렌즈용 영상 데이터가 입력되는 경우에(S805), 픽셀 인덱스 부여부(128)는 도 10에서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여한다(S810).

다음으로, 구간 분해부(130)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해한다(S815).

이어서, 평면 영상 생성부(132)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성한다(S820).

왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다.

만약, 전방위 영상 데이터가 인덱스 기반 왜곡 제거부(110)에 입력되면, 픽셀 인덱스 부여부(128) 및 구간 분해부(130)에서 처리되며, 처리 과정은 도 11의 2번째 단계까지 진행된다.

다음으로, 구간 재분해부(134)는 도 11의 3번째 단계에서와 같이, 구간 분해부(130)에 의해 분해된 전방위 영상을 기 설정된 구간으로 재분해한다. 이어서, 평면 영상 생성부(132)는 구간 재분해부(134)에 의해 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거하여, 도 13의 우측 도면과 같이, 평면 영상 데이터를 생성한다.

한편, 기하 모델 기반 왜곡 제거부(110)에서의 영상 왜곡 제거 과정을 도 9, 도 12을 참조하여 설명하면, 전방위 영상을 생성하는 광역 영상 센서로 인해 왜곡된 전방위 영상 데이터가 입력되는 경우에(S905), 3차원 형상 복원부(136)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원한다(S910).

다음으로, 평면 영상 생성부(138)는 가상의 카메라 기하식을 정의하고 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성한다(S915).

다시 도 5를 재참조하면, 왜곡이 제거된 영상 혹은 왜곡이 없는 영상(S515의 N인 경우)은 영상 데이터 가공부(112)로 입력되며, 영상 데이터 가공부(112)는 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 기하 구조 정보 및 시간 정보를 참조하여, 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보(도 14의 좌측 도면)로부터 생성된 3차원 공간 정보(20)를 도 14에서와 같이, 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성한다(S525).

도 14는 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 생성된 공간 정보용 영상 데이터를 예시한 도면이다.

3차원 공간 정보는 지오코딩용 좌표 데이터에서 2차원 위치 데이터만 포함하는 영상 데이터를 보완하기 위해 3차원 위치 데이터 뿐만 아니라 점군 데이터 관련 정보를 구성하는 상술의 다양한 데이터 등을 포함할 수 있다. 공간 정보용 영상 데이터는 각 픽셀마다 지오코딩용 영상 정보와 3차원 공간 정보를 결합하여 구성될 수 있다.

인덱스의 생성은 상술하여 상세 설명은 생략하기로 한다.

영상 센서(102)와 3차원 측량 센서(104)의 시야각이 일치하지 않거나, 3차원 측량 센서(104)의 시야각이 영상 센서(102)의 화각 범위를 충분히 커버하지 못한 경우에, 영상 데이터 가공부(112)는 항법 데이터와 각 센서(102~106)의 시간 정보를 사용하여 영상 데이터의 픽셀 단위로 3차원 공간 정보를 등록할 수 있다.

영상 데이터의 픽셀에 3차원 공간 정보를 부여하기 위한 모델은 상술한 수학식 1와 같이 정의될 수 있으며, 일부 수식 및 변수는 계산시 변형되거나 생략될 수 있다.

RGB 영상 또는 흑백 영상의 형태로 영상 데이터가 표시될 때에, 영상에 각 픽셀에 3차원 공간 정보를 부여하거나 각 픽셀에 시간, 인덱스, 항법 데이터를 부여하도록, 영상 데이터 가공부(112)는 각 픽셀마다 지오코딩용 영상 정보, 3차원 공간 정보, 시간 정보, 인덱스, 항법 데이터를 전체 연계하여 데이터베이스부(116) 저장시킬 수 있다.

다음으로, 객체 검출 인식부(114)는 공간 정보용 영상 데이터에 근거하여 도로 시설물및 시설물의 보수 부분과 관련된 객체 정보를 기계 학습을 통해 검출하고 인식한다(S530). 도로 시설물 및 객체 정보는 시설물 인식부(140) 및 보수 부분 인식부(142)에서 도 15 및 도 16에서와 같이 생성된다. 객체 정보를 구성하는 복수의 속성 데이터 및 기계 학습 과정은 앞서 열거하여 상세 설명은 생략하기로 한다.

도 15는 사용자가 조작/표시부에 제공된 영상에 있어서 특정의 도로 시설물을 지정한 경우, 도로 시설물의 위치 데이터 및 객체 정보의 일부를 조작/표시부에 출력한 화면을 예시한 도면이고, 도 16은 객체 검출 인식부에서 공간 정보용 영상 데이터에 근거하여 도로 시설물의 보수 부분을 기계 학습에 의해 검출, 인식하여 객체 정보로 판독하고, 데이터베이스부에서 3차원 보수 구간 위치 데이터가 저장된 것을 예시한 도면이다.

객체 검출 인식부(114)는 기계 학습 이전에, 공간 정보용 영상 데이터에서의 객체 검출 및 인식의 정확도를 향상시키는 전처리를 수행할 수 있으며, 전처리의 기법은 상술하여 생략한다.

계속해서, 데이터베이스부(116)는 도로 시설물 및 보수 부분의 객체 정보가 추가된 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 도 16의 좌측 도면과 같이 저장한다(S535).

이와 동시에, 데이터베이스부(116)는 공간 정보용 영상 데이터, 도로 시설물 및 보수 부분의 객체 정보를 연계하여 저장한다.

다음으로, 조작/표시부(118)는 객체 정보와 연계된 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하며, 관심 지역 화면 생성부(120)는 도 15의 우측 및 하측 도면에서와 같이 사용자가 영상의 일부를 관심 지역으로 선택한 경우에, 조작/표시부(118)를 제어하여 관심 지역을 확대 처리한 화면 형태로 표시한다(S540).

조작/표시부(118)는 도 15 및 도 17에서와 같이, 사용자가 화면에 표시된 영상 중 특정의 도로 시설물 혹은 보수 부분의 적어도 일부를 지정한 경우에, 특정의 도로 시설물과 보수 부분의 3차원 위치 데이터 및 객체 정보 중 도로 시설물의 명칭을 적어도 표시한다.

도 17은 객체 정보가 포함된 공간 정보용 영상 데이터가 조작/표시부에 제공되는 경우에 제공하는 정보들을 예시한 도면이다.

본 실시예에 따르면, 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서(102) 중심으로 레이저 센서와 같은 3차원 측량 센서(104)와 항법 센서(106)를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공할 수 있다.

또한, 영상 센서(102) 중심으로 시스템(100)의 기하를 정의하여 정확도를 향상시키고 처리시간을 단축시킨다. 아울러, 영상 기반의 기계 학습이 시스템에 적용 가능하여 도화 및 모델링 작업시간을 단축시키고 정확도를 향상시킨다.

이에 더하여, 라이다 등의 3차원 측량 센서(104)와 영상 센서(102) 간 시야각이 일치하지 않는 경우에, 항법 센서(106)의 데이터와 각 센서 관측에 따른 시간 정보를 사용하여 영상 픽셀에 3차원 공간 정보를 부여할 수 있다.

아울러, 각 센서(102~106)와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킬 수 있다.

이하, 도 1 및 도 18을 참조하여, 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에서 공간 정보용 영상 데이터의 객체 정보를 갱신하는 과정에 대해 설명하기로 한다.

도 18은 본 발명의 실시예에 따라 갱신부에서 공간 정보용 영상 데이터와 상이한 객체 정보를 포함하는 외부 데이터가 획득되는 경우의 공간 정보용 영상 데이터를 갱신하는 과정을 나타낸 순서도이다.

이러한 상황을 예로 들면, 공간 정보용 영상 데이터와 연계된 객체 정보에 속한 메타 데이터로서 도로 표지판의 속도 제한이 30km으로 저장되어 있으나, 수치지도 또는 도로 정밀 지도 등의 외부 데이터의 메타 데이터로서 동일 위치에 있는 도로 표지판의 속도 제한이 40km로 기록되어 있는 외부 데이터가 획득되는 등일 수 있다.

먼저, 갱신부(122)는 S530 또는 S535 단계와 같이 객체 정보가 추가된 공간 정보용 영상 데이터가 생성한 후에. 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득한다(S1805).

다음으로, 갱신부(122)는 외부 데이터로부터 위치 데이터 및 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출한다(S1810)

이어서, 갱신부(122)는 동일한 위치로 기록된 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 외부 데이터의 객체 정보와 상이할 경우(S1815), 공간 정보용 영상 데이터를 외부 데이터의 객체 정보로 갱신한다(S1820). 갱신된 객체 정보는 공간 정보용 영상 데이터와 연계되어 데이터베이스부(116)에 저장된다.

이와는 달리, 갱신부(122)는 공간 정보용 영상 데이터와 외부 데이터가 동일한 경우에, 공간 정보용 영상 데이터의 객체 정보를 유지시킨다(S1825).

도 1, 도 3, 도 4에 도시된 시스템(100)을 구성하는 구성요소 또는 도 5, 도 8, 도 9 및 도 18에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.

또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

100: 시스템 102: 영상 센서
104: 3차원 측량 센서 106: 항법 센서
108: 데이터 융합부 110: 왜곡 제거부
112: 영상 데이터 가공부 114: 객체 검출 인식부
116: 데이터베이스부 120: 관심 지역 화면 생성부
118: 조작/표시부 122: 갱신부
123: 시설물 정보 입수부

Claims (17)

1. 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부;
   각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부;
   상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부;
   상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부;
   상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부;
   상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 소정 데이터를 편집가능한 조작/표시부; 및
   상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 상기 조작/표시부를 제어하는 관심 지역 화면 생성부를 포함하고,
   상기 조작/표시부는 사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하는 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템.
2. 제 1 항에 있어서,
   상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
3. 제 1 항에 있어서,
   상기 객체 검출 인식부는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며,
   상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
4. 제 3 항에 있어서,
   상기 데이터베이스부는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장하는 도로 시설물 관리 솔루션을 구현하는 시스템.
5. 삭제
6. 제 1 항에 있어서,
   상기 영상 데이터 가공부, 상기 객체 검출 인식부 및 상기 데이터베이스부는 고부담 처리 모듈에서 구현되며, 상기 조작/표시부는 상기 고부담 처리 모듈보다 낮은 연산처리능력을 갖는 저부담 처리 모듈에서 구현되는 도로 시설물 관리 솔루션을 구현하는 시스템.
7. 제 1 항에 있어서,
   복수의 속성 데이터를 갖는 객체 정보가 포함된 외부 데이터를 획득하여, 상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 갱신부를 더 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
8. 제 1 항에 있어서,
   상기 영상 센서가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 상기 광역 영상 센서의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 상기 파노라마 영상의 왜곡을 제거하는 왜곡 제거부를 더 포함하고,
   상기 왜곡 제거부는 상기 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부와, 상기 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부를 구비하며,
   상기 왜곡 제거부는 상기 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 상기 인덱스 기반 왜곡 제거부와 상기 기하 모델 기반 왜곡 제거부 중 어느 하나로 영상 왜곡 제거를 수행하는 도로 시설물 관리 솔루션을 구현하는 시스템.
9. 제 8 항에 있어서,
   상기 인덱스 기반 왜곡 제거부는,
   상기 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여하는 픽셀 인덱스 부여부와,
   상기 인덱스가 부여된 상기 왜곡 영상 데이터를 기 설정된 구간으로 분해하는 구간 분해부와,
   상기 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 상기 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
10. 제 8 항에 있어서,
    상기 기하 모델 기반 왜곡 제거부는 상기 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부와,
    가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
11. 제 1 항에 있어서,
    상기 3차원 공간 정보에 속한 상기 3차원 위치 데이터와 상기 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공하는 시설물 정보 입수부를 더 포함하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련된 상기 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 상기 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 상기 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 상기 도면 데이터와 상기 3D 모델을 디지털화함으로써 도면 정보를 생성하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성하고,
    상기 도로 기본 정보, 상기 도면 정보 및 상기 도로 현황/유지 정보를 상기 도로 시설물과 연관하여 상기 데이터베이스부에 저장하는 도로 시설물 관리 솔루션을 구현하는 시스템.
12. 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 단계;
    각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 단계;
    상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 단계;
    상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 단계;
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계;
    상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하거나 소정 데이터를 편집하는 단계; 및
    상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 제어하는 단계를 포함하고,
    사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하는 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법.
13. 제 12 항에 있어서,
    상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.
14. 제 12 항에 있어서,
    상기 객체 정보를 검출하고 인식하는 단계는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며,
    상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.
15. 제 14 항에 있어서,
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장하는 도로 시설물 관리 솔루션을 구현하는 방법.
16. 삭제
17. 제 12 항에 있어서,
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계 후에,
    복수의 속성 데이터를 갖는 객체 정보가 포함된 외부 데이터를 획득하는 단계;
    상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하는 단계;
    동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 단계를 더 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.

Images