[go: up one dir, main page]

KR101199959B1 - 영상 내 교통표지판 인식 시스템 - Google Patents

영상 내 교통표지판 인식 시스템 Download PDF

Info

Publication number
KR101199959B1
KR101199959B1 KR1020110091719A KR20110091719A KR101199959B1 KR 101199959 B1 KR101199959 B1 KR 101199959B1 KR 1020110091719 A KR1020110091719 A KR 1020110091719A KR 20110091719 A KR20110091719 A KR 20110091719A KR 101199959 B1 KR101199959 B1 KR 101199959B1
Authority
KR
South Korea
Prior art keywords
image
traffic sign
information
color
sign recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110091719A
Other languages
English (en)
Inventor
주영은
최준석
유강민
Original Assignee
이엔지정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이엔지정보기술 주식회사 filed Critical 이엔지정보기술 주식회사
Priority to KR1020110091719A priority Critical patent/KR101199959B1/ko
Application granted granted Critical
Publication of KR101199959B1 publication Critical patent/KR101199959B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 촬영을 통하여 획득되는 영상 내에서 교통표지판을 색상적 특성과 형태적 특성을 이용하여 자동으로 추출하여 인식할 수 있도록 하는 영상 내 교통표지판 인식 시스템에 관한 것이다.
본 발명에 따른 영상 내 교통표지판 인식 시스템은 영상 내에 포함된 교통표지판을 인식하는 교통표지판 인식 시스템에 있어서, 영상 정보를 수집하여 영상 공간정보 데이터를 제작하는 영상 공간정보 구축장치(100)와; 상기 영상 공간정보 구축장치(100)를 통하여 제작되는 영상 공간정보 데이터에 포함된 영상 내 객체의 색상적 특성과 형태적 특성에 따라 색상 및 형태를 분리하고, 분리되는 객체의 색상 및 형태 정보를 통하여 교통표지판을 식별하여 인식하는 교통표지판 인식장치(200);를 포함하여 이루어지는 것을 특징으로 한다.

Description

영상 내 교통표지판 인식 시스템 {SYSTEM FOR RECONNIZAING ROAD SIGN BOARD OF IMAGE}
본 발명은 교통표지판 인식 시스템에 관한 것으로, 특히 촬영을 통하여 획득되는 영상 내에서 교통표지판을 색상적 특성과 형태적 특성을 이용하여 자동으로 추출하여 인식할 수 있도록 하는 영상 내 교통표지판 인식 시스템에 관한 것이다.
근래에 들어 정보 처리 및 통신 기술이 비약적으로 발달함에 따라 지리 정보를 지도 정보 데이터로 구축하여 교통에 활용하는 방법이 많이 이용되고 있다. 이러한 지도 정보 데이터는 실제 촬영된 지리 정보를 바탕으로 제작되어 내비게이션을 통한 길 찾기나 안전 운행, 자동 운행 등에 활용되고 있다.
이러한 지도 데이터를 활용하는 내비게이션은 차량 자동항법장치로서, 위성을 이용해 현 위치를 파악하는 GPS를 이용해 목적지까지의 길안내를 음성 및 모니터 화면으로 제공하는 장치이다. 이러한 내비게이션 장치에는 GPS 위성으로부터 차량의 현재 위치 정보를 제공받는 GPS 수신기와, 교통표지판 등의 지도(Map) 정보가 등록되는 맵 DB와, 상기 GPS 수신기를 통하여 파악되는 현재 위치에 따라 지도 정보를 맵핑시켜 화면에 표시하는 운영 프로그램 등이 구비된다.
상기 내비게이션의 맵 DB에 구축되는 지도 정보는 실제 지리 정보의 계측을 통하여 생성되는데, 이러한 지도 정보는 도로의 신설이나 교통 체계의 변경 등에 따라 변화하기 때문에 정기적 또는 비정기적으로 지도 정보를 갱신(Update) 하여야 한다. 이러한 내비게이션의 지도 정보 갱신은 통상적으로 수작업에 의해 진행되는데, 특히 교통표지판의 경우 지속적으로 변경되기 때문에 맵 관리자가 수시로 지도상 위치로 이동하면서 교통표지판을 일일이 확인한 후, 지도 정보에 포함되는 교통표지판의 정보를 갱신하여야 하는 번거로운 문제점이 있었다.
또한, 근래 차량에 적용되고 있는 안전운행 장치 및 자동 운전 시스템은 사람을 대신하여 자동으로 차량을 운행하는 시스템으로, 이러한 자동 운전 시스템은 안전운전에 필요한 각종 교통표지판을 자동으로 인식하여야 하고, 인식된 결과를 이용하여 각종 상황에 따른 대처를 수행할 수 있어야 한다.
이와 같이, 내비게이션이나 차량의 안전운행 장치 및 자동 운전 시스템 등에서는 영상 내에서 교통표지판을 자동으로 추출하여 신속하고 정확하게 인식할 수 있도록 하는 시스템이 요구되고 있는 실정이었다.
본 발명은 이러한 내비게이션 맵의 자동 갱신이나 자동 운전 시스템의 안전 운행 등에 적용할 수 있도록 영상 내에 포함된 교통표지판을 자동으로 추출하여 인식하기 위해 제안된 것으로서, 본 발명의 목적은 도로를 이동하면서 촬영하여 획득되는 영상 내에 포함된 교통표지판을 색상적 특성과 형태적 특성을 이용하여 자동으로 추출하여 인식할 수 있도록 하는 영상 내 교통표지판 인식 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상 내 교통표지판 인식 시스템은 영상 내에 포함된 교통표지판을 인식하는 교통표지판 인식 시스템에 있어서, 영상 정보를 수집하여 영상 공간정보 데이터를 제작하는 영상 공간정보 구축장치와; 상기 영상 공간정보 구축장치를 통하여 제작되는 영상 공간정보 데이터에 포함된 영상 내 객체의 색상적 특성과 형태적 특성에 따라 색상 및 형태를 분리하고, 분리되는 객체의 색상 및 형태 정보를 통하여 교통표지판을 식별하여 인식하는 교통표지판 인식장치;를 포함하여 이루어진다.
상기 교통표지판 인식장치에는 상기 영상 공간정보 구축장치를 통하여 제작된 영상 공간정보 데이터 중 교통표지판 인식 대상 영상을 선택하여 화면에 표시하는 영상 뷰어모듈과, 상기 선택 영상에 포함된 객체의 색상적 특성에 따라 색상을 분리하고 상기 색상이 분리된 객체의 형태적 특성에 따라 형태를 분리하며 상기 분리된 객체의 색상 및 형태 정보를 통하여 객체를 교통표지판으로 인식하는 표지판 추출/인식모듈과, 상기 표지판 추출/인식모듈을 통하여 인식되는 교통표지판 정보를 화면에 표시하는 결과 표출모듈을 포함하는 교통표지판 인식부가 구비된다.
여기에서, 상기 표지판 추출/인식모듈은 HSV 색 공간 모형을 이용하여 각 교통표지판의 테두리 및 내부 배경 색상에 대응하는 HSV 값을 설정한 후, 상기 설정된 HSV 값에 따라 인식 대상 영상으로부터 객체의 색상을 분리하게 되는데, 상기 교통표지판의 테두리 및 내부 배경 색상에 대응하는 HSV 값은 카메라 설정을 기본 값으로 한 Point Grey Research사의 Ladybug3 카메라로 촬영된 인식 대상 영상에 대하여 각 색상별로 다음의 표와 같이 설정되는 것이 바람직하다.
Figure 112011070704936-pat00001
(여기에서, 0≤색상(H)≤360, 0≤채도(S)≤255, 0≤명도(V)≤255)
한편, 상기 표지판 추출/인식모듈은 상기 색상이 분리된 객체의 Top/Bottom Component 및 Top Line과 Bottom Line을 검출하고, 검출된 Top/Bottom Line의 수평 상태를 파악하여, 수평 상태로 파악되는 Top/Bottom Line의 개수에 따라 객체의 형태를 분류하여 교통표지판의 형태를 추출하게 되는데, 상기 Top/Bottom Line는, Top/Bottom Line이 수평선을 기준으로 ±30°를 초과하지 않는 경우 수평 상태인 것으로 파악되는 것이 바람직하다. 여기에서 상기 교통표지판은 상기 수평 상태로 파악되는 Top/Bottom Line의 개수가 0개인 경우 원형 형태로, 수평 상태로 파악되는 Top/Bottom Line의 개수가 2개인 경우 사각형 형태로, 상기 수평 상태로 파악되는 Bottom Line의 개수가 1개인 경우 삼각형 형태로, 수평 상태로 파악되는 Top Line의 개수가 1개인 경우 역삼각형 형태로 분류되어 추출된다.
또한, 상기 표지판 추출/인식모듈은 인식 대상 영상에 포함된 객체의 Top/Bottom Component 및 Top Line과 Bottom Line을 검출하고, 검출된 Top/Bottom Line의 개수와 평행 상태를 파악하여, Top/Bottom Line의 개수와 평행 상태에 따라 객체의 형태를 분류하여 교통표지판의 형태를 추출할 수 있다. 여기에서, 상기 교통표지판은 1개의 Bottom Line만이 존재하며 이와 평행하는 Top Line이 존재하지 않는 경우 삼각형 형태로, 1개의 Top Line만이 존재하며 이와 평행하는 Bottom Line이 존재하지 않는 경우 역삼각형 형태로, Top Line과 Bottom Line이 쌍으로 존재하며 서로 평행한 경우 사각형 형태로, Top/Bottom Line이 존재하지 않는 경우 원형 형태로 분류되어 추출되게 된다.
한편, 상기 교통표지판 인식장치에는 상기 교통표지판 인식부를 통하여 인식되는 교통표지판 정보를 안전 운전을 위하여 교통표지판 정보를 필요로 하는 영상 서비스 장치에 제공하는 교통표지판 정보 제공부가 구비되는데, 상기 교통표지판 정보 제공부로부터 교통표지판 정보를 제공받는 영상 서비스 장치는 내비게이션 맵 정보가 저장되는 맵 DB 또는 자동 운전을 수행하는 안전 운전 장치가 될 수 있다.
한편, 상기 영상 공간정보 구축장치는 영상 수집 동선에 따라 이동하면서 카메라를 통하여 영상을 촬영하여 영상 정보를 수집하는 영상정보 수집부와, 상기 영상정보 수집부를 통하여 수집되는 영상의 밝기를 조절하고 영상 내의 객체를 구분하는 후처리부를 포함하여 이루어진다.
여기에서, 상기 영상정보 수집부에는 카메라를 촬영되는 영상의 자세 정보 및 위치 정보를 측정하는 IMU(Inertial Measurement Unit)와 GPS(Global Positioning System)가 구비되고, 상기 후처리부에는 상기 밝기가 조절되고 객체가 구분되는 영상 정보에 상기 IMU 및 GPS를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 영상 속성정보 생성모듈이 구비되는 것이 바람직하다.
본 발명에 따른 교통표지판 인식 시스템은 영상 내에 포함된 객체의 색상적 특성 및 형태적 특성을 이용하여 교통표지판을 자동으로 추출하여 인식할 수 있도록 함으로써 영상 내의 신속하고 정확한 교통표지판 인식이 가능하여, 내비게이션의 맵의 자동 갱신이나 차량의 안전운행 장치 및 자동 운전 시스템에 적용될 수 있는 효과가 있다.
도 1은 본 발명에 따른 영상 내 교통표지판 인식 시스템의 전체적인 네트워크 연결도,
도 2는 본 발명에 따른 영상 공간정보 구축장치의 블록 구성도,
도 3은 본 발명에 따른 교통표지판 인식장치의 블록 구성도,
도 4는 본 발명에 따른 교통표지판 인식장치를 통하여 인식되는 교통표지판의 종류 일례,
도 5는 본 발명에 따른 교통표지판 인식장치를 통하여 인식되는 교통표지판이 있는 영상 일례,
도 6은 본 발명에 적용된 원기둥 모형의 HSV 색 공간 모형 일례,
도 7은 본 발명에 따라 영상으로부터 색상을 분리해낸 화면 일례,
도 8은 본 발명의 실시예에 따른 교통표지판 분류 기준 및 조건을 통하여 객체의 형태적인 특성을 분류하는 과정을 나타낸 흐름도,
도 9 내지 도 12는 본 발명의 실시예에 따라 추출되는 객체의 형태적인 특성이 삼각형, 역삼각형, 사각형, 원형인 경우의 일례,
도 13은 본 발명의 다른 실시예에 따른 교통표지판 분류 기준 및 조건을 통하여 객체의 형태적인 특성을 분류하는 과정을 나타낸 흐름도,
도 14 내지 도 17은 본 발명의 다른 실시예에 따라 추출되는 객체의 형태적인 특성이 삼각형, 역삼각형, 사각형, 원형인 경우의 일례,
도 18은 본 발명에 따른 영상 공간정보 구축장치를 통하여 영상 공간정보가 생성되는 과정을 나타낸 흐름도,
도 19는 본 발명에 따른 교통표지판 인식장치를 통하여 영상 내의 교통표지판이 추출되어 인식되는 과정을 나타낸 흐름도,
도 20은 본 발명에 따른 교통표지판 인식부의 영상 뷰어모듈을 통하여 화면에 표시되는 인식 대상 영상 일례를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 내 교통표지판 인식 시스템의 전체적인 네트워크 연결도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에 따른 교통표지판 인식 시스템은 교통표지판이 포함된 영상 공간정보 데이터를 구축하는 영상 공간정보 구축장치(100)와, 상기 영상 공간정보 구축장치(100)를 통하여 구축되는 영상 공간정보에 포함된 교통표지판 영상을 추출하여 인식하는 교통표지판 인식장치(200)를 포함하여 이루어진다. 한편, 상기 교통표지판 인식장치(200)에 의해 인식되는 교통표지판 정보는 교통표지판 정보를 필요로 하는 영상 서비스 장치(300)에 제공될 수 있다.
상기 영상 공간정보 구축장치(100)는 카메라 등의 영상 촬영장치를 통하여 영상을 촬영하여 파일로 저장하며, 촬영된 영상에 따른 자세 정보 및 위치 정보 등의 속성 정보를 파악하여 데이터베이스에 등록하는 영상공간정보 획득장치이다.
상기 교통표지판 인식장치(200)는 영상 공간정보 구축장치(100)로부터 영상 정보를 전송받아 영상 정보에 포함된 교통표지판을 색상적 특성 및 형태적 특성으로 분류하여 자동으로 추출하고 인식하는 장치로서, 이 교통표지판 인식장치(200)는 독립된 서버 컴퓨터로 운영되거나, 영상 서비스 장치(300)에 종속되게 설치되어 운영될 수도 있다.
상기 영상 서비스 장치(300)는 교통표지판 인식장치(200)로부터 인식되는 교통표지판 정보를 제공받아 이를 활용하는 장치로서, 이 영상 서비스 장치(300)의 일례로는 내비게이션 맵 정보가 저장되는 맵 DB(310)와, 자동 운전 시스템과 같은 안전 운행 장치(320) 등이 있다. 상기 맵 DB(310)에 등록되는 맵 정보는 교통표지판 인식장치(200)에 의해 인식된 교통표지판 정보로 자동으로 갱신되어 관리되며, 상기 안전 운행 장치(320)는 교통표지판 정보를 참조하여 운행에 따라 발생하는 각종 상황에 대처하게 된다.
도 2는 본 발명의 실시예에 따른 영상 공간정보 구축장치의 블록 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 영상 공간정보 구축장치(100)는 영상 정보를 수집하는 영상정보 수집부(120)와, 상기 영상정보 수집부(120)를 통하여 수집된 영상 정보를 후처리하는 후처리부(130)와, 교통표지판 인식장치(200)와 통신을 설정하여 상기 후처리부(130)를 통하여 처리된 영상 정보를 교통표지판 인식장치(200)에 전송하는 통신 인터페이스(140)와, 상기 후처리부(130)를 통하여 처리된 영상 정보를 저장하는 데이터베이스(150)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(110)를 포함하여 이루어진다.
상기 영상정보 수집부(120)에는 차량에 설치되어 차량의 이동에 따라 영상을 촬영하는 카메라(121)와, 영상이 저장되는 시점에 차량의 자세 정보를 파악하는 IMU(Inertial Measurement Unit)(122)와, 영상이 저장되는 시점에 차량의 위치 정보를 파악하는 GPS(Global Positioning System)(123)가 구비되어 있다. 상기 카메라(121)와 IMU(122) 및 GPS(123)를 탑재하는 수집 차량은 계획된 수집 동선에 따라 이동하게 되며, 차량의 이동에 따라 카메라(121)와 IMU(122) 및 GPS(123)는 영상과 자세 정보 및 위치 정보를 수집하여 후처리부(130)로 전송하게 된다. 본 발명의 실시예에서 상기 카메라(121)는 Point Grey Research사의 Ladybug3 카메라가 적용되었는데, 이 Ladybug3 카메라를 통하여 촬영되는 영상은 후처리부(130)를 통하여 영상 처리된 후 교통표지판 인식장치(200)로 전송된다. 한편, 상기 영상정보 수집부(120)에 구비되는 IMU(122) 및 GPS(123)는 카메라(121)를 통하여 촬영되는 영상에 자세 정보 및 위치 정보가 포함되어야 하는 경우(예를 들면, 내비게이션 맵을 갱신하기 위한 영상 정보 등)에는 필요하나, 단순히 실시간으로 영상의 내용만 파악하면 되는 경우(예를 들면, 안전 운전을 위해 실시간으로 교통표지판 내용을 파악하여 경고하기 위한 영상 정보 등)에는 필요하지 않을 수 있다. 따라서, 이러한, IMU(122) 및 GPS(123)는 카메라(121)에 의해 촬영되어 활용되는 영상의 종류에 따라 영상정보 수집부(120)에 구비되거나 생략될 수 있다.
본 발명에서는 촬영되어 획득되는 영상 내에서 교통표지판을 자동으로 추출하여 인식하기 때문에 영상의 퀄리티(Quality)가 매우 중요한 요소가 된다. 이를 위하여 상기 후처리부(130)는 영상정보 수집부(120)를 통하여 수집되는 영상 정보를 후처리하여 영상의 퀼리티를 향상시킨 후 데이터베이스(150)에 저장하게 되는데, 이 후처리부(130)에는 영상의 밝기를 조절하는 밝기 조절모듈(131)과, 영상에 포함된 객체를 구분하기 위한 영상 강화모듈(132)과, 영상의 속성정보를 생성하는 영상 속성정보 생성모듈(133)이 구비되어 있다. 상기 밝기 조절모듈(131)은 영상정보 수집부(120)의 카메라(121)로부터 촬영되어 획득되는 영상 내에서 교통표지판을 정확하게 추출하고 인식할 수 있도록 영상의 밝기를 조절하는 프로그램 모듈이고, 영상 강화모듈(132)은 획득된 영상 내에서 각 객체 간을 구분하는 프로그램 모듈이다. 또한, 영상 속성정보 생성모듈(133)은 밝기가 조절되고 객체가 구분되는 후처리 과정을 거치는 영상 정보에 IMU(122)의 자세 정보 및 GPS(123)의 위치 정보를 1대 1로 매칭하여 영상 속성정보를 생성하는 프로그램 모듈이다. 상기 후처리부(130)를 통하여 영상 파일 및 영상 속성 정보가 생성되며, 생성된 영상 파일 및 영상 속성 정보는 데이터베이스(150)에 최종 등록되는데, 다음의 표 1은 상기 후처리부를 통하여 생성되는 영상 속성 정보를 표로 나타낸 것이다.
Figure 112011070704936-pat00002
상기 통신 인터페이스(140)는 교통표지판 인식장치(200)와 통신을 설정하여, 데이터베이스(150)에 등록된 영상 파일 및 영상 속성 정보를 교통표지판 인식장치(200)에 전송하는 통신 장치이다.
상기 데이터베이스(150)는 영상정보 수집부(120) 및 후처리부(130)를 통하여 생성되는 정보를 저장하는 기억장치로서, 이 데이터베이스(150)에는 후처리부(130)를 통하여 생성된 영상 파일 및 영상 속성 정보 등이 저장되어 관리된다.
도 3은 본 발명의 실시예에 따른 교통표지판 인식장치의 블록 구성도를 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명에 따른 교통표지판 인식장치(200)는 사용자로부터 조작 신호를 입력받는 입력부(220)와, 교통표지판 인식장치(200)를 통하여 처리되는 데이터를 화면에 표시하는 출력부(230)와, 통신망을 통하여 외부 장치와 통신을 수행하는 통신 인터페이스(240)와, 영상 공간정보 구축장치(100)를 통하여 생성된 영상 정보를 분석하여 교통표지판 정보를 추출하고 인식하는 교통표지판 인식부(250)와, 상기 교통표지판 인식부(250)를 통하여 인식되는 교통표지판 정보를 영상 서비스 장치(300)에 제공하는 교통표지판 정보 제공부(260)와, 상기 교통표지판 인식장치(200)를 통하여 처리되는 데이터가 저장되어 있는 데이터베이스(270)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(210)를 포함하여 이루어진다.
상기 입력부(220)는 사용자로부터 조작 데이터를 입력받는 마우스나 키보드 등의 데이터 입력장치이고, 출력부(230)는 교통표지판 인식장치(200)에 의해 처리되는 데이터를 화면에 표시하는 모니터나 프린터 등의 출력장치이다. 또한, 상기 통신 인터페이스(240)는 영상 공간정보 구축장치(100)와 영상 서비스 장치(300) 등의 외부 장치와 통신을 설정하여 데이터를 송수신하는 통신 장치이다.
상기 교통표지판 인식부(250)는 영상 공간정보 구축장치(100)로부터 영상 정보를 제공받아 이 영상 정보에 포함된 교통표지판 정보를 추출하여 인식하는 프로그램이다. 이 교통표지판 인식부(250)에는 교통표지판 인식 대상 영상을 선택하여 화면에 표시하는 영상 뷰어모듈(251)과, 인식 대상 영상 내에 포함된 교통표지판을 자동으로 추출하고 인식하는 표지판 추출/인식모듈(252)과, 상기 표지판 추출/인식모듈(252)에 의해 인식되는 교통표지판 정보를 화면에 표시하는 결과 표출모듈(253)이 구비되어 있다. 본 발명의 실시예에서 상기 표지판 추출/인식모듈(252)은 영상 뷰어모듈(251)에 의해 화면에 표시되는 인식 대상 영상 내에 포함된 객체의 색상적 특성과 형태적 특성을 분석하여 교통표지판 영상을 추출하고 인식하게 되며, 인식되는 교통표지판 정보를 결과 표출모듈(253)을 통하여 화면에 표시하여 사용자가 이를 확인할 수 있도록 한다.
상기 교통표지판 정보 제공부(260)는 교통표지판 인식부(250)를 통하여 인식되는 교통표지판 정보를 활용할 수 있도록 영상 서비스 장치(300)에 제공하는 프로그램이다. 이 교통표지판 정보 제공부(260)에는 상기 표지판 추출/인식모듈(252)을 통하여 인식되는 교통표지판 정보를 맵 정보로 변환하여 영상 서비스 장치(300)의 맵 DB(310)에 전송하여 맵 정보를 갱신하는 맵 DB 갱신모듈(261)과, 교통표지판 정보를 안전 운행 장치(320)에 전송하는 안전운전 제공모듈(262)이 구비되어 있다.
한편, 상기 교통표지판 인식부(250)에 의해 추출 및 인식되어 교통표지판 정보 제공부(260)를 통하여 영상 서비스 장치(300)에 제공되는 교통표지판 정보는 데이터베이스(270)에 등록되어 관리된다.
이하에서는 상기 교통표지판 인식부(250)의 표지판 추출/인식모듈(252)을 통하여 영상 내에 포함된 교통표지판을 추출하여 인식하는 방법에 대하여 설명한다.
일반적으로 교통표지판은 주의표지, 규제표지, 지시표지로 구분되는데, 도 4는 이러한 교통표지판의 종류 일례를 나타낸 것이고, 도 5는 교통표지판이 있는 영상 일례를 나타낸 것이다. 상기 교통표지판 인식부(250)는 영상 내에서 교통표지판을 인식하기 위해 영상에서 표현되는 교통표지판과 교통표지판이 아닌 정보를 구분할 필요가 있다.
본 발명의 실시예에서 상기 교통표지판 인식부(250)는 영상 내 교통표지판을 형태적(Shape) 특성 및 색상적(color) 특성으로 구분하여 인식하게 되는데, 이러한 각 표지판의 특성은 다음의 표 2와 같다.
Figure 112011070704936-pat00003
상기 표 2에서와 같이, 상기 교통표지판 인식부(250)의 표지판 추출/인식모듈(252)은 영상 내에서 교통표지판의 형태적, 색상적 특징을 이용하여 교통표지판 영상을 추출하여 추출된 교통표지판 영상을 인식하게 된다.
본 발명의 실시예에서는 영상 내 교통표지판을 추출하고 인식하기 위해, 영상 내 HSV 색공간을 이용하여 색상의 특성을 분리하게 되고, 이후 형태적인 특성을 이용하여 각 색상에서 추출 가능한 교통표지판의 형태적 특성을 분리하게 된다. 이 후, 신경망이나 SVM 등과 같은 인식기에 색상 및 형태적 특성을 이용해 추출한 인식 대상 영상을 입력하여 인식기에 의해 미리 학습된 패턴에 따라 대상 영역을 인식하게 된다.
이하에서는 이러한 교통표지판의 색상 및 형태적 특징을 이용하여 교통표지판을 인식하는 과정에 대하여 상세히 설명하기로 한다.
먼저, 영상 내 HSV 색공간을 이용하여 색상적 특성을 분리하는 방법에 대하여 설명한다.
일반적으로 영상 내 HSV 색 공간은 카메라의 특성에 따라 조금씩 다르게 표현되므로, HSV 색 공간에서 각 색상 분리를 위한 범위를 한정 짓기는 어렵다. 따라서, 본 발명에서는 특정 카메라를 통하여 획득되는 영상 내의 HSV 색 공간을 정의한 후, 정의된 HSV 색 공간에서 색상 분리를 위한 색 범위를 설정하여 이를 통하여 색상적 특성을 분리하게 된다. 본 발명의 실시예에서는 이러한 특정 카메라로 Point Grey Research사의 Ladybug3 카메라가 적용되었는데, 이하에서는 이 Point Grey Research사의 Ladybug3 카메라를 이용하여 취득되어지는 디지털 영상으로부터 교통표지판의 영역을 검출해 낼 수 있는 HSV 색 공간을 정의하는 것으로부터 설명한다.
일반적으로 HSV 색 공간은 색을 표현하는 하나의 방법이자, 그 방법에 따라 색을 배치하는 방식으로, 색상(Hue), 채도(Saturation), 명도(Value, Brightness)의 좌표를 써서 특정한 색을 지정하게 된다. 상기 HSV는 HSB로도 불리는데, 이러한 HSV 색 공간은 다음과 같이 구성된다.
- 색상(Hue) : 색상값 H는 가시광선 스펙트럼을 고리모양으로 배치한 색상환에서 가장 파장이 긴 파랑을 0°로 하였을 때 상대적인 배치 각도를 의미한다. 때문에 H 값은 0°~360°의 범위를 갖고 360°와 0°는 같은 색상 파랑을 가리킨다.
- 채도(Saturation) : 채도값 S는 특정한 색상의 가장 진한 상태를 255로 하였을 때 진하기의 정도를 나타낸다. 채도값 0은 같은 명도의 무채색을 나타낸다.
- 명도(Value, Brightness) : 명도값 V 또는 B는 흰색을 255, 검정을 0으로 하였을 때 밝기의 정도를 나타낸다.
이러한 값들은 필요에 따라 다른 범위의 값으로 사상될 수도 있다.
이러한 HSV 색 공간을 표현하는 모형으로는 원기둥 또는 거꾸로 선 원뿔 모양의 입체 도형이 있는데, 본 발명의 실시예에서는 원기둥 모형을 사용하여 범위를 설정하게 된다. 도 6은 본 발명에 적용된 원기둥 모형의 HSV 색 공간 모형 일례를 나타낸 것이다.
도 6에 도시된 바와 같이, HSV 색 공간 원기둥 모형 구성 요소의 정의에 따라 HSV 색 공간이 원기둥으로 표현되는데, 원기둥의 표면과 내부의 한 점은 하나의 색을 나타낸다. 여기에서 색상값은 각도로 표현되며 지정한 색이 원기둥의 수평 단면의 어느 방향에 위치하는지를 지정하게 된다. 또한, 채도는 반지름에 해당하는데 정 중앙에 무채색이 위치하며 원기둥의 겉면은 가장 진한 채도를 갖는다. 명도는 높이에 해당하며 위로 갈수록 밝게 된다.
이러한 원기둥 모형에서의 각 RGB 값은 0에서 1의 범위로 조정(scale)되어 다음의 수학식 1에 의해 H,S,V 값으로 변환된다.
Figure 112011070704936-pat00004
상기의 수학식 1을 통하여 0≤V≤1, 0≤S≤1, 0≤H≤360 과 같은 범위의 H,S,V 값을 얻을 수 있게 된다. 본 발명의 실시예에서는 계산적인 편의를 위해 상기 H,S,V 값의 범위를 V←255V, S←255S, H←H/2 와 같은 범위로 조정(scale)하여 사용하였다.
디지털 영상에서 국내의 교통표지판을 객체를 검출하기 위하여 교통표지판이 가질 수 있는 테두리 색상과 내부 배경 색상으로 HSV 색 공간을 이용할 수 있는데, 국내 교통표지판의 종류와 형태 및 색상은 상기 표 2에서 설명한 바 있다. 상기 표 2에 분류된 교통표지판에 따라, 5종류(삼각형, 원형, 역삼각형, 팔각형, 사각형)의 교통표지판 테두리 및 내부 배경 색상이 선정되고, 실험을 통하여 유의미한 4종의 색상(백색, 빨강, 파랑, 노랑)이 최종 선정되어 각 색상에 대응하는 최적의 HSV 값들이 결정된다. 다음의 표 3은 본 발명의 실시예에 따라 최종 선정된 HSV 값들의 일례를 나타낸 것이다.
Figure 112011070704936-pat00005
상기 표 3에 표시되는 HSV 값들을 이용하여 주어진 영상으로부터 색상을 분리하게 되는데, 도 7은 영상으로부터 색상을 분리해낸 화면 일례를 나타낸 것이다.
상기와 같이 HSV 색 공간을 이용하여 영상 내에서 색상이 분리되면, 표지판 추출/인식모듈(252)은 분리된 각 색상 채널에서 교통표지판을 추출하기 위하여 교통표지판의 형태적 특성을 이용하게 된다.
상기 표 2에서 분류되었던 바와 같이, 교통표지판은 삼각형(역삼각형 포함), 원형(팔각형 포함), 사각형의 형태를 보이고 있는데, 형태적 특성을 이용하여 영상 내의 색상 채널에서 교통표지판을 추출하는 방법은, 영상으로부터 사용자의 목적에 따라 색상 또는 엣지(edge) 기반으로 분할된 객체(Object) 또는 관심영역(Region Of Interest)을 삼각형, 역삼각형, 사각형, 원형의 단순한 형태로 분류하는 것으로, 이러한 방법은 디지털 영상에서 도로표지판, 도로시설물 등의 단순한 형태를 가진 객체를 안전하고 효율적으로 구분해 낼 수 있게 된다.
일반적으로 분류하고자 하는 삼각형, 역삼삭형, 사각형, 원형의 단순한 형태는 각 도형을 구성하는 요소인 선분 또는 꼭지점의 개수를 이용하여 판단할 수 있는데, 각 형태의 선분, 꼭지점의 수는 다음의 표 4와 같다.
Figure 112011070704936-pat00006
하지만, 이러한 접근 방법은 영상으로부터 색상 또는 엣지 정보를 기반으로 객체를 추출하고 허프 변환(Hough Transform), 최소자승법 등의 기법을 이용해 선분과 꼭지점 같은 요소들을 찾는 과정이 항상 명확하게 이루어지지는 않는다는 문제점이 있다. 즉, 카메라의 성능에 의해 객체의 엣지는 선명해 질 수도 불분명해 질 수도 있으며 심지어는 부분적인 차이도 나타나게 된다. 또한, 색상이나 엣지로부터 선분이나 꼭지점을 찾는 과정에서도 임계값(threshold)의 설정, 환경적인 요인에 따라 결과는 다르게 나타날 수 있다. 이는 영상에서 추출된 객체로부터 영상처리 기법을 이용하여 직선 또는 꼭지점 등의 성분을 검출하는 과정이 근본적으로 불안정성을 내포하고 있다는 것을 의미한다.
따라서 본 발명에서는 이러한 일반적인 접근방법의 불안정성을 최소화하기 위하여 객체의 형태를 분류하는데 사용되는 기준을 도형을 구성하는 요소의 개수에 두지 않고, 객체의 형태적인 특성을 대표할 수 있는 새로운 기준인 Top/Bottom Component 및 Top/Bottom Line을 정의하여 사용하게 된다.
다음의 표 5는 이러한 Top/Bottom Component 및 Top/Bottom Line을 정의한 도표이다.
Figure 112011070704936-pat00007
본 발명의 실시예에서는 상기 표 5의 정의를 만족하는 객체의 형태적인 특성을 분류하는 방법 중 하나로, Top/Bottom Components 중에서 수평 또는 수평에 가깝다고 판단되는 선분만을 이용하여 형태를 분류하는 방법을 이용한다. 이러한 분류 기준과 조건은 다음의 표 6과 같다.
Figure 112011070704936-pat00008
도 8은 상기 표 6에 표시된 분류 기준 및 조건을 통하여 객체의 형태적인 특성을 분류하는 과정을 나타낸 흐름도이고, 도 9는 객체의 형태적인 특성이 삼각형인 경우, 도 10은 객체의 형태적인 특성이 역삼각형인 경우, 도 11은 객체의 형태적인 특성이 사각형인 경우, 도 12는 객체의 형태적인 특성이 원형인 경우의 일례를 나타낸 것이다.
상기 표 6과 도 8 내지 도 12에 도시된 바와 같이, 객체의 Top/Bottom Components 구성에서 수평 또는 수평에 가깝다고 판단되는 라인(예를 들면, 수평선 기준으로 ±30°이내, 이하 수평 라인이라 명칭함)의 개수를 파악하여, 수평 라인의 개수가 0이면 원형으로, 수평 라인의 개수가 2개면 사각형으로 분류하게 된다. 또한, 수평라인의 개수가 1개인 경우, Bottom line을 파악하여 수평라인이 존재하면 삼각형으로, 수평라인이 존재하지 않으면 역삼각형으로 분류하게 된다. 이와 같이 본 발명의 실시예에서는 상기 Top/Bottom Line 개수를 통하여 객체의 형태적인 특성이 분류되게 된다.
한편, 상기 표 6과 도 8 내지 도 12에서 상술한 방법은 Top/Bottom Line을 생성하고 존재 여부를 결정하는데 그 조건을 두고 있다. 이러한 방법의 경우 분류 대상 객체가 일정 범위 이상으로 회전되어 있을 경우 Top/Bottom Line을 생성하지 못하는 문제가 발생한다. 즉, 대상 객체가 사각형이며 30도 이상 회전되어 있을 경우 상기 방법으로는 Top/Bottom Line을 생성하지 못하기 때문에 사각형을 원형으로 분류하게 된다.
따라서, 이러한 문제점을 해결하기 위하여 본 발명의 다른 실시예에서는 각도와 관계없이 Top/Bottom Line을 구성하고 선분의 개수 정보와 평행 정보를 동시에 평가하여 형태를 분류하는 방식을 취하여 객체의 형태를 구분하게 되는데, 이러한 분류 기준은 다음의 표 7과 같다.
Figure 112011070704936-pat00009
도 13은 상기 표 7에 표시된 분류 기준 및 조건을 통하여 객체의 형태적인 특성을 분류하는 과정을 나타낸 흐름도이고, 도 14는 객체의 형태적인 특성이 삼각형인 경우, 도 15는 객체의 형태적인 특성이 역삼각형인 경우, 도 16은 객체의 형태적인 특성이 사각형인 경우, 도 17은 객체의 형태적인 특성이 원형인 경우의 일례를 나타낸 것이다.
상기 표 7과 도 13 내지 도 17에 도시된 바와 같이, 객체의 Top/Bottom Components 구성에서 평행 라인의 개수를 파악하여, 평행 라인의 개수가 0이면 원형으로, 평행 라인의 개수가 2개면 사각형으로 분류하게 된다. 또한, 평행 라인의 개수가 1개인 경우, Bottom line이 평행 라인이면 삼각형으로, Bottom line이 평행라인이 아니면 역삼각형으로 분류하게 된다.
이와 같이, 본 발명의 다른 실시예에서는 상기 Top/Bottom Line 개수 및 평행 정보를 통하여 객체의 형태적인 특성이 분류되게 된다.
상기의 과정을 통하여 영상 내에서 색상이 분리되고 분리된 색상 채널에 대한 객체의 형태적 특성이 분류되면, 표지판 추출/인식모듈(252)은 색상적 특성 및 형태적 특성이 분류된 객체 정보를 인식기에 입력하여 교통표지판을 인식하는 과정을 수행하게 된다. 즉, 표지판 추출/인식모듈(252)은 색상 및 형태적 특성이 분류된 인식 대상 영상을 인식기에 입력하게 되고, 이에 따라 표지판 추출/인식모듈(252)에 구비된 인식기는 학습된 패턴에 따라 입력된 대상 영역을 교통표지판으로 인식하게 된다. 본 발명의 실시예에서는 표지판 추출/인식모듈(252)에 신경망(Neural Network) 또는 SVM(Support Vector Machine) 등의 인식기가 적용된다.
상기 표지판 추출/인식모듈(252)에 의해 영상 내에 포함된 객체의 색상적 특성 및 형태적 특성을 통하여 교통표지판 정보가 추출하여 인식되면, 결과 표출모듈(253)은 상기 표지판 추출/인식모듈(252)에 의해 인식된 교통표지판 정보를 화면에 표시되어 사용자가 확인할 수 있도록 제공한다.
한편, 상기 교통표지판 인식부(250)를 통하여 인식되는 영상 내 교통표지판 정보는 교통표지판 정보 제공부(260)를 통하여 교통표지판 정보를 필요로 하는 장치로 제공되어 활용되게 된다.
이하, 상기의 구성으로 이루어진 영상 공간정보 구축장치 및 교통표지판 인식장치를 통하여 교통표지판 인식이 이루어지는 과정에 대하여 설명하기로 한다.
도 18은 본 발명의 실시예에 따른 영상 공간정보 구축장치를 통하여 영상 공간정보가 생성되는 과정을 나타낸 흐름도이다.
도 18에 도시된 바와 같이, 먼저 영상 공간정보 구축을 위한 데이터 수집 동선이 계획되면(S110), 수집 동선에 따라 영상정보 수집부(120)가 이동하면서 영상 공간정보를 수집하게 되고(S120), 수집된 영상 공간정보는 후처리부(130)를 통하여 영상 밝기 조절과 영상 강화 및 영상 속성 정보 생성 등의 후처리 과정을 거치게 된다(S130). 상기 후처리부(130)를 통하여 후처리되는 영상 공간정보는 영상 파일 및 영상 속성 정보로 데이터베이스(150)에 저장됨으로써 최종적으로 영상 공간정보 데이터가 구축된다.
이러한 일련의 과정은 영상 공간정보 데이터에 자세 정보 및 위치 정보가 포함된 경우의 일례를 나타낸 것으로, 만약 영상 공간정보 데이터에 자세 정보 및 위치 정보가 불필요하다면 자세 정보 및 위치 정보를 수집하여 영상 속성 정보를 생성하는 과정은 생략될 수 있다.
도 19는 본 발명의 실시예에 따른 교통표지판 인식장치를 통하여 영상 내의 교통표지판 정보가 추출되어 인식되는 과정을 나타낸 흐름도이다.
단계 S210 : 먼저, 교통표지판 인식장치(200)에 구비된 교통표지판 인식부(250)는 영상 공간정보 구축장치(100)를 통하여 생성된 영상 정보 중 인식하고자 하는 영상을 선택하여 입력하게 되는데, 선택되어 입력되는 영상은 영상 뷰어모듈(251)을 통하여 화면에 표시된다. 도 20은 본 발명의 실시예에 따른 교통표지판 인식부의 영상 뷰어모듈을 통하여 화면에 표시되는 인식 대상 영상 일례를 나타낸 것이다.
단계 S220, S230, S240 : 인식 대상 영상이 입력되면, 교통표지판 인식부(250)의 표지판 추출/인식모듈(252)은 먼저 영상 내에 포함된 객체의 색상 분리를 수행하게 되는데, 영상 내 객체의 색상 분리는 상술한 표 3의 HSV 값들을 이용하여 진행된다(S220). 또한, 영상 내 객체의 색상 분리가 이루어지면, 표지판 추출/인식모듈(252)은 분리된 각 색상 채널에서 객체의 형태를 분리하게 되는데, 객체의 형태 분리는 상술한 표 6 또는 표 7의 분류에 따른 교통표지판의 형태적 특성을 이용하여 분리하게 하게 된다(S230). 상기 과정을 통하여 영상 내 객체의 색상적 특성 및 형태적 특성이 분리되면, 표지판 추출/인식모듈(252)은 학습된 인식기를 통하여 색상 분리 및 형태 분리가 이루어진 객체 정보를 분석하여 교통표지판으로 인식하게 된다(S240).
단계 250, S260 : 표지판 추출/인식모듈(252)에 의해 인식된 교통표지판 정보는 결과 표출모듈(253)을 통하여 화면에 표시되는데(S250), 이러한 교통표지판 인식 과정은 입력되는 영상이 없을 때까지 반복 수행된다(S260).
한편, 상기 교통표지판 인식부(250)의 표지판 추출/인식모듈(252)을 통하여 인식되는 교통표지판 정보는 교통표지판 정보 제공부(260)를 통하여 영상 서비스 장치(300)의 맵 DB(310) 또는 안전 운행 장치(320)에 전송하게 된다.
이와 같이, 본 발명에 따른 교통표지판 인식 시스템은 영상 공간정보 구축장치(100)를 통하여 영상 공간정보를 생성하고, 교통표지판 인식장치(200)를 통하여 영상 내에 포함된 교통표지판을 추출하여 인식하게 되며, 인식되는 교통표지판 정보는 해당 정보를 필요로 하는 영상 서비스 장치(300)에 제공하여 이용할 수 있도록 한다.
이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 영상 공간정보 구축장치 110 : 중앙제어부
120 : 영상정보 수집부 121 : 카메라
122 : IMU 123 : GPS
130 : 후처리부 131 : 밝기 조절모듈
132 : 영상 강화모듈 133 : 영상 속성정보 생성모듈
140 : 통신 인터페이스 150 : 데이터베이스
200 : 교통표지판 인식장치 210 : 중앙제어부
220 : 입력부 230 : 출력부
240 : 통신 인터페이스 250 : 교통표지판 인식부
251 : 영상 뷰어모듈 252 : 표지판 추출/인식모듈
253 : 결과 표출모듈 260 : 교통표지판 정보 제공부
261 : 맵 DB 갱신모듈 262 : 안전운전 제공모듈
270 : 데이터베이스 300 : 영상 서비스 장치
310 : 맵 DB 320 : 안전 운행 장치

Claims (13)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 영상 공간정보 구축장치(100)를 통하여 제작된 영상 공간정보 데이터 중 교통표지판 인식 대상 영상을 선택하고, 상기 선택 영상에 포함된 객체의 색상적 특성에 따라 색상을 분리하며, 상기 색상이 분리된 객체의 형태적 특성에 따라 형태를 분리하고, 상기 분리된 객체의 색상 및 형태 정보를 통하여 객체를 교통표지판으로 인식하는 교통표지판 인식부(250)가 구비된 교통표지판 인식장치(200)를 포함하는 교통표지판 인식 시스템에 있어서,
    상기 교통표지판 인식부(250)는 HSV 색 공간 모형을 이용하여 각 교통표지판의 테두리 및 내부 배경 색상에 대응하는 HSV 값을 설정한 후, 상기 설정된 HSV 값에 따라 인식 대상 영상으로부터 객체의 색상을 분리하되,
    상기 교통표지판의 테두리 및 내부 배경 색상에 대응하는 HSV 값은, 카메라 설정을 기본 값으로 한 Point Grey Research사의 Ladybug3 카메라로 촬영된 영상에 대하여 각 색상별로 다음의 표와 같이 설정되는 것을 특징으로 하는 교통표지판 인식 시스템.
    Figure 112012079399240-pat00010

    여기에서, 0≤색상(H)≤360, 0≤채도(S)≤255, 0≤명도(V)≤255
  5. 영상 공간정보 구축장치(100)를 통하여 제작된 영상 공간정보 데이터 중 교통표지판 인식 대상 영상을 선택하고, 상기 선택 영상에 포함된 객체의 색상적 특성에 따라 색상을 분리하며, 상기 색상이 분리된 객체의 형태적 특성에 따라 형태를 분리하고, 상기 분리된 객체의 색상 및 형태 정보를 통하여 객체를 교통표지판으로 인식하는 교통표지판 인식부(250)가 구비된 교통표지판 인식장치(200)를 포함하는 교통표지판 인식 시스템에 있어서,
    상기 교통표지판 인식부(250)는 상기 색상이 분리된 객체의 Top/Bottom Component 및 Top Line과 Bottom Line을 검출하고, 검출된 Top/Bottom Line의 수평 상태를 파악하여, 수평 상태로 파악되는 Top/Bottom Line의 개수에 따라 객체의 형태를 분류하여 교통표지판의 형태를 추출하되,
    상기 수평 상태로 파악되는 Top/Bottom Line의 개수가 0개인 경우 원형 형태로, 수평 상태로 파악되는 Top/Bottom Line의 개수가 2개인 경우 사각형 형태로, 상기 수평 상태로 파악되는 Bottom Line의 개수가 1개인 경우 삼각형 형태로, 수평 상태로 파악되는 Top Line의 개수가 1개인 경우 역삼각형 형태로 분류되어 추출되는 것을 특징으로 하는 교통표지판 인식 시스템.
  6. 제 5항에 있어서,
    상기 Top/Bottom Line는 Top/Bottom Line이 수평선을 기준으로 ±30°를 초과하지 않는 경우 수평 상태인 것으로 파악되는 것을 특징으로 하는 교통표지판 인식 시스템.
  7. 삭제
  8. 삭제
  9. 영상 공간정보 구축장치(100)를 통하여 제작된 영상 공간정보 데이터 중 교통표지판 인식 대상 영상을 선택하고, 상기 선택 영상에 포함된 객체의 색상적 특성에 따라 색상을 분리하며, 상기 색상이 분리된 객체의 형태적 특성에 따라 형태를 분리하고, 상기 분리된 객체의 색상 및 형태 정보를 통하여 객체를 교통표지판으로 인식하는 교통표지판 인식부(250)가 구비된 교통표지판 인식장치(200)를 포함하는 교통표지판 인식 시스템에 있어서,
    상기 교통표지판 인식부(250)는 인식 대상 영상에 포함된 객체의 Top/Bottom Component 및 Top Line과 Bottom Line을 검출하고, 검출된 Top/Bottom Line의 개수와 평행 상태를 파악하여, Top/Bottom Line의 개수와 평행 상태에 따라 객체의 형태를 분류하여 교통표지판의 형태를 추출하되,
    상기 교통표지판은 1개의 Bottom Line만이 존재하며 이와 평행하는 Top Line이 존재하지 않는 경우 삼각형 형태로, 1개의 Top Line만이 존재하며 이와 평행하는 Bottom Line이 존재하지 않는 경우 역삼각형 형태로, Top Line과 Bottom Line이 쌍으로 존재하며 서로 평행한 경우 사각형 형태로, Top/Bottom Line이 존재하지 않는 경우 원형 형태로 분류되어 추출되는 것을 특징으로 하는 교통표지판 인식 시스템.
  10. 삭제
  11. 제 4항, 제 6항, 제 9항 중 어느 한 항에 있어서,
    상기 교통표지판 인식장치(200)에는
    상기 교통표지판 인식부(250)를 통하여 인식되는 교통표지판 정보를 안전 운전을 위하여 교통표지판 정보를 필요로 하는 맵 DB(310) 또는 안전 운전 장치(320)를 포함하는 영상 서비스 장치(300)에 제공하는 교통표지판 정보 제공부(260)가 구비된 것을 특징으로 하는 교통표지판 인식 시스템.
  12. 삭제
  13. 제 4항, 제 6항, 제 9항 중 어느 한 항에 있어서,
    상기 영상 공간정보 구축장치(100)는
    영상 수집 동선에 따라 이동하면서 카메라(121)를 통하여 영상을 촬영하고, 상기 카메라(121)를 통하여 촬영되는 영상의 자세 정보 및 위치 정보를 측정하는 IMU(Inertial Measurement Unit)(122)와 GPS(Global Positioning System)(123)가 구비된 영상정보 수집부(120)와;
    상기 영상정보 수집부(120)를 통하여 수집되는 영상의 밝기를 조절하고, 영상 내의 객체를 구분하며, 상기 밝기가 조절되고 객체가 구분되는 영상 정보에 상기 IMU(122) 및 GPS(123)를 통하여 측정된 자세 정보 및 위치 정보를 매칭하여 영상 속성정보를 생성하는 영상 속성정보 생성모듈(133)이 구비된 후처리부(130);를 포함하여 이루어지는 것을 특징으로 하는 교통표지판 인식 시스템.
KR1020110091719A 2011-09-09 2011-09-09 영상 내 교통표지판 인식 시스템 Expired - Fee Related KR101199959B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110091719A KR101199959B1 (ko) 2011-09-09 2011-09-09 영상 내 교통표지판 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110091719A KR101199959B1 (ko) 2011-09-09 2011-09-09 영상 내 교통표지판 인식 시스템

Publications (1)

Publication Number Publication Date
KR101199959B1 true KR101199959B1 (ko) 2012-11-12

Family

ID=47564396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110091719A Expired - Fee Related KR101199959B1 (ko) 2011-09-09 2011-09-09 영상 내 교통표지판 인식 시스템

Country Status (1)

Country Link
KR (1) KR101199959B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001763B1 (ko) * 2018-01-02 2019-07-18 창원대학교 산학협력단 영상처리 기반의 속도표지판 인식 방법 및 장치
KR20200069910A (ko) 2018-12-07 2020-06-17 이인텔리전스 주식회사 교통표지판의 보조표지판 인식 방법 및 장치
KR20220077370A (ko) 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101028764B1 (ko) * 2009-06-25 2011-04-14 장성식 템플릿을 이용한 3차원 시설물 생성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101028764B1 (ko) * 2009-06-25 2011-04-14 장성식 템플릿을 이용한 3차원 시설물 생성방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001763B1 (ko) * 2018-01-02 2019-07-18 창원대학교 산학협력단 영상처리 기반의 속도표지판 인식 방법 및 장치
KR20200069910A (ko) 2018-12-07 2020-06-17 이인텔리전스 주식회사 교통표지판의 보조표지판 인식 방법 및 장치
KR20220077370A (ko) 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11733042B2 (en) Information processing apparatus, information processing method, program, and ground marker system
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN103971126B (zh) 一种交通标志识别方法和装置
JP6144656B2 (ja) 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法
KR101799778B1 (ko) 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법
US9092696B2 (en) Image sign classifier
CN109086687A (zh) 基于pca降维的hog-mblbp融合特征的交通标志识别方法
Le et al. Real time traffic sign detection using color and shape-based features
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN103544484A (zh) 一种基于surf的交通标志识别方法及系统
CN108932273B (zh) 图片筛选方法及装置
CN106709412B (zh) 交通标志检测方法和装置
CN108090459B (zh) 一种适用于车载视觉系统的交通标志检测识别方法
CN106408529A (zh) 一种阴影去除方法及装置
CN104182769B (zh) 一种车牌检测方法及系统
JP4747122B2 (ja) 特定領域自動抽出システム、特定領域自動抽出方法、および、プログラム
CN106991821A (zh) 违章车辆用手持移动终端数据采集系统
KR101199959B1 (ko) 영상 내 교통표지판 인식 시스템
CN118212598A (zh) 一种针对车辆的车型识别结果生成方法和装置
US20140169628A1 (en) Method and Device for Detecting the Gait of a Pedestrian for a Portable Terminal
JP2011043995A (ja) 路面標示認識装置
JP2019197359A (ja) 一般物体認識システム
JP4762026B2 (ja) 道路標識データベース構築装置
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
KR20170091824A (ko) 이미지 분류 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20151105

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20161104

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20221106

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20221106