[go: up one dir, main page]

KR101612822B1 - 차선 인식 장치 및 그 방법 - Google Patents

차선 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101612822B1
KR101612822B1 KR1020110078361A KR20110078361A KR101612822B1 KR 101612822 B1 KR101612822 B1 KR 101612822B1 KR 1020110078361 A KR1020110078361 A KR 1020110078361A KR 20110078361 A KR20110078361 A KR 20110078361A KR 101612822 B1 KR101612822 B1 KR 101612822B1
Authority
KR
South Korea
Prior art keywords
lane
image
feature points
extracted
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110078361A
Other languages
English (en)
Other versions
KR20130015984A (ko
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110078361A priority Critical patent/KR101612822B1/ko
Priority to PCT/KR2011/009800 priority patent/WO2013022153A1/en
Publication of KR20130015984A publication Critical patent/KR20130015984A/ko
Application granted granted Critical
Publication of KR101612822B1 publication Critical patent/KR101612822B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 명세서는 영상을 획득하는 카메라 모듈; 상기 획득된 영상으로부터 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하고, 상기 적합 된 차선을 추적하는 제어부; 및 상기 추적된 차선을 표시하는 표시부를 포함하되, 상기 차선 적합은, 상기 추출된 복수의 특징점 중 근거리 영역에 존재하는 특징점을 기초로 근거리 적합을 수행하고, 상기 근거리 적합 수행 결과를 기초로 차선의 횡방향 치우침을 나타내는 오프셋(offset)을 결정하고, 상기 결정된 오프셋을 기초로 곡선 적합을 수행하는 것을 특징으로 하는 차선 인식 장치에 관한 것이다.
또한, 본 명세서는 영상을 획득하는 단계; 상기 획득된 영상으로부터 복수의 특징점을 추출하는 단계; 상기 추출된 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하는 단계; 상기 적합 된 차선을 추적하는 단계; 및 상기 추적된 차선을 표시하는 단계를 포함하되, 상기 차선 적합을 수행하는 단계는, 상기 추출된 복수의 특징점 중 근거리 영역에 존재하는 특징점을 기초로 근거리 적합을 수행하는 단계; 상기 근거리 적합 수행 결과를 기초로 차선의 횡방향 치우침을 나타내는 오프셋(offset)을 결정하는 단계; 및 상기 결정된 오프셋을 기초로 곡선 적합을 수행하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법에 관한 것이다.

Description

차선 인식 장치 및 그 방법{APPARATUS FOR DETECTING LANE AND METHOD THEREOF}
본 명세서는 차선 인식 장치 및 그 방법에 관한 것이다.
일반적으로 주행 장치가 선을 추적하여 이동할 때, 선을 이탈한 것을 감지하여 외부로 경보를 발하기 위해서는 우선적으로 영상 인식 장치 등을 사용하여 선을 인식해야 한다.
즉, 영상을 이용한 인식 장치는 주행 장치에서 인식하기 위한 목표물의 영상을 카메라 등을 이용하여 획득한 후, 디지털 영상처리 기술을 이용하여 목표물의 특징을 추출하고, 추출된 특징을 이용하여 목표물을 확인하는 과정을 수행하는데, 이러한 영상 인식 장치가 본래의 기능을 원활히 수행하기 위해서는 이동하는 물체에서 목표물인 선을 더욱 정확하게 추출할 수 있어야 한다.
이와 같은 영상 인식 장치는 자동차, RT(Robot Technology), AGV(Automated Guided Vehicle) 등의 분야에서 폭넓게 적용될 수 있으며, 특히 자동차 분야에서는 고속 주행 시에도 정확한 차선 인식을 보장하여야 하기 때문에 타분야에 비하여 기술적 난이도가 높다. 여기서 차선은 운전의 기준선으로서 전진, 후진, 차선 변경, 진로 변경, 전진 주차, 후진 주차 및 종렬 주차 등 모든 운전 행위의 기준이 된다.
현재 고기능화, 지능화가 진행되고 있는 첨단 안전 차량(Advanced Safety Vehicle; ASV)은 차선 인식 방법의 주요 적용 대상으로서 졸음 운전 방지를 위한 차선 이탈 경보 장치, 초보자의 주차를 돕기 위한 후방 주차 가이드 및 종렬 주차 가이드 장치, 위험한 상황에서 핸들에 토크를 가하여 차선을 유지시키는 차선 유지 장치 등에 적용되며 점차 그 적용 범위가 넓혀지고 있다.
위와 같이 주행 도로를 영상으로 획득하고, 획득된 영상에서 차선을 구분하여 인식하는 기술에 따른 차선 인식 방법들을 살펴보면, 획득한 영상의 좌표에 대한 차선 포인트들을 2차원 좌표에 맵핑하고 차선의 위치를 검출하여 표시하는 과정으로 이루어진다.
이때 차선이 곡선으로 이루어지는 경우, 얻어진 차선 포인트들로부터 곡선 방정식을 사용하거나 차선의 폭을 이용하여 곡선을 인식한다. 그러나 이러한 방법은 곡률이 심한 곡선 도로 또는 직선 도로와 곡선 도로가 연결되는 도로와 같이 하나의 곡선 방정식으로 표현하기 어려운 경우에는, 인식된 차선에 대한 정확도가 현저하게 떨어질 수 있다.
본 명세서는, 곡률이 심한 곡선 도로 직선 도로와 곡선 도로가 연결되는 도로와 같이 하나의 곡선 방정식으로 표현하기 어려운 경우에도 정확하게 차선을 인식하는 장치 및 방법을 제공한다.
본 명세서에 개시된 차선 인식 장치는, 영상을 획득하는 카메라 모듈, 상기 획득된 영상으로부터 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하고, 상기 적합 된 차선을 추적하는 제어부, 및 상기 추적된 차선을 표시하는 표시부를 포함하되, 상기 차선 적합은, 상기 추출된 복수의 특징점 중 근거리 영역에 존재하는 특징점을 기초로 근거리 적합을 수행하고, 상기 근거리 적합 수행 결과를 기초로 차선의 횡방향 치우침을 나타내는 오프셋(offset)을 결정하고, 상기 결정된 오프셋을 기초로 곡선 적합을 수행하는 것을 특징으로 한다.
또한, 상기 곡선 적합은, 임의의 차원을 갖는 곡선 방정식을 기초로 상기 곡선 방정식의 계수들을 결정하는 것을 특징으로 한다.
또한, 상기 근거리 영역은, 상기 획득된 영상을 상하로 균등분할한 것 중 하부영역이거나, 또는 상기 획득된 영상의 하부로부터 임의의 영역까지인 것을 특징으로 한다.
또한, 상기 카메라 모듈은, 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라 또는 단일 카메라를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 복수의 특징점은, 상기 획득된 영상 내의 지평선을 중심으로 하단에 해당하는 도로 부분만을 관심 영역으로 설정하고, 상기 관심 영역에 대하여만 추출되는 것을 특징으로 한다.
또한, 상기 복수의 특징점은, 상기 획득된 영상의 그레디언트 정보 또는 색상 정보를 기초로 추출되는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 추출된 복수의 특징점을 월드 좌표계로 변환하고, 상기 변환된 복수의 특징점을 기초로 차선을 적합하는 것을 특징으로 한다.
또한, 상기 차선의 적합은, 최소 자승법, 랜삭, 일반 허프 변환법, 또는 스플라인 보간법 중 어느 하나의 방식을 사용하여 수행되는 것을 특징으로 한다.
또한, 상기 차선의 추적은, 상기 적합 된 차선 전부에 대하여 수행되는 것을 특징으로 한다.
또한, 본 명세서에 개시된 차선 인식 방법은, 영상을 획득하는 단계, 상기 획득된 영상으로부터 복수의 특징점을 추출하는 단계, 상기 추출된 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하는 단계, 상기 적합 된 차선을 추적하는 단계, 및 상기 추적된 차선을 표시하는 단계를 포함하되, 상기 차선 적합을 수행하는 단계는, 상기 추출된 복수의 특징점 중 근거리 영역에 존재하는 특징점을 기초로 근거리 적합을 수행하는 단계, 상기 근거리 적합 수행 결과를 기초로 차선의 횡방향 치우침을 나타내는 오프셋(offset)을 결정하는 단계, 및 상기 결정된 오프셋을 기초로 곡선 적합을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 곡선 적합을 수행하는 단계는, 임의의 차원을 갖는 곡선 방정식을 기초로 상기 곡선 방정식의 계수들을 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 근거리 영역은, 상기 획득된 영상을 상하로 균등분할한 것 중 하부영역이거나, 또는 상기 획득된 영상의 하부로부터 임의의 영역까지인 것을 특징으로 한다.
또한, 상기 카메라 모듈은, 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라 또는 단일 카메라를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 복수의 특징점은, 상기 획득된 영상 내의 지평선을 중심으로 하단에 해당하는 도로 부분만을 관심 영역으로 설정하는 단계, 및 상기 관심 영역에 대하여만 복수의 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 복수의 특징점은, 상기 획득된 영상의 그레디언트 정보 또는 색상 정보를 기초로 추출되는 것을 특징으로 한다.
또한, 상기 차선 적합을 수행하는 단계는, 상기 추출된 복수의 특징점을 월드 좌표계로 변환하는 단계, 및 상기 변환된 복수의 특징점을 기초로 차선 적합을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 차선을 적합하는 단계는, 최소 자승법, 랜삭, 일반 허프 변환법, 또는 스플라인 보간법 중 어느 하나의 방식을 사용하여 수행되는 것을 특징으로 한다.
또한, 상기 차선을 추적하는 단계는, 상기 적합 된 차선 전부에 대하여 수행되는 것을 특징으로 한다.
본 명세서에 개시된 차선 인식 장치에 따르면, 주행 경로에 나타난 전체 차선을 추적하고 추적 결과로부터 차선을 인식함으로써, 인터체인지와 같이 변동하는 도로 상황에서도 정확하게 차선을 인식할 수 있고 차선 변경 상황에서도 신속하게 새로운 주행 차선을 인지할 수 있다.
또한, 본 명세서에 개시된 차선 인식 장치에 따르면, 곡률이 심한 곡선 도로를 인식하는 데 있어서, 근거리 적합을 먼저 실시하고 이를 기초로 원거리 곡선 적합을 수행함으로써, 실제 차선에 가까운 결과를 얻음과 동시에 정확한 오프셋(off set)을 결정할 수 있다.
도 1은 본 명세서에 개시된 실시 예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 2는 본 명세서에 개시된 실시 예에 따른 차선 인식 과정을 나타낸 흐름도이다.
도 3은 본 명세서에 개시된 실시 예에 따른 영상을 나타낸 도면이다.
도 4는 본 명세서에 개시된 실시 예에 따른 특징점 추출 결과를 나타낸 도면이다.
도 5는 본 명세서에 개시된 실시 예에 다른 추출된 특징점의 월드 좌표계 변환 결과를 나타낸 도면이다.
도 6은 본 명세서에 개시된 실시 예에 따른 차선 적합 결과를 나타낸 도면이다.
도 7은 본 명세서에 개시된 실시 예에 따른 차선 추적 결과의 표시를 나타낸 도면이다.
도 8은 본 명세서에 개시된 실시 예에 따른 곡선 적합 과정을 나타낸 흐름도이다.
도 9는 실제 차선과 곡선 적합 결과 차선을 비교하여 나타낸 도면이다.
도 10은 본 명세서에 개시된 실시 예에 따른 근거리 적합 결과를 나타낸 도면이다.
도 11은 본 명세서에 개시된 실시 예에 따른 곡선 적합 결과를 나타낸 도면이다.
본 명세서에 개시된 실시 예들은, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.
본 명세서에 개시된 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 파일 데이터, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 예도 마찬가지다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.
도 1은 본 명세서에 개시된 실시 예에 따른 차선 인식 장치를 나타낸 블록도이다.
도 1을 참조하면, 차선 인식 장치(100)는 카메라 모듈(110), 제어부(120), 저장부(130), 및 출력부(140)를 포함하여 구성될 수 있다.
상기 카메라 모듈(110)은 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위, 후방위 및/또는 측방위를 한번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용될 수 있다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추형, 복합형 등 다양하다. 상기 카메라 모듈(110)은 상기 차선 인식 장치(100)의 임의의 동일면의 동일 중심축 상에 수평 간격으로 이격적으로 설치되는 적어도 한 쌍의 카메라(스테레오 카메라(stereo camera), 스테레오코스픽 카메라(stereoscopic camera)), 또는 단일 카메라를 포함할 수 있다. 이때, 상기 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 상기 차선 인식 장치(100)를 구성할 때 설정할 수 있다. 또한, 상기 카메라 모듈(110)은, 영상 촬상이 가능한 임의의 모든 카메라 모듈일 수도 있다.
또한, 상기 카메라 모듈(110)의 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용될 수 있다. 상기 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상일 수 있다. 따라서 상기 카메라 모듈(110)은 화상의 정확한 관찰을 위해 촬상 소자의 출력을 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낼 수 있다.
상기 카메라 모듈(110)은 전방위를 촬영하여 영상을 획득하기 위해 스테레오 카메라(stereo camera), 이동식 스테레오 카메라(moving stereo camera) 중 하나 이상을 포함하여 구성될 수 있다.
상기 스테레오 카메라는 복수의 카메라로 구성되는 영상 장치이다. 상기 카메라 모듈(110)을 통해 얻은 영상은 상기 카메라 모듈(110) 주변에 대한 2차원적인 정보를 제공할 수 있다. 복수의 카메라를 통해 서로 다른 방향에서 촬영한 복수의 영상을 이용하면 상기 카메라 모듈(110) 주변에 대한 3차원적인 정보를 얻을 수 있다.
상기 이동식 스테레오 카메라는 스테레오 카메라의 위치가 장애물의 거리에 따라 능동적으로 변하여 관측 장애물에 대한 주시각을 고정시키는 카메라를 말한다. 상기 스테레오 카메라는 일반적으로 두 대의 카메라를 평행하게 배치하고 영상을 획득하며, 획득 영상의 스테레오 시차에 따라 장애물까지의 거리를 계산할 수 있다.
상기 스테레오 카메라는 광축이 항상 평행하게 배치되어 고정된 형태의 수동적인 카메라이다. 반면, 상기 이동식 스테레오 카메라는 광축의 기하학적 위치를 능동적으로 변화시켜 주시각을 고정시킬 수 있다.
상기 스테레오 카메라의 주시 각도를 장애물의 거리에 따라 제어하는 것을 주시각 제어라 한다. 상기 주시각 제어 스테레오 카메라는 움직이는 장애물에 대한 스테레오 시차를 항상 일정하게 유지하여 입체 영상 관측자에게 더욱 자연스러운 입체 영상을 제공할 수 있으며 장애물에 대한 거리 측정이나 스테레오 영상 처리에 있어서 유용한 정보를 제공할 수 있다.
상기 제어부(120)는 상기 차선 인식 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어 상기 차선 인식 장치(100)가 주행하기 위한 각종 동력 구동부의 제어를 수행할 수 있다. 또한, 본 명세서에 개시된 일 실시 예에 따르면, 상기 제어부(120)는 상기 카메라 모듈(110)로부터 수신한 영상의 처리, 차선 인식 및 기타 연산에 관한 처리를 수행한다.
상기 제어부(120)의 차선 인식 과정은 이하 도 2 내지 도 11을 참조하여 상세히 설명된다.
또한, 상기 제어부(120)는, 임의의 GPS 모듈(미도시)을 통해 확인되는 상기 차선 인식 장치(100)(또는, 상기 차선 인식 장치(100)가 구비된 차량)의 위치 및 상기 인식된 차선을 근거로 차선 유지와 관련된 기능(경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행할 수 있다.
상기 저장부(130)는 상기 제어부(120)의 동작을 위한 데이터와 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수 있다.
본 명세서에 개시된 일 실시 예에 따르면, 상기 저장부(120)는 상기 카메라 모듈(110)을 통해 수신되는 영상, 상기 영상에 관한 처리 정보 및 차선 인식 정보를 임시 저장할 수 있다. 또한, 상기 저장부(120)는 상기 영상에 관한 처리를 위한 연산식(예를 들어, 곡선 방정식 등)을 저장할 수 있다.
어떤 실시 예들에서는, 상기 저장부(130)에 운영 체제(Operating System)(미도시), 무선통신부 기능을 수행하는 모듈(미도시), 사용자 입력부와 함께 동작하는 모듈(미도시), A/V 입력부와 함께 동작하는 모듈(미도시), 상기 출력부(140)와 함께 동작하는 모듈을 포함하는 소프트웨어 컴포넌트들이 저장될 수 있다. 상기 운영 체제(예를 들어, LINUX, UNIX, OS X, WINDOWS, Chrome, Symbian, iOS, Android, VxWorks 또는 기타 임베디드 운영체제)는 메모리 관리, 전력 관리 등과 같이 시스템 작업(tasks)들을 제어하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함할 수 있다.
상기 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 xD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 상기 차선 인식 장치(100)는 인터넷(Internet)상에서 상기 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
상기 출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(141), 및 음향 출력 모듈(142)을 포함하여 구성될 수 있다.
상기 디스플레이부(141)는 상기 차선 인식 장치(100)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 상기 차선 인식 장치(100)가 주행 중인 경우, 주행과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다.
본 명세서에 개시된 일 실시 예에 따르면, 상기 디스플레이부(141)는 상기 차선 인식 장치(100)의 상기 카메라 모듈(110)을 통해 획득된 영상 및/또는 상기 제어부(120)를 통해 인식된 차선과 관한 정보를 표시할 수 있다. 상기 디스플레이부(141)는 상기 영상과 상기 인식된 차선에 관한 정보를 동시에 표시하되, 상하 또는 좌우측으로 분할하여 표시하거나, 상기 영상에 상기 인식된 차선에 관한 정보를 오버랩하여 표시할 수 있다.
상기 디스플레이부(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭 될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparent OLED) 등이 있다. 상기 디스플레이부(141)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다.
상기 차선 인식 장치(100)의 구현 형태에 따라 상기 디스플레이부(141)는 2개 이상 존재할 수 있다. 예를 들어, 상기 차선 인식 장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격적, 또는 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
또한, 상기 디스플레이부(141)는 터치 동작을 감지하는 터치 센서(미도시)와 상호 레이어 구조를 이룰 수 있다. 이 경우, 상기 디스플레이부(141)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.
상기 터치 센서는 상기 디스플레이부(141)의 특정 부위에 가해진 압력 또는 상기 디스플레이부(141)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 상기 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호는 터치 제어기로 보내진다. 터치 제어기는 그 신호를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는 상기 디스플레이부(141)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 음향 출력 모듈(142)은 녹음 모드, 음성인식 모드 등에서 상기 저장부(130)에 저장된 오디오 데이터를 출력할 수 있다. 상기 음향 출력 모듈(142)은 차선 인식 장치(200)에서 수행되는 차선 인식 결과(예를 들어, 인식된 차선의 종류 등에 대한 알림 등) 및 차선 인식에 관한 기능(예를 들어, 차선 이탈 경고, 자동 차선 유지 알림 등)과 관련된 음향 신호를 출력하기도 한다. 상기 음향 출력 모듈(142)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
또한, 상기 차선 인식 장치(100)는, 상기 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(미도시)를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
또한, 상기 통신부는, 상기 차선 인식 장치(100)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.
또한, 상기 통신부는, 상기 임의의 단말기 또는 서버로부터 임의의 카메라 모듈을 통해 촬영된 영상을 전송받을 수 있다. 또한, 상기 통신부는, 상기 제어부(120)의 제어에 의해 임의의 영상에 대한 차선 인식 정보를 상기 임의의 단말기 또는 서버로 전송할 수 있다.
도 1에 도시한 차선 인식 장치(100)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많거나 적은 구성 요소에 의해 차선 인식 장치(100)가 구현될 수 있다.
도 2는 본 명세서에 개시된 실시 예에 따른 차선 인식 과정을 나타낸 흐름도이다.
도 2를 참조하면, 먼저, 상기 차선 인식 장치(100)는 영상을 획득한다(s21).
상기 카메라 모듈(110)은, 차선 인식 장치(100)의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라 또는 스테레오코스픽 카메라)를 통해 촬영된 제 1 영상 및 제 2 영상을 수신하거나 또는, 단일 카메라를 통해 촬영된 영상을 획득할 수 있다. 여기서, 상기 제 1 영상은, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상이고, 상기 제 2 영상은 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상일 수 있다. 또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라를 통해 촬영된 제 1 영상 및 제 2 영상 중에서 어느 하나의 영상을 획득할 수도 있다.
일 예로, 상기 카메라 모듈(110)은, 상기 단일 카메라를 통해 도 3에 도시한 바와 같이 영상(310)을 획득할 수 있다.
그 다음, 상기 차선 인식 장치(100)는 차선의 특징점을 추출한다(s22).
상기 제어부(120)는 상기 카메라 모듈(110)에서 획득된 영상(310)으로부터 차선을 구분하기 위해, 도 4에 도시된 바와 같이 영상에 존재하는 복수의 특징점(edge point)(410)을 추출한다. 이때, 상기 제어부(120)는 지평선을 중심으로 하단의 도로 부분만을 관심 영역(Region of Interest; ROI)으로 설정하고, 관심 영역에서만 특징점(410) 추출을 수행할 수 있다.
특징점(410) 추출은 다양한 알고리즘을 통해 수행될 수 있다.
예를 들어, 상기 제어부(120)는 상기 획득된 영상(310)의 그레디언트(gradient) 정보를 기초로 특징점(410)을 추출할 수 있다. 즉, 상기 제어부(120)는 상기 획득된 영상(310)의 근접한 픽셀(pixel) 간 밝기 또는 색상 농담이 단계적으로 변화하는 경우, 특징점(410)이 아닌 것으로 인식할 수 있다. 반대로, 상기 제어부(120)는 근접한 픽셀 간 밝기 또는 색상 농담이 급격하게 변화하는 경우, 이를 특징점(410)으로 인식하고 해당 픽셀 정보를 추출할 수 있다. 이 경우, 특징점(410)은 픽셀의 밝기 또는 색상 농담이 구분되는 두 영역의 경계선에 대한 불연속점으로 이루어질 수 있다.
또는, 상기 제어부(120)는 상기 획득된 영상(310)의 색상 정보를 기초로 특징점(410)을 추출할 수 있다. 일반적으로, 도로 내에서 일반 차선은 흰색으로, 중앙 차선은 노란색으로, 차선이 아닌 부분은 검은색을 띄고 있다. 따라서, 상기 제어부(120)는 차선의 색상 정보를 기초로 특징점(410)을 추출할 수 있다. 즉, 상기 제어부(120)는 영상(310)으로부터 차선으로 분류될 수 있는 색상을 지닌 영역만을 하나의 객체로 만들고, 도로를 주행하는 다른 객체들을 제외하기 위해 도로에 해당하는 영역만을 관심 영역으로 분류한 뒤, 관심 영역 내의 색상 정보를 기초로 만들어진 객체로부터 특징점(410)을 추출할 수 있다.
상기에서는 상기 제어부(120)가 특징점(410)을 추출하는 알고리즘의 일 예를 들어 설명하였으나, 이에 한정되지 않고 Edge Tracing 또는 Boundary Flowing 알고리즘 등 다양한 특징점 추출 알고리즘 또는 필터를 통해 특징점(410)을 추출할 수 있다.
또한, 본 명세서에 개시된 일 실시 예에 따르면, 상기 제어부(120)는 상기 특징점(410) 추출 후, 도 5에 도시된 바와 같이 상기 추출된 복수의 특징점(410)을 월드 좌표계로 변환할 수 있다. 이때, 상기 제어부(120)는 변환 행렬을 이용하거나 좌표 변환 방정식을 이용할 수 있다. 상기 변환 행렬은 상기 저장부(130)에 미리 저장된 것으로 호모그래픽 행렬(homographic maxtix)일 수 있다. 또한, 상기 제어부(120)는 상기 월드 좌표계로 각각 변환된 복수의 특징점(510)의 수직 및 수평 방향 간격을 동일하게 유지하여 좌표 변환 중 발생한 오류를 쉽게 검출하도록 할 수 있다.
그 후, 상기 차선 인식 장치(100)는 차선을 적합한다(s23).
상기 제어부(120)는, 도 6에 도시된 바와 같이, 상기 추출된 복수의 특징점(510)을 하나의 선(610)으로 표현하기 위해 차선 적합을 수행한다. 상기 제어부(120)는 영상에서 직선 또는 곡선을 추출하기 위해 최소 자승법(least square method), 랜삭(Random Sample Consensus : RANSAC), 일반 허프 변환법(general hough transform method), 스플라인(spline) 보간법 등 중 어느 하나의 방식을 사용할 수 있다.
본 명세서에 개시된 일 실시 예에 따르면, 상기 제어부(120)는 상기 추출된 복수의 특징점(510)이 곡선에 해당하는 경우, 곡선 방정식을 근거로 차선 적합을 수행할 수 있다. 구체적으로, 상기 제어부(120)는 상기 추출된 복수의 특징점(510)을 곡선 방정식에 대입하여 그 계수를 구하고, 계수가 구해진 곡선 방정식의 결과를 근거로 곡선 적합을 수행할 수 있다. 이때, 상기 커브 방정식은 상기 저장부(130)에 기 저장된 것으로 임의의 다차원 방정식일 수 있다.
예를 들어 상기 곡선 방정식이 2차 방정식일 경우, 상기 제어부(120)는 상기 복수의 특징점(510)을 2차 방정식, 예를 들어 y=ax2+bx+c (여기서, a는 곡률, b는 헤딩 각도, C는 오프셋)에 대입하여 곡선 적합을 수행할 수 있다. 이때, 상기 제어부(120)는 대입 결과 a가 0이면, 직선으로 인식하고, a가 0이 아니면, 커브로 인식할 수 있다.
다른 예로 상기 곡선 방정식이 3차 방정식인 경우, 상기 제어부(120)는 상기 복수의 특징점(510)을 3차 방정식, 예를 들어, y=ax3+bx2+cx+d (여기서, a는 커브 변화율(curve derivative), b는 곡률, c는 헤딩 각도, d는 오프셋)에 대입하여 곡선 적합을 수행한다. 이때, a가 0일 경우, 2차 방정식에서 b는 곡률, c는 헤딩 각도, d는 오프셋을 나타내며, a와 b 모두 0일 경우는 직선 검출로서, c는 헤딩 각도, d는 오프셋을 나타낸다.
본 명세서에 개시된 일 실시 예에 따르면, 상기 제어부(120)는 근거리 적합 결과를 기초로 곡선 적합을 수행할 수 있다.
곡률이 심한 곡선 도로 또는 직선 도로와 곡선 도로가 연결되는 도로와 같이 하나의 곡선 방정식으로 표현하기 어려운 경우, 곡선 적합 시 오프셋의 정확도가 떨어질 수 있다. 따라서 상기 제어부(120)는 근거리 차선에 대한 저차 다항식의 근거리 적합을 먼저 수행하고, 그 결과를 기초로 전체 차선에 대한 고차 다항식의 곡선 적합을 수행할 수 있다.
이와 같이, 근거리 적합 결과를 이용한 곡선 적합 과정은 하기에서 도 8 내지 도 11을 참조하여 상세히 설명한다.
끝으로, 상기 차선 인식 장치(100)는 차선을 추적한다(s24).
상기 제어부(120)는 캘리브레이션 시간을 감소시키고 노이즈를 감소시키기 위해서, 상기 적합 된 차선에 해당하는 상기 복수의 특징점(510)을 근거로 추적을 수행한다. 이때, 캘리브레이션은, 상기 카메라 모듈(110)과 월드 좌표계와의 변환 관계를 계산하는 것을 의미한다.
본 명세서에 개시된 일 실시 예에 따르면, 상기 제어부(120)는 적합 된 복수 개의 차선 전부에 대하여 추적을 수행할 수 있다. 즉, 상기 제어부(120)는 상기 차선 인식 장치(100)가 주행 중인 차선 외에 주행 도로상에 존재하는 주변의 차선에 대해서도 추적을 수행할 수 있다.
이렇게 함으로써, 상기 제어부(120)는 상기 차선 인식 장치(100)가 차선을 변경하는 경우에도 새롭게 차선을 추적할 필요없이 기존의 추적 정보로부터 빠르게 차선을 인식할 수 있다.
또한, 일부 차선이 누락, 소실 또는 상기 카메라 모듈(110)의 일시적 동작 장애로 영상이 누락되는 경우에도, 상기 제어부(120)는 복수의 차선에 대한 추적 정보(예를 들어, 차선의 위치, 차선 폭, 곡선 차선의 곡선 방정식 등)를 기초로 차선을 추정하여 인식할 수 있다.
이 경우, 상기 제어부(120)는 상기 추적 결과를 상기 저장부(130)에 저장할 수 있다. 이로써 상기 제어부(120)는 차선 적합 시에 일부 오류가 발생한 경우에도 상기 저장된 추적 결과를 기초로 오류를 보정 할 수 있다.
추가로, 상기 차선 인식 장치(100)는 차선의 추적 결과를 표시할 수 있다(s25).
상기 출력부(140)는 상기 차선 인식 과정을 통해 추적된 결과를 도 7에 도시된 바와 같이 표시할 수 있다.
상기 출력부(140)는 상기 차선 인식 장치(100)의 상기 카메라 모듈(110)을 통해 획득된 영상(310) 및/또는 상기 제어부(120)를 통해 인식된 차선의 추적 결과(710)를 표시할 수 있다. 상기 출력부(140)는 상기 영상(310)과 상기 인식된 차선의 추적 결과(710)를 동시에 표시하되, 상하 또는 좌우측으로 분할하여 표시하거나, 상기 영상에 상기 인식된 차선에 관한 정보를 오버랩하여 표시할 수 있다.
또는, 상기 출력부(140)는 차선 인식 결과(예를 들어, 인식된 차선의 종류 등에 대한 알림 등) 및 차선 인식에 관한 기능(예를 들어, 차선 이탈 경고, 자동 차선 유지 알림 등)과 관련된 음향 신호를 출력할 수 있다.
하기에서는, 상기 차선 인식 과정 중 차선 적합 과정, 특히 곡선 적합 과정에 대하여 보다 상세히 설명한다.
도 8은 본 명세서에 개시된 실시 예에 따른 곡선 적합 과정을 나타낸 흐름도이다.
도 8을 참조하면, 먼저 상기 차선 인식 장치(100)는 근거리 적합을 수행한다(s231).
본 명세서에 개시된 실시 예에 따르면, 상기 제어부(120)는 상기 추출된 복수의 특징점(510)이 곡선에 해당하는 경우, 곡선 방정식을 사용하여 차선 적합을 수행할 수 있다. 이때, 곡률이 심한 곡선 도로 또는 직선 도로와 곡선 도로가 연결되는 도로와 같이 하나의 곡선 방정식으로 표현하기 어려운 경우에는, 인식된 차선의 오프셋에 대한 정확도가 현저하게 떨어질 수 있다.
여기서, 오프셋이란 상기 차선 인식 장치(100)에 대하여 차선이 좌측에 위치하는지 또는 우측에 위치하는지를 나타내는 것으로, 차선을 임의의 방정식으로 나타낼 때 상수(1차 항의 계수)에 해당하는 값을 말한다. 즉, 상수가 양의 값을 갖는 경우 차선은 상기 차선 인식 장치(100)의 우측에 위치하는 것이고, 반대로 상수가 음의 값을 갖는 경우 차선은 상기 차선 인식 장치(100)의 좌측에 위치하는 것을 나타낸다.
예를 들어, 도 9에 도시된 바와 같이, 근거리 직선 차선과 원거리 곡선 차선이 연결된 도로의 실제 차선(910)에 대하여 차선 적합을 수행할 때, 근거리 영역(901)에서 추출된 복수의 특징점(510)보다 원거리 영역(902)에서 추출된 복수의 특징점(510)이 개수와 방향성에서 더 우수한 값을 갖기 때문에, 차선 적합에 더 큰 영향을 미치게 된다. 따라서 추출된 복수의 특징점(510)을 곡선으로 인식한 상기 제어부(120)는 곡선 방정식에 기초하여 차선 적합을 수행하고, 그 결과 차선에 대한 인식 결과는 전체적으로 곡률을 갖는 곡선 적합 결과(920)를 갖게 된다. 이 경우, 원거리 영역(902)에 대하여는 차선 인식이 정확할 수 있으나, 일부 직선 차선을 갖는 근거리 영역(901)에 대하여는 차선 인식이 부정확해 진다. 또한, 상기 차선 인식 장치(100)(도 9의 원점 부분)의 우측에 존재하는 실제 차선(910)에 대하여 곡선 적합 결과(920) 차선의 시작점이 상기 차선 인식 장치(100)의 좌측에 존재하게 되므로, 부정확한 오프셋이 발생하여 안전한 주행이 어렵게 된다.
따라서, 상기 제어부(120)는 정확한 오프셋을 찾기 위해 추출된 복수의 특징점(510)으로부터 근거리 적합을 먼저 수행한다. 도 10에 도시된 바와 같이, 상기 제어부(120)는 상기 추출된 복수의 특징점(510) 중 근거리 영역(901)에 있는 복수의 특징점(510)을 분류하여 차선 적합을 수행한다. 예를 들어, 도 10을 참조하면, 실제 차선(910)의 근거리 영역(901)이 직선 도로 형태이기 때문에 근거리 적합 결과(930)는 직선 형태를 갖게 된다. 따라서 근거리 적합 결과(930) 인식된 차선은 1차원의 직선 방정식으로 적합 될 수 있다.
상기 제어부(120)가 근거리 적합을 수행하는 데 있어서, 근거리 영역(901) 및 원거리 영역(902)의 경계의 결정에 대하여 제한하지 않는다. 따라서 상기 제어부(120)는 상기 획득된 영상(310)을 상하로 균등하게 분할하거나 직선 도로의 임의의 부분까지를 근거리 영역(901)으로 분류할 수 있으며, 상기 차선 인식 장치(100)는 정확한 차선 인식을 위한 경계 결정을 위하여 별도의 연산장치를 구비할 수 있다.
또한, 근거리 영역(901)에 있는 복수의 차선을 분류하는 기준에 특별한 제한을 두지 않으며, 임의의 개수 또는 임의의 거리 내에 존재하는 특징점으로 분류할 수 있다.
또한, 상기 제어부(120)는 도로 영역을 근거리 영역(901) 및 원거리 영역(902)으로 이분할 하는 것에 구속되지 않고 복수의 영역으로 분할하여 각 영역에 대하여 근거리 적합을 수행할 수 있다.
그 다음, 상기 차선 인식 장치(100)는 근거리 적합 결과로부터 방정식의 오프셋을 결정한다(s232).
상기 제어부(120)는 상기 근거리 적합 결과(930)로부터 곡선 방정식의 계수 중 차선의 오프셋을 나타내는 상수를 결정한다.
예를 들어, 도 9에 도시된 바와 같이, 근거리 적합 결과(930) 차선이 직선 차선인 경우, 상기 근거리 적합 결과는 1차원 방정식, 즉 y=ax+b로 나타날 수 있다. 이때, a는 헤딩 각도, b는 오프셋을 나타낸다.
상기 제어부(120)는 상기 근거리 적합 결과(930)로부터 오프셋을 나타내는 b 값을 곡선 방정식의 상수 값으로 취할 수 있다. 즉, 곡선인 차선에 대하여 2차 방정식, 즉 y=ax2+bx+c를 이용하여 전체 차선에 대한 곡선 적합을 수행할 때, 차선의 오프셋을 나타내는 c값을 상기 근거리 적합 결과(930)에 따른 상수 b값으로 결정할 수 있다.
이로써, 실제 차선(910)에 대하여 실제 차선(910)과 곡선 적합 결과(920)에 따른 오차를 방지하고, 근거리 적합 결과(930)로부터 올바른 오프셋을 결정할 수 있다.
마지막으로, 상기 차선 인식 장치(100)는 곡선 적합을 수행한다(s233).
상기 제어부(120)는 상기 결정된 오프셋을 기초로 차선의 전체 차선에 대한 곡선 적합을 수행하여 곡선 방정식에 대한 나머지 계수를 구할 수 있다.
예를 들어, 전체 곡선 도로에 대하여 2차원 방정식, 즉 y=ax2+bx+c을 이용하여 곡선 적합을 수행할 경우, 상기 c값은 곡선 적합과 무관하게 근거리 적합 결과(930)로부터 기 결정된 오프셋으로 결정하고, 추출된 복수의 특징점(510)을 기초로 곡선 적합을 수행하여 나머지 상수 a와 b의 값을 결정할 수 있다.
또는, 상기 제어부(120)는 상기 근거리 적합에 사용된 복수의 특징점(510)을 제외한 나머지 특징점만으로 원거리 영역(902)에 대한 곡선 적합을 수행할 수 있다.
이로써, 도 11에 도시된 바와 같이, 실제 차선(910)에 대하여 차선 적합 결과(940)는 정확한 오프셋을 유지하면서 근거리 영역(901)부터 원거리 영역(902)에 걸쳐 인식된 차선에 대한 높은 정확도를 유지할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차선 인식 장치 110: 카메라 모듈
120: 제어부 130: 저장부
140: 출력부

Claims (18)

  1. 영상을 획득하는 카메라 모듈;
    상기 획득된 영상으로부터 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점을 월드 좌표계로 변환 및, 상기 변환된 복수의 특징점을 기초로 상기 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하고, 상기 적합 된 차선을 추적하는 제어부; 및,
    상기 추적된 차선을 표시하는 표시부를 포함하되,
    상기 제어부는,
    상기 변환된 복수의 특징점 중 기 설정된 근거리 영역에서 추출된 특징점들로부터 근거리 적합을 수행하고, 수행된 근거리 적합 결과에 따른 1차원 직선 방정식으로부터 결정된 오프셋 값을 상수값으로 포함하는 곡선 방정식에 근거하여 전체 차선에 대한 곡선 적합을 수행하며,
    상기 오프셋(offset) 값은,
    상기 근거리 적합 수행 결과를 기초로 차선의 횡방향 치우침을 나타내는 것을 특징으로 하는 차선 인식 장치.
  2. 제1항에 있어서, 상기 곡선 적합은,
    임의의 차원을 갖는 상기 곡선 방정식을 기초로 상기 곡선 방정식의 계수들을 결정하는 것을 특징으로 하는 차선 인식 장치.
  3. 제1항에 있어서, 상기 근거리 영역은,
    상기 획득된 영상을 상하로 균등분할한 것 중 하부영역이거나, 또는 상기 획득된 영상의 하부로부터 임의의 영역까지인 것을 특징으로 하는 차선 인식 장치.
  4. 제1항에 있어서, 상기 카메라 모듈은,
    동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라 또는 단일 카메라를 포함하여 구성되는 것을 특징으로 하는 차선 인식 장치.
  5. 제1항에 있어서, 상기 복수의 특징점은,
    상기 획득된 영상 내의 지평선을 중심으로 하단에 해당하는 도로 부분만을 관심 영역으로 설정하고, 상기 관심 영역에 대하여만 추출되는 것을 특징으로 하는 차선 인식 장치.
  6. 제1항에 있어서, 상기 복수의 특징점은,
    상기 획득된 영상의 그레디언트 정보 또는 색상 정보를 기초로 추출되는 것을 특징으로 하는 차선 인식 장치.
  7. 삭제
  8. 제1항에 있어서, 상기 차선의 적합은,
    최소 자승법, 랜삭, 일반 허프 변환법, 또는 스플라인 보간법 중 어느 하나의 방식을 사용하여 수행되는 것을 특징으로 하는 차선 인식 장치.
  9. 제1항에 있어서, 상기 차선의 추적은,
    상기 적합 된 차선 전부에 대하여 수행되는 것을 특징으로 하는 차선 인식 장치.
  10. 영상을 획득하는 단계;
    상기 획득된 영상으로부터 복수의 특징점을 추출하는 단계;
    상기 추출된 복수의 특징점을 월드 좌표계로 변환하는 단계;
    상기 변환된 복수의 특징점을 하나의 선으로 연결하는 차선 적합을 수행하는 단계;
    상기 적합 된 차선을 추적하는 단계; 및,
    상기 추적된 차선을 표시하는 단계를 포함하되,
    상기 차선 적합을 수행하는 단계는,
    상기 변환된 복수의 특징점 중 근거리 영역에 존재하는 특징점을 기초로 근거리 적합을 수행하는 단계;
    상기 근거리 적합 수행 결과로부터 차선의 횡방향 치우침을 나타내는 오프셋(offset) 값을 결정하는 단계; 및,
    상기 결정된 오프셋 값을 상수값으로 포함하는 곡선 방정식을 기초로 전체 차선에 대한 곡선 적합을 수행하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  11. 제10항에 있어서, 상기 곡선 적합을 수행하는 단계는,
    임의의 차원을 갖는 상기 곡선 방정식을 기초로 상기 곡선 방정식의 계수들을 결정하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  12. 제10항에 있어서, 상기 근거리 영역은,
    상기 획득된 영상을 상하로 균등분할한 것 중 하부영역이거나, 또는 상기 획득된 영상의 하부로부터 임의의 영역까지인 것을 특징으로 하는 차선 인식 방법.
  13. 삭제
  14. 제10항에 있어서, 상기 복수의 특징점은,
    상기 획득된 영상 내의 지평선을 중심으로 하단에 해당하는 도로 부분만을 관심 영역으로 설정하는 단계; 및
    상기 관심 영역에 대하여만 복수의 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  15. 제10항에 있어서, 상기 복수의 특징점은,
    상기 획득된 영상의 그레디언트 정보 또는 색상 정보를 기초로 추출되는 것을 특징으로 하는 차선 인식 방법.
  16. 삭제
  17. 제10항에 있어서, 상기 차선을 적합하는 단계는,
    최소 자승법, 랜삭, 일반 허프 변환법, 또는 스플라인 보간법 중 어느 하나의 방식을 사용하여 수행되는 것을 특징으로 하는 차선 인식 방법.
  18. 제10항에 있어서, 상기 차선을 추적하는 단계는,
    상기 적합 된 차선 전부에 대하여 수행되는 것을 특징으로 하는 차선 인식 방법.
KR1020110078361A 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법 Expired - Fee Related KR101612822B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110078361A KR101612822B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법
PCT/KR2011/009800 WO2013022153A1 (en) 2011-08-05 2011-12-19 Apparatus and method for detecting lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078361A KR101612822B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130015984A KR20130015984A (ko) 2013-02-14
KR101612822B1 true KR101612822B1 (ko) 2016-04-15

Family

ID=47668642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078361A Expired - Fee Related KR101612822B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101612822B1 (ko)
WO (1) WO2013022153A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102317A (ko) * 2017-03-07 2018-09-17 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
US10900793B2 (en) 2017-01-26 2021-01-26 Samsung Electronics Co., Ltd. Vehicle path guiding apparatus and method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018112177A1 (de) * 2018-05-22 2019-11-28 Connaught Electronics Ltd. Fahrspurdetektion auf der Basis von Fahrspurmodellenn
KR102564856B1 (ko) 2018-09-07 2023-08-08 삼성전자주식회사 차선을 검출하는 방법 및 장치
WO2021200121A1 (ja) * 2020-03-31 2021-10-07 株式会社デンソー 提示制御装置および提示制御プログラム
CN114435402B (zh) * 2022-02-16 2024-05-31 智道网联科技(北京)有限公司 一种车道线平滑方法、装置和电子设备
CN116101292B (zh) * 2022-09-08 2023-10-27 广州汽车集团股份有限公司 一种获得道路上车辆之间纵向距离的方法、系统及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118509A (ja) * 2009-12-01 2011-06-16 Fuji Heavy Ind Ltd 道路認識装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104645B2 (ja) * 1996-08-28 2000-10-30 松下電器産業株式会社 道路白線検出方法及び道路白線検出装置
KR100472823B1 (ko) * 2002-10-21 2005-03-08 학교법인 한양학원 차선 인식 방법 및 시스템
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
KR101244498B1 (ko) * 2008-10-22 2013-03-18 주식회사 만도 차선을 인식하는 방법 및 장치
JP5146330B2 (ja) * 2009-01-15 2013-02-20 日産自動車株式会社 車両用道路標示認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118509A (ja) * 2009-12-01 2011-06-16 Fuji Heavy Ind Ltd 道路認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10900793B2 (en) 2017-01-26 2021-01-26 Samsung Electronics Co., Ltd. Vehicle path guiding apparatus and method
KR20180102317A (ko) * 2017-03-07 2018-09-17 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
KR102265376B1 (ko) * 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템

Also Published As

Publication number Publication date
KR20130015984A (ko) 2013-02-14
WO2013022153A1 (en) 2013-02-14

Similar Documents

Publication Publication Date Title
US11320833B2 (en) Data processing method, apparatus and terminal
US11915502B2 (en) Systems and methods for depth map sampling
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
KR101612822B1 (ko) 차선 인식 장치 및 그 방법
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
JP6804991B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US20180165828A1 (en) Object Recognition Device and Object Recognition System
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP6678605B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR102472075B1 (ko) 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN106573588A (zh) 驾驶辅助装置、驾驶辅助方法和程序
US20210173095A1 (en) Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
KR101578434B1 (ko) 차선 인식 장치 및 그 방법
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
Hwang et al. Vision-based vehicle detection and tracking algorithm design
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
US20230168688A1 (en) Sequential mapping and localization (smal) for navigation
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210409

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210409