KR101526816B1

KR101526816B1 - 차선 추정 시스템 및 그 방법

Info

Publication number: KR101526816B1
Application number: KR1020140121251A
Authority: KR
Inventors: 신기철; 정의석; 허명선; 오영철
Original assignee: 현대자동차주식회사
Priority date: 2014-09-12
Filing date: 2014-09-12
Publication date: 2015-06-05
Anticipated expiration: 2034-09-12
Also published as: CN105774805A; US20160075280A1; CN105774805B

Abstract

본 발명은 주변차량 주행궤적 복원을 이용한 차선 추정 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 본 발명의 주변차량(좌,우,전방)의 궤적을 복원하여 차선의 형태를 추정하는 기술이다.
차선 추정 시스템은 주변차량의 좌표 정보 및 차량 정보를 수신하는 차량정보 수집부; 상기 주변 차량을 트레킹하는 주변차량 트레킹부; 자차의 위치 변화 및 해딩 각도 변화를 산출하여 자차의 거동 정보를 계산하고 상기 자차의 거동 정보를 이용하여 상기 주변 차량의 좌표 히스토리 정보를 생성하는 자차 거동 계산부; 상기 좌표 히스토리 정보를 커브 피팅 기법에 적용하여 상기 주변 차량의 주행 궤적을 복원하는 주행 궤적 복원부; 및 상기 복원된 주행 궤적을 이용하여 차선을 추정하는 차선 추정부를 포함한다.

Description

차선 추정 시스템 및 그 방법{System for estimating a lane and method thereof}

본 발명은 차선 추정 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 본 발명의 주변차량(좌, 우, 전방)의 궤적을 복원하여 차선의 형태를 추정하는 기술이다.

차량의 기능이 고급화되면서 다양한 안전 시스템을 구비한 차량이 증가하고 있다. 이러한 안전 시스템은 주행 중이나 주차 중에 발생할 수 있는 사고를 각종 센서, 비전 시스템 및 레이저 시스템을 이용하여 감지한 후 운전자에게 경고하거나 차량을 제어하는 시스템으로 ESP(Electric Stability Program), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System), LDWS(Lane Departure Warning System) 등을 들 수 있다.

이러한 안전 시스템들은 기본적으로 차선을 인지하고 인지된 차선을 기반으로 차간 거리 유지, 차선 유지 등의 서비스를 제공하고 있다. 이에, 차선을 인지하기 위해 카메라를 이용하여 차선을 직접 인지하는 기술이 적용되어 왔다.

그런데, 종래와 같이 영상센서(카메라)로 차선을 직접 인지하는 경우, 교통혼잡구간 같이 전방 차량과 자차의 거리가 매우 가까워져 전방차량이 차선의 마킹 부분의 시야를 가리게 되어 차선 인지에 실패하거나 오인지 되는 경우가 빈번하게 발생하였다.

이러한 차선의 오인지 또는 미인지는 차선 인식 기반의 차량 안전 시스템의 신뢰성을 떨어뜨리고 차량 운행의 위험성을 높이는 문제점이 있다.

본 발명의 실시예는 차선의 직접 인지가 불가능한 상황에서 주변차량 주행 궤적 복원을 통해 차선을 정확히 추정하여 운전자에게 제공함으로써 운전자의 안전운전이 가능하도록 하고자 한다.

본 발명의 실시예에 따른 차선 추정 시스템은 주변차량의 좌표 정보 및 차량 정보를 수신하는 차량정보 수집부; 상기 주변 차량을 트레킹하는 주변차량 트레킹부; 자차의 위치 변화 및 해딩 각도 변화를 산출하여 자차의 거동 정보를 계산하고 상기 자차의 거동 정보를 이용하여 상기 주변 차량의 좌표 히스토리 정보를 생성하는 자차 거동 계산부; 상기 좌표 히스토리 정보를 커브 피팅 기법에 적용하여 상기 주변 차량의 주행 궤적을 복원하는 주행 궤적 복원부; 및 상기 복원된 주행 궤적을 이용하여 차선을 추정하는 차선 추정부를 포함한다.

본 발명에 따른 차선 추정 방법은 거리 센싱 장치로부터 주변 차량 좌표 정보를 수신하는 단계; 상기 주변 차량을 트레킹하는 단계; 차량 장치로부터 차량 정보를 수신하는 단계; 자차의 위치 변화 및 해딩 각도 변화를 산출하여 자차의 거동 정보를 계산하고 상기 자차의 거동 정보를 이용하여 상기 주변 차량의 좌표 히스토리 정보를 생성하는 단계; 상기 좌표 히스토리 정보를 커브 피팅 기법에 적용하여 상기 주변 차량의 주행 궤적을 복원하는 단계; 및 상기 복원된 주행 궤적을 이용하여 차선을 추정하는 단계를 포함한다.

본 기술은 혼잡구간, 차선 마킹이 없거나 지워진 경우 등 차선 인식이 불가능한 경우 영상센서(카메라) 없이 거리센서(라이더 등)만으로 차선을 정확히 추정하여 운전자에게 제공함으로써 운전자의 안전운전을 가능하도록 한다.

도 1은 본 발명의 실시예에 따른 차선 추정 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 차선 추정 방법을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 센서 정보의 취득을 통한 주변 차량 트레킹 예시도이다.
도 4는 본 발명의 실시예에 따른 자차의 거동 계산 방법을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 주변 차량의 좌표 히스토리 정보를 산출한 예시도이다.
도 6은 본 발명의 실시예에 따른 커브피팅 기법을 활용한 주행 궤적을 복원한 예시도이다.
도 7은 본 발명의 실시예에 따른 복원된 주행 궤적을 이용한 차선 추정 예시도이다.
도 8은 본 발명의 실시예에 따른 자차와 좌우차선까지의 거리 추정 예시도이다.
도 9는 본 발명의 실시예에 따른 미인지 또는 오인지된 차선과 복원된 주행 궤적을 나타내는 예시도이다.
도 10은 본 발명의 실시에에 따른 추정 차선을 표시한 예시도이다.
도 11은 본 발명의 실시예에 따른 차선 추정 방법을 적용할 수 있는 컴퓨팅 시스템의 구성도이다.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.

본 발명은 매 시간마다 인지된 주변차량을 트레킹하고 주변차량의 좌표정보를 획득하며 자차의 거동모델을 이용하여 현재 자차 위치의 센서 좌표계에 이전에 측정된 데이터를 업데이트 하여 주변의 각 차량마다 좌표 히스토리를 저장하며 좌표 히스토리 정보를 커브피팅(curve fitting)기법에 적용하여 주변 차량의 주행 궤적을 복원하고 복원된 주행 궤적들을 활용하여 차선의 형태를 추정하는 기술을 개시한다.

이하, 도 1 내지 도 11을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 차선 추정 시스템의 구성도이다.

본 발명에 따른 차선 추정 시스템은 거리 센싱 장치(100), 차량 장치(200), 차선 추정 장치(300), 디스플레이 장치(400)를 포함한다.

거리 센싱 장치(100)는 주변 차량의 좌표를 센싱하여 주변 차량의 좌표 정보를 차선 추정 장치(300)로 제공한다. 이때, 거리 센싱 장치(100)는 라이더(Lidar) 등을 포함할 수 있다. 거리 센싱 장치(100)가 센싱한 주변 차량의 좌표 정보는 2 차원 평면 내에 센서좌표계의 중심을 기준으로 (x, y)좌표로 획득될 수 있다.

차량 장치(200)는 변속기 등을 포함하여 자차의 속도(v) 정보 및 요레이트(Yaw Rate:

) 정보 등의 차량정보를 차선 추정 장치(300)로 제공한다.

차선 추정 장치(300)는 주변 차량의 좌표 정보 트레킹을 통해 주변 차량의 좌표 히스토리 정보를 산출하고 자차 거동을 계산하여 주변차량의 좌표 히스토리 정보와 자차 거동 정보를 커브 피팅 기법에 적용하여 주변 차량의 주행 궤적을 복원하고 복원된 주행 궤적을 이용하여 차선을 추정한다.

이를 위해, 차선 추정 장치(300)는 차량정보 수집부(310), 주변차량 트레킹부(320), 자차 거동 계산부(340), 주행궤적 복원부(350), 차선 추정부(360)를 구비한다.

차량정보 수집부(310)는 거리 센싱 장치(100)로부터 주변차량 위치정보(좌표정보)를 수신하고 차량 장치(200)로부터 차량 속도 정보, 요레이트 정보 등의 차량 정보를 수신한다.

주변차량 트레킹부(320)는 주변 차량의 움직임을 트레킹하여 측정된 좌표엥 상응하는 오브젝트로 매칭시킨다. 즉, 오브젝트(주변차량) 트레킹은 이전 측정에서 측정하였던 물체가 현재 측정에서 같은 물체로 분류하기 위해 추적하는 것을 의미한다.

자차 거동 계산부(340)는 차량의 속도 및 요레이트(yaw rate)를 활용하여 위치변화 및 해딩각도 변화를 산출하고, 자차의 거동을 계산하여 동일 물체의 시간에 따른 측정 좌표 히스토리를 현재 시간의 센서좌표계로 변환한다. 즉, 자차 거동 계산부(340)는 주변 차량의 좌표정보를 현재 위치의 센서 좌표계로 변환하여 히스토리 정보를 생성한다.

주행궤적 복원부(350)는 현재 센서 좌표계에 표현된 오브젝트들의 좌표 히스토리에 커브피팅 기법을 활용하여 주행궤적을 복원한다.

차선 추정부(360)는 복원된 주변 차량 주행궤적들의 곡률 및 각도의 대표값 과 좌우 가장 근접한 주행 궤적의 옵셋정보를 이용하여 차선을 추정한다. 또한, 차선 추정부(360)는 복원된 좌우 주행차량의 궤적을 이용하여 자차와 좌우 차선까지의 거리를 추정한다.

디스플레이장치(400)는 차선 추정 장치(300)에서 추정된 차선 정보를 화면에 디스플레이하여 운전자가 확인할 수 있도록 한다. 이때, 디스플레이장치(400)는 네비게이션 단말, 텔레매틱스 단말, AVN 단말 등 차량 내의 디스플레이가 가능한 모든 단말을 포함할 수 있다.

이하, 도 2를 참조하여, 주변 차량 주행 궤적 복원을 통한 차선 추정 방법을 구체적으로 설명하기로 한다.

먼저, 차량 정보 수집부(200)는 거리 센싱 장치(100)로부터 주변 차량의 좌표 정보를 수신한다(S101). 이때, 거리 센싱 장치(100)는 라이더로서, 거리 센싱 장치(100)에서 센싱한 주변 차량의 좌표 정보는 2 차원 평면 내에 센서좌표계의 중심을 기준으로 (x, y)좌표로 획득될 수 있다. 이때, 주변차량의 좌표 정보는 도 3을 참조하면 전방차량(10)의 중앙점(10a), 좌측진행 차량(20)의 좌측 끝점(20a), 우측 진행차량(30)의 좌측 끝점(30a)을 사용한다. 좌표계는 시간 t_k에 센서의 좌표계

에 대해 인지된 오브젝트(주변차량) i의 좌표를

로 표현한다.

그 후, 주변차량 트레킹부(320)는 주변 차량의 움직임을 트레킹한다(S102). 도 3을 참조하면, 주변차량 트레킹부(320)는 오브젝트 트레킹을 통해 시간 t_k에 측정된 오브젝트 i가 시간 t_k ₊₁에 측정된 오브젝트 i와 같은 물체임을 추적하여 매칭하는 오브젝트 트레킹을 수행한다.

그 후, 차량정보 수집부(310)가 차량 내 변속장치 등의 차량 장치(200)로부터 자차의 속도(v) 및 요레이트(Yaw Rate:

) 정보 등의 차량 정보를 수신한다(S103).

이어서, 자차 거동 계산부(330)는 자차의 거동 모델을 활용하여 이전 시간의 좌표계에 대해 자차의 거동 정보(

) 를 산출한다(S104). 도 4를 참조하면, 자차 거동 계산부(330)는 자차가 시간 t_k의 위치에서 시간 t_k ₊₁ 에 있던 위치로 이동하였으므로 위치변화

및 해딩각도 변화

를 계산한다. 이때, 위치 변화 및 해딩 각도의 변화는 센서의 샘플링 시간과 차량의 속도와 요레이트를 활용하여 계산할 수 있다. 본 실시예에서는 시간 t_k에서의 무게중심 좌표계

를 기준으로 위치변화와 해딩 각도변화를 표현한다. 즉, 자차 거동 계산부(330)는 차량의 속도 및 요레이트를 활용하여 위치변화

및 해딩각도 변화

를 산출한다.

이 후, 자차 거동 계산부(330)는 주변 차량의 좌표정보(

)를 현재 위치의 센서 좌표계

로 변환하여 좌표 히스토리 정보를 생성한다(S105).

즉, 도 5를 참조하면, 자차 거동 계산부(330)는 앞서 계산된 자차의 거동을 이용하여 이전 시간에 센서 좌표계

에 대해 측정되었던 주변 오브젝트(차량)의 좌표 데이터들

을 현재 시간의 센서 좌표계

로 변환하여 좌표

를 얻는다. 이러한 절차가 계속되고 변환된 좌표들이 시간이 지나면서 누적되면 각각의 주변차량 마다 좌표 히스토리를 생성할 수 있다. 주변차량의 히스토리(h_i, h_i+1, h_i+2)는 아래 수학식 1과 같이 표현될 수 있다.

그 후, 주행 궤적 복원부(340)는 커브피팅(curve fitting) 기법을 이용한 주변차량들의 주행궤적을 복원한다(S106). 즉 주행 궤적 복원부(340)는 도 6과 같이 생성된 좌표 히스토리(h_i, h_i+1, h_i+2)에 대해 커브피팅 기법을 활용하여 주행궤적을 복원할 수 있다. 이때, n개의 (x,y)좌표데이터를 2차 커브로 피팅하는 관계식은 아래 수학식 2와 같다.

상기 수학식 1과 수학식 2를 이용하여, 각각의 좌표 히스토리에 대해 아래 수학식 3과 같이 2차 다항식 형태의 커브피팅 기법을 적용한 곡선의 계수를 산출함으로써 도 6과 같이 주행궤적를 복원할 수 있다.

참고로, 도 9는 카메라에 의해 차선 미인지 및 오인지 된 경우, 거리 센싱 장치(100)를 이용하여 주변 차량의 주행 궤적을 복원한 예를 나타내는 도면이다.

이어서, 차선 추정부(350)는 복원된 피팅 커브들의 곡률 및 각도 대표값과 좌우 차량의 궤적들까지의 옵셋을 이용하여 차선의 형태를 추정한다(S107).

즉, 차선 추정부(350)는 도 6에서 복원된 주행궤적들을 이용하여 도 7과 같이 차선의 곡률(a/2) 및 자차의 해딩각도와 차선과의 사이각도(b)를 추정한다. 이때, 곡률과, 자차 해딩각도와 차선과의 사이각도의 추정은 복원된 주행궤적들의 대표값을 이용하여 추정할 수 있다.

또한, 차선 추정부(350)는 도 8과 같이 복원된 좌우 주행차량의 궤적을 이용하여 자차로부터 좌우차선까지의 옵셋

을 추정하고, 좌우측 주행 차량까지의 옵셋을 이용하여 차선의 좌우까지의 거리를 추정한다.

예를 들면, 본 실시예에서는 i+2 번 차량이 우측에 주행 중이고 i 번 차량이 좌측을 진행 중이므로 두 주행 궤적의 중앙은 (0.5(c_i+c_i ₊₂) 가 되고 이를 중심으로 주행중인 차선폭(

)을 이용하여

를 차선의 좌측 옵셋,

를 차선의 우측 옵셋으로 추정할 수 있다. 단, 한쪽 편에 차량이 없는 경우에는 차선폭의 최대값을 제한하여 한쪽편에 있는 차량의 주행 궤적만을 활용하는 것이 가능하다. 또, 양쪽에 모두 차량이 없는 경우에는 선행차량이 차선의 중심을 주행한다고 가정할 수 있다. 참고로, 도 10은 카메라에 의해 차선 미인지 및 오인지 된 경우, 거리 센싱 장치(100)를 이용하여 주변 차량의 주행 궤적을 복원을 통해 실제 차선을 추정한 예를 나타내는 도면이다.

이와 같이, 본 발명은 본 기술은 혼잡구간, 차선 마킹이 없거나 지워진 경우 등 차선 인식이 불가능한 경우에도 영상센서(카메라) 없이 거리센서(라이더 등)만으로 차선을 정확히 추정할 수 있다. 또한, 차선 유지시스템 등 차량 안전 운행 관련 시스템에 정확한 차선 정보를 제공함으로써 운전자의 안전운전을 가능하도록 한다.

도 11을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

주변차량의 좌표 정보 및 차량 정보를 수신하는 차량정보 수집부;
상기 주변 차량을 트레킹하는 주변차량 트레킹부;
자차의 위치 변화 및 해딩 각도 변화를 산출하여 자차의 거동 정보를 계산하고 상기 자차의 거동 정보를 이용하여 상기 주변 차량의 좌표 히스토리 정보를 생성하는 자차 거동 계산부;
상기 좌표 히스토리 정보를 커브 피팅 기법에 적용하여 상기 주변 차량의 주행 궤적을 복원하는 주행 궤적 복원부; 및
상기 복원된 주행 궤적을 이용하여 차선을 추정하는 차선 추정부
를 포함하는 차선 추정 시스템.
청구항 1에 있어서,
상기 주변차량의 위치를 감지하여 상기 주변 차량의 좌표 정보를 상기 차량정보 수집부로 전송하는 거리 센싱 장치를 더 포함하는 차선 추정 시스템.
청구항 2에 있어서,
상기 거리 센싱 장치는 라이더(Lidar)를 포함하는 차선 추정 시스템.
청구항 2에서,
상기 자차 거동 계산부는,
상기 거리 센싱 장치의 샘플링 시간, 차량의 속도, 차량의 요레이트정보를 이용하여 상기 자차의 위치변화 및 해딩 각도 변화를 산출하는 것을 특징으로 하는 차선 추정 시스템.
청구항 2에 있어서,
상기 주변차량 트레킹부는 상기 거리 센싱 장치의 좌표 정보를 오브젝트 좌표로 변환하는 것을 특징으로 하는 차선 추정 시스템.
청구항 5에 있어서,
상기 자차 거동 계산부는,
상기 오브젝트 좌표로 변환된 상기 주변차량의 좌표정보를 현재 시간의 센서 좌표계로 변환한 후 일정 시간동안 누적하여 상기 주변차량의 좌표 히스토리 정보를 생성하는 것을 특징으로 하는 차선 추정 시스템.
청구항 3에 있어서,
상기 차선 추정부는,
상기 복원된 주행 궤적으로부터 차선의 곡률, 상기 자차의 해딩각도와 차선과의 사이 각도를 추정하고, 자차와 좌우 차선까지의 거리를 추정하는 것을 특징으로 하는 차선 추정 시스템.
거리 센싱 장치로부터 주변 차량 좌표 정보를 수신하는 단계;
상기 주변 차량을 트레킹하는 단계;
차량 장치로부터 차량 정보를 수신하는 단계;
자차의 위치 변화 및 해딩 각도 변화를 산출하여 자차의 거동 정보를 계산하고 상기 자차의 거동 정보를 이용하여 상기 주변 차량의 좌표 히스토리 정보를 생성하는 단계;
상기 좌표 히스토리 정보를 커브 피팅 기법에 적용하여 상기 주변 차량의 주행 궤적을 복원하는 단계; 및
상기 복원된 주행 궤적을 이용하여 차선을 추정하는 단계
를 포함하는 차선 추정 방법.
청구항 8에 있어서,
상기 주변 차량의 좌표 히스토리 정보를 생성하는 단계는,
거리 센싱 장치의 샘플링 시간, 차량의 속도, 차량의 요레이트정보를 이용하여 상기 자차의 위치변화 및 해딩 각도 변화를 산출하여 상기 자차의 거정 정보를 계산하는 것을 특징으로 하는 차선 추정 방법.
청구항 8에 있어서,
상기 차선을 추정하는 단계는,
상기 복원된 주행 궤적으로부터 차선의 곡률, 상기 자차의 해딩각도와 차선과의 사이 각도를 추정하고, 자차와 좌우 차선까지의 거리를 추정하는 것을 특징으로 하는 차선 추정 방법.