[go: up one dir, main page]

KR102635265B1 - 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 - Google Patents

라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102635265B1
KR102635265B1 KR1020180166057A KR20180166057A KR102635265B1 KR 102635265 B1 KR102635265 B1 KR 102635265B1 KR 1020180166057 A KR1020180166057 A KR 1020180166057A KR 20180166057 A KR20180166057 A KR 20180166057A KR 102635265 B1 KR102635265 B1 KR 102635265B1
Authority
KR
South Korea
Prior art keywords
image
driving environment
vehicle
view monitoring
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180166057A
Other languages
English (en)
Other versions
KR20200076989A (ko
Inventor
권민수
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020180166057A priority Critical patent/KR102635265B1/ko
Priority to US16/721,577 priority patent/US11148594B2/en
Publication of KR20200076989A publication Critical patent/KR20200076989A/ko
Application granted granted Critical
Publication of KR102635265B1 publication Critical patent/KR102635265B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 라이다를 이용하는 어라운드 뷰 모니터링 장치 및 방법이 제공된다. 본 발명에 따른 어라운드 뷰 모니터링 장치는, 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지부, 감지된 주행 환경정보로부터 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출부, 추출된 객체의 외곽선 및 차선을 기반으로 차량의 감지영역에 대한 각각의 이미지 프레임을 생성하고, 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성부 및 생성된 주행환경 영상을 출력하는 주행환경 출력부를 포함한다.

Description

라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법{APPARATUS AND METHOD FOR AROUND VIEW MONITORING USING LIDAR}
본 발명은 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법에 관한 것이다. 보다 상세하게는, 라이다를 차량 전후방 및 좌우측에 설치하고, 주행 환경을 감지하여 영상을 생성하는 장치 및 방법에 관한 것이다.
어라운드 뷰 모니터링(AVM; Around View Monitoring) 시스템은 차량 주변의 360°영상을 운전자에게 제공하는 기능을 의미한다. 2차원 AVM 영상 제공 장치는 차량 주변의 이미지를 촬영하고, 이를 합성하여 톱뷰(Top-view) 형태로 영상을 제공한다.
이때 어라운드 뷰 모니터링 시스템은 통상적으로 차량의 전방, 후방, 좌측 및 우측에 어안 렌즈와 같은 광각 렌즈가 구비된 카메라를 각각 장착하고, 이 카메라들로부터 얻은 차량의 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 포함하는 다수의 주변 영상을 합성하여 하나의 어라운드 뷰 영상으로 화면상에 출력한다.
여기에서, 어라운드 뷰 모니터링 시스템은 다수의 주변 영상을 각각의 영상 할당 영역에 맞게 편집하는데, 편집한 다수의 주변 영상이 각각 접합되는 영상 접합 영역을 블렌딩 기법을 통해 접합하여 도 1과 같이 어라운드 뷰 영상을 생성하게 된다.
그러나 도 1에 도시된 바와 같이, 어라운드 뷰 영상 생성시 영상 접합 영역은 불연속적으로 표시되므로, 사기 영상 접합 영역에 장애물이 존재하는 경우, 운전자는 불연속적으로 표시된 장애물을 정확하게 인식하지 못하여 혼란을 유발할 수 있는 문제점이 있다.
또한, 어라운드 뷰 모니터링 시스템은 넓은 시야를 확보할 수 있는 광각 카메라를 사용하는 것이 일반적이다. 그런데, 광각 카메라는 인식 가능한 반경이 다소 작을 수 있으며, 볼록 렌즈의 굴절률에 의하여 방사 왜곡이 필연적으로 발생하므로, 운전자에게 출력되는 어라운드 뷰 영상에 거리감에 대한 시각적인 왜곡은 물론, 이미지 처리 장치의 이미지 인식에 심각한 오차를 야기할 수 있다.
전술한 배경에서 안출된 본 발명은 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법을 제안하고자 한다.
또한, 본 발명은 라이다를 통해 감지한 차량의 주행 환경정보를 기반으로 신뢰도 높은 주행환경 영상을 생성하는 어라운드 뷰 모니터링 장치 및 방법을 제안하고자 한다.
상기 과제를 달성하기 위한 본 발명에 따른 어라운드 뷰 모니터링 장치 는 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지부, 감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출부, 추출된 상기 객체 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성부 및 생성된 상기 주행환경 영상을 출력하는 주행환경 출력부를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명에 따른 어라운드 뷰 모니터링 방법은 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지단계, 감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출단계, 추출된 상기 객체 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성단계 및 생성된 상기 주행환경 영상을 출력하는 주행환경 출력단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 왜곡되지 않은 차량의 주행환경 영상을 운전자에게 제공하므로 주행의 편의성을 향상시키는 효과가 있다.
또한, 본 발명은 객체 및 차선 추출에 정확도가 높은 라이다를 이용하므로 신뢰성 높은 어라운드 뷰를 운전자에게 제공할 수 있다.
그리고 종래의 전측방 경보 시스템, 후측방 경보 시스템 및 주차지원 시스템의 센서 장치를 대체할 수 있으므로 비용이 절감되는 효과가 있다.
도 1 은 종래의 광각 카메라를 이용한 어라운드 뷰 모니터링 시스템의 어라운드 뷰 영상에 대한 일례이다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 감지영역을 간략하게 도시한 그림이다.
도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 방법을 설명하기 위한 흐름도이다.
본 발명은 주차지원 시스템의 제어장치 및 방법을 개시한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 1 은 종래의 광각 카메라를 이용한 어라운드 뷰 모니터링 시스템의 어라운드 뷰 영상에 대한 일례이다.
도시된 바와 같이 종래의 어라운드 뷰 모니티링(AVM; Around View Monitoring) 시스템은 감지 장치로부터 주행 환경정보를 수집하여 차량 주변의 2차원 360°영상을 운전자에게 제공함으로써, 충돌 사고를 방지하도록 한다.
이때, 이때 어라운드 뷰 모니터링 시스템은 통상적으로 차량의 전방, 후방, 좌측 및 우측에 어안 렌즈와 같은 광각 렌즈가 구비된 카메라를 각각 장착하고, 이 카메라들로부터 얻은 차량의 전방, 후방, 좌측 및 우측의 영상을 합성하여 하나의 어라운드 뷰 영상으로 화면상에 출력한다.
그러나 도 1에 도시된 바와 같이, 어라운드 뷰 영상 생성시 영상 접합 영역이 불연속적으로 표시되므로, 운전자에게 거리감이 시각적으로 왜곡된 어라운드 뷰 영상이 제공되어 장애물을 정확하게 인식하지 못하는 문제점이 있다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치(100)의 블록 구성도이다.
도 2를 참조하면, 본 발명에 따르는 어라운드 뷰 모니터링 장치(100)는 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지부(210), 감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출부(220), 추출된 상기 객체 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성부(230) 및 생성된 상기 주행환경 영상을 출력하는 주행환경 출력부(240)를 포함할 수 있다.
또한, 어라운드 뷰 모니터링 장치(100)는 상기 객체의 외곽선을 학습시켜 상기 객체의 종류를 분류하고, 상기 종류에 따른 이미지를 저장하는 객체 학습부(250)를 더 포함할 수 있다.
또한, 어라운드 뷰 모니터링 장치(100)는 GPS 위치정보를 수신하여 상기 차량의 위치를 확인하고, 미리 저장된 지도정보 중 상기 차량의 위치에 대응되는 지도정보를 제공하는 지도정보 제공부(260)를 더 포함할 수 있다.
또한, 어라운드 뷰 모니터링 장치(100)는 통신 가능한 대상과 통신하여 상기 통신 가능한 대상으로부터 상기 차량의 위치에 대응되는 지도정보를 수신하는 지도정보 수신부(270)를 더 포함할 수 있다.
구체적으로, 주행환경 감지부(210)를 구성하는 라이다(Lidar)는 'Light Detection And Ranging'의 약자로, 레이더(Radar)와 동일한 원리를 이용하여 레이저를 통해 사물에 직접적인 접촉 없이 원하는 정보를 취득하는 능동형 탐사 장치이다. 일반적으로 라이다는 위성측위시스템(Global Positioning System: GPS)과 관성항법유도장치(Inertial Navigation System: INS)를 장착한 항공기에 탑재해 정밀한 3차원 지형정보(Digital Elevation Model: DEM)의 취득뿐만 아니라 해안선 및 얕은 수심의 해저지형까지도 측량이 가능한 장치이다. 더불어, 라이다는 카메라 장치보다 상기 객체 및 상기 차선의 추출이 정밀하며, 넓은 범위의 감지영역을 가질 수 있다.
이때 상기 차량의 전방, 후방, 좌측 및 우측에 복수 개의 라이다가 장착되며, 주행환경 감지부(210)는 상기 라이다가 인식한 상기 감지영역의 주행 환경정보를 감지하거나 수신할 수 있다.
그리고 경계 추출부(220)는 주행환경 감지부(210)에서 감지된 상기 주행 환경정보로부터 일반적인 영상 처리 기술을 이용하여 상기 객체의 외곽선 및 상기 차선을 추출할 수 있다.
예를 들어, 경계 추출부(220)는 상기 라이다에서 감지된 상기 주행환경 정보로부터 에지(edge) 성분을 추출하고, 허프(hough) 변환을 반복적으로 수행함으로써, 불필요한 에지 성분을 제거하고 최적의 에지 성분만을 남길 수 있다. 그러면 남은 에지 성분을 이용하여 상기 객체 및 차선의 외곽점 집합을 줄여나가면서 직선 요소를 추출함으로써, 복잡한 형태의 상기 객체의 외곽선 및 상기 차선을 추출할 수 있다.
그리고 객체 학습부(250)는 경계 추출부(220)에서 추출된 상기 객체의 외곽선을 수신하여 학습시킴으로써, 상기 객체의 종류를 판별할 수 있고, 상기 객체를 종류별로 분류시킬 수 있다.
즉, 객체 학습부(250)는 상기 객체의 외곽선의 특징을 학습시켜 상기 차량 주변에 위치한 상기 객체가 차량, 이륜차, 자전거 또는 사람인지 판별하고, 상기 객체의 종류에 따라 주행환경 출력부(240)를 통해 출력되는 소정의 이미지를 매칭시킬 수 있다.
예를 들어, 객체 학습부(250)에서 특정 객체의 외곽선을 학습시킨 결과, 상기 객체가 자전거로 판별되어 분류되었다면, 객체 학습부(250)에 저장된 자전거 이미지를 상기 특정 객체의 위치 및 공간에 매칭시켜 영상 생성부(230)로 송신할 수 있다.
더불어, 객체 학습부(250)는 경계 추출부(220)에서 추출된 차선 또한 학습시킬 수 있으며, 상기 차선의 특징을 학습시켜 상기 차선이 노면표시의 종류, 차선의 종류를 판별하고, 상기 차선의 종류에 따라 주행환경 출력부(240)를 통해 출력되는 소정의 이미지를 매칭시킬 수 있다.
그러므로 객체 학습부(250)는 상기 객체의 외곽선 및 상기 차선에 대응되는 이미지를 매칭시켜 영상 생성부(230)로 송신함으로써, 상기 주행환경 영상을 시각적인 왜곡없이 용이하게 생성할 수 있다.
그리고 지도정보 제공부(260)는 GPS 위치정보를 수신하여 차량의 위치가 현재 어디인지 확인하고, 차량 위치에 대응되는 지도정보를 영상 생성부(230)에 제공할 수 있다.
즉, 지도정보 제공부(260)가 포함되면, 영상 생성부(230)는 지도정보 제공부(260)로부터 지도정보를 제공받고, 객체의 외곽선 및 차선을 지도정보와 매칭 또는 오버래핑(Overlaping)하여 객체가 무엇인지 구체적으로 판별하고, 객체의 위치 및 차선을 위치를 정확히 특정하여 보다 정확한 이미지 프레임을 생성할 수 있다.
이를 수행하기 위해, 지도정보 제공부(260)는 네비게이션, 지도정보가 저장된 메모리, ECU 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
그리고 지도정보 수신부(270)는 통신 가능한 대상과 통신하여 상기 통신 가능한 대상으로부터 지도정보를 수신할 수 있다. 지도 정보가 수신되면, 지도정보 수신부(270)는 영상 생성부(230)에 전달할 수 있다.
즉, 지도정보 수신부(270)가 포함되면, 영상 생성부(230)는 지도정보 수신부(270)로부터 지도정보를 전달받고, 객체의 외곽선 및 차선을 지도정보와 매칭 또는 (Overlaping)하여 객체가 무엇인지 구체적으로 판별하고, 객체의 위치 및 차선을 위치를 정확히 특정하여 보다 정확한 이미지 프레임을 생성할 수 있다.
여기서, 통신 가능한 대상은 예를 들어, 셋톱 박스, 인프라(Infra), 신호등, 네트워크 공유기 등이 있다.
여기서, 수신된 지도정보는 통신 가능한 대상으로부터 대상이 배치된 장소에 대응되는 지도정보일 수 있다.
이를 위하여 지도정보 수신부(270)는 차량간(Vehicle to Vehicle; V2V) 통신기술 및 차량과 인프라간(Vehicle to Infra; V2I) 통신기술을 포함하는 차량과 사물간(Vehicle to Everything; V2X) 통신기술을 사용할 수 있다.
본 개시에 이용되는 차량간 통신인 V2X는 차량이 유·무선망을 통해 다른 차량, 모바일 기기, 도로 등의 사물과 정보를 교환하는 것 또는 그 기술을 의미하는 것으로서, V2V(Vehicle to Vehicle, 차량-차량 간 통신), V2I(Vehicle to Infrastructure, 차량-인프라 간 통신), V2N(Vehicle to Nomadic Device, 차량-모바일 기기 간 통신), V2P(Vehicle to Pedestrian, 차량-보행자 간 통신) 등 개념을 포함하며, 본 개시에서는 주로 차량과 모바일 기기 간 통신인 V2N 통신이 사용될 수 있다.
V2X는 단거리 전용 통신(Dedicated Short-Range Communications, DSRC)을 기반으로 하며, 최근 미국 전기전자기술자협회(IEEE)에서 진행한 WAVE(Wireless Access in Vehicular Environment,차량 환경 내 무선 접속) 또는 5.9GHz 대역을 사용하는 IEEE 802.11p 통신 기술을 이용할 수 있으나 그에 한정되지 않으며, 현재 또는 미래에 개발될 모든 차량간 통신을 포함하는 것으로 이해되어야 할 것이다.
그리고 영상 생성부(230)는 상기 주행환경 영상을 만들기 위하여 경계 추출부(220)로부터 상기 객체의 외곽선 및 상기 차선을 추출한 데이터를 수신하고, 객체 학습부(250)로부터 상기 객체의 외곽선 및 상기 차선에 대응되는 이미지 정보를 수신함으로써 상기 감지영역 각각의 상기 이미지 프레임을 생성할 수 있다.
이때 영상 생성부(230)는 상기 감지영역 각각의 상기 이미지 프레임을 하나의 상기 주행환경 영상으로 합성하는데, 상기 주행환경 영상은 카메라에서 촬영한 실제 주행환경 영상이 아닌 상기 라이다에서 인식한 상기 주행환경 정보를 재구성하는 영상이므로, 상기 이미지 프레임이 접합된 영역은 연속적으로 표현되도록 합성할 수 있다.
즉, 영상 생성부(230)는 각각의 상기 이미지 프레임이 접합된 영역에 위치한 상기 객체 또는 상기 차선을 연속적으로 표현하고, 상기 주행환경 영상의 거리감에 대한 왜곡 현상을 감소시킬 수 있다.
또한, 영상 생성부(230)는 주행환경 감지부(210)를 통해 실시간으로 수신된 상기 주행 환경정보를 기반으로 상기 감지영역에 대한 시계열 이미지 프레임을 생성할 수 있고, 상기 시계열 이미지 프레임을 이용하여 상기 주행환경 영상을 2차원 또는 3차원 애니메이션으로 생성할 수 있다.
즉, 영상 생성부(230)는 상기 이미지 프레임을 시계열로 배열한 상기 시계열 이미지 프레임을 시간 순서대로 연속 출력함으로써, 상기 주행환경 영상을 동적인 애니메이션 영상으로 생성할 수 있다.
더불어, 영상 생성부(230)는 2차원으로 생성된 상기 시계열 이미지 프레임을 3차원 공간의 가상의 투영면(projected plane)에 매핑할 수 있다. 이때, 가상의 투영면은 원기둥, 원뿔, 반구 또는 상부 직경이 하부보다 넓은 그릇 등의 형태일 수 있으나, 이에 한정되는 것은 아니다. 매핑된 각각의 상기 시계열 이미지 프레임을 기반으로, 톱뷰(top-view)에 대하여 렌더링을 수행함으로써, 3차원 주행환경 영상에 대한 애니메이션을 생성할 수 있다.
또한, 영상 생성부(230)는 상기 이미지 프레임 상에서 상기 객체와 상기 차량 간의 이격된 거리가 임계거리 미만인지 판단하여 경고신호를 생성할 수 있는데, 상기 주행환경 영상을 생성함과 동시에 상기 임계거리 미만으로 이격된 상기 객체에 상기 경고신호를 부여함으로써, 주행환경 출력부(240)로 송신할 수 있다.
그러면 주행환경 출력부(240)는 상기 주행환경 영상을 출력함과 동시에 상기 차량과 상기 임계거리 미만으로 이격된 상기 객체에 대한 상기 경고신호를 기반으로 충돌을 경고하는 음성을 출력할 수 있다.
이때, 주행환경 출력부(240)는 차량에 구비된 음성 모듈, 진동 모듈, 영상 모듈 중 적어도 하나 이상의 장치로 구현되어 상기 경고 음성을 출력할 수 있으며, 해당 정보를 유선 또는 무선으로 연결된 외부기기로 제공하는 별도의 출력 단자일 수도 있다.
예를 들어, 주행환경 출력부(240)는 차선 변경시 사고 위험을 경고하도록 경고 알람을 출력하는 스피커, 차량의 계기판에 설치되어 점등 또는 점멸되는 경고등, 차량의 전면 유리에 경고 영상이나 문자를 표시하는 헤드 업 디스플레이(Head-Up Display) 장치, 상기 자차량과 상기 타차량을 화면상에 표시하는 네이게이션 등의 기능을 탑재한 디스플레이 장치 및 차량의 스티어링휠(steering wheel)이나 시트(seat), 가속 페달에 설치되어 진동을 발생하는 햅틱 모듈 등이 될 수 있다.
또한, 주행환경 출력부(240)는 상기 차량의 주행을 제어하기 위하여 상기 경고신호에 대응되는 주행 제어 신호를 생성 및 출력할 수 있으며, 상기 주행 제어 신호는 사각지대 감지 시스템(BSD; blind spot detecting), 차선이탈 방지 및 제어 장치(LDWS & LKAS), 스마트 크루즈 컨트롤(SCC; Smart Cruise Control), 자동 주차 지원 시스템(SPAS; Smart parking assist system) 등을 포함하는 주행 지원 시스템으로 송신될 수 있다.
예를 들어, 상기 차량의 후측방 감지영역에서 상기 임계거리 이내에 장애물과 같은 상기 객체가 감지되는 경우, 상기 차량의 운전자에게 주행환경 출력부(240)를 통해 충돌 경고음을 발생시키거나, 상기 경고신호에 대응하는 상기 주행 제어 신호를 상기 주행 지원 시스템으로 송신할 수 있다. 그러면 상기 주행 지원 시스템은 상기 차량이 상기 장애물을 회피하도록 상기 차량의 조향휠, 변속기, 제동 장치를 제어할 수 있다.
그러므로 상술한 본 발명에 따른 어라운드 뷰 모니터링 장치는 왜곡되지 않은 차량의 주행환경 영상을 운전자에게 제공하므로 주행의 편의성을 향상시키는 효과가 있으며, 종래의 전측방 경보 시스템, 후측방 경보 시스템 및 주차지원 시스템의 센서 장치를 대체할 수 있으므로 비용이 절감되는 효과가 있다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치의 감지영역을 간략하게 도시한 그림이다.
도 3을 참조하면, 차량의 전방, 후방, 좌측 및 우측에 4 개의 라이다가 장착되어 있으며, 주행환경 감지부(210)를 구성하는 상기 라이다가 인식한 감지영역의 주행환경 정보를 수신할 수 있다.
이때, 감지영역은 4개의 라이다에 의해 4 개의 감지영역으로 구성되며, 영상 생성부(230)에서 상기 4개의 감지영역에 대하여 4 개의 이미지 프레임이 생성될 수 있다.
그리고 영상 생성부(230)에서 각각의 4 개의 이미지 프레임을 하나의 주행환경 영상으로 합성하는데, 상기 주행환경 영상은 도 3에 표시된 점선 영역 및 장애물의 이미지가 재구성되어 주행환경 출력부(240)를 통해 출력될 수 있다.
도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 방법을 설명하기 위한 흐름도이다.
본 발명에 따르는 어라운드 뷰 모니터링 방법은 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지단계, 감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출단계, 추출된 상기 객체 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성단계, 생성된 상기 주행환경 영상을 출력하는 주행환경 출력단계 및 상기 객체의 외곽선을 학습시켜 상기 객체의 종류를 분류하고, 상기 객체의 종류에 따른 이미지를 저장하는 객체 학습단계를 포함할 수 있다.
도 4를 참조하면, 상기 주행환경 감지단계에서, 상기 라이다에서 상기 감지영역의 상기 주행 환경정보를 감지한다(S400). 이때 상기 차량의 전방, 후방, 좌측 및 우측에 복수 개의 라이다가 장착될 수 있다.
상기 경계 추출단계에서, 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출한다(S410).
예를 들어, 상기 라이다에서 감지된 상기 주행환경 정보로부터 에지 성분을 추출하고, 허프 변환을 반복적으로 수행함으로써, 불필요한 에지 성분을 제거하고 최적의 에지 성분만을 남길 수 있다. 그러면 남은 에지 성분을 이용하여 상기 객체 및 차선의 외곽점 집합을 줄여나가면서 직선 요소를 추출함으로써, 복잡한 형태의 상기 객체의 외곽선 및 상기 차선을 추출할 수 있다.
그리고 객체 학습단계에서, 추출된 상기 객체 외관선을 학습시켜 상기 객체의 종류를 분류하고, 상기 객체의 종류에 따른 이미지를 생성한다(S420).
즉, 상기 객체의 외곽선의 특징을 학습시켜 상기 차량 주변에 위치한 상기 객체가 차량, 이륜차, 자전거 또는 사람인지 판별하고, 상기 객체의 종류에 따라 소정의 이미지를 매칭시킬 수 있다.
그러면 상기 영상 생성단계에서, 상기 이미지를 상기 객체에 적용하고, 추출된 상기 차선을 수신하여 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고(S430), 상기 이미지 프레임을 합성하여 하나의 상기 주행환경 영상을 생성한다(S440).
또한, 실시간으로 수신된 상기 주행 환경정보를 기반으로 상기 감지영역에 대한 시계열 이미지 프레임을 생성하고(S450), 상기 시계열 이미지 프레임을 이용하여 상기 주행환경 영상을 2차원 또는 3차원 애니메이션으로 생성한다(S460).
이때, 2차원으로 생성된 각각의 상기 시계열 이미지 프레임을 기반으로, 톱뷰(top-view)에 대하여 렌더링을 수행함으로써, 3차원 주행환경 영상에 대한 애니메이션을 생성할 수 있다.
동시에, 상기 주행환경 영상 내에 상기 객체와 상기 차량의 이격거리가 임계거리 미만인지 판단한다(S470).
이때, 상기 객체와 상기 차량의 상기 이격거리가 임계거리 미만이면, 상기 경고신호를 상기 주행환경 영상과 함께 생성함으로써, 상기 주행환경 출력단계에서 상기 주행환경 영상과 충돌 경고음을 동시에 출력한다(S480).
전술한 바와 같이, 본 발명에 따르는 어라운드 뷰 모니터링 장치 및 방법은 왜곡되지 않은 차량의 주행환경 영상을 운전자에게 제공하므로 주행의 편의성을 향상시키는 효과가 있고, 객체 및 차선 추출에 정확도가 높은 라이다를 이용하므로 신뢰성 높은 어라운드 뷰를 운전자에게 제공할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 어라운드 뷰 모니터링 장치 210: 주행환경 감지부
220: 경계 추출부 230: 영상 생성부
240: 주행환경 출력부 250: 객체 학습부

Claims (12)

  1. 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지부;
    감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출부;
    추출된 상기 객체의 외곽선 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성부; 및
    생성된 상기 주행환경 영상을 출력하는 주행환경 출력부; 를 포함하되,
    상기 영상 생성부는,
    실시간으로 수신된 상기 주행 환경정보를 기반으로 상기 감지영역에 대한 시계열 이미지 프레임을 생성하는 어라운드 뷰 모니터링 장치.
  2. 제 1 항에 있어서,
    상기 객체의 외곽선을 학습시켜 상기 객체의 종류를 분류하고, 상기 객체의 종류에 따른 이미지를 저장하는 객체 학습부를 더 포함하는 어라운드 뷰 모니터링 장치.
  3. 제 1 항에 있어서,
    GPS 위치정보를 수신하여 상기 차량의 위치를 확인하고, 미리 저장된 지도정보 중 상기 차량의 위치에 대응되는 지도정보를 제공하는 지도정보 제공부를 더 포함하는 어라운드 뷰 모니터링 장치.
  4. 제 1 항에 있어서,
    통신 가능한 대상과 통신하여 상기 통신 가능한 대상으로부터 상기 차량의 위치에 대응되는 지도정보를 수신하는 지도정보 수신부를 더 포함하는 어라운드 뷰 모니터링 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 영상 생성부는,
    상기 시계열 이미지 프레임을 이용하여 상기 주행환경 영상을 2차원 또는 3차원 애니메이션으로 생성하는 어라운드 뷰 모니터링 장치.
  7. 제 1 항에 있어서,
    상기 영상 생성부는,
    상기 이미지 프레임 상에서 상기 객체와 상기 차량 간의 이격된 거리가 임계거리 미만인지 판단하고,
    상기 객체와 상기 차량 간의 이격된 거리가 임계거리 미만인 경우, 경고신호를 생성하는 어라운드 뷰 모니터링 장치.
  8. 제 7 항에 있어서,
    상기 주행환경 출력부는,
    상기 차량과 상기 임계거리 미만으로 이격된 상기 객체에 대한 상기 경고신호를 기반으로 충돌을 경고하는 음성을 출력하는 어라운드 뷰 모니터링 장치.
  9. 라이다(Lidar)를 이용하여 차량의 전방, 후방, 좌측 및 우측 감지영역에 대한 주행 환경정보를 감지하는 주행환경 감지단계;
    감지된 상기 주행 환경정보로부터 상기 감지영역 각각에 위치한 객체의 외곽선 및 차선을 추출하는 경계 추출단계;
    추출된 상기 객체 및 상기 차선을 기반으로 상기 차량의 상기 감지영역에 대한 각각의 이미지 프레임을 생성하고, 상기 이미지 프레임을 합성하여 주행환경 영상을 생성하는 영상 생성단계; 및
    생성된 상기 주행환경 영상을 출력하는 주행환경 출력단계; 를 포함하되,
    상기 영상 생성단계는,
    실시간으로 수신된 상기 주행 환경정보를 기반으로 상기 감지영역에 대한 시계열 이미지 프레임을 생성하는 어라운드 뷰 모니터링 방법.
  10. 제 9 항에 있어서,
    상기 객체의 외곽선을 학습시켜 상기 객체의 종류를 분류하고, 상기 객체의 종류에 따른 이미지를 저장하는 객체 학습단계를 더 포함하는 어라운드 뷰 모니터링 방법.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 영상 생성단계는,
    상기 시계열 이미지 프레임을 기반으로 상기 주행환경 영상을 2차원 또는 3차원 애니메이션으로 생성하는 어라운드 뷰 모니터링 방법.
KR1020180166057A 2018-12-20 2018-12-20 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 Active KR102635265B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180166057A KR102635265B1 (ko) 2018-12-20 2018-12-20 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
US16/721,577 US11148594B2 (en) 2018-12-20 2019-12-19 Apparatus and method for around view monitoring using lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166057A KR102635265B1 (ko) 2018-12-20 2018-12-20 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200076989A KR20200076989A (ko) 2020-06-30
KR102635265B1 true KR102635265B1 (ko) 2024-02-13

Family

ID=71099106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166057A Active KR102635265B1 (ko) 2018-12-20 2018-12-20 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법

Country Status (2)

Country Link
US (1) US11148594B2 (ko)
KR (1) KR102635265B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216067B (zh) * 2020-09-07 2023-01-06 邢台林樾科技有限公司 一种基于车载广角相机的图像处理方法
CN112528854B (zh) * 2020-12-12 2023-07-25 南方电网调峰调频发电有限公司 振动对象监测方法、装置、计算机设备和存储介质
CN115489430A (zh) * 2021-06-01 2022-12-20 英业达科技有限公司 车行纪录路况情资反馈车行控制与示警系统及其方法
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230021852A (ko) 2021-08-06 2023-02-14 주식회사 에이치엘클레무브 라이다 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180284779A1 (en) * 2017-03-31 2018-10-04 Uber Technologies, Inc. Autonomous Vehicle System for Blending Sensor Data
US20180307915A1 (en) * 2017-04-24 2018-10-25 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120031784A (ko) * 2010-09-27 2012-04-04 엘지이노텍 주식회사 차량 충돌 방지 장치 및 방법
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN118816908A (zh) * 2015-02-10 2024-10-22 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
KR20160122998A (ko) * 2015-04-15 2016-10-25 주식회사 만도 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 영상 생성 방법
KR20180080828A (ko) * 2017-01-05 2018-07-13 서울대학교산학협력단 라이더 맵 매칭 기반 차선레벨 차량 위치정보 인지 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2019113531A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
CA3028659C (en) * 2017-12-11 2021-10-12 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying and positioning objects around a vehicle
US11334960B2 (en) * 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180284779A1 (en) * 2017-03-31 2018-10-04 Uber Technologies, Inc. Autonomous Vehicle System for Blending Sensor Data
US20180307915A1 (en) * 2017-04-24 2018-10-25 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment

Also Published As

Publication number Publication date
KR20200076989A (ko) 2020-06-30
US20200198538A1 (en) 2020-06-25
US11148594B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
JP7757353B2 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
KR102635265B1 (ko) 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
CN110349405B (zh) 利用联网汽车的实时交通监视
US11531354B2 (en) Image processing apparatus and image processing method
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
US20190385457A1 (en) Obstacle warning method for vehicle
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
CN113692587A (zh) 使用视觉图像估计对象属性
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019049774A (ja) 車両制御装置、車両制御方法、およびプログラム
CN107615353A (zh) 汽车周边信息显示系统
JP2020053046A (ja) 交通情報を表示するための運転者支援システム及び方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180339730A1 (en) Method and system for generating a wide-area perception scene graph
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2018133085A (ja) 情報処理装置、情報処理方法、情報処理プログラム、および移動体
CN113614782B (zh) 信息处理装置、信息处理方法和程序产品
US11488479B2 (en) Methods and systems for generating targeted warnings
CN112567427B (zh) 图像处理装置、图像处理方法和程序
JP5354193B2 (ja) 車両用運転支援装置
JP4848644B2 (ja) 障害物認識システム
US12119873B2 (en) System and method for determining actions of a vehicle by visible light communication
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181220

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210803

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181220

Comment text: Patent Application

PN2301 Change of applicant

Patent event date: 20210929

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PN2301 Change of applicant

Patent event date: 20220411

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230821

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240205

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240206

End annual number: 3

Start annual number: 1

PG1601 Publication of registration