[go: up one dir, main page]

KR102406507B1 - 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 - Google Patents

딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 Download PDF

Info

Publication number
KR102406507B1
KR102406507B1 KR1020170038405A KR20170038405A KR102406507B1 KR 102406507 B1 KR102406507 B1 KR 102406507B1 KR 1020170038405 A KR1020170038405 A KR 1020170038405A KR 20170038405 A KR20170038405 A KR 20170038405A KR 102406507 B1 KR102406507 B1 KR 102406507B1
Authority
KR
South Korea
Prior art keywords
autonomous driving
deep learning
output value
driving control
control output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170038405A
Other languages
English (en)
Other versions
KR20180109190A (ko
Inventor
유병용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170038405A priority Critical patent/KR102406507B1/ko
Priority to US15/615,971 priority patent/US10860030B2/en
Priority to CN201710535665.6A priority patent/CN108657163B/zh
Publication of KR20180109190A publication Critical patent/KR20180109190A/ko
Priority to US17/073,813 priority patent/US11971722B2/en
Priority to US17/073,808 priority patent/US12117839B2/en
Application granted granted Critical
Publication of KR102406507B1 publication Critical patent/KR102406507B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0229—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • G05B23/0294—Optimizing process, e.g. process efficiency, product quality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/021—Means for detecting failure or malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Feedback Control In General (AREA)
  • Fuzzy Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

본 발명은 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어 시스템은 딥러닝 기반 자율 주행 제어 판단 시 미리 설정한 전문가 룰 기반 자율제어 판단을 기반으로 상기 딥러닝 기반 자율 주행 제어 판단의 오류를 보정하여 자율 주행 차량 제어를 수행하는 프로세서; 및 상기 딥러닝 기반 자율 주행 제어 판단을 위한 데이터, 상기 전문가 룰 데이터 판단을 위한 데이터, 상기 딥러닝 기반 자율 주행 제어 판단의 오류 정보를 저장하는 데이터베이스를 포함한다.

Description

딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법{Apparatus for controlling autonomous vehicle based on deep learning, system having the same and method thereof}
본 발명은 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 미리 설정한 전문가 룰을 기반으로 자율주행 차량 제어를 수행하여 딥러닝 기반 자율주행 차량 제어 오판단을 방지할 수 있는 기술에 관한 것이다.
최근 딥러닝이 각광받으면서 인식뿐만 아니라 자율주행차량의 판단 및 제어에도 응용되고 있다.
이러한 딥러닝은 신경망(Neural Network)으로 구성되어 있고 영상 인지 및 분류(classification) 분야에서 두각을 나타내고 있으며 강화 학습등과 결합하여 특정 분야에서 인간을 뛰어넘는 성능을 보여주고 있다. 이에 막강한 학습 능력을 기반으로 센서의 전처리 없이 이용함으로써 자율주행 차량 등의 다양한 분야에서 적용되고 있다.
그러나 딥러닝은 학습의 결과만 출력으로 나타나기 때문에 잘못된 출력에 대해서는 디버깅이 어렵다는 단점도 존재 한다. 특히 자율주행 차량의 판단과 제어는 한치의 오차도 용납이 불가능하기에 딥러닝의 디버깅이 불가능하다는 점은 큰 불안요소이다.
본 발명의 실시예는 딥러닝 기반 자율주행 제어 시 전문가 룰을 함께 고려하여 자율주행 제어를 수행하도록 함으로써 딥러닝 기반 자율주행 차량 제어 오판단을 최소화할 수 있는 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어 시스템은 딥러닝 기반 자율 주행 제어 판단 시 미리 설정한 전문가 룰 기반 자율제어 판단을 기반으로 상기 딥러닝 기반 자율 주행 제어 판단의 오류를 보정하여 자율 주행 차량 제어를 수행하는 프로세서; 및 상기 딥러닝 기반 자율 주행 제어 판단을 위한 데이터, 상기 전문가 룰 데이터 판단을 위한 데이터, 상기 딥러닝 기반 자율 주행 제어 판단의 오류 정보를 저장하는 데이터베이스를 포함한다.
일실시예에서, 상기 프로세서는, 딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 딥러닝부; 상기 전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 전문가 룰 판단부; 및 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 딥러닝 오류 판단부;를 포함한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력 한다.
일실시예에서, 상기 전문가 룰은 빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함 한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값이 빈 공간이 아닌 방향으로 조향 방향 제어에 해당하는 경우 빈공간이 존재하는 방향으로 조향 방향 제어를 보정 한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 최소한의 충돌소요시간(TTC:Time To Collision)보다 작아지는 조향이나 가감속 출력제어인 경우, 상기 충돌소요시간보다 작아지는 조향이나 가감속 출력제어를 중지 한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 조향 기준값보다 큰 조향값인 경우, 상기 조향값을 상기 조향 기준값 미만으로 조정 한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 가감속 기준값보다 큰 가감속값인 경우, 상기 가감속값을 상기 가감속 기준값 미만으로 조정 한다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값이 차선을 벗어난 방향으로 조향을 제어하는 출력값인 경우, 조향 제어를 중지하도록 제어 한다.
일실시예에서, 상기 딥러닝 오류 판단부로부터 출력된 최종 자율 주행 제어 출력값을 이용하여 자율주행차량 제어를 수행하는 자율주행 제어부를 더 포함한다.
일실시예에서, 상기 딥러닝 기반 자율주행 제어 출력값은, 선행차량과 자차와의 상대속도, 선행차량과 자차와의 상대거리, 인접 차선의 주행 가능 공간, 촤측차선까지의 거리, 우측차선까지의 거리, 현재 위치한 차로 번호, 차선과 자차와의 각도 중 적어도 하나 이상을 포함 한다.
일실시예에서, 상기 데이터베이스는, 상기 딥러닝 기반 자율 주행 제어 판단을 위한 러닝 기반 출력제어 파라미터를 저장하는 딥러닝 저장부; 상기 전문가 룰을 저장하는 전문가 룰 저장부; 및 상기 딥러닝 오류 판단부에 의해 딥러닝 오류로 판단되어 보정된 정보를 저장하는 오류 저장부를 포함한다.
본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어 장치는, 딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 딥러닝부; 상기 전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 전문가 룰 판단부; 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 딥러닝 오류 판단부; 및 상기 딥러닝 오류 판단부로부터 출력된 최종 자율 주행 제어 출력값을 이용하여 자율주행차량 제어를 수행하는 자율주행 제어부를 포함할 수 있다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력할 수 있다.
일실시예에서, 상기 딥러닝 오류 판단부는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어방법은 딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 단계; 상기 전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 단계; 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 단계; 및 상기 최종 자율주행 제어 출력값에 따라 자율주행 차량을 제어하는 단계를 포함할 수 있다.
일실시예에서, 상기 최종 자율주행 제어 출력값을 출력하는 단계는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력할 수 있다.
일실시예에서, 상기 최종 자율주행 제어 출력값을 출력하는 단계는, 상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력할 수 있다.
일실시예에서, 상기 전문가 룰은 빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함할 수 있다.
본 기술은 딥러닝 기반 자율 주행 차량 제어 시 미리 설정한 전문가 룰을 적용하여 딥러닝 기반 자율 주행 차량 제어 오류를 방지하고 이러한 오류에 대한 업데이트를 통해 딥러닝 기반 자율주행 시스템의 신뢰도를 향상시키고 안전한 주행을 할 수 있도록 하여 사용자의 편의성을 증대시킬 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어 시스템의 구성도이다.
도 2a는 본 발명의 실시예에 따른 딥러닝 기반 주행 방향 제어 출력값과 전문가 룰 기반 주행방향 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다.
도 2b는 본 발명의 실시예에 따른 딥러닝 기반 주행 방향 제어 출력값과 전문가 룰 기반 주행방향 제어 출력값이 일치하지 않는 경우의 자율주행차량 제어의 예시도이다.
도 3a는 본 발명의 실시예에 따른 딥러닝 기반 차량 속도 제어 출력값과 전문가 룰 기반 차량 속도 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다.
도 3b는 본 발명의 실시예에 따른 딥러닝 기반 스티어링 제어 출력값과 전문가 룰 기반 스티어링 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다.
도 4는 본 발명의 실시예에 따른 전문가 룰을 설정하는 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 자율주행 차량 제어 방법을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 자율주행 차량제어를 위한 전문가 룰 항목을 나타내는 테이블이다.
도 7은 본 발명의 실시예에 따른 자율주행 차량 제어 방법을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 딥러닝(deep learning) 기반 자율주행 차량 제어 시스템의 구성도이다.
본 발명의 실시예에 따른 딥러닝 기반 자율주행 차량 제어 시스템은 프로세서(100), 데이터 베이스(200)를 포함한다.
프로세서(100)는 딥러닝 기반 자율 주행 제어 판단 시 미리 설정한 전문가 룰 기반 자율제어 판단을 기반으로 딥러닝 기반 자율 주행 제어 판단의 오류를 보정하여 자율 주행 차량 제어를 수행한다. 즉 프로세서(100)는 딥러닝 기반으로 자율주행차량 제어를 수행할 때, 딥러닝 기반 자율주행차량 제어 출력값과 전문가 룰 판단값을 비교하여 딥러닝 기반 자율주행차량 제어 출력값과 전문가 룰 판단값이 일치하지 않는 경우 전문가 룰 판단값을 우선순위로 적용하여 자율주행차량을 제어한다.
이를 위해, 프로세서(100)는 딥러닝부(110), 전문가 룰 판단부(120), 딥러닝 오류 판단부(130), 자율주행 제어부(140)를 포함한다.
딥러닝부(110)는 인공신경망을 통해 미리 저장된 데이터를 이용하여 학습을 수행하여 자율주행차량 제어를 위한 제어신호를 출력한다.
딥러닝부(110)는 초기에 딥러닝 구조를 미리 설정하고 딥러닝 기반 출력제어 파라미터를 설정한다. 이때, 딥러닝 구조는 딥러닝을 위한 히든레이어(hidden layer) 개수, Convolutional Neural Network(CNN) 개수 등의 설정을 의미하고, 딥러닝 기반 출력제어 파라미터는 자율주행 차량 제어를 위한 출력 제어값을 의미한다.
아래 표 1은 딥러닝 기반 출력제어 파라미터의 예시로서, 딥러닝 기반 출력제어 파라미터가 딥러닝 기반 자율주행 제어 출력값을 의미한다.
Figure 112017029874912-pat00001
표 1을 참조하면, 딥러닝 기반 출력제어 파라미터는 선행차량과 자차와의 상대속도, 선행차량과 자차와의 상대거리, 인접 차선의 주행 가능 공간, 촤측차선까지의 거리, 우측차선까지의 거리, 현재 위치한 차로 번호, 차선과 자차와의 각도 중 적어도 하나 이상을 포함한다. 다만 표 1에서 개시하고 있는 딥러닝 기반 출력제어 파라미터에 한정되지 않고 딥러닝 기반 인지가 가능한 모든 파라미터를 더 포함할 수 있다.
전문가 룰 판단부(120)는 전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력한다. 이때, 전문가 룰은 도 6과 같이 빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함할 수 있다. 도 6은 본 발명의 실시예에 따른 자율주행 차량제어를 위한 전문가 룰 항목을 나타내는 테이블이다.
딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력할 수 있다.
딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값과 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 전문가 룰 기반 자율주행 제어 출력값을 최종 자율주행 제어 출력값으로서 출력할 수 있다.
도 6을 참조하면, 딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값이 빈 공간이 아닌 방향으로 조향 방향 제어에 해당하는 경우 빈공간이 존재하는 방향으로 조향 방향 제어를 보정할 수 있다. 이에 빈공간이 아닌 공간 즉 차량이나 장애물이 존재하는 방향으로 조향을 제어하기 위한 딥러닝 기반 자율주행 제어 출력값이 출력되면 조향 제어를 중지하거나 빈공간이 있는 영역으로 조향제어를 하도록 보정함으로서 주변 장애물이나 차량과의 충돌을 방지할 수 있도록 한다.
또한 딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값이 미리 정한 최소한의 충돌소요시간(TTC:Time To Collision)보다 작아지는 조향이나 가감속 출력제어인 경우, 충돌소요시간보다 작아지는 조향이나 가감속 출력제어를 중지할 수 있다. 즉, 최소한의 충돌소요시간은 충돌을 방지하기 위한 최소한의 마지노선인데 이러한 충돌소요시간을 만족하지 못하는 경우 충돌의 위험이 있으므로 미리 정한 최소한의 충돌소요시간보다 작아지는 조향을 방지하여 사고 등을 방지할 수 있도록 한다.
또한, 딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값이 미리 정한 조향 기준값보다 큰 조향값인 경우, 조향값을 조향 기준값 미만으로 조정하거나 조향 제어를 중지시킬 수 있다. 즉, 순간적으로 너무 큰 조향값이 출력되는 경우 차량이 기우뚱 하는 등 자세제어에 있어 안정성이 약화될 수 있으므로 딥러닝 기반 자율주행 제어 출력값이 미리 정한 조향 기준값보다 큰 조향값인 경우 조향제어를 중지하거나 조향 기준값 미만으로 조향 제어를 하도록 제어할 수 있다.
딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값이 미리 정한 가감속 기준값보다 큰 가감속값인 경우, 가감속값을 가감속 기준값 미만으로 조정하거나 가감속 제어를 중지시킬 수 있다. 즉 순간적으로 너무 큰 가감속되는 경우 차량의 자세가 불안정하거나 탑승자가 위화감을 느낄 수 있으므로 미리 정한 가감속 기준값을 초과하는 딥러닝 기반 자율 주행 제어 출력값이 출력되면 가감속값을 가감속 기준값 미만으로 조정하거나 가감속 제어를 중지시킬 수 있다.
딥러닝 오류 판단부(130)는 딥러닝 기반 자율주행 제어 출력값이 차선을 벗어난 방향으로 조향을 제어하는 출력값인 경우, 조향 제어를 중지하도록 제어할 수 있다. 즉, 딥러닝 오류 판단부(130)는 차선의 번호를 인지하여 자차가 마지막 차로 즉 가장 좌측차로 또는 우측 마지막 차로에 위치할 때, 차로를 벗어나는 방향(차로가 없는 방향)으로 조향을 제어하는 딥러닝 기반 자율?애 제어 출력값이 출력되면 이를 방지함으로써, 차선이 없는 방향으로 차량이 주행함에 따른 사고 등을 방지할 수 있다.
자율주행 제어부(140)는 딥러닝 오류 판단부로부터 출력된 최종 자율 주행 제어 출력값을 이용하여 자율주행차량 제어를 수행한다.
데이터 베이스(200)는 프로세서(100)에 의한 전문가 룰 기반 자율주행 제어 및 딥러닝 기반 자율주행 제어를 위한 파라미터를 저장하고, 전문가 룰에 의한 자율주행제어 판단과 딥러닝 기반 자율주행 제어 판단이 상이한 경우 딥러닝 오류로 판단하여 저장한다.
이를 위해 데이터 베이스(200)는 딥러닝 저장부(210), 전문가 룰 저장부(220), 오류 저장부(230)를 포함한다.
딥러닝 저장부(210)는 딥러닝 기반 자율 주행 제어 판단을 위한 딥러닝 기반 출력제어 파라미터를 저장한다. 즉 표 1과 같은 딥러닝 기반 출력제어 파라미터를 저장한다.
전문가 룰 저장부(220)는 전문가 룰을 저장한다. 전문가 룰은 빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함할 수 있다.
오류 저장부(230)는 딥러닝 오류 판단부(130)에 의해 딥러닝 오류로 판단되어 보정된 정보를 저장한다. 이처럼 딥러닝 오류 정보를 저장하여 딥러닝 기반 자율주행 제어 시 딥러닝 오류 정보를 적용함으로서 딥러닝 기반 자율주행 제어 장치의 신뢰도를 향상시킬 수 있다.
도 2a는 본 발명의 실시예에 따른 딥러닝 기반 주행 방향 제어 출력값과 전문가 룰 기반 주행방향 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다. 도 2a를 참조하면 딥러닝부(110)에서 좌회전 제어신호가 출력되었는데, 전문가 룰 판단부(120)에서도 좌회전 제어신호를 출력한 경우, 딥러닝 오류 판단부(130)는 좌회전 제어신호를 자율 주행 제어부(140)로 보내어 차량이 최종적으로 좌회전을 하도록 제어한다.
도 2b는 본 발명의 실시예에 따른 딥러닝 기반 주행 방향 제어 출력값과 전문가 룰 기반 주행방향 제어 출력값이 일치하지 않는 경우의 자율주행차량 제어의 예시도이다. 도 2b를 참조하면 딥러닝부(110)에서 좌회전 제어신호가 출력되었는데, 전문가 룰 판단부(120)에서도 우회전 제어신호를 출력한 경우, 딥러닝 오류 판단부(130)는 딥러닝부(110)와 전문가 룰 판단부(120)의 출력이 상이하므로, 전문가 룰 판단부(120)의 출력신호인 우회전 제어신호를 자율 주행 제어부(140)로 보내어 차량이 최종적으로 우회전을 하도록 제어하고, 오류 저장부(230)에 딥러닝부(110)와 전문가 룰 판단부(120)의 출력의 상이함을 저장한다.
도 3a는 본 발명의 실시예에 따른 딥러닝 기반 차량 속도 제어 출력값과 전문가 룰 기반 차량 속도 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다. 도 3a를 참조하면 딥러닝부(110)에서 3단계 감속(감속-3)제어신호가 출력되었는데, 전문가 룰 판단부(120)에서도 5단계 감속 이내(감속>-5) 제어신호를 출력한 경우, 딥러닝부(110)의 3단계 감속 제어가 전문가 룰 판단부(120)의 5단계 감속 이내 범위에 포함되므로, 딥러닝 오류 판단부(130)는 딥러닝부(110)의 출력신호인 3단계 감속(감속-3)제어신호를 자율 주행 제어부(140)로 보내어 차량이 3단계 감속을 하도록 제어한다.
도 3b는 본 발명의 실시예에 따른 딥러닝 기반 스티어링 제어 출력값과 전문가 룰 기반 스티어링 제어 출력값이 일치하는 경우의 자율주행차량 제어의 예시도이다. 도 3b를 참조하면 딥러닝부(110)에서 스티어링 플러스방향(steer +방향) 제어신호가 출력되었는데, 전문가 룰 판단부(120)에서는 스티어링 마이너스방향(steer - 방향) 제어신호를 출력한 경우, 딥러닝 오류 판단부(130)는 딥러닝부(110)와 전문가 룰 판단부(120)의 출력이 상이하므로, 전문가 룰 판단부(120)의 출력신호인 스티어링 마이너스방향(steer - 방향) 제어신호를 자율 주행 제어부(140)로 보내어 차량이 최종적으로 스티어링 마이너스방향(steer - 방향)으로 주행하도록 제어하고, 오류 저장부(230)에 딥러닝부(110)와 전문가 룰 판단부(120)의 출력의 상이함을 저장한다.
이하, 도 4를 참조하여 본 발명의 실시예에 따른 전문가 룰을 설정하는 방법을 설명하기로 한다. 본 발명의 실시예에 따른 자율주행 차량 제어 시스템은 딥러닝 구조를 설정하고(S110), 딥러닝 기반 출력제어 파라미터를 설정한다(S120). 이때, 딥러닝 구조는 히든레이어(hidden layer) 개수, Convolutional Neural Network(CNN) 개수 등의 설정을 의미하고, 출력제어 파라미터는 자율주행 차량 제어를 위한 출력 제어값을 의미한다. 그 후, 자율주행 차량 제어 시스템은 사용자로부터 선택받거나 전문가로부터 제공받은 전문가 룰을 설정한다(S130).
이때, 도 4의 과정인 딥러닝 구조 정의, 출력제어 파라미터 정의, 전문가 룰의 설정은 딥러닝 기반 자율주행 전 최초에 설정될 수 있다.
이하, 도 5를 참조하여, 본 발명의 실시예에 따른 자율주행 차량 제어 방법을 설명하기로 한다.
먼저, 딥러닝 기반 자율주행 차량 제어 시스템은 딥러닝 기반 자율 주행 중에(S210), 딥러닝 기반 자율주행 제어 출력값과 전문가 룰 기반 자율주행 제어 출력값을 비교하여 일치하지 않는 경우, 딥러닝 기반 자율주행 제어 출력값이 전문가 룰을 위반한 것으로 판단한다(S220).
이에, 딥러닝 기반 자율주행 제어 출력값이 전문가 룰을 위반한 경우 딥러닝 기반 자율주행 제어 출력값을 무시하고 전문가 룰 기반 자율주행 제어 출력값으로 자율 주행을 수행한다(S230).
이와 같이, 본 발명은 딥러닝 기반 자율주행 시 미리 설정한 전문가 룰을 함께 적용함으로써 딥러닝 기반 자율주행 시 발생할 수 있는 오판단을 최소화하고, 딥러닝 기반 오판단이 정판단으로 계속 학습되는 것을 방지하고 오판단에 대한 업데이트를 통해 딥러닝 기반 자율주행 시스템의 신뢰도를 향상시킬 수 있다.
도 7은 본 발명의 실시예에 따른 자율주행 차량 제어 방법을 적용한 컴퓨터 시스템의 구성도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 프로세서
200 : 데이터 베이스
110 : 딥러닝부
120 : 전문가 룰 판단부
130 : 딥러닝 오류 판단부
140 : 자율주행 제어부
210 : 딥러닝 저장부
220 : 전문가 룰 저장부
230 : 오류 저장부

Claims (20)

  1. 딥러닝 기반 자율 주행 제어 판단 시 미리 설정한 전문가 룰 기반 자율제어 판단을 기반으로 상기 딥러닝 기반 자율 주행 제어 판단의 오류를 보정하여 자율 주행 차량 제어를 수행하는 프로세서; 및
    상기 딥러닝 기반 자율 주행 제어 판단을 위한 데이터, 상기 전문가 룰 데이터 판단을 위한 데이터, 상기 딥러닝 기반 자율 주행 제어 판단의 오류 정보를 저장하는 데이터베이스를 포함하고,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  2. 청구항 1에 있어서,
    상기 프로세서는,
    딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 딥러닝부;
    상기 전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 전문가 룰 판단부; 및
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 딥러닝 오류 판단부;
    를 포함하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  3. 청구항 2에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  4. 삭제
  5. 청구항 3에 있어서,
    상기 전문가 룰은
    빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  6. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값이 빈 공간이 아닌 방향으로 조향 방향 제어에 해당하는 경우 빈공간이 존재하는 방향으로 조향 방향 제어를 보정하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  7. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 최소한의 충돌소요시간(TTC:Time To Collision)보다 작아지는 조향이나 가감속 출력제어인 경우, 상기 충돌소요시간보다 작아지는 조향이나 가감속 출력제어를 중지하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  8. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 조향 기준값보다 큰 조향값인 경우, 상기 조향값을 상기 조향 기준값 미만으로 조정하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  9. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값이 미리 정한 가감속 기준값보다 큰 가감속값인 경우, 상기 가감속값을 상기 가감속 기준값 미만으로 조정하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  10. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값이 차선을 벗어난 방향으로 조향을 제어하는 출력값인 경우, 조향 제어를 중지하도록 제어하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  11. 청구항 3에 있어서,
    상기 딥러닝 오류 판단부로부터 출력된 최종 자율 주행 제어 출력값을 이용하여 자율주행차량 제어를 수행하는 자율주행 제어부
    를 더 포함하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  12. 청구항 3에 있어서,
    상기 딥러닝 기반 자율주행 제어 출력값은,
    선행차량과 자차와의 상대속도, 선행차량과 자차와의 상대거리, 인접 차선의 주행 가능 공간, 촤측차선까지의 거리, 우측차선까지의 거리, 현재 위치한 차로 번호, 차선과 자차와의 각도 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 시스템.
  13. 청구항 3에 있어서,
    상기 데이터베이스는,
    상기 딥러닝 기반 자율 주행 제어 판단을 위한 딥러닝 기반 출력제어 파라미터를 저장하는 딥러닝 저장부;
    상기 전문가 룰을 저장하는 전문가 룰 저장부; 및
    상기 딥러닝 오류 판단부에 의해 딥러닝 오류로 판단되어 보정된 정보를 저장하는 오류 저장부
    를 포함하는 딥러닝 기반 자율주행 차량 제어 시스템.
  14. 딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 딥러닝부;
    전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 전문가 룰 판단부;
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 딥러닝 오류 판단부; 및
    상기 딥러닝 오류 판단부로부터 출력된 최종 자율 주행 제어 출력값을 이용하여 자율주행차량 제어를 수행하는 자율주행 제어부를 포함하고,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 장치.
  15. 청구항 14에 있어서,
    상기 딥러닝 오류 판단부는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 장치.
  16. 삭제
  17. 딥러닝 기반 자율 주행 제어를 위한 딥러닝 기반 자율주행 제어 출력값을 출력하는 단계;
    전문가 룰 기반으로 전문가 룰 기반 자율주행 제어 출력값을 출력하는 단계;
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값을 비교하여 비교 결과에 따라 최종 자율주행 제어 출력값을 출력하는 단계; 및
    상기 최종 자율주행 제어 출력값에 따라 자율주행 차량을 제어하는 단계를 포함하고
    상기 최종 자율주행 제어 출력값을 출력하는 단계는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하지 않는 경우, 상기 전문가 룰 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 방법.
  18. 청구항 17에 있어서,
    상기 최종 자율주행 제어 출력값을 출력하는 단계는,
    상기 딥러닝 기반 자율주행 제어 출력값과 상기 전문가 룰 기반 자율주행 제어 출력값이 일치하는 경우, 상기 딥러닝 기반 자율주행 제어 출력값을 상기 최종 자율주행 제어 출력값으로서 출력하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 방법.
  19. 삭제
  20. 청구항 17에 있어서,
    상기 전문가 룰은
    빈 공간 조향 방향 제한, 충돌소요시간(TTC:Time To Collision) 제한, 조향의 변화 정도 제한, 가감속 변화 정도 제한, 차선 벗어남 제한 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 딥러닝 기반 자율주행 차량 제어 방법.
KR1020170038405A 2017-03-27 2017-03-27 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 Active KR102406507B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170038405A KR102406507B1 (ko) 2017-03-27 2017-03-27 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법
US15/615,971 US10860030B2 (en) 2017-03-27 2017-06-07 Deep learning-based autonomous vehicle control device, system including the same, and method thereof
CN201710535665.6A CN108657163B (zh) 2017-03-27 2017-06-27 基于深度学习的自主车辆控制设备及其系统和方法
US17/073,813 US11971722B2 (en) 2017-03-27 2020-10-19 Deep learning-based autonomous vehicle control device, system including the same, and method thereof
US17/073,808 US12117839B2 (en) 2017-03-27 2020-10-19 Deep learning-based autonomous vehicle control device, system including the same, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170038405A KR102406507B1 (ko) 2017-03-27 2017-03-27 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180109190A KR20180109190A (ko) 2018-10-08
KR102406507B1 true KR102406507B1 (ko) 2022-06-10

Family

ID=63582515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170038405A Active KR102406507B1 (ko) 2017-03-27 2017-03-27 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법

Country Status (3)

Country Link
US (3) US10860030B2 (ko)
KR (1) KR102406507B1 (ko)
CN (1) CN108657163B (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213134B (zh) * 2017-07-03 2020-04-28 百度在线网络技术（北京）有限公司 生成自动驾驶策略的方法和装置
US20200168094A1 (en) * 2017-07-18 2020-05-28 Pioneer Corporation Control device, control method, and program
KR102342143B1 (ko) * 2017-08-08 2021-12-23 주식회사 만도모빌리티솔루션즈 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
NL2019756B1 (nl) * 2017-10-18 2019-04-25 Johannes Smit Stephan Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, autonoom rijdend voertuig voorzien van een dergelijk systeem en werkwijze voor het trainen van een dergelijk systeem.
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US11042163B2 (en) 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
WO2019152888A1 (en) 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
DE102019113114A1 (de) 2018-06-19 2019-12-19 Nvidia Corporation Verhaltensgesteuerte wegplanung in autonomen maschinenanwendungen
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11199847B2 (en) * 2018-09-26 2021-12-14 Baidu Usa Llc Curvature corrected path sampling system for autonomous driving vehicles
US20200125722A1 (en) * 2018-10-18 2020-04-23 Denso International America, Inc. Systems and methods for preventing runaway execution of artificial intelligence-based programs
JP6773099B2 (ja) * 2018-10-30 2020-10-21 トヨタ自動車株式会社 制御装置
CN109543245B (zh) * 2018-10-31 2021-08-10 百度在线网络技术（北京）有限公司 无人车应对能力边界信息确定方法、装置和电子设备
CN111216723B (zh) * 2018-11-26 2021-04-16 广州汽车集团股份有限公司 车辆的行驶控制方法、装置和存储介质
GB2592293B (en) * 2018-12-18 2022-11-30 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
GB2588013B (en) 2018-12-18 2022-10-05 Motional Ad Llc Operation of a vehicle using multiple motion constraints
DE102018222720B4 (de) * 2018-12-21 2022-01-05 Continental Teves Ag & Co. Ohg Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
US11216001B2 (en) 2019-03-20 2022-01-04 Honda Motor Co., Ltd. System and method for outputting vehicle dynamic controls using deep neural networks
US11560146B2 (en) 2019-03-26 2023-01-24 Ford Global Technologies, Llc Interpreting data of reinforcement learning agent controller
KR102746598B1 (ko) 2019-04-02 2024-12-24 삼성전자주식회사 자체 운동 정보 추정 장치 및 방법
CN110027553B (zh) * 2019-04-10 2020-10-23 湖南大学 一种基于深度强化学习的防碰撞控制方法
CN113906271B (zh) 2019-04-12 2025-05-09 辉达公司 用于自主机器应用的使用地图信息增强的地面实况数据的神经网络训练
DE102019210923A1 (de) * 2019-07-24 2021-01-28 Zf Friedrichshafen Ag Regelbasiertes System zur Überwachung eines neuronalen Netzes
EP3783446B1 (de) * 2019-08-21 2021-08-11 dSPACE digital signal processing and control engineering GmbH Computerimplementiertes verfahren und testeinheit zum approximieren einer teilmenge von testergebnissen
KR102854806B1 (ko) * 2019-09-16 2025-09-05 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
DE102019214931A1 (de) * 2019-09-27 2021-04-01 Zf Friedrichshafen Ag Steuerung eines Fahrzeugs
KR102869076B1 (ko) * 2019-10-15 2025-10-14 현대자동차주식회사 자율주행차량의 차선변경 제어 장치 및 그 방법
US12012114B2 (en) 2019-11-20 2024-06-18 Hyundai Mobis Co., Ltd. Integration module for advanced driver assistance system
US11592810B2 (en) 2019-12-16 2023-02-28 Woven Planet North America, Inc. Systems and methods for injecting faults into an autonomy system
CN111016901A (zh) * 2019-12-30 2020-04-17 苏州安智汽车零部件有限公司 基于深度学习的智能驾驶决策方法及系统
WO2021201474A1 (ko) * 2020-03-31 2021-10-07 주식회사 비트센싱 객체를 분류하는 레이더 장치 및 방법
US12077190B2 (en) 2020-05-18 2024-09-03 Nvidia Corporation Efficient safety aware path selection and planning for autonomous machine applications
US12187269B2 (en) * 2020-09-30 2025-01-07 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
US12479421B2 (en) * 2020-10-09 2025-11-25 Nec Corporation Modular network based knowledge sharing for multiple entities
KR102260246B1 (ko) * 2020-12-22 2021-06-04 주식회사 모빌린트 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치
JP7672314B2 (ja) * 2021-09-13 2025-05-07 株式会社Ｎｔｔデータオートモビリジェンス研究所 車両運転制御装置、車両制御管理装置及び車両制御管理方法
KR102443142B1 (ko) * 2021-12-27 2022-09-14 주식회사 소네트 향상된 차선 인식 기능을 가지는 조향 제어 장치 및 방법
EP4235508B1 (en) * 2022-02-28 2025-02-26 Fujitsu Limited Knowledge transfer
KR102739314B1 (ko) * 2022-08-08 2024-12-05 주식회사 아이나비시스템즈 전자 장치 및 그 차량 속도 동기화 방법
WO2024035075A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 전자 장치 및 그 차량 속도 동기화 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001163236A (ja) 1999-09-28 2001-06-19 Mazda Motor Corp 車両の操舵装置
US20160313735A1 (en) 2015-04-24 2016-10-27 Autonomous Solutions Inc. System and method for controlling a vehicle
JP2016216026A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210473B2 (ja) * 1993-03-11 2001-09-17 株式会社東芝 ビジュアルフィードバック制御装置
JPH07225894A (ja) * 1994-02-15 1995-08-22 Toshiba Corp 車両用走行制御装置とその制御知識獲得方法
JP3666035B2 (ja) * 1994-11-04 2005-06-29 株式会社日立製作所 火力発電プラント自律適応制御システム
US7953521B2 (en) 2005-12-30 2011-05-31 Microsoft Corporation Learning controller for vehicle control
DE102013206641B3 (de) 2013-04-15 2014-05-22 Robert Bosch Gmbh Verfahren zur Durchführung wenigstens einer Lernfunktion in einem Kraftfahrzeug und Mittel zu dessen Implementierung
JP5993357B2 (ja) 2013-09-13 2016-09-14 ジヤトコ株式会社 車両の制御装置
KR101886672B1 (ko) 2013-12-11 2018-08-09 인텔 코포레이션 차량의 개인 운전 성향이 적응된 전산화된 지원 또는 자율 주행
KR20150076627A (ko) 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법
US9193314B1 (en) 2014-06-09 2015-11-24 Atieva, Inc. Event sensitive learning interface
US9361797B1 (en) * 2014-12-11 2016-06-07 Here Global B.V. Detecting road condition changes from probe data
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
CN105892471B (zh) * 2016-07-01 2019-01-29 北京智行者科技有限公司 汽车自动驾驶方法和装置
US10268200B2 (en) * 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001163236A (ja) 1999-09-28 2001-06-19 Mazda Motor Corp 車両の操舵装置
JP2016216026A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
US20160313735A1 (en) 2015-04-24 2016-10-27 Autonomous Solutions Inc. System and method for controlling a vehicle

Also Published As

Publication number Publication date
KR20180109190A (ko) 2018-10-08
US20180275657A1 (en) 2018-09-27
US12117839B2 (en) 2024-10-15
US11971722B2 (en) 2024-04-30
CN108657163A (zh) 2018-10-16
US20210048826A1 (en) 2021-02-18
CN108657163B (zh) 2022-06-10
US20210034064A1 (en) 2021-02-04
US10860030B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
KR102406507B1 (ko) 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법
KR102613189B1 (ko) 충돌 전 시트 액추에이터 시스템 및 방법
US20210206393A1 (en) Autonomous controller and method thereof
KR20250026810A (ko) 차량의 안전 전략 제공 장치 및 방법
US11560174B2 (en) Automatic steering control device
KR20190124119A (ko) 차량의 안전 전략 제공 장치 및 방법
US20190317492A1 (en) Apparatus and method for providing safety strategy in vehicle
KR102496658B1 (ko) 차량의 주행 제어 장치 및 방법
US20190367092A1 (en) Steering device and steering control method thereof
US20220144254A1 (en) Method and apparatus for controlling a safety device of a vehicle, and safety system for a vehicle
KR20210124603A (ko) 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
CN114572199A (zh) 用于控制车辆的装置和方法
KR20220013203A (ko) 차량의 차선 유지 보조 시스템 및 이를 이용한 차선 유지 방법
CN112550433B (zh) 用于补偿高级驾驶辅助系统中的转向误差的装置和方法
KR102224804B1 (ko) 차선 유지 제어 장치 및 방법
CN114506322B (zh) 跟车控制方法、装置、设备及可读存储介质
US20230111422A1 (en) Method for detecting a collision direction of a vehicle, method for activating a collision protection system of a vehicle in response to a detected collision direction of the vehicle, device, and vehicle
US11535263B2 (en) Apparatus and method for predicting movement of user of vehicle
US11904907B2 (en) Autonomous driving vehicle, method for controlling autonomous driving vehicle, and program
US11760363B2 (en) Device and method for controlling travel of vehicle
CN118220141A (zh) 一种车辆自动回中的轨迹规划方法、装置、设备及介质
CN117208010A (zh) 一种车辆驾驶模式的切换方法、装置、设备及存储介质
US20220388508A1 (en) Lane keeping controller, vehicle system including the same, and method thereof
US12253864B2 (en) Apparatus for controlling driving of moving object and method thereof
US20210109526A1 (en) Processing sensor data in a motor vehicle

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170327

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200224

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170327

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210215

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210607

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210215

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment
PE0601 Decision on rejection of patent

Patent event date: 20210803

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210215

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PE0801 Dismissal of amendment

Patent event code: PE08012E01D

Comment text: Decision on Dismissal of Amendment

Patent event date: 20210803

Patent event code: PE08011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20210707

Patent event code: PE08011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20210414

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20210901

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20210803

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20210607

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20220330

Appeal identifier: 2021101002266

Request date: 20210901

J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002266; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210901

Effective date: 20220330

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20220330

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20210901

Decision date: 20220330

Appeal identifier: 2021101002266

PS0901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

Patent event date: 20220420

Patent event code: PS07012S01D

Comment text: Decision to Grant Registration

Patent event date: 20220404

Patent event code: PS07011S01I

Comment text: Notice of Trial Decision (Remand of Revocation)

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220602

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220603

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250526

Start annual number: 4

End annual number: 4