[go: up one dir, main page]

KR102060662B1 - 차량의 주행 이벤트를 검출하는 전자 장치 및 방법 - Google Patents

차량의 주행 이벤트를 검출하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102060662B1
KR102060662B1 KR1020180049405A KR20180049405A KR102060662B1 KR 102060662 B1 KR102060662 B1 KR 102060662B1 KR 1020180049405 A KR1020180049405 A KR 1020180049405A KR 20180049405 A KR20180049405 A KR 20180049405A KR 102060662 B1 KR102060662 B1 KR 102060662B1
Authority
KR
South Korea
Prior art keywords
vehicle
learning
driving
data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180049405A
Other languages
English (en)
Other versions
KR20180125885A (ko
Inventor
장서우
반대현
박언규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2018/005524 priority Critical patent/WO2018212538A1/en
Priority to CN201880046552.2A priority patent/CN110892451B/zh
Priority to US15/979,915 priority patent/US10803323B2/en
Priority to EP18801907.9A priority patent/EP3602497A4/en
Publication of KR20180125885A publication Critical patent/KR20180125885A/ko
Application granted granted Critical
Publication of KR102060662B1 publication Critical patent/KR102060662B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다.
일 실시예에 의하여 프로세서 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는 명령어들을 실행함으로써, 차량으로부터 차량의 주행 중 촬영된 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하고, 복수의 프레임들 내에 포함된 객체의 위치를 인식하고, 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정할 수 있다.

Description

차량의 주행 이벤트를 검출하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR DETECTING A DRIVING EVENT OF VEHICLE}
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 구체적으로, 본 개시는 인공지능(AI) 시스템을 이용하여 차량의 주행 중 객체의 위치에 따라 발생하는 이벤트를 결정하는 방법 및 장치에 관한 것이다.
멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 전자 장치를 이용하여 다양한 서비스를 제공받을 수 있게 되었다. 차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 주행에 관련된 이벤트가 발생하였는지를 인식하는 다양한 방법들이 개발되고 있다.
한편, 차량의 주행에 관련된 이벤트가 발생하였는지를 인식하기 위하여는 엄청난 양의 주행 데이터가 필요하기 때문에, 적은 비용을 이용하여 효율적으로 주행 데이터의 획득하고자 하는 기술에 대한 수요가 증가하고 있다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일 실시예는, 복수의 학습 모델들을 이용하여 복수의 프레임들 내의 객체의 위치에 따라 차량의 주행에 관련된 이벤트의 발생 여부를 결정하는 전자 장치 및 방법을 제공하고자 한다.
제 1 실시예에 의하여, 프로세서 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는, 명령어들을 실행함으로써, 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하고, 복수의 프레임들 내에 포함된 객체의 위치를 인식하고, 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 전자 장치를 제공할 수 있다.
제 2 실시예에 의하여, 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계, 복수의 프레임들 내에 포함된 객체의 위치를 인식하는 단계 및 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 단계를 포함할 수 있다.
제 3 실시예에 의하여, 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 저장 매체는, 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계, 복수의 프레임들 내에 포함된 객체의 위치를 인식하는 단계 및 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 단계를 수행하는 명령어들을 포함하는 컴퓨터 프로그램 제품을 제공할 수 있다.
도 1은 일 개시에 의한 전자 장치가 차량 전방의 객체를 검출하여 이벤트 발생 여부를 결정하는 동작의 예시를 나타내는 도면이다.
도 2는 일 개시에 의한 전자 장치가 이벤트 발생 여부를 결정하는 방법을 나타내는 흐름도이다.
도 3은 일 개시에 의한 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 학습모델의 생성을 설명하기 위한 도면이다.
도 4는 일 개시에 의한 제 1 학습 모델을 이용하여 객체를 검출하는 예시를 설명하기 위한 도면이다.
도 5는 일 개시에 의한 검출된 객체와 차량과의 거리에 따라 객체인지 또는 노이즈인지 여부를 결정하는 것을 설명하기 위한 도면이다.
도 6은 일 개시에 의하여 제 2 학습 모델을 이용하여 객체의 시계열적 이동에 따른 이벤트 발생 여부를 결정하는 예시를 나타내는 도면이다.
도 7은 일 개시에 의한 복수개의 데이터프레임 중 시간의 흐름에 따른 이벤트 발생 검출을 위하여 차량의 전방에 감지된 객체의 프레임을 획득하는 예시를 나타내는 도면이다.
도 8은 일 개시에 따른 학습 모델을 이용하여 시계열적 프레임 분석을 통한 이벤트 발생 여부를 검출하는 예시를 설명하기 위한 도면이다.
도 9는 일 개시에 의한 가상현실을 이용하여 차량 주행 데이터를 획득하기 위한 예시를 나타내는 도면이다.
도 10은 일 개시에 의한 이벤트의 종류에 따른 알림 메시지 및 차량 제어 명령을 결정하기 위한 예시를 나타내는 도면이다.
도 11은 일 개시에 의한 차량의 HUD(head up display)에 알림메시지를 출력하는 예시를 설명하는 도면이다.
도 12는 일 개시에 의한 차량에 알림 메시지를 출력하는 예시를 나타내는 도면이다.
도 13은 일 개시에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 14는 일 개시에 따른 전자 장치의 상세 구성을 나타내는 블록도이다.
도 15는 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 16은 일 실시예에 따른 데이터 학습부를 나타내는 블록도이다.
도 17은 일 실시예에 따른 데이터 인식부를 나타내는 블록도이다.
도 18은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 개시에 의한 전자 장치가 차량 전방의 객체를 검출하여 이벤트 발생 여부를 결정하는 동작의 예시를 나타내는 도면이다.
도 1을 참조하면, 전자 장치(1000)는 차량(100)에 설치된 장치일 수 있으며, 전자 장치(1000)는 차량(100)에 설치된 카메라로부터 비디오 시퀀스를 수신하여, 다양한 이벤트의 발생을 결정할 수 있다. 나아가, 전자 장치(1000)는 이벤트의 발생에 따른 알림 메시지를 사용자에게 제공할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 가상환경을 이용한 주행 장치, 예를 들어, 시뮬레이션 주행 장치, 주행 게임기 등에 설치된 장치일 수 있다. 전자 장치(1000)는 그래픽 성능이 좋은 가상환경 데이터를 수신하여, 다양한 차량(100)의 이벤트의 발생을 결정할 수 있다.
앞서, 전자 장치(1000)는 차량(100)에 설치된 카메라로부터 비디오 시퀀스를 수신한다고 설명했는데 이에 제한되지 않으며, 차량(100)의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량(100)의 주변은, 예를 들어, 차량의 전방, 측방, 후방을 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 좌표 정보를 이용하여 이벤트를 검출함으로써, 같은 종류의 객체일지라도 위치에 따른 중요도를 다르게 인식하여 위치에 다른 객체의 이벤트 발생 여부를 결정할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 복수의 비디오 시퀀스들로부터 객체가 포함된 적어도 하나의 비디오 시퀀스(103)를 검출할 수 있다. 전자 장치(1000)는 적어도 하나의 비디오 시퀀스(103)를 분석하여 고정적인 패턴을 포함하는 도로(102) 및 시간에 따라 이동중인 다른 차량(101)을 검출할 수 있다. 일 개시에 의하여 전자 장치(100)는 비디오 시퀀스 내에서의 다른 차량(101)의 좌표 분석을 통해, 다른 차량(101)의 위치를 분석함으로써 다른 차량(101)에 의하여 야기될 이벤트 발생 여부를 결정할 수 있다.
전자 장치(1000)는, 차량 내의 헤드유닛, 임베디드 보드, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 차량, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 전자 장치일 수 있다. 그러나, 이에 제한되지 않으며, 전자 장치(1000)는 카메라로부터 이미지(예를 들어, 동영상(video) 및 정지 영상(still image))를 획득하고, 획득된 이미지에 기초하여 사용자에게 알림 메시지를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈로서, 차량의 동작을 제어할 수 있으며, 소정의 네트워크를 통하여 차량에 설치된 다른 모듈과 통신할 수 있다.
일 실시예에서, 전자 장치(1000)는 스마트폰과 같은 차량과 별개의 장치일 수 있으며, 이 경우 전자 장치(1000)는 전자 장치(1000)의 카메라로부터 이용하여 비디오 시퀀스를 획득할 수 있으며, 소정의 네트워크를 통하여 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량에 포함된 모듈과 통신할 수 있다. 예를 들어, 전자 장치(1000)는 전자 장치(100)의 카메라를 이용하여 비디오 시퀀스를 획득할 수 있으며, 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 또한, 전자 장치(1000)는 차량과 별개의 장치인 경우, 차량의 동작을 제어하기 위해, 차량에 설치된 모듈과 통신할 수 있다.
일 개시에 의하여 차량(vehicle)은, 통신 기능, 데이터 프로세싱 기능, 및 운송 기능을 구비한 자동차, 버스, 트럭, 기차, 자전거, 오토바이 등의 교통 수단일 수 있다.
일 개시에 의하여, 차량(vehicle)은 가상현실과 실시간 차량해석 프로그램을 이용하여 차량의 이벤트를 검출할 수 있도록 하는 드라이빙 시뮬레이터 시스템일 수 있다. 일 개시에 의하여, 시뮬레이터는 실제 또는 가상의 동적 시스템 모형을 제작한 다음 컴퓨터 프로그램을 통해 시험 및 평가하는 것으로, 가상현실에서의 차량의 이동에 따른 주행데이터를 효율적으로 확보하기 위하여 이용될 수 있다.
또한, 전자 장치(1000)는 비디오 시퀀스를 수신하고, 알림 메시지를 전송하고, 다른 전자 장치(미도시)의 동작을 제어하기 위한 명령을 전송하기 위하여, 소정의 네트워크를 통하여 서버(2000) 및 다른 전자 장치(미도시)와 통신할 수 있다. 이 경우, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일 개시에 의한 전자 장치가 이벤트 발생 여부를 결정하는 방법을 나타내는 흐름도이다.
블록 210에서 전자 장치(1000)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 소정의 네트워크를 통하여 차량에 설치된 카메라와 통신함으로써, 비디오 시퀀스를 수신할 수 있다. 예를 들어, 비디오 시퀀스는 차량의 블랙박스(blackbox) 영상일 수 있고, 또는 차량의 스테레오 카메라로부터 수신한 영상일 수 있다. 일 실시예에서, 전자 장치(1000)는 카메라를 구비하여, 전자 장치(1000)에 포함된 카메라로부터 비디오 시퀀스를 획득할 수도 있다.
비디오 시퀀스는 일련의 정지 영상(still image)들로 구성될 수 있다. 정지 영상들 각각은 픽처(picture) 또는 프레임(frame)을 의미할 수 있다.
블록 220에서 전자 장치(1000)는 복수의 프레임들에 포함된 객체의 위치를 인식할 수 있다. 일 실시예에서, 전자 장치(1000)는 비디오 시퀀스에 포함된 하나의 프레임으로부터 하나 이상의 객체를 검출할 수 있다. 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서도 검출될 수 있다. 또는, 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서는 검출되지 않을 수 있다. 예를 들어, 제 1 프레임에서는 차도, 인도, 제 1 자동차, 제 2 자동차, 제 3 자동차, 교통 표지판이 검출되었는데, 제 1 프레임과 동일한 비디오 시퀀스 내의 제 2 프레임에서는 차도, 인도, 제 1 자동차, 제 3 자동차만이 검출되고, 제 2 자동차 및 교통 표지판이 검출되지 않을 수 있다. 또한, 제 2 프레임에서는 제 1 프레임에서 검출되지 않았던 오토바이가 검출될 수 있다.
일 개시에 의하여, 전자 장치(1000)는 인공지능학습 모델을 이용하여 객체의 위치 정보를 획득할 수 있다. 예를 들어, 제 1 프레임에서의 제 1 자동차의 좌표 정보로부터 제 1 자동차가 프레임 상에서 어느 위치에 있는지 인식할 수 있다. 또한, 제 1 프레임에서의 제 1 자동차의 위치 및 제 3 자동차의 위치를 이용하여 제 1 자동차와 제 3 자동차의 간격을 인식할 수 있다. 또한, 제 3 프레임에서의 제 1 자동차의 위치 및 제 3 자동차의 위치를 이용하여 제 3 프레임에서 제 1 자동차와 제 3 자동차 사이의 간격의 변화량을 인식할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 객체의 종류를 결정하고, 객체가 인식된 위치에서 객체의 종류가 가질 수 있는 크기 정보에 기초하여, 객체가 노이즈인지 여부를 결정할 수 있다. 일 개시에 의하여 전자 장치(1000)는 객체가 인식된 위치에서 상기 객체의 종류가 가질 수 있는 기준 크기 정보와 상기 인식된 객체의 크기 정보를 비교하여, 객체가 노이즈인지 여부를 결정할 수 있다.
일 개시에 의하여, 객체의 종류가 가질 수 있는 크기 정보는 객체의 종류에 따라 미리 결정된 형태에 기반하여 설정된 크기 정보를 포함할 수 있다. 일 개시에 의하여, 크기 정보는 차량과 객체와의 거리에 따라 객체가 프레임에서 차지할 수 있는 면적의 범위를 미리 정의한 정보를 포함할 수 있다.
일 개시에 의하여 크기 정보는 객체가 프레임에서 차지할 수 있는 면적의 범위에 대한 정보를 포함할 수 있다. 일 개시에 의하여, 차량과 객체 사이의 거리가 감소할수록 프레임에서 객체가 차지하는 면적은 증가하며, 차량과 객체 사이의 거리가 증가할수록 프레임에서 객체가 차지하는 면적은 증가할 수 있다. 일 개시에 의하여, 크기 정보는 객체의 종류에 따라서 미리 정해질 수 있다. 일 개시에 의하여, 크기 정보는 인공지능에 의하여 객체의 종류별로 학습될 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 종류(type)를 판단할 수 있다.
객체의 종류는, 차도(road), 인도(sidewalk), 빌딩(building), 벽(wall), 울타리(fence), 기둥(pole), 신호등(traffic light), 교통 표지판(traffic sign), 식물(vegetation), 지형(terrain), 하늘(sky), 사람(person), 운전자(rider), 자동차(car), 트럭(truck), 버스(bus), 기차(train), 오토바이(motorcycle), 및 자전거(bicycle) 등일 수 있다.
예를 들어, 전자 장치(1000)는 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 또한, 전자 장치(1000)는 복수의 객체들 중 일부의 종류가 동일하더라도, 동일한 종류의 객체들을 구별할 수 있다. 예를 들어, 하나의 프레임에서 3개의 자동차가 검출되었다면, 전자 장치(1000)는 3개의 자동차를 각각 제 1 자동차, 제 2 자동차, 및 제 3 자동차로 구별할 수 있다.
일 실시예에서, 전자 장치(1000)는 프레임 내에 포함된 객체 및 객체의 위치를 검출하기 위해, 제 1 학습 모델을 이용할 수 있다. 일 개시에 의하여, 제 1 학습 모델은 차량의 주행 중 촬영된 복수의 프레임들을 포함하는 비디오 시퀀스에서 객체를 검출하는 동시에 객체에 좌표 정보를 매핑함으로써, 복수의 프레임들 내에서 객체의 좌표에 대응하는 객체의 위치를 학습한 결과에 의하여 획득될 수 있다.
따라서, 비디오 시퀀스로부터 획득된 프레임들이 제 1 학습 모델에 입력되면, 프레임들로부터 검출된 객체에 관한 위치 정보가 제 1 학습 모델로부터 출력될 수 있다.
일 실시예에서, 전자 장치(1000)는 하나의 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 또한, 예를 들어, 전자 장치(1000)는 하나의 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 따라서, 전자 장치(1000)는 복수의 프레임들 각각에 대해 복수의 객체들이 각각 프레임 내에서 어떤 좌표들에 위치하는지를 판단할 수 있다. 일 개시에 의하여 좌표는 XY좌표를 의미하며, 객체의 위치값은 행렬값으로 출력될 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들 중에서, 객체를 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 하나의 프레임이 복수의 객체들을 포함하는 경우, 전자 장치(1000)는 복수의 객체들 각각을 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 임의의 픽셀이 검출된 객체들 중 어떤 객체를 나타내는지를 결정할 수 있다.
전자 장치(1000)가 객체의 위치 정보들을 바운딩 박스(bounding box)가 아닌 픽셀 단위로 정교하게 획득하는 방식은 정확한 인지기능을 필요로 하는 기술 분야에 적용될 수 있다. 예를 들어, 전자 장치(1000)는 객체의 위치 정보들을 픽셀 단위로 획득함으로써, 객체의 시계열적 위치 변화를 분석하여, 빠르고 정확한 인지기능이 요구되는 자율주행 기술에 이용할 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 위치 정보들을 획득하기 위해, 제 1 학습 모델을 이용할 수 있다. 제 1 학습 모델에 복수의 프레임들을 입력하면, 픽셀 정보가 출력될 수 있다. 픽셀 정보는, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 정보일 수 있다.
앞서, 블록 210 내지 블록 220을 별개의 동작으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제 1 학습 모델에 복수의 프레임들 및 복수의 프레임들에 대응하는 좌표 정보를 입력하면, 프레임들로부터 검출된 객체에 관한 정보 및 객체의 좌표 정보가 함께 출력될 수 있다. 또는, 예를 들어, 객체의 픽셀 정보만이 출력될 수 있다.
일 개시에 의하여 블록 230에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치에 대한 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트 발생 여부를 결정할 수 있다.
일 실시예예서, 전자 장치(1000)는 비디오 시퀀스의 재생 순서(display order)에 따라, 이전 프레임에서 다음 프레임으로의 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 재생 순서가 앞인 제 1 프레임에 포함된 객체의 위치 정보와 재생 순서가 뒤인 제 2 프레임에 포함된 동일한 객체의 위치 정보를 비교함으로써, 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 시간의 흐름에 따라, 복수의 객체들 각각의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다. 따라서, 전자 장치(1000)가 ROI(Region of Interest)에 관한 바운딩 박스(bounding box)를 트래킹(tracking)하는 것이 아닌, 객체의 좌표 변화를 통해 복수의 객체들의 위치들의 변화를 복합적으로 인식함으로써, 보다 정확하게 이벤트의 발생 여부를 결정할 수 있다. 예를 들어, 제 1 자동차 및 제 2 자동차가 전방에 멈추어 있고, 제 3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는 이벤트에 대응하는 행동 지침이 결정될 수 있다.
일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류(type)를 결정할 수 있다.
차량의 주행에 관련된 이벤트의 종류는, 교통 신호가 변경됨, 사고가 예상됨, 도로 상황이 변경됨, 및 지형이 변경됨 등을 포함할 수 있으나, 이에 제한되지 않는다. 교통 신호가 변경되는 예시로는, 신호등이 녹색에서 빨간색으로 변경되거나, 빨간색에서 녹색으로 변경되는 것이 있을 수 있다. 사고가 예상되는 예시로는, 앞 차량 및/또는 뒤 차량과의 안전거리 미확보, 예상치 못한 인물의 등장 등이 있을 수 있다. 도로 상황이 변경되는 예시로는, 전방에 사고 차량이 있어 길이 막힌다는 것이 있을 수 있다. 지형이 변경되는 예시로는, 전방에 구불구불한 길이 있다거나, 전방에 언덕이 있다는 것 등이 있을 수 있다.
일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 주행의 위험도를 결정할 수 있다.
예를 들어, 주행의 위험도는 수치로 표현될 수 있으며, 수치가 높을수록 위험도가 높음을 의미할 수 있다. 예를 들어, 위험도는 1 이상 100 이하의 정수로 나타내어질 수 있으며, 전자 장치(1000)는 위험도가 임계값 이상인 경우에는 알림 메시지에 주행의 위험도를 포함하도록 설정되어 있을 수 있다. 또한, 예를 들어, 주행의 위험도는 상, 중 및 하로 나타내어질 수도 있다.
일 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하기 위해, 제 2 학습 모델을 이용할 수 있다. 제 2 학습 모델에 제 1 학습모델에서 출력된 객체에 관련된 출력값을 입력하면, 이벤트의 발생 여부가 출력될 수 있다.
일 실시예에서, 객체를 검출하는 동작, 객체의 위치 정보들을 획득하는 동작, 이벤트가 발생하였는지를 결정하는 동작은 복수의 학습 모델들을 이용하여 수행될 수 있다.
도 3은 일 개시에 의한 차량의 주행에 관련된 이벤트 발생 여부를 결정하는 학습모델의 생성을 설명하기 위한 도면이다.
일 개시에 의하여 좌표 정보(303) 및 정보로 이루어진 비디오 시퀀스(304)를 이용하여 제 1 학습 모델(301) 및 제 2 학습모델(302)을 학습시킴으로써 객체의 위치에 따른 주행에 관련된 이벤트를 검출할 수 있는 이벤트 검출 모델(305)을 생성할 수 있다.
일 개시에 의하여, 제 1 학습 모델(301)은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있다.
일 실시예에서, 전자 장치(1000)는 RGB 채널로 이루어진 프레임을 포함하는 비디오 시퀀스(304)와 함께 좌표 정보(303)를 제 1 학습 모델(301)에 입력할 수 있다. 일 개시에 의하여, 제 1 학습 모델(301)은 인코더(endoer)와 디코더(decoder)를 이용하여 학습하는 기존의 모델에 명시적으로 입력된 좌표 정보(303)를 이용하여 비디오 시퀀스(304)내의 복수의 프레임들 내 객체의 위치를 인식하도록 학습될 수 있다.
일 실시예에서, 전자 장치(1000)는 RGB 채널로 이루어진 프레임을 Lab(Luminance-Chromatic) 채널로 변환할 수 있다. 변환된 Lab 채널의 L 값은 영상의 휘도(Luminance) 값으로, 색 정보를 제외한 영상의 밝기를 나타내는 값이다. 전자 장치(1000)는 제 1 학습 모델에 입력하기 전에, 비디오 시퀀스에 포함된 복수의 프레임들에게 복수의 프레임들의 L 값을 평탄화하기 위한 중간 값 필터(median filter)를 적용하는 전처리를 수행할 수 있다. 전처리를 수행함으로써, 어두울 때나 비가 올 때에도 보다 용이하게 객체가 검출될 수 있고, 복수의 객체들이 서로 구별될 수 있다.
일 개시에 의하여, 전자 장치(1000)는 제 1 학습 모델(301)을 이용하여, 복수의 프레임들 내에 포함된 객체의 종류를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 학습 모델(301)을 이용하여, 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 예를 들어, 제 1 학습 모델(301)에 하나의 프레임을 입력하면, 하나의 프레임에 포함된 객체의 종류에 따라 다른 값이 출력될 수 있다. 예를 들어, 제 1 학습 모델(301)에는 하늘은 12, 식물은 10, 차도는 4, 인도는 3, 자동차는 6, 사람은 8 등으로 설정되어 있을 수 있다. 예를 들어, 입력 프레임에 식물, 차도, 자동차, 사람이 포함되어 있으면, 제 1 학습 모델(301)의 출력에는 4, 6, 8, 및 10이 포함될 수 있다. 따라서, 제 1 학습 모델(301)을 이용하여, 프레임 내에 어떠한 객체가 포함되어 있는지를 검출할 수 있다. 또한, 예를 들어, 프레임을 제 1 학습 모델(301)에 입력하면, 객체의 종류에 대응하는 값은 출력되지 않고, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 픽셀 정보가 출력될 수 있다. 픽셀 정보는 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스(matrix) 일 수 있다.
일 개시에 의하여 전자 장치(1000)는 제 2 학습 모델(302)에 입력하기 위해, 제 1 학습 모델의 출력의 차원(dimension)을 감소시킬 수 있다.
일 개시에 의하여 제 2 학습 모델(302)은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준을 학습함으로써 생성되는 것일 수 있다.
일 실시예에서, 제 1 학습 모델(301)의 출력은 제 2 학습 모델(302)의 입력으로 이용될 수 있다. 다른 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하기 위한 제 2 학습 모델의 연산량을 감소시키기 위해, 제 1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스를 제 2 학습 모델의 입력으로 이용할 수 있다. 예를 들어, 매트릭스의 차원을 감소시키기 위해, 확장 컨볼루션(dilated convolution)을 이용할 수 있다.
또한, 일 실시예에서, 제 1 학습 모델의 연산량을 감소시키기 위해, 전자 장치(1000)는 제 1 학습 모델에 포함된 레이어의 출력에 1x1 컨볼루션 필터링을 수행하여, 제 1 학습 모델에 포함된 레이어들 간에 차원(dimension)을 매칭(matching)시킬 수 있다.
일 실시예에서, 제 1 자동차 및 제 2 자동차가 전방에 멈추어 있고, 제 3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는, 이벤트에 대응하는 행동 지침을 결정할 수 있다.
앞서 살펴본 바와 같이, 전자 장치(1000)는 좌표 정보(303)가 입력된 제 1 학습 모델(301)을 이용하여, 적은 연산량으로 화면 전체의 객체의 종류 정보 및 객체의 위치 정보들을 획득할 수 있으므로, 객체를 트래킹(tracking)하는 방식에서와 같이, ROI(Region of Interest)를 설정하지 않고도 빠르고 정확하게 객체의 위치들의 시계열적 변화를 분석할 수 있다.
따라서, 전자 장치(1000)는 제 2 학습 모델(302)을 이용하여, 차량의 주행에 관련된 이벤트 이외에도 객체의 시계열적 위치 변화를 분석함으로써 탐지할 수 있는 이벤트의 발생을 결정할 수 있다.
도 4는 일 개시에 의한 제 1 학습 모델을 이용하여 객체를 검출하는 예시를 설명하기 위한 도면이다.
일 개시에 의하여, 전자 장치(1000)는 차량의 주행 중 획득한 복수의 프레임을 포함하는 비디오 시퀀스(402)를 입력값으로 학습된 제 1 학습 모델(1010)을 이용하여 프레임 내에서 객체를 검출하고, 객체의 위치를 인식할 수 있다.
일 개시에 의한 좌표 정보는 (x,y)의 2차원 좌표를 의미할 수 있다. 예를 들어, 제 1 학습 모델(1010)에서 출력된 프레임 내의 객체의 좌표 정보를 이용하여 객체의 위치를 인식할 수 있다. 예를 들어, 입력 프레임에 식물, 차도, 자동차, 사람이 포함되어 있으면, 제 1 학습 모델(1010)의 출력에는 4(1,4), 6(3,4), 8(10,23) 및 10(15,11)이 포함될 수 있다. 따라서, 제 1 학습 모델(1010)을 이용하여, 프레임 내에 어떠한 객체가 어떠한 위치에 포함되어 있는지를 검출할 수 있다. 일 개시에 의하여, 제 1 학습 모델(1010)을 이용하여 학습된 복수개의 객체에 대한 정보는 행렬값으로 출력될 수 있다.
일 실시예에서, 예를 들어, 전자 장치(1000)는 제 1 학습 모델(1010)을 이용하여, 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들이 어떤 객체를 나타내는지를 결정할 수 있으므로, 제 1 학습 모델(1010)에 객체가 포함된 프레임을 입력하면, 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스가 출력될 수 있다. 픽셀 단위로 객체의 위치들을 결정하므로, 예를 들어, 프레임의 크기가 512 x 256이면, 매트릭스의 크기도 512 x 256일 수 있다. 즉, 프레임의 입력에 대한 제 1 학습 모델의 출력으로 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 매트릭스(matrix)를 획득할 수 있다.
일 실시예에서, 제 1 학습 모델은 FCN을 이용하기 때문에, 전자 장치(1000)는 제 1 학습 모델(1010)에 비디오 시퀀스(402)를 입력하면, 객체의 종류 및 객체의 위치를 출력할 수 있다. 일 개시에 의하여, 제 1 학습 모델(1010)에 좌표 정보(401)를 명시적으로 입력함으로써, 객체가 검출되는 동시에 객체의 위치를 인식할 수 있도록 학습함으로써 적은 연산량으로 객체의 위치를 검출할 수 있는 장점이 있다.
일 개시에 의하여, 제 1 학습 모델(1010)에서 출력된 일련의 매트릭스를 이미지화하면, 비디오 시퀀스(401)에 포함된 객체의 종류 별로 다른 색으로 표현된 비디오 시퀀스(405)가 획득될 수 있다. 예를 들어, 일정한 패턴을 형성하는 도로와 이동하는 객체인 자동차는 다른 색상으로 표현될 수 있다. 일 개시에 의하여, 전자 장치(1000)는 객체의 종류 및 정확도를 검출할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 학습모델(1010)에서 출력된 비디오 시퀀스(405) 내의 제 1 객체(403) 및 제 2 객체(404)의 종류 및 위치를 결정할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 제 1 객체(403)의 형태 및 위치 정보를 이용하여 제 1 객체(403)가 75%의 정확도로 버스임을 인식할 수 있으며, 제 2 객체(404)의 형태 및 위치 정보를 이용하여 제 2 객체(404)가 97%의 정확도로 승용차임을 인식할 수 있다.
도 5는 일 개시에 의한 검출된 객체와 차량과의 거리에 따라 객체인지 또는 노이즈인지 여부를 결정하는 것을 설명하기 위한 도면이다.
일 개시에 의하여, 전자 장치(1000)는 제 1 학습모델을 통해 출력된 비디오 시퀀스(505)내에서 제 1 객체(501), 제 2 객체(502) 및 제 3 객체(503)의 존재 및 위치를 인식할 수 있다. 전자 장치(1000)는 주행 차량과 제 1 객체(501) 및 제 2 객체(502)의 거리에 비해, 주행 차량과 제 3 객체(502)의 위치가 멀다고 판단할 수 있다. 전자 장치(1000)는 주행 차량과 상대적으로 멀리 위치한 제 3 객체(502)의 이벤트 발생 중요도를 낮게 판단할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 제 1 객체(501) 및 제 2 객체(502)의 종류를 판단할 수 있다. 일 개시에 의하여 전자 장치(1000)는 제 1 객체(501) 및 제 2 객체(502)의 종류를 사람으로 판단할 수 있으며, 그에 따라 비디오 시퀀스(505)내의 제 1 객체(501) 및 제 2 객체(502)를 같은 색상으로 표시할 수 있다. 일 개시에 의하여 전자 장치(1000)는 제 1 객체(501) 및 제 2 객체(502)의 위치 좌표에 따라 노이즈를 검출할 수 있다. 예를 들어, 제 2 객체(502)의 위치는 제 1 객체(501)의 위치와 비슷하기 때문에, 전자 장치(1000)는 제 1 객체(501) 및 제 2 객체(502)와 주행 차량과의 거리는 비슷하다고 판단할 수 있다. 그러나, 전자 장치(1000)는 제 1 객체(501)에 비하여, 제 2 객체(502)의 크기가 현저하게 작다고 판단할 수 있다. 일 개시에 의하여, 전자 장치(1000)는 제 2 객체(502)의 위치에서 인식된 사람의 크기 정보에 기초하여, 제 2 객체(502)는 사람이 아니라 노이즈 정보라고 판단할 수 있다. 따라서, 전자 장치(1000)는 제 2 객체(502)의 색상을 제 1 객체(501)와 다르게 표시할 수 있다.
도 6은 일 개시에 의하여 제 2 학습 모델을 이용하여 객체의 시계열적 이동에 따른 이벤트 발생 여부를 결정하는 예시를 나타내는 도면이다.
일 실시예에서, 제 1 학습모델에서 출력된 위치 정보를 포함하는 객체가 포함된 프레임들을 제 2 학습 모델(1020)에 입력하면, 객체에 관련된 이벤트 발생 여부를 결정할 수 있다.
일 개시에 의하여 제 2 학습 모델(1020)은, RNN을 이용한 것인데, 서로 다른 시간 구간에서 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 RNN(Recurrent Neural Network)이라고 한다. 일 실시예에 따른 RNN은, 순차적 데이터(sequential data)를 인식할 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 필적 데이터(handwriting data) 등과 같이 시간성 내지 순서를 가지는 데이터이다. 예를 들어, RNN의 인식 모델은 입력된 영상 데이터가 어떠한 패턴에 따라 변화하는지를 인식할 수 있다.
학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 지도 학습(supervised learning)을 통해 RNN을 학습시킬 수 있다. 예를 들어, RNN은 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.
일 개시에 의하여, 제 2 학습 모델(1020)은 LSTM 네트워크를 포함하는 RNN을 이용하기 때문에, 이전 시간 스텝, 현재 시간 스텝, 및 다음 시간 스텝 모두에 대한 구조를 학습에 이용하고, 현재 단계의 정보는 다음 단계에 전달되어 출력 값에 영향을 줄 수 있다. 따라서, 전자 장치(1000)는 차량의 주행 영상의 맥락을 이해할 수 있는 학습 결과에 따라, 주행 차량에 발생할 수 있는 이벤트를 결정할 수 있다.
예를 들어, 제 2 학습 모델(1020)은 이전 프레임에서보다 다음 프레임에서 주행 차량에 가깝게 위치한 객체(601)를 인식함으로써, 객체(601)와 주행 차량 간에 충돌이 발생할 수 있다고 결정할 수 있다.
일 개시에 의하여, 제 2 학습 모델(1020)은 객체의 위치에 대한 시계열적 변화를 분석함으로써, 객체로부터 야기될 수 있는 이벤트 발생 확률을 예측할 수 있다. 예를 들어, 제 2 학습 모델(1020)은 객체(601)의 위치로부터 판단한 차량과의 거리에 따라 사고발생확률을 결정할 수 있다. 일 개시에 의하여, 객체(601)와 차량과의 거리가 멀다고 판단한 경우, 블록 602에서와 같이 사고발생확률이 10%라고 예측할 수 있다. 제 2 학습 모델(1020)은 시간의 흐름에 따라 차량 및 객체(601)가 이동하여 차량과 객체(601)의 거리가 가까워졌다고 판단한 경우, 블록 603에서와 같이 사고발생확률이 64%라고 판단할 수 있다. 일 개시에 의하여, 시간의 흐름에 따른 차량 및 객체의 이동으로 발생하는 사고발생확률은 제 2 학습모델에 의하여 학습될 수 있다.
설명의 편의를 위해, 제 1 학습 모델과 제 2 학습 모델을 나누어서 설명하였으나, 제 1 학습 모델 및 제 2 학습 모델 그 기능 및 역할에 따라, 복수의 학습 모델들로 존재할 수 있고, 하나의 학습 모델로 통합되어 존재할 수 있다.
도 7은 일 개시에 의한 복수개의 프레임 중 시간의 흐름에 따른 이벤트 발생 검출을 위하여 차량의 전방에 감지된 객체의 프레임을 획득하는 예시를 나타내는 도면이다.
일 개시에 의하여, 전자 장치(1000)는 복수개의 프레임들(701)들을 포함하는 비디오 시퀀스를 이용하여 객체가 포함된 프레임들(702)들을 세그먼트화할 수 있다. 일 개시에 의하여, 전자 장치(1000)는 FCN 및 CNN의 결합으로 이루어진 제 1 학습 모델에 복수개의 프레임들(701)들을 입력하고, 객체의 위치를 인식한 상태에서 세그먼트화된 객체가 포함된 프레임들(702)을 출력할 수 있다. 그런 다음, 전자 장치(1000)는 세그먼트화된 객체가 포함된 프레임들(702)을 LSTM으로 이루어진 제 2 학습 모델로 입력함으로써, 객체가 포함된 프레임들(702)에서 이벤트가 발생하였는지 여부를 결정할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 제 1 학습 모델 및 제 2 학습 모델을 이용하여 시계열적으로 연속된 객체의 움직임을 인식함으로써, 객체로부터 야기될 수 있는 다양한 이벤트의 발생 여부를 결정할 수 있다.
도 8은 일 개시에 따른 학습 모델을 이용하여 시계열적 프레임 분석을 통한 이벤트 발생 여부를 검출하는 예시를 설명하기 위한 도면이다.
CNN(Convolutional Neural Network)은 이미지 데이터의 클래스(class)를 분류하기 위해, 뒷 부분의 레이어에 완전 연결 레이어(fully connected layer)를 포함하는데, 완전 연결 레이어를 통과하면, 입력된 이미지에 포함된 객체의 위치 정보가 사라지게 되는 문제가 있다. 이러한 문제점을 개선하기 위해, FCN(Fully Convolutional Network)는 CNN의 완전 연결 레이어를 1x1 컨볼루션으로 간주하여, 위치 정보를 유지할 수 있게 하였다.
일 실시예에서, 제 1 학습 모델은 FCN을 이용하기 때문에, 전자 장치(1000)는 제 1 학습 모델에 비디오 시퀀스(810)를 입력하면, 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 일련의 매트릭스가 출력될 수 있다. 일 실시예에 따라, 제 1 학습 모델에 입력하기 위해 전처리가 수행된 비디오 시퀀스(810)는 재생 순서대로 제 1 학습 모델에 입력될 수 있다. 제 1 학습 모델에서 출력되는 매트릭스의 출력 순서는, 제 1 학습 모델에 입력된 비디오 시퀀스의 입력 순서와 동일할 수 있다.
제 1 학습 모델에서 출력된 일련의 매트릭스를 이미지화하면, 비디오 시퀀스(810)에 포함된 객체의 종류 별로 다른 색으로 표현된 비디오 시퀀스(820)가 획득될 수 있다. 이때, 제 1 학습 모델을 통해 출력된 비디오 시퀀스(801)에 포함된 객체의 좌표 정보를 통한 위치를 확인할 수 있다. 일 개시에 의하여, 비디오 시퀀스(820)를 픽셀 단위로 분할한 비디오 시퀀스(830)에서 확장 컨볼루션을 수행하면, 제 1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스(840)를 획득할 수 있다. 확장 컨볼루션은, 비디오 시퀀스(830)에 포함된 픽셀들 중 일부 픽셀만을 이용하여 컨볼루션을 수행하는 방식이다. 예를 들어, 하나 이상의 픽셀 단위로 건너뛰고 컨볼루션을 수행함으로써, RF(receptive field)의 크기를 확장시켜 매트릭스의 차원 및 연산량을 감소시킬 수 있다.
일 실시예에서, 매트릭스(840)를 제 2 학습 모델에 입력하면, 객체로 인한 이벤트(860)를 검출할 수 있다. 제 2 학습 모델은, RNN을 이용한 것인데, 서로 다른 시간 구간에서 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 RNN(Recurrent Neural Network)이라고 한다. 일 실시예에 따른 RNN은, 순차적 데이터(sequential data)를 인식할 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 필적 데이터(handwriting data) 등과 같이 시간성 내지 순서를 가지는 데이터이다. 예를 들어, RNN의 인식 모델은 입력된 영상 데이터가 어떠한 패턴에 따라 변화하는지를 인식할 수 있다.
학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 지도 학습(supervised learning)을 통해 RNN을 학습시킬 수 있다. 예를 들어, RNN은 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.
RNN은 LSTM(long short-term memory) 네트워크(850)를 포함하는 구조일 수 있다. LSTM 네트워크(850)는 장기 의존성(long-term dependency) 학습을 할 수 있는 RNN의 한 종류이다. LSTM 네트워크(850)를 포함하지 않는 RNN은 이전 정보를 현재 작업으로 연결할 수 있으나, 시간적으로 멀리 떨어진 이전 작업의 정보를 현재 작업으로 연결시키기는 어렵다는 단점이 있다. LSTM 네트워크(850)는 이러한 장기 의존성 문제를 피하도록 설계된 구조일 수 있다. LSTM 네트워크(850)는 입력 데이터에서 시간에 따라 변화하는 상대적 변화량을 특징 값으로 추출할 수 있어, 시계열적인 객체의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다.
제 2 학습 모델은 LSTM 네트워크(850)를 포함하는 RNN을 이용하기 때문에, 이전 시간 스텝, 현재 시간 스텝, 및 다음 시간 스텝 모두에 대한 구조를 학습에 이용하고, 현재 단계의 정보는 다음 단계에 전달되어 출력 값에 영향을 줄 수 있다.
일 실시예에 따라, 제 1 학습 모델의 출력의 차원을 감소시킨 매트릭스(840)는 제 1 학습 모델에서 출력된 순서대로 제 2 학습 모델에 입력될 수 있다. 제 2 학습 모델은 이벤트의 발생 여부, 이벤트의 종류 및 주행의 위험도 등을 고려하여, 알림 메시지를 생성하거나, 주행 차량을 제어하는 명령을 생성할 수 있다.
설명의 편의를 위해, 제 1 학습 모델과 제 2 학습 모델을 나누어서 설명하였으나, 제 1 학습 모델 및 제 2 학습 모델 그 기능 및 역할에 따라, 복수의 학습 모델들로 존재할 수 있고, 하나의 학습 모델로 통합되어 존재할 수 있다.
도 9는 일 개시에 의한 가상현실을 이용하여 차량 주행 데이터를 획득하기 위한 예시를 나타내는 도면이다.
일 개시에 의하여, 전자 장치(1000)는 가상현실과 실시간 차량해석 프로그램을 이용하여 차량의 이벤트를 검출할 수 있도록 하는 드라이빙 시뮬레이터 시스템일 수 있다. 일 개시에 의하여, 전자 장치(1000)는 가상 환경을 이용하여 사고와 같은 실제 생활에서 예측하기 힘든 데이터를 효율적으로 확보할 수 있다.
일 개시에 의하여 전자 장치(1000)는 주행 시뮬레이션 장치(900)를 이용하여 도로, 건물과 같이 일정한 패턴을 가진 주행 영상의 패턴과, 주행 차량의 속도, 다른 차량과의 거리 등과 같은 비일정한 패턴을 가진 객체를 검출함으로서 주행 데이터를 효율적으로 확보할 수 있다.
일 개시에 의하여, 전자 장치(1000)는 주행 시뮬레이션 장치(900)를 통해 운전자 시점에서의 차량의 주행 데이터를 획득할 수 있다. 일 개시에 의하여, 주행 시뮬레이션 장치(900)로부터 획득한 운전자 시점에서의 차량의 주행 데이터는 CREST UDP 전송부(901) 및 HDMI 스플리터(902)로 전송될 수 있다.
일 개시에 의하여 CREST UDP 전송부(901)는 UDP를 이용하여 운전자 시점에서의 차량의 주행 데이터를 주행 데이터 크롤러(905)로 추가적으로 전송할 수 있다.
일 개시에 의하여 HDMI 스플리터(902)는 운전자 시점에서의 차량의 주행 데이터를 이미지 캡처 카드(903)로 분배하고, 이미지 캡처 카드(903)는 차량의 주행 데이터에 포함된 프레임 이미지들을 캡처(904)할 수 있다.
일 개시에 의하여, 블록 906에서 전자 장치(1000)는 주행 데이터 크롤러(905)로부터의 주행 데이터 및 이미지 캡처 카드(903)로부터 수신한 캡처된 이미지를 동기화한 후, 블록 907에서 데이터베이스에 저장할 수 있다. 일 개시에 의하여, 전자 장치(1000)는 주행 데이터 영상을 데이터베이스화하여 저장하고, 관리할 수 있는 특징이 있다.
일 개시에 의하여, 블록 908에서 전자 장치(1000)는 데이터베이스에 저장된 주행데이터로부터 이벤트를 검출할 수 있다. 일 개시에 의하여, 전자 장치(1000)는 주행 데이터 분석기(918)를 이용하여 주행 데이터를 분석함으로써 차량의 주행 중 발생한 이벤트를 검출할 수 있다.
일 개시에 의하여 블록 908에서 전자 장치(1000)는 검출된 이벤트의 종류를 분류하여 태그를 생성할 수 있다. 일 개시에 의하여 전자 장치(1000)는 생성한 태그를 이벤트의 레이블로서 할당할 수 있다.
결과적으로, 블록 909에서 전자 장치(1000)는 이벤트의 종류, 정확성 등의 기준으로 분류된 복수개의 이벤트를 획득할 수 있다.
따라서 전자 장치(1000)는 일정한 패턴을 가진 가상의 주행 환경에서 주행 차량의 상태 및 다른 차량의 상태를 고려하여 현실에서 획득하기 어려운 다수의 이벤트가 포함된 주행 데이터를 효율적으로 획득할 수 있다.
도 10은 일 개시에 의한 이벤트의 종류에 따른 알림 메시지 및 차량 제어 명령을 결정하기 위한 예시를 나타내는 도면이다.
일 실시예에서, 전자 장치(1000)에서 제 1 학습 모델의 출력을 연산량을 감소시키도록 처리하여 제 2 학습 모델에 입력하면, 알림 메시지가 출력될 수 있다. 또는, 이벤트에 대응하는 제어 동작이 출력되거나, 알림 메시지와 함께 이벤트에 대응하는 제어 동작이 출력될 수 있다.
전자 장치(1000)는 이벤트의 발생의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다.
일 실시예에서, 객체의 종류, 객체의 시계열적 위치들의 변화 및 이벤트의 발생 여부 등에 따라 상이한 알림 메시지가 생성될 수 있다.
이벤트가 발생되었다고 결정하면, 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성할 수 있다. 또한, 이벤트가 발생되지 않았다고 결정하면 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성하지 않을 수 있다. 일 실시예에서, 전자 장치(1000)가 이벤트를 알리는 알림 메시지를 생성하지 않기로 결정한 경우, 전자 장치(1000)는 알림 메시지를 아예 생성하지 않을 수도 있고, 또는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 생성할 수도 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 생성할 수 있다. 일 실시예에서, 이벤트를 알리는 내용을 포함하지 않는 알림 메시지는 전자 장치(1000)에서 기본(default) 값으로 설정 되어있을 수 있다.
일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 생성할 수 있다. 일 실시예에 따른 알림 메시지는 텍스트 메시지 또는 음성 메시지로 생성될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 텍스트 형태로 생성된 메시지를 TSS(Text to Speech) 변환함으로써 음성 형태의 알림 메시지를 획득할 수 있다.
전자 장치(1000)는 생성된 알림 메시지를 출력할 수 있다. 일 실시예에서, 알림 메시지는 소리(sound), 텍스트(text), 이미지(image), 및/또는 진동(vibration) 형태로 출력될 수 있다. 일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 또는 대시보드(Dashboard)에 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 알림 메시지가 음성 형태인 경우, 차량의 스피커를 통해 출력할 수 있다. 예를 들어, 전자 장치(1000)는 음성 형태의 알림 메시지를 출력하도록 차량의 스피커를 제어하는 명령을 차량의 스피커에 전송할 수 있다.
일 실시예에서, 이벤트의 종류 및 주행의 위험도에 따라, 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 해당 모듈에게 전송될 수 있다. 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여 차량에 설치된 모듈의 동작을 제어하는 것이 좋다고 판단되면, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 출력함과 동시에 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다. 또는, 전자 장치(1000)는 알림 메시지를 출력한 이후 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 또는, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지는 출력하지 않고, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
일 실시예에 따른 사용자 입력은, 스텝 온(step on) 입력, 스티어링(steering) 입력, 음성 입력, 키 입력, 터치 입력, 벤딩 입력, 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 스텝 온(step on) 입력은, 사용자가 차량의 브레이크(brake)를 제어하기 위해 브레이크를 밟는 입력을 의미할 수 있다. 스티어링(steering) 입력은, 사용자가 차량의 스티어링 휠(steering wheel)을 제어하기 위해 스티어링 휠을 회전시키는 입력을 의미할 수 있다.
일 실시예에서, 제 2 학습 모델을 이용하여 생성되는 알림 메시지는, 이벤트의 종류 및 주행의 위험도에 따라 상이할 수 있다. 예를 들어, 이벤트의 종류 및 주행의 위험도에 따라 알림 메시지에 포함된 내용이 상이할 수 있다. 예를 들어, 알림 메시지에 포함된 내용은, 이벤트를 알리는 내용, 이벤트에 대응하는 행동 지침, 경보음 등이 있을 수 있다.
도 10을 참조하면, 테이블은 이벤트의 종류 및 주행 위험도에 따라, 알림 메시지의 내용 및 차량 제어 명령의 내용이 어떻게 결정되는지를 나타낸다. 일 실시예에 따른 테이블은 일례에 불과할 뿐이며, 복수의 학습 모델들은 계속하여 업데이트될 수 있다. 따라서, 복수의 학습 모델들에의 입력 값에 따른 출력 값은 계속하여 갱신될 수 있다. 전자 장치(1000)는 제 2 학습 모델을 이용함으로써 이벤트의 종류 및 주행의 위험도에 따라 상이한 알림 메시지 및 차량 제어명령이 출력되도록 할 수 있다.
일 개시에 따라 도 10에 도시된 바와 같이, 예를 들어, 이벤트의 종류가 앞 차량과의 안전거리 미확보로 인해 사고가 예상되는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 알림 메시지에 경보음과 함께 이벤트에 대응하는 행동 지침인 ““지금 즉시 브레이크를 밟으십시오.””라는 내용을 포함하는 알림 메시지를 생성할 수 있다. 또한, 전자 장치(1000)는 차량의 브레이크를 소정의 힘을 주어 동작 시킴으로써 차량의 속도를 제어하는 명령을 생성할 수 있다.
또한, 일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행 위험도에 기초하여, 행동 지침을 수행하기 위한 사용자 입력이 수신될 수 있는 시간을 결정할 수 있다. 예를 들어, 사용자 입력이 수신될 수 있는 시간은 주행의 위험도에 기초하여 결정될 수 있다. 또한, 예를 들어, 어떤 데이터를 이용하여 사용자 입력이 수신될 수 있는 시간을 판단할 지는 기 설정된 기준에 따른 학습에 기초하여 설정되고 변경될 수 있다. 예를 들어, 주행의 위험도가 상이라고 결정된 경우, 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
예를 들어, 이벤트의 종류가 전방에 구불구불한 길이 있는 지형으로 변경되는 것이고, 주행 위험도가 중이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, ““전방에 구불구불한 길이 있으니 주의하십시오.””라는 알림 메시지를 생성할 수 있다. 또한, 전자 장치(1000)는 핸들을 소정의 각도로 제어함으로써, 차량의 이동 방향을 변경할 수 있는 제어 명령을 생성할 수 있다.
예를 들어, 이벤트의 종류가 전방에 사고 차량이 있으므로 도로 상황이 변경되었다는 것이고, 주행 위험도가 하이면, 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, ““전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.””라는 알림 메시지를 생성할 수 있다. 또한, 전자 장치(1000)는 사고 차량을 피하는 쪽으로 핸들의 방향을 변경하는 제어명령을 생성할 수 있다.
예를 들어, 이벤트의 종류가 신호등이 녹색에서 빨간색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, ““교통 신호가 변경되었으니, 멈춰주시기 바랍니다.””라는 알림 메시지를 생성할 수 있다. 또한, 전자 장치(1000)는 브레이크를 서서히 동작시켜, 차량이 정지선에 멈추도록 하는 제어 명령을 생성할 수 있다.
예를 들어, 이벤트의 종류가 신호등이 빨간색에서 녹색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 하이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, ““교통 신호가 변경되었으니, 출발해 주시기 바랍니다.””라는 알림 메시지를 생성할 수 있다. 또한, 전자 장치(1000)는 엑셀레이터를 서서히 동작시켜, 차량이 출발하도록 하는 제어 명령을 생성할 수 있다.
도 11은 일 개시에 의한 차량의 HUD(head up display)에 알림메시지를 출력하는 예시를 설명하는 도면이다.
일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 에 디스플레이할 수 있다.
예를 들어, 전자 장치(1000)가 앞 차량(1101)과의 안전거리 미확보로 인해 사고가 예상되는 이벤트가 발생하였고, 주행 위험도(1103)가 35라고 결정하면, 전자 장치(1000)는 주행 위험도(1103) 및 안전거리 확보를 위한 가상 이미지(1104)를 포함하는 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 또한, 경보음과 함께 이벤트에 대응하는 행동 지침인 ““지금 즉시 브레이크를 밟으십시오.””라는 내용을 포함하는 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 알림 메시지를 출력한 이후 기 설정된 시간 내에 브레이크를 밟는 스텝 온(step on) 입력이 사용자로부터 수신되지 않으면, 전자 장치(1000)가 브레이크의 동작을 제어하기 위한 명령을 브레이크에게 전송할 수 있다. 예를 들어, 기 설정된 시간은 학습에 의해 설정될 수 있으며, 위험도(1103)에 따라 상이할 수 있다. 예를 들어, 위험도(1103)가 높을수록 기 설정된 시간 간격이 적도록 설정될 수 있다. 예를 들어, 앞 차량(1101)과 사용자의 차량 간의 거리가 너무 짧아서, 당장 브레이크를 밟지 않으면 사고가 예상되는 경우에는, 알림 메시지가 출력됨과 동시에 브레이크의 동작을 제어하기 위한 명령이 브레이크에게 전송될 수 있다.
도 12는 일 개시에 의한 차량에 알림 메시지를 출력하는 예시를 나타내는 도면이다.
일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
예를 들어, 전자 장치(1000)가 전방의 사고 차량들로 인해 해당 차선으로 주행할 수 없다는 도로 상황 변경에 관한 이벤트가 발생하였다고 결정하면, 전자 장치(1000)는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 HUD에 디스플레이할 수 있다. 또한, ““전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.”” 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 음성 형태의 알림 메시지를 출력한 이후 기 설정된 시간 내에 스티어링 휠(1210)을 회전시키는 스티어링 입력이 사용자로부터 수신되지 않으면, 스티어링 휠(1210)을 회전시키기 위한 명령이 스티어링 휠에게 전송될 수 있다. 따라서, 전자 장치(1000)가 스티어링 휠(1210)을 조정하도록 사용자를 유도하거나, 조정하도록 하는 명령을 스티어링 휠(1210)에게 전송함으로써, 자율적으로 주행 경로를 조정할 수 있다.
도 13은 일 개시에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 14는 일 개시에 따른 전자 장치의 상세 구성을 나타내는 블록도이다.
도 13에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 포함할 수 있다. 그러나, 도 8에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들어, 도 14에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600)를 더 포함할 수도 있다.
예를 들어, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 차량용 보드일 수 있고, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600) 중 적어도 하나를 더 포함하는 차량일 수 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 차량에 설치된 모듈의 동작을 제어하는 사용자 입력하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 일 실시예에서, 출력부(1200)는 오디오, 비디오, 및/또는 진동 형태로 알림 메시지를 출력할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 차량의 HUD(Head up display)에 알림 메시지를 디스플레이할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 예를 들어, 음향 출력부(1220)는 이벤트가 발생하였음을 알리기 위한 경보음을 출력할 수 있다.
제어부(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 제어부(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 전자 장치(1000)의 기능을 수행할 수 있다. 제어부(1300)는 적어도 하나의 프로세서를 구비할 수 있다. 제어부(1300)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 제어부(1300)는 메모리(1700)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 이벤트의 종류 및 주행의 위험도에 기초하여, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
일 실시예에서, 제어부(1300)는 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 제어부(1300)는 좌표 정보를 이용하여 복수의 프레임들 각각에 대한 객체의 위치 정보들을 인식할 수 있다. 제어부(1300)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류 및 주행의 위험도를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트가 발생하였는지의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트의 종류 및 주행의 위험도에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 출력부(1200)를 통하여 출력하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 디스플레이부(1210)를 통하여 디스플레이하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 객체의 검출 및 객체의 위치 정보 획득과 이벤트의 발생 여부 결정 및 알림 메시지의 생성은 상이한 학습 모델을 이용하여 수행할 수 있다.
일 실시예에서 제 1 학습 모델은, FCN(Fully Convolutional Network)에 좌표 정보를 추가하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제 1 학습 모델을 이용하여 객체의 종류를 판단할 수 있고, 객체의 복수의 프레임들 내 위치들을 판단할 수 있다.
일 실시예에서 제 2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제 2 학습 모델을 이용하여 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있고, 알림 메시지의 내용을 결정할 수 있다.
일 실시예에서 제어부(1300)는, 제 1 학습 모델에 입력하기 위해, 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용할 수 있고, 제 2 학습 모델에 입력하기 위해, 제 1 학습 모델의 출력의 차원을 감소시킬 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태, 사용자의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(RGB sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 전자 장치(1000)가 다른 전자 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 전자 장치(미도시)는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 다른 전자 장치는, 전자 장치(1000)와 같이 차량에 포함된 모듈일 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시예에서, 통신부(1500)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 수신할 수 있다. 일 실시예에서, 통신부(1500)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 예를 들어, 카메라(1610)에 의해 촬영된 이미지는 이벤트가 발생하였는지를 결정하기 위한 정보로 활용될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 전자 장치 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(1730)은 이벤트의 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 15는 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 15를 참조하면, 일 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 좌표 정보를 이용하여 객체의 위치를 인식하기 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 좌표 정보를 이용하여 객체의 위치를 인식하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 어떻게 위치 정보를 획득하고, 어떻게 이벤트 발생 여부를 결정할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 좌표 정보를 이용하여 객체의 위치를 인식하기 위한 기준을 학습할 수 있다.
일 개시에 따라 객체를 검출, 객체의 위치 정보들을 인식, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 차량 제어 명령을 생성하기 위한 동작 등이 각각의 동작으로 수행되는 것으로 설명되었지만, 이에 제한되지 않는다. 객체를 검출, 객체의 위치 정보들을 획득, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 차량 제어 명령을 생성하기 위한 동작의 수행 중 적어도 둘 이상이, 기 설정된 기준에 따른 학습에 기초하여 수행될 수 있다.
데이터 인식부(1320)는 데이터에 기초하여 객체의 위치 정보를 인식하고, 그에 따라 이벤트 발생 여부를 결정할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 객체의 위치 정보를 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 위치 정보를 어떻게 획득하고 이벤트 여부에 따라 알림 메시지 및 차량 제어 명령을 어떻게 생성할 지를 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 16은 일 실시예에 따른 데이터 학습부를 나타내는 블록도이다.
도 16을 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
데이터 획득부(1310-1)는 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다.
예를 들어, 데이터 획득부(1310-1)는 음성 데이터, 영상 데이터, 텍스트 데이터 또는 생체 신호 데이터 등을 획득할 수 있다. 일 예로, 데이터 획득부(1310-1)는 전자 장치(1000)의 입력 기기(예: 마이크로폰, 카메라 또는 센서 등)를 통해 데이터를 입력 받을 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 다른 전자 장치를 통해 데이터를 획득할 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 서버를 통해 데이터를 획득할 수 있다.
예를 들어, 데이터 획득부(1310-1)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 전자 장치(1000)에 구비된 카메라로부터 비디오 시퀀스를 획득할 수 있다.
전처리부(1310-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1310-2)는 비디오 시퀀스에 포함된 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용하는 전처리를 수행할 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 차량의 블랙박스 영상 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), FCN(Fully Convolutional Network) BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 학습 데이터에 기초하여 어떻게 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 학습 데이터에 기초하여 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 학습 데이터에 기초하여 어떻게 좌표 정보를 이용하여 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지에 대한 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치(1000)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 17은 일 실시예에 따른 데이터 인식부를 나타내는 블록도이다.
도 17을 참조하면, 일 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 학습 데이터에 기초하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지의 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 18은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 18을 참조하면, 서버(2000)는 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 위한 기준을 학습할 수 있다. 전자 장치(1000)는 서버(2000)에 의한 학습 결과에 기초하여 어떻게 객체의 위치 정보를 인식할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 판단할 수 있다.
이 경우, 서버(2000)의 모델 학습부(2340)는 도 16에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 어떻게 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지할 지를 판단하기 위하여 어떤 데이터를 이용할 지, 소정의 데이터를 이용하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 판단을 위한 기준을 학습할 수 있다.
또한, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에게 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단해 줄 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지에 관한 정보를 서버(2000)로부터 수신할 수 있다.
또는, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 판단할 수 있다. 이 경우, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 어떻게 객체의 위치 정보를 획득할 지, 및 어떻게 이벤트 발생 여부를 결정할 지를 판단할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 본 명세서에서, ““부””는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리; 를 포함하고,
    상기 프로세서는,
    상기 명령어들을 실행함으로써,
    차량으로부터 상기 차량의 주행 중 촬영된 복수의 프레임(frame)들을 포함하는 영상을 획득하고,
    상기 획득된 영상에 포함된 복수의 프레임들 중 제1 프레임과 제2 프레임을 순차적으로 제1 학습 모델에 입력하고,
    상기 제1 학습 모델을 통해, 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치를 출력하고,
    상기 제1 학습 모델에서 출력된 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치에 기초하여, 제2 학습 모델을 통해 상기 차량의 주행에 관련된 이벤트의 발생에 대한 정보를 출력하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 위치를 인식하고,
    상기 제1 객체의 종류를 결정하고,
    상기 제1 객체가 인식된 위치에서 상기 제1 객체의 종류가 가질 수 있는 기준 크기 정보와 상기 인식된 제1 객체의 크기 정보를 비교하여, 상기 제1 객체가 노이즈인지 여부를 결정하는, 전자 장치.
  3. 제2항에 있어서,
    상기 크기 정보는,
    상기 차량과 상기 제1 객체와의 거리에 따라 상기 제1 객체가 프레임에서 차지할 수 있는 면적의 범위에 대하여 미리 정의한 정보를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    학습 차량의 주행 중 촬영된 복수의 학습 프레임들을 포함하는 비디오 시퀀스에서 학습 객체를 검출하는 동시에, 상기 학습 객체에 좌표 정보를 매핑함으로써, 상기 복수의 학습 프레임들 내에서 상기 학습 객체의 좌표 정보에 대응하는 상기 학습 객체의 위치를 학습한 결과에 기초하여 상기 제1 학습 모델을 획득하고,
    상기 획득한 제1 학습 모델을 이용하여, 상기 복수의 프레임들에 포함된 상기 제1 객체의 위치를 인식하는, 전자 장치.
  5. 제4항에 있어서,
    상기 제1 학습 모델은, FCN(Fully Convolutional Network)에 추가된 좌표 정보를 이용하여, 복수의 학습 프레임들 내에서의 학습 객체의 위치에 따른 중요도를 판단하는 기준을 학습함으로써 생성되는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 객체의 위치를 상기 복수의 프레임들로부터 픽셀(pixel) 단위로 인식하는, 전자 장치.
  7. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델에 입력하기 위하여, 상기 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 상기 복수의 프레임들에 적용하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임들 내에서의 상기 제1 객체의 위치에 대한 시계열적 변화에 따른 상기 제1 객체의 이동 속도 및 이동 방향을 결정하고, 상기 제1 객체의 이동 속도 및 이동 방향에 기초하여, 상기 차량의 주행에 관련된 이벤트의 종류 및 주행의 위험도를 결정하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 결정된 이벤트의 종류 및 주행의 위험도에 기초하여 상기 차량의 주행을 제어하는 명령을 생성하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 주행의 위험도가 임계 값 이상인 경우, 상기 차량의 주행을 제어하는 명령을 자동으로 실행하여 상기 차량의 주행을 자동 제어하는, 전자 장치.
  11. 제8항에 있어서,
    상기 프로세서는,
    상기 이벤트의 종류 및 주행의 위험도에 기초하여 상기 이벤트를 알리는 알림 메시지를 출력하는, 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 알림 메시지를 상기 차량의 HUD(head up display)에 디스플레이 하는, 전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임들 내에서 복수개의 객체가 검출되는 경우, 상기 복수개의 객체의 위치에 대한 시계열적 변화에 따라, 상기 복수개의 객체 각각에 의하여 야기될 수 있는 상기 차량의 주행에 관련된 이벤트 발생 가능성을 수치로 판단하는, 전자 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    RNN(Recurrent Neural Network)을 이용하여, 복수의 학습 프레임들 내에서의 학습 객체의 위치에 대한 시계열적 변화에 따라 학습 차량의 주행에 관련된 이벤트가 발생하였는지를 학습한 결과에 기초하여 상기 제2 학습 모델을 획득하고,
    상기 획득한 제2 학습 모델을 이용하여, 상기 제1 객체와 관련된 상기 차량의 주행에 관련된 이벤트 발생 여부를 결정하는, 전자 장치.
  15. 제1항에 있어서,
    상기 프로세서는,
    가상 시뮬레이션 장치로부터, 학습 차량의 주행 데이터를 획득하고,
    상기 학습 차량의 주행 데이터는, 상기 학습 차량의 주행 중 촬영된 주행 영상, 상기 가상 시뮬레이션 장치의 정보, 상기 학습 차량의 상태 정보, 상기 학습 차량의 운행 정보, 다른 차량의 주행 정보 및 주변 환경 정보를 중 적어도 하나를 포함하는, 전자 장치.
  16. 제15항에 있어서,
    상기 학습 차량의 주행 데이터는,
    일정한 패턴을 포함하는 주행 환경에 비일정한 패턴을 포함하는 주행 이벤트를 추가한 가상의 주행 환경에서 상기 학습 차량을 주행시킴으로써 획득한 주행 데이터를 포함하는, 전자 장치.
  17. 차량으로부터 상기 차량의 주행 중 촬영된 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
    상기 획득된 영상에 포함된 복수의 프레임들 중 제1 프레임과 제2 프레임을 순차적으로 제1 학습 모델에 입력하는 단계;
    상기 제1 학습 모델을 통해, 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치를 출력하는 단계; 및
    상기 제1 학습 모델에서 출력된 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치에 기초하여, 제2 학습 모델을 통해 상기 차량의 주행에 관련된 이벤트의 발생에 대한 정보를 출력하는 단계;
    를 포함하는, 방법.
  18. 제17항에 있어서,
    상기 제1 객체의 위치를 인식하는 단계를 더 포함하고,
    상기 제1 객체의 위치를 인식하는 단계는,
    상기 제1 객체의 종류를 결정하는 단계; 및
    상기 제1 객체가 인식된 위치에서 상기 제1 객체의 종류가 가질 수 있는 기준 크기 정보와 상기 인식된 제1 객체의 크기 정보를 비교하여, 상기 제1 객체가 노이즈인지 여부를 결정하는 단계;
    를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 크기 정보는,
    상기 차량과 상기 제1 객체와의 거리에 따라 상기 제1 객체가 프레임에서 차지할 수 있는 면적의 범위에 대하여 미리 정의한 정보를 포함하는, 방법.
  20. 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 기록매체는,
    차량으로부터 상기 차량의 주행 중 촬영된 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
    상기 획득된 영상에 포함된 복수의 프레임들 중 제1 프레임과 제2 프레임을 순차적으로 제1 학습 모델에 입력하는 단계;
    상기 제1 학습 모델을 통해, 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치를 출력하는 단계; 및
    상기 제1 학습 모델에서 출력된 상기 제1 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치와, 상기 제2 프레임에 포함된 적어도 하나의 객체의 위치 중 제1 객체의 위치에 기초하여, 제2 학습 모델을 통해 상기 차량의 주행에 관련된 이벤트의 발생에 대한 정보를 출력하는 단계; 를 수행하는 명령어들을 포함하는, 컴퓨터 프로그램.
KR1020180049405A 2017-05-16 2018-04-27 차량의 주행 이벤트를 검출하는 전자 장치 및 방법 Expired - Fee Related KR102060662B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2018/005524 WO2018212538A1 (en) 2017-05-16 2018-05-15 Electronic device and method of detecting driving event of vehicle
CN201880046552.2A CN110892451B (zh) 2017-05-16 2018-05-15 检测车辆的驾驶事件的电子装置和方法
US15/979,915 US10803323B2 (en) 2017-05-16 2018-05-15 Electronic device and method of detecting driving event of vehicle
EP18801907.9A EP3602497A4 (en) 2017-05-16 2018-05-15 ELECTRONIC DEVICE AND METHOD FOR DETECTING A DRIVING EVENT OF A VEHICLE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762506712P 2017-05-16 2017-05-16
US62/506,712 2017-05-16

Publications (2)

Publication Number Publication Date
KR20180125885A KR20180125885A (ko) 2018-11-26
KR102060662B1 true KR102060662B1 (ko) 2019-12-30

Family

ID=64602944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049405A Expired - Fee Related KR102060662B1 (ko) 2017-05-16 2018-04-27 차량의 주행 이벤트를 검출하는 전자 장치 및 방법

Country Status (3)

Country Link
EP (1) EP3602497A4 (ko)
KR (1) KR102060662B1 (ko)
CN (1) CN110892451B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244380B1 (ko) 2020-07-29 2021-04-26 고려대학교 산학협력단 자율 주행 환경에서 큐잉 기반 모델 선택과 광학 흐름을 이용한 사물 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102286272B1 (ko) * 2021-02-02 2021-08-06 주식회사 파트리지시스템즈 이벤트 검출 장치 및 그 방법
WO2025079980A1 (ko) * 2023-10-10 2025-04-17 주식회사 카데아 차량용 3d 어라운드 뷰 생성 방법 및 이용하여 생성된 동영상 정보 검색을 위한 데이터 분석 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052534B1 (ko) * 2018-12-05 2019-12-06 주식회사 비욘드테크 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
WO2020131140A1 (en) * 2018-12-18 2020-06-25 Google Llc Systems and methods for geolocation prediction
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
KR102190527B1 (ko) 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
WO2020242179A1 (ko) * 2019-05-29 2020-12-03 (주) 애니펜 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US12361703B2 (en) 2019-07-17 2025-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved object detection
KR102322815B1 (ko) 2019-09-11 2021-11-10 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
KR102255178B1 (ko) * 2019-11-20 2021-05-24 주식회사 엠씨넥스 프리즘 구동형 듀얼 카메라 장치
KR102334388B1 (ko) * 2019-12-16 2021-12-01 연세대학교 산학협력단 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
KR102498615B1 (ko) * 2020-04-24 2023-02-14 군산대학교산학협력단 인공지능 기반의 나이트비전 시스템
US11157813B1 (en) * 2020-04-24 2021-10-26 StradVision, Inc. Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle
KR102189262B1 (ko) * 2020-04-29 2020-12-11 주식회사 글로벌브릿지 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
KR102311245B1 (ko) * 2020-07-15 2021-10-08 한국로봇융합연구원 해상 환경에서 다종 카메라 영상을 기초로 심층신경망을 이용하여 목표 대상물과 항해장치 간 헤딩각도 차이와 상대거리를 추정하여 복수의 스러스터를 제어하기 위한 방법
KR20220032799A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 뉴럴 네트워크 프로파일링 방법 및 장치
KR102699264B1 (ko) * 2020-10-20 2024-08-29 (주)와이파워원 무선 충전 전기자동차의 충전위치 정렬정보 제공 장치 및 방법
KR102454281B1 (ko) * 2020-11-10 2022-10-14 연세대학교 산학협력단 다중 객체의 박스-레벨 위치 정보만을 이용한 박스-레벨 다중 객체 동선 예측 장치
KR102585258B1 (ko) * 2020-12-07 2023-10-05 부경대학교 산학협력단 실시간 다중 객체 검출 장치 및 방법
CN114911219B (zh) * 2021-02-07 2025-05-23 深圳引望智能技术有限公司 一种用于视觉传感器的控制指令生成方法及装置、控制方法及装置
US12030577B2 (en) 2021-09-30 2024-07-09 Snap Inc. AR based performance modulation of a personal mobility system
KR102408481B1 (ko) * 2022-01-11 2022-06-13 주식회사 다리소프트 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
US12175605B2 (en) * 2022-03-22 2024-12-24 Snap Inc. Situational-risk-based AR display
KR102594804B1 (ko) * 2022-09-27 2023-10-30 (주)에이아이매틱스 메모리 연동 가능한 계층적 구조 기반의 이벤트 검출 방법 및 장치
KR102634365B1 (ko) * 2022-10-21 2024-02-06 주식회사세오 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치
KR102695981B1 (ko) * 2023-10-27 2024-08-16 주식회사 자동차공학연구소 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073463A1 (en) * 2005-03-23 2007-03-29 Rini Sherony Crash prediction network with graded warning for vehicle
US20160358477A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
JPH1097700A (ja) * 1996-09-20 1998-04-14 Oki Electric Ind Co Ltd 情報提供装置
JP4615139B2 (ja) * 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
US7057532B2 (en) * 2003-10-15 2006-06-06 Yossef Shiri Road safety warning system and method
JP5189157B2 (ja) * 2010-11-30 2013-04-24 株式会社豊田中央研究所 可動物の目標状態決定装置及びプログラム
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
JP5939357B2 (ja) * 2013-05-31 2016-06-22 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
CN103996178A (zh) * 2014-05-30 2014-08-20 天津大学 一种沙尘天气彩色图像增强方法
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
CN105868691B (zh) * 2016-03-08 2019-05-21 青岛邃智信息科技有限公司 基于快速区域卷积神经网络的城市车辆追踪方法
CN105976400B (zh) * 2016-05-10 2017-06-30 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106326837B (zh) * 2016-08-09 2019-09-17 北京旷视科技有限公司 对象追踪方法和装置
CN106250863B (zh) * 2016-08-09 2019-07-26 北京旷视科技有限公司 对象追踪方法和装置
CN106355573B (zh) * 2016-08-24 2019-10-25 北京小米移动软件有限公司 图片中目标物的定位方法及装置
GB201616095D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd A neural network and method of using a neural network to detect objects in an environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073463A1 (en) * 2005-03-23 2007-03-29 Rini Sherony Crash prediction network with graded warning for vehicle
US20160358477A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Classifications of Driving Patterns Using a Supervised Learning Method for Human-Vehicle Interaction, 2013.08.*
SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection for Autonomous Driving, 2016.12.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244380B1 (ko) 2020-07-29 2021-04-26 고려대학교 산학협력단 자율 주행 환경에서 큐잉 기반 모델 선택과 광학 흐름을 이용한 사물 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US12223737B2 (en) 2020-07-29 2025-02-11 Korea University Research And Business Foundation Method for object recognition using queue-based model selection and optical flow in autonomous driving environment, recording medium and device for performing the method
KR102286272B1 (ko) * 2021-02-02 2021-08-06 주식회사 파트리지시스템즈 이벤트 검출 장치 및 그 방법
WO2022169076A1 (ko) * 2021-02-02 2022-08-11 주식회사 파트리지시스템즈 이벤트 검출 장치 및 그 방법
WO2025079980A1 (ko) * 2023-10-10 2025-04-17 주식회사 카데아 차량용 3d 어라운드 뷰 생성 방법 및 이용하여 생성된 동영상 정보 검색을 위한 데이터 분석 방법

Also Published As

Publication number Publication date
KR20180125885A (ko) 2018-11-26
EP3602497A1 (en) 2020-02-05
CN110892451A (zh) 2020-03-17
CN110892451B (zh) 2025-02-28
EP3602497A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
KR102060662B1 (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
US10769453B2 (en) Electronic device and method of controlling operation of vehicle
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
KR102298541B1 (ko) 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
US11269328B2 (en) Method for entering mobile robot into moving walkway and mobile robot thereof
KR102404791B1 (ko) 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
US20240031644A1 (en) Video playback device and control method thereof
US11138453B2 (en) Driving guide method and apparatus for vehicle
US11592825B2 (en) Electronic device and operation method therefor
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
EP3753688A1 (en) Mobile robot device and method for providing service to user
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
KR20190109663A (ko) 차량의 주행을 보조하는 전자 장치 및 방법
KR20210073252A (ko) 인공 지능 장치 및 그의 동작 방법
CN119559601A (zh) 一种智能辅助驾驶系统的显著性目标检测方法
EP4654149A1 (en) Natural language-based three-dimensional object manipulation device and method
US11211079B2 (en) Artificial intelligence device with a voice recognition
KR20200084395A (ko) 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
US11205248B2 (en) Mobile terminal
CN110997415A (zh) 控制车辆的操作的电子设备和方法
US20250108833A1 (en) Autonomous driving using predictions of trust
EP4672151A1 (en) DEVICE AND METHOD FOR IMAGE-BASED HUMAN POSING ESTIMATION

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20221224

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20221224

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000