[go: up one dir, main page]

KR102557136B1 - 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치 - Google Patents

차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치 Download PDF

Info

Publication number
KR102557136B1
KR102557136B1 KR1020210162799A KR20210162799A KR102557136B1 KR 102557136 B1 KR102557136 B1 KR 102557136B1 KR 1020210162799 A KR1020210162799 A KR 1020210162799A KR 20210162799 A KR20210162799 A KR 20210162799A KR 102557136 B1 KR102557136 B1 KR 102557136B1
Authority
KR
South Korea
Prior art keywords
data set
information
lane
user
correct answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210162799A
Other languages
English (en)
Other versions
KR20230076009A (ko
Inventor
이상호
Original Assignee
이인텔리전스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이인텔리전스 주식회사 filed Critical 이인텔리전스 주식회사
Priority to KR1020210162799A priority Critical patent/KR102557136B1/ko
Publication of KR20230076009A publication Critical patent/KR20230076009A/ko
Application granted granted Critical
Publication of KR102557136B1 publication Critical patent/KR102557136B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 실시예들은 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치를 제공할 수 있다.

Description

차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치 {METHOD AND DEVICE FOR GENERATING USER DATA SET FOR OBJECT AND LINE IN FRONT OF VEHICLE}
본 실시예들은 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치에 관한 것이다.
차량에는 자율 주행 및 다양한 운전자 지원 기능이 적용되고 있으며, 이를 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이라고 한다. 또한, 첨단 운전자 보조 시스템에 인공지능 기술이 반영된 기술들이 등장하고 있다.
첨단 운전자 보조 시스템 중 전방 충돌 경보 시스템(Forward Collision Warning, FCW) 또는 차선이탈 경고 시스템(Lane Departure Warning, LDW)에 있어서, 딥러닝을 이용한 차량 제어를 위해서는 차량 전방의 객체 또는 차선에 대한 정보가 필요하다. 즉, 객체 또는 차선에 대한 정보를 획득하여 딥러닝을 통해 학습하고, 주행중인 차량 전방에 위치한 학습된 객체 또는 차선을 식별함으로써, 전방 충돌 경보 시스템 또는 차선이탈 경고 시스템을 이용한 차량 제어가 가능하게 된다.
객체 또는 차선에 대한 정보를 획득하여 딥러닝을 통해 학습하기 위해서는 정답 값(Ground Truth, GT)를 생성해야 하며, 정답 값의 경우 사용자가 직접 어노테이션(Annotation)을 통해 생성해야 된다. 어노테이션은 객체 또는 차선의 종류, 위치, 크기와 같은 데이터를 포함한 정보 생성 과정을 의미한다. 다만, 어노테이션을 생성하는 사용자에 따라 정답 값의 기준이 달라지는 문제점이 있다. 또한, 정답 값을 이용하여 학습, 검증 및 평가를 진행에 사용되어야 할 데이터의 수는 최소 만장 이상이 필요하게 되므로, 사용자가 정답 값을 생성을 위해 어노테이션을 하는 경우 많은 시간이 소요되는 문제점이 있다.
이러한 문제점을 해결하기 위하여 일반적으로 공용 데이터 셋을 추가로 사용한다. 다만, 각 데이터 셋마다 어노테이션하는 방법이 다르며, 객체 또는 차선에 대한 정보 또한 달라서 여러 데이터 셋이 있어도 하나의 데이터 셋만을 사용하게 되는 문제가 발생한다. 따라서, 여러 데이터 셋을 사용자가 지정한 기준을 충족하는 하나의 데이터 셋 형태로 변환하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치의 개발이 필요하다.
본 실시예들은 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치를 제공할 수 있다.
일 측면에서, 본 실시예들은 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 단계, 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 단계 및 수신된 객체 또는 차선에 대한 정보에 대응되는 데이터를 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 단계 및 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 단계를 포함하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법을 제공할 수 있다.
다른 측면에서, 본 실시예들은 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 구축부, 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 수신부, 수신된 객체 또는 차선에 대한 정보에 대응되는 데이터를 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 저장부 및 저장된 객체 정보에 대한 정답들 값 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 생성부를 포함하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치를 제공할 수 있다.
본 실시예들에 의한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치는 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있다.
도 1은 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 단계를 도시한 흐름도이다.
도 2는 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 일부를 도시한 흐름도이다.
도 3은 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 일부를 도시한 흐름도이다.
도 4는 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치를 도시한 블록도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
도 1은 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 단계를 도시한 흐름도이다.
도 1을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 단계를 포함할 수 있다(S110).
2 이상의 이미지 관련 데이터 셋은 사용자로부터 입력되어 수신된 기존에 공개된 데이터 셋이 2개 이상임을 의미할 수 있다. 이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋과 차선 관련 공용 데이터 셋 중 적어도 하나를 포함할 수 있다.
이미지 관련 데이터 셋은 데이터 셋 타입에 따라 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구분 분석될 수 있다.
구문 분석된 데이터들은 취합되어 하나의 통합 데이터 셋으로 구축될 수 있다. 따라서, 사용자는 하나의 통합 데이터 셋만을 선택하지 않고, 2 이상의 공용 데이터 셋이 취합된 통합 데이터 셋을 이용할 수 있게 된다.
도 1을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 단계를 포함할 수 있다(S120).
예를 들어, 사용자로부터 입력된 객체에 대한 정보는 객체의 종류, 크기, 위치에 대한 정보를 포함할 수 있다. 또한, 사용자로부터 입력된 차선에 대한 정보는 차선의 종류, 색상, 위치에 대한 정보를 포함할 수 있다.
따라서, 수신하는 단계는 사용자가 지정한 객체 또는 차선에 대한 기준을 확인하는 단계를 의미할 수 있다.
도 1을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 수신된 객체 또는 차선에 대한 정보에 대응되는 데이터를 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 단계를 포함할 수 있다(S130).
예를 들어, 정답 값으로 저장하는 단계는 객체에 대한 정보가 수신되면, 통합 데이터 셋으로부터 객체 정보에 대응되는 박스 정보 데이터를 추출하여 객체 정보에 대한 정답 값으로 저장할 수 있다.
다른 예를 들어, 정답 값으로 저장하는 단계는 차선에 대한 정보가 수신되면, 통합 데이터 셋으로부터 차선 정보에 대응되는 세그멘테이션 이미지 데이터를 추출하여 차선 정보에 대한 정답 값으로 저장할 수 있다.
따라서, 객체 또는 차선에 대한 정답 값은 사용자가 객체 또는 차선에 대하여 지정된 기준에 기반하여 기종 공용 데이터 셋이 취합된 통합 데이터 셋으로부터 추출 및 저장됨으로써, 사용자 특성에 맞는 정답 값을 저장할 수 있다.
도 1을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 단계를 포함할 수 있다.
저장된 객체에 대한 정답 값들 및 차선에 대한 정답 값들을 전술한 바와 같이 사용자 특성에 맞는 정답 값들일 수 있다. 따라서, 이들을 취합하여 생성된 사용자 데이터 셋은 사용자가 지정한 명확한 기준을 가진 하나의 데이터 셋을 의미할 수 있다.
전술한 본 실시예들에 의한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있다.
도 2는 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 일부를 도시한 흐름도이다.
도 2를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 이미지 관련 데이터 셋을 수신하는 단계를 포함할 수 있다(S211).
이미지 관련 데이터 셋은 기존에 공개된 공용 데이터 셋 중 어느 하나일 수 있고, 2이상의 이미지 관련 데이터 셋 중 각각의 데이터 셋은 사용자로부터 순차적으로 입력되어 수신될 수 있다.
이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋 및 차선 관련 공용 데이터 셋 중 적어도 하나를 포함할 수 있고, 객체 관련 공용 데이터 셋은 COCO, VOC, KITTI, ImageNet이 사용될 수 있고, 차선 관련 공용 데이터 셋은 CULane, Tusimple이 사용될 수 있다. 다만, 이에 제한되지 않으며, 객체 관련 공용 데이터 셋 또는 차선 관련 공용 데이터 셋은 용어를 불문하고, 이들과 관련 데이터 셋은 본 실시예들에 있어서 모두 사용될 수 있다. 또한, 이미지 관련 데이터 셋 각각은 학습 데이터 셋, 검증 데이터 셋 및 평가 데이터 셋 중 적어도 하나 이상을 포함할 수 있다.
도 2를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법에서 이미지 관련 데이터 셋은 데이터 셋 타입에 따라 분석되고(S212), 분석된 데이터 셋 타입에 따라 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더(JavaScript Object Notation,JSON) 중 하나를 이용하여 구문 분석될 수 있다.
공용 데이터 셋은 다양한 타입으로 구비될 수 있다. 예를 들어, 공용 데이터 셋 중 일부의 어노테이션 파일은 자바스크릿 오브젝트 노테이션으로 구비되어 자바스크릿 오브젝트 노테이션 타입으로 분석될 수 있고, 자바스크릿 오브젝트 노테이션 로더를 이용하여 구문 분석될 수 있다. 반면, 공용 데이터 셋 중 다른 일부의 어노테이션 파일은 엑셀로 구비되어 엑셀 타입으로 분석될 수 있고, 엑셀 로더를 이용하여 구문 분석될 수 있다. 또한, 공용 데이터 셋 중 일부 및 다른 일부를 제외한 나머지 일부의 어노테이션 파일은 텍스트로 구비되어 텍스트 타입으로 분석될 수 있고, 텍스트 로더를 이용하여 구문 분석될 수 있다.
텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석된 데이터들은 취합되어 통합 데이터 셋으로 구축될 수 있다. 통합 데이터 셋에 포함되는 구문 분석된 데이터들은 하나의 타입으로 변환되어 취합될 수 있다.
예를 들어, 텍스트 로더 또는 엑셀 로더로 구문 분석된 데이터는 자바스크릿 오브젝트 노테이션 타입을 변환되어 자바스크릿 오브젝트 노테이션 로더를 이용하여 구문 분석된 데이터들과 취합될 수 있다. 다만, 이는 예시이며, 텍스트 타입 또는 엑셀 타입으로 변환되어 취합될 수도 있다. 또한, 취합되는 과정에서 데이터의 중복을 방지하기 위하여 중복된 데이터를 제거할 수도 있다.
도 3은 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 일부를 도시한 흐름도이다.
도 3을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 사용자로부터 입력된 객체에 대한 정보를 수신하는 단계를 포함할 수 있다(S321).
객체에 대한 정보는 객체의 종류, 크기, 위치에 대한 정보를 포함할 수 있다. 예를 들어, 객체의 종류는 사람이고, 크기는 사람을 가로 및 세로의 길이로 표현되고, 위치는 도로 위 정가운데 위치하는 것으로 객체 정보가 사용자로부터 입력되어 수신될 수 있다.
도 3을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 정답 값으로 저장하는 단계는 체에 대한 정보가 수신되면, 통합 데이터 셋으로부터 객체 정보에 대응되는 박스 정보 데이터를 추출하고(S331), 박스 정보 데이터에 기반하여 객체 정보에 대한 정답 값으로 저장할 수 있다(S332).
예를 들어, 객체의 종류는 사람이고, 크기는 사람을 가로 및 세로의 길이로 표현되고, 위치는 도로 위 정가운데 위치하는 것으로 사용자로부터 입력되어 수신되면, 통합 데이터 셋에 포함되는 데이터 중 이러한 크기의 사람이 도로 정가운데 위치하여 박스로 특정된 박스 정보 데이터를 추출할 수 있다.
박스 정보 데이터는 사용자가 지정한 객체의 종류, 크기 및 위치에 대한 전체 이미지에서 객체 정보에 대응되는 이미지 데이터에 대한 값이고, 이는 객체 정보에 대응되는 정답 값으로 저장될 수 있다.
도 3을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 사용자로부터 입력된 차선에 대한 정보를 수신하는 단계를 포함할 수 있다(S323).
차선에 대한 정보는 차선의 종류, 색상, 위치에 대한 정보를 포함할 수 있다. 예를 들어, 차선의 종류는 실선이고, 색상은 하얀색이며, 위치는 차량의 우측에 위치하는 것으로 차선 정보가 사용자로부터 입력되어 수신될 수 있다.
도 3을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 정답 값으로 저장하는 단계는 차선에 대한 정보가 수신되면, 통합 데이터 셋으로부터 차선 정보에 대응되는 세그멘테이션 이미지 데이터를 추출하고(S333), 세그멘테이션 이미지 데이터에 기반하여 차선 정보에 대한 정답 값으로 저장할 수 있다(S334).
객체의 경우에는 객체의 크기로 이미지 상에서 박스로 특정될 수 있으나, 차선의 경우에는 박스로 특정될 수 없고, 차선의 색상이 하얀색인지 노란색인지 등의 차선의 색상이 중요할 수 있다. 따라서, 차선의 종류, 위치 및 색상에 따라 픽셀로 그룹화하여 특정된 데이터인 세그멘테이션 이미지 데이터를 이용할 필요가 있다.
예를 들어, 차선의 종류는 실선이고, 색상은 하얀색이며, 위치는 차량의 우측에 위치하는 것으로 차선 정보가 사용자로부터 입력되어 수신되면, 통합 데이터 셋에 포함되는 데이터 중 이러한 하얀색 실선 차선이 차량의 우측에 위치하여 픽셀로 그룹화하여 특정된 세그멘테이션 이미지 데이터를 추출할 수 있다.
세그멘테이션 이미지 데이터는 전체 이미지에서 사용자가 지정한 차선의 종류, 색상 및 위치에 대한 전체 이미지에서 차선 정보에 대응되는 이미지 데이터에 대한 값이고, 이는 차선 정보에 대응되는 정답 값으로 저장될 수 있다.
한편, 사용자 데이터 셋에 포함되는 객체 정보 또는 차선 정보에 대한 정답 값은 사용자가 달라지더라도 동일한 통합 데이터 셋을 이용하므로, 객체의 종류, 크기 및 위치가 동일하거나, 차선의 종류, 색상 및 크기가 동일하다면, 동일한 정답 값을 저장할 수 있다.
도 3을 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성할 수 있다(S340).
전술한 바와 같이, 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석된 데이터들은 취합되어 통합 데이터 셋으로 구축될 때, 데이터 중복을 방지하기 위하여 중복된 데이터를 제거할 수도 있으므로, 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들에 포함되는 정답 값은 중복되지 않을 수 있다.
따라서, 사용자 데이터 셋은 중복된 정답 값이 포함되지 않고, 사용자가 지정한 객체 또는 차선에 대한 명확한 기준을 가진 정답 값들의 조합으로써, 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 의미할 수 있다.
전술한 본 실시예들에 의한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법은 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있다.
아래에서는 도 1 내지 도 3을 참조하여 설명한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법을 수행할 수 있는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치에 대해서 다시 한번 간략히 설명한다. 아래에서의 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 전술한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법의 전부 또는 일부 동작을 수행할 수 있다. 또한, 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 전술한 각 실시예들의 임의의 조합으로 수행할 수 있다.
도 4는 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치를 도시한 블록도이다.
도 4를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 구축부(410)를 포함할 수 있다.
2 이상의 이미지 관련 데이터 셋은 사용자로부터 입력되어 수신된 기존에 공개된 데이터 셋이 2개 이상임을 의미할 수 있다. 이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋과 차선 관련 공용 데이터 셋 중 적어도 하나를 포함할 수 있다.
이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋 및 차선 관련 공용 데이터 셋 중 적어도 하나를 포함할 수 있고, 객체 관련 공용 데이터 셋은 COCO, VOC, KITTI, ImageNet이 사용될 수 있고, 차선 관련 공용 데이터 셋은 CULane, Tusimple이 사용될 수 있다. 다만, 이에 제한되지 않으며, 객체 관련 공용 데이터 셋 또는 차선 관련 공용 데이터 셋은 용어를 불문하고, 이들과 관련 데이터 셋은 본 실시예들에 있어서 모두 사용될 수 있다. 또한, 이미지 관련 데이터 셋 각각은 학습 데이터 셋, 검증 데이터 셋 및 평가 데이터 셋 중 적어도 하나 이상을 포함할 수 있다.
이미지 관련 데이터 셋은 데이터 셋 타입에 따라 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구분 분석될 수 있다.
예를 들어, 공용 데이터 셋은 다양한 타입으로 구비될 수 있다. 예를 들어, 공용 데이터 셋 중 일부의 어노테이션 파일은 자바스크릿 오브젝트 노테이션으로 구비되어 자바스크릿 오브젝트 노테이션 타입으로 분석될 수 있고, 자바스크릿 오브젝트 노테이션 로더를 이용하여 구문 분석될 수 있다. 반면, 공용 데이터 셋 중 다른 일부의 어노테이션 파일은 엑셀로 구비되어 엑셀 타입으로 분석될 수 있고, 엑셀 로더를 이용하여 구문 분석될 수 있다. 또한, 공용 데이터 셋 중 일부 및 다른 일부를 제외한 나머지 일부의 어노테이션 파일은 텍스트로 구비되어 텍스트 타입으로 분석될 수 있고, 텍스트 로더를 이용하여 구문 분석될 수 있다.
구문 분석된 데이터들은 취합되어 하나의 통합 데이터 셋으로 구축될 수 있다. 따라서, 사용자는 하나의 통합 데이터 셋만을 선택하지 않고, 2 이상의 공용 데이터 셋이 취합된 통합 데이터 셋을 이용할 수 있게 된다.
예를 들어, 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석된 데이터들은 취합되어 통합 데이터 셋으로 구축될 수 있다. 통합 데이터 셋에 포함되는 구문 분석된 데이터들은 하나의 타입으로 변환되어 취합될 수 있다.
또한, 텍스트 로더 또는 엑셀 로더로 구문 분석된 데이터는 자바스크릿 오브젝트 노테이션 타입을 변환되어 자바스크릿 오브젝트 노테이션 로더를 이용하여 구문 분석된 데이터들과 취합될 수 있다. 다만, 이는 예시이며, 텍스트 타입 또는 엑셀 타입으로 변환되어 취합될 수도 있다. 또한, 취합되는 과정에서 데이터의 중복을 방지하기 위하여 중복된 데이터를 제거할 수도 있다.
도 4를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 수신부(420)를 포함할 수 있다.
예를 들어, 사용자로부터 입력된 객체에 대한 정보는 객체의 종류, 크기, 위치에 대한 정보를 포함할 수 있다. 또한, 사용자로부터 입력된 차선에 대한 정보는 차선의 종류, 색상, 위치에 대한 정보를 포함할 수 있다.
따라서, 수신하는 단계는 사용자가 지정한 객체 또는 차선에 대한 기준을 확인하는 단계를 의미할 수 있다.
도 4를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 수신된 객체 또는 차선에 대한 정보에 대응되는 데이터를 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 저장부(430)를 포함할 수 있다.
저장부(430)는 객체에 대한 정보가 수신되면, 통합 데이터 셋으로부터 객체 정보에 대응되는 박스 정보 데이터를 추출하여 객체 정보에 대한 정답 값으로 저장할 수 있다.
일 례로, 객체의 종류는 사람이고, 크기는 사람을 가로 및 세로의 길이로 표현되고, 위치는 도로 위 정가운데 위치하는 것으로 사용자로부터 입력되어 수신되면, 통합 데이터 셋에 포함되는 데이터 중 이러한 크기의 사람이 도로 정가운데 위치하여 박스로 특정된 박스 정보 데이터를 추출할 수 있다.
이 경우, 박스 정보 데이터는 사용자가 지정한 객체의 종류, 크기 및 위치에 대한 전체 이미지에서 객체 정보에 대응되는 이미지 데이터에 대한 값이고, 이는 객체 정보에 대응되는 정답 값으로 저장될 수 있다.
또한, 저장부(430)는 차선에 대한 정보가 수신되면, 통합 데이터 셋으로부터 차선 정보에 대응되는 세그멘테이션 이미지 데이터를 추출하여 차선 정보에 대한 정답 값으로 저장할 수 있다.
객체의 경우에는 객체의 크기로 이미지 상에서 박스로 특정될 수 있으나, 차선의 경우에는 박스로 특정될 수 없고, 차선의 색상이 하얀색인지 노란색인지 등의 차선의 색상이 중요할 수 있다. 따라서, 차선의 종류, 위치 및 색상에 따라 픽셀로 그룹화하여 특정된 데이터인 세그멘테이션 이미지 데이터를 이용할 필요가 있다.
일 예시로, 차선의 종류는 실선이고, 색상은 하얀색이며, 위치는 차량의 우측에 위치하는 것으로 차선 정보가 사용자로부터 입력되어 수신되면, 통합 데이터 셋에 포함되는 데이터 중 이러한 하얀색 실선 차선이 차량의 우측에 위치하여 픽셀로 그룹화하여 특정된 세그멘테이션 이미지 데이터를 추출할 수 있다.
이 경우, 세그멘테이션 이미지 데이터는 전체 이미지에서 사용자가 지정한 차선의 종류, 색상 및 위치에 대한 전체 이미지에서 차선 정보에 대응되는 이미지 데이터에 대한 값이고, 이는 차선 정보에 대응되는 정답 값으로 저장될 수 있다.
따라서, 객체 또는 차선에 대한 정답 값은 사용자가 객체 또는 차선에 대하여 지정된 기준에 기반하여 기종 공용 데이터 셋이 취합된 통합 데이터 셋으로부터 추출 및 저장됨으로써, 사용자 특성에 맞는 정답 값을 저장할 수 있다.
한편, 사용자 데이터 셋에 포함되는 객체 또는 차선에 대한 정답 값은 사용자가 달라지더라도 동일한 통합 데이터 셋을 이용하므로, 객체의 종류, 크기 및 위치가 동일하거나, 차선의 종류, 색상 및 크기가 동일하다면, 동일한 정답 값을 저장할 수 있다.
도 4를 참조하면, 본 실시예들에 따른 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 생성부(440)를 포함할 수 있다.
저장된 객체에 대한 정답 값들 및 차선에 대한 정답 값들을 전술한 바와 같이 사용자 특성에 맞는 정답 값들일 수 있다. 따라서, 이들을 취합하여 생성된 사용자 데이터 셋은 사용자가 지정한 명확한 기준을 가진 하나의 데이터 셋을 의미할 수 있다.
또한, 전술한 바와 같이, 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석된 데이터들은 취합되어 통합 데이터 셋으로 구축될 때, 데이터 중복을 방지하기 위하여 중복된 데이터를 제거할 수도 있으므로, 저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들에 포함되는 정답 값은 중복되지 않을 수 있다.
따라서, 사용자 데이터 셋은 중복된 정답 값이 포함되지 않고, 사용자가 지정한 객체 또는 차선에 대한 명확한 기준을 가진 정답 값들의 조합으로써, 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 의미할 수 있다.
전술한 본 실시예들에 의한 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치는 기존에 공개된 공용 데이터 셋을 취합하여 통합 데이터 셋을 구축하고, 통합 데이터 셋으로부터 사용자가 지정한 특성에 맞는 정답 값을 저장할 수 있으며, 이로부터 사용자가 지정한 기준을 충족하는 하나의 데이터 셋을 효율적으로 생성할 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 기술 사상의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시예에 의하여 본 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
410: 구축부
420: 수신부
430: 저장부
440: 생성부

Claims (7)

  1. 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 단계;
    상기 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 단계;
    수신된 상기 객체 또는 상기 차선에 대한 정보에 대응되는 데이터를 상기 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 단계; 및
    저장된 객체 정보에 대한 정답 값들 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 단계를 포함하며,
    상기 이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋 및 차선 관련 공용 데이터 셋을 포함하고,
    상기 객체 관련 공용 데이터 셋은 COCO, VOC, KITTI, ImageNet이고,
    상기 차선 관련 공용 데이터 셋은 CULane, Tusimple이며,
    상기 이미지 관련 데이터 셋은 데이터 셋 타입에 따라 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석되고,
    구문 분석된 데이터들은 텍스트 타입, 엑셀 타입, 자바스크릿 오브젝트 노테이션 타입 중 하나의 타입으로 변환 및 취합되어 상기 통합 데이터 셋으로 구축되며,
    정답 값으로 저장하는 단계는,
    상기 객체에 대한 정보가 수신되면, 상기 통합 데이터 셋으로부터 객체 정보에 대응되는 박스 정보 데이터를 추출하여 상기 객체 정보에 대한 정답 값으로 저장하고,
    상기 차선에 대한 정보가 수신되면, 상기 통합 데이터 셋으로부터 차선 정보에 대응되는 세그멘테이션 이미지 데이터를 추출하여 상기 차선 정보에 대한 정답 값으로 저장하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체에 대한 정보는 객체의 종류, 크기, 위치에 대한 정보를 포함하는 것을 특징으로 하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법.
  4. 제1항에 있어서,
    상기 차선에 대한 정보는 차선의 종류, 색상, 위치에 대한 정보를 포함하는 것을 특징으로 하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법.
  5. 삭제
  6. 삭제
  7. 사용자로부터 입력되어 수신된 적어도 2 이상의 이미지 관련 데이터 셋을 구문 분석하고 취합하여 통합 데이터 셋을 구축하는 구축부;
    상기 사용자로부터 입력된 객체 또는 차선에 대한 정보를 수신하는 수신부;
    수신된 상기 객체 또는 상기 차선에 대한 정보에 대응되는 데이터를 상기 통합 데이터 셋으로부터 추출하여 정답 값으로 저장하는 저장부; 및
    저장된 객체 정보에 대한 정답들 값 및 차선 정보에 대한 정답 값들을 취합하여 사용자 데이터 셋을 생성하는 생성부를 포함하며,
    상기 이미지 관련 데이터 셋은 객체 관련 공용 데이터 셋 및 차선 관련 공용 데이터 셋을 포함하고,
    상기 객체 관련 공용 데이터 셋은 COCO, VOC, KITTI, ImageNet이고,
    상기 차선 관련 공용 데이터 셋은 CULane, Tusimple이며,
    상기 이미지 관련 데이터 셋은 데이터 셋 타입에 따라 텍스트 로더, 엑셀 로더 및 자바스크릿 오브젝트 노테이션 로더 중 하나를 이용하여 구문 분석되고,
    구문 분석된 데이터들은 텍스트 타입, 엑셀 타입, 자바스크릿 오브젝트 노테이션 타입 중 하나의 타입으로 변환 및 취합되어 상기 통합 데이터 셋으로 구축되며,
    저장부는,
    상기 객체에 대한 정보가 수신되면, 상기 통합 데이터 셋으로부터 객체 정보에 대응되는 박스 정보 데이터를 추출하여 상기 객체 정보에 대한 정답 값으로 저장하고,
    상기 차선에 대한 정보가 수신되면, 상기 통합 데이터 셋으로부터 차선 정보에 대응되는 세그멘테이션 이미지 데이터를 추출하여 상기 차선 정보에 대한 정답 값으로 저장하는 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 장치.
KR1020210162799A 2021-11-23 2021-11-23 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치 Active KR102557136B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162799A KR102557136B1 (ko) 2021-11-23 2021-11-23 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210162799A KR102557136B1 (ko) 2021-11-23 2021-11-23 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230076009A KR20230076009A (ko) 2023-05-31
KR102557136B1 true KR102557136B1 (ko) 2023-07-20

Family

ID=86543807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210162799A Active KR102557136B1 (ko) 2021-11-23 2021-11-23 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102557136B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474713B1 (en) * 2018-10-26 2019-11-12 StradVision, Inc. Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same
KR102742502B1 (ko) * 2018-11-20 2024-12-16 현대모비스 주식회사 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법
KR20200068043A (ko) * 2018-11-26 2020-06-15 전자부품연구원 영상 기계학습을 위한 객체 gt 정보 생성 방법 및 시스템
KR20210041305A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 차선 추출 장치 및 방법

Also Published As

Publication number Publication date
KR20230076009A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
US11798288B2 (en) System and method for generating a training set for improving monocular object detection
Bao et al. Monofenet: Monocular 3d object detection with feature enhancement networks
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
Liu et al. Towards vehicle-to-everything autonomous driving: A survey on collaborative perception
US20210027097A1 (en) Training methods for deep networks
US9489582B2 (en) Video anomaly detection based upon a sparsity model
CN114245912B (zh) 评估并减少感知误差的系统、计算机程序产品、方法
CN116452766A (zh) 基于三维占用栅格驾驶场景模拟方法、系统、设备及介质
US20230127121A1 (en) System and Method for Knowledge-Based Entity Prediction
Pan et al. Clip-bevformer: Enhancing multi-view image-based bev detector with ground truth flow
KR20240011467A (ko) 지식 증류 기반 3차원 객체 탐지 모델의 경량화를 수행하는 전자장치 및 경량화 방법
KR102557136B1 (ko) 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치
KR102427884B1 (ko) 객체 검출 모델 학습 장치 및 방법
US20230056672A1 (en) Scalable road sign knowledge graph construction with machine learning and human in the loop
Benkirane et al. Integration of ontology reasoning-based monocular cues in deep learning modeling for single image depth estimation in urban driving scenarios
KR102576791B1 (ko) 운전자 이미지 데이터셋 비식별화 방법 및 장치
KR102609829B1 (ko) 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
Xiao et al. VRSTNN: Visual-Relational Spatio-Temporal Neural Network for Early Hazardous Event Detection in Automated Driving Systems
CN119672305A (zh) 一种基于双目视觉和开放词汇的3d目标检测方法及系统
CN118043864A (zh) 障碍物识别方法、装置、存储介质及电子设备
Zhao et al. Semantic segmentation via fusing 2D image and 3D point cloud data with shared multi-layer perceptron
Cheng et al. Interaction detection between vehicles and vulnerable road users: A deep generative approach with attention
CN120071039A (zh) 用于训练基本模型的方法和系统
Zhou et al. AirSpatialBot: A Spatially-Aware Aerial Agent for Fine-Grained Vehicle Attribute Recognization and Retrieval
JP2023081040A (ja) 文書電子化システム、情報処理装置、文書分割方法、学習方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D16-exm-PA0302

St.27 status event code: A-1-2-D10-D17-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000