[go: up one dir, main page]

RU2018101866A - Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков - Google Patents

Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков Download PDF

Info

Publication number
RU2018101866A
RU2018101866A RU2018101866A RU2018101866A RU2018101866A RU 2018101866 A RU2018101866 A RU 2018101866A RU 2018101866 A RU2018101866 A RU 2018101866A RU 2018101866 A RU2018101866 A RU 2018101866A RU 2018101866 A RU2018101866 A RU 2018101866A
Authority
RU
Russia
Prior art keywords
feature map
sensor
frame
type
objects
Prior art date
Application number
RU2018101866A
Other languages
English (en)
Other versions
RU2018101866A3 (ru
RU2701051C2 (ru
Inventor
Гай ХОТСОН
Парса МАХМУДИ
МУРАЛИ Видия НАРИЯМБУТ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2018101866A publication Critical patent/RU2018101866A/ru
Publication of RU2018101866A3 publication Critical patent/RU2018101866A3/ru
Application granted granted Critical
Publication of RU2701051C2 publication Critical patent/RU2701051C2/ru

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Claims (50)

1. Способ, содержащий этапы, на которых:
формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявляют один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит, формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
2. Способ по п. 1, дополнительно содержащий этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом, формирование сцепленной карты признаков состоит в том, что формируют на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
3. Способ по п. 2, в котором формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
4. Способ по п. 1, в котором кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
5. Способ по п. 1, в котором нейронная сеть подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного в предыдущем кадре или периоде времени; и
признака в предыдущем кадре с датчика.
6. Способ по п. 1, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, способ дополнительно содержит этапы, на которых:
формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и
подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
7. Способ по п. 1, в котором нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
8. Система, содержащая:
один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
компонент выявления, выполненный с возможностью:
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
9. Система по п. 8, в которой компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
10. Система по п. 9, в которой компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
11. Система по п. 8, в которой кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
12. Система по п. 8, в которой рекуррентная связь нейронной сети подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
13. Система по п. 8, в которой кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, компонент выявления дополнительно выполнен с возможностью:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
14. Система по п. 8, в которой нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
15. Машиночитаемый запоминающий носитель, хранящий команды, которые, когда приводятся в исполнение одним или более процессорами, побуждают один или более процессор:
получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
16. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, команды побуждают один или более процессор формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
17. Машиночитаемый запоминающий носитель по п. 16, в котором команды побуждают один или более процессор формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
18. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
19. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
20. Машиночитаемый запоминающий носитель по п. 15, в которых кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, команды дополнительно побуждают один или более процессор:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
RU2018101866A 2017-01-24 2018-01-18 Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков RU2701051C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/414,383 US10198655B2 (en) 2017-01-24 2017-01-24 Object detection using recurrent neural network and concatenated feature map
US15/414,383 2017-01-24

Publications (3)

Publication Number Publication Date
RU2018101866A true RU2018101866A (ru) 2019-07-23
RU2018101866A3 RU2018101866A3 (ru) 2019-07-24
RU2701051C2 RU2701051C2 (ru) 2019-09-24

Family

ID=61283600

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018101866A RU2701051C2 (ru) 2017-01-24 2018-01-18 Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков

Country Status (6)

Country Link
US (3) US10198655B2 (ru)
CN (1) CN108388834B (ru)
DE (1) DE102018101318A1 (ru)
GB (1) GB2561051A (ru)
MX (1) MX2018000851A (ru)
RU (1) RU2701051C2 (ru)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
CN110799947B (zh) * 2017-04-17 2024-12-24 移动眼视力科技有限公司 用于误差校正的系统和方法
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
WO2019076467A1 (en) * 2017-10-20 2019-04-25 Toyota Motor Europe METHOD AND SYSTEM FOR PROCESSING IMAGE AND DETERMINING POINTS OF VIEW OF OBJECTS
JP6821009B2 (ja) * 2017-12-25 2021-01-27 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 会計方法、装置及びシステム
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
US11640533B2 (en) * 2018-08-03 2023-05-02 Arm Limited System, method and apparatus for training neural networks using multiple datasets
US11055854B2 (en) * 2018-08-23 2021-07-06 Seoul National University R&Db Foundation Method and system for real-time target tracking based on deep learning
CN109188420B (zh) * 2018-08-27 2023-04-07 西安电子科技大学 基于深度长短期记忆网络的窄带雷达目标跟踪方法
US10672136B2 (en) * 2018-08-31 2020-06-02 Snap Inc. Active image depth prediction
EP3626585A1 (en) * 2018-09-21 2020-03-25 Visteon Global Technologies, Inc. Driver assistance system and method for displaying traffic information
CN109326006B (zh) * 2018-09-30 2023-03-28 阿波罗智联(北京)科技有限公司 地图融合方法和装置
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
DE102018219984B3 (de) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs
US11927668B2 (en) * 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US12158518B2 (en) * 2019-01-07 2024-12-03 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing
CN109870698B (zh) 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统
CN113228043B (zh) * 2019-01-22 2025-05-16 深圳市卓驭科技有限公司 移动平台基于神经网络的障碍物检测及关联的系统和方法
CN109887006A (zh) * 2019-01-29 2019-06-14 杭州国芯科技股份有限公司 一种基于帧差法加速神经网络运算的方法
CN111771135B (zh) * 2019-01-30 2023-03-21 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US10976412B2 (en) * 2019-02-01 2021-04-13 GM Global Technology Operations LLC Deep learning for super resolution in a radar system
CN109932730B (zh) * 2019-02-22 2023-06-23 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
WO2020171818A1 (en) 2019-02-22 2020-08-27 Google Llc Memory-guided video object detection
US12314846B2 (en) * 2019-02-25 2025-05-27 International Business Machines Corporation Answering cognitive queries from sensor input signals
DE102019106204B4 (de) * 2019-03-12 2023-04-27 Elmos Semiconductor Se Ultraschallsystem mit zentralisierter Objekterkennung auf Basis von dekomprimierten Ultraschallsignalen mehrerer Sensoren und zugehöriges Kompressionsverfahren
CN109934175B (zh) * 2019-03-15 2021-07-06 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN109993151A (zh) * 2019-04-15 2019-07-09 方玉明 一种基于多模块全卷积网络的三维视频视觉注意力检测方法
CN110321889A (zh) * 2019-04-23 2019-10-11 成都数之联科技有限公司 一种图片文件中插图定位提取方法及系统
EP3966742A1 (en) * 2019-05-06 2022-03-16 Zenuity AB Automated map making and positioning
US12361703B2 (en) 2019-07-17 2025-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved object detection
CN110443310B (zh) * 2019-08-07 2022-08-09 浙江大华技术股份有限公司 比对分析系统的更新方法、服务器及计算机存储介质
CN110532932B (zh) * 2019-08-26 2022-12-13 哈尔滨工程大学 一种多分量雷达信号脉内调制方式识别方法
US11663514B1 (en) * 2019-08-30 2023-05-30 Apple Inc. Multimodal input processing system
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110533725B (zh) * 2019-09-06 2022-04-29 西南交通大学 一种基于结构推理网络的高铁接触网多种零部件定位方法
DE102019130204B4 (de) * 2019-11-08 2024-02-08 Automotive Research & Testing Center Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
US11252366B2 (en) * 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
WO2021125510A1 (en) 2019-12-20 2021-06-24 Samsung Electronics Co., Ltd. Method and device for navigating in dynamic environment
US11255960B2 (en) * 2020-01-24 2022-02-22 The Boeing Company Synthetic aperture radar (SAR) based convolutional navigation
US11113584B2 (en) * 2020-02-04 2021-09-07 Nio Usa, Inc. Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
RU2763215C2 (ru) * 2020-04-10 2021-12-28 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы формирования обучающих данных для нейронной сети
US11254331B2 (en) * 2020-05-14 2022-02-22 StradVision, Inc. Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
US11551429B2 (en) * 2020-06-05 2023-01-10 Uatc, Llc Photorealistic image simulation with geometry-aware composition
SE544261C2 (en) * 2020-06-16 2022-03-15 IntuiCell AB A computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
CN112114303A (zh) * 2020-08-17 2020-12-22 安徽捷纳森电子科技有限公司 单向无源相阵控扫描识别盗砂船的方法
GB2599365B8 (en) * 2020-09-24 2023-05-24 Acad Of Robotics Device and system for autonomous vehicle control
GB2599364B (en) * 2020-09-24 2023-04-12 Acad Of Robotics Method and software stack for identifying a feature using active vision
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN112509052B (zh) * 2020-12-22 2024-04-23 苏州超云生命智能产业研究院有限公司 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN117203677A (zh) * 2021-04-21 2023-12-08 枫熊有限公司 使用计算机视觉的物品识别系统
US11954180B2 (en) 2021-06-11 2024-04-09 Ford Global Technologies, Llc Sensor fusion area of interest identification for deep learning
CN113706614B (zh) * 2021-08-27 2024-06-21 重庆赛迪奇智人工智能科技有限公司 一种小目标检测方法、装置、存储介质和电子设备
EP4148456A1 (en) 2021-09-10 2023-03-15 Aptiv Technologies Limited Computer implemented method, computer system and computer readable medium for object detection in a vehicle
KR20230056407A (ko) * 2021-10-20 2023-04-27 삼성전자주식회사 영상 정보를 생성하는 방법 및 장치
CN114463772B (zh) * 2022-01-13 2022-11-25 苏州大学 基于深度学习的交通标志检测与识别方法及系统
JP7596325B2 (ja) * 2022-03-18 2024-12-09 株式会社東芝 処理システム、処理方法及びプログラム
CN114611635B (zh) * 2022-05-11 2022-08-30 北京闪马智建科技有限公司 一种对象的识别方法、装置、存储介质及电子装置
CN115056784B (zh) * 2022-07-04 2023-12-05 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片
CN116843957A (zh) * 2023-06-21 2023-10-03 江苏苏云信息科技有限公司 基于图循环注意力网络的行人方向分类方法
US12482247B2 (en) * 2023-09-13 2025-11-25 Gm Cruise Holdings Llc Raw sensor data fusion between a camera sensor and a depth sensor
DE102023209548A1 (de) * 2023-09-28 2025-04-03 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifikation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718125B1 (ko) * 2005-03-25 2007-05-15 삼성전자주식회사 생체신호와 인공신경회로망을 이용한 생체인식 장치 및방법
CN100492437C (zh) * 2007-06-01 2009-05-27 清华大学 一种目标车换道工况下的快速识别方法
CN101222524B (zh) * 2008-01-09 2011-12-21 华南理工大学 一种分布式多传感协同测量系统
JP5108563B2 (ja) * 2008-03-03 2012-12-26 日本放送協会 ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
US20160379505A1 (en) * 2010-06-07 2016-12-29 Affectiva, Inc. Mental state event signature usage
US10074024B2 (en) * 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
RU2596246C2 (ru) * 2011-02-21 2016-09-10 Стратек Системс Лимитед Система наблюдения и способ обнаружения засорения или повреждения аэродрома посторонними предметами
RU2476825C2 (ru) * 2011-03-01 2013-02-27 Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) Способ управления движущимся объектом и устройство для его осуществления
CN102609680B (zh) * 2011-12-22 2013-12-04 中国科学院自动化研究所 一种基于三维深度图像信息的并行统计学习人体部位检测方法
US20140300494A1 (en) * 2013-04-03 2014-10-09 Ford Global Technologies, Llc Location based feature usage prediction for contextual hmi
US9159137B2 (en) 2013-10-14 2015-10-13 National Taipei University Of Technology Probabilistic neural network based moving object detection method and an apparatus using the same
CN103700118B (zh) 2013-12-27 2016-06-01 东北大学 基于脉冲耦合神经网络的动目标检测方法
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
CN104217214B (zh) 2014-08-21 2017-09-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN104299245B (zh) 2014-10-13 2017-12-26 深圳先进技术研究院 基于神经网络的增强现实跟踪方法
US9940539B2 (en) * 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN105224942B (zh) 2015-07-09 2020-02-04 华南农业大学 一种rgb-d图像分类方法及系统
CN105740767A (zh) 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
US9802599B2 (en) 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
CN106250812B (zh) 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN106250863B (zh) * 2016-08-09 2019-07-26 北京旷视科技有限公司 对象追踪方法和装置
JP6964234B2 (ja) 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム

Also Published As

Publication number Publication date
RU2018101866A3 (ru) 2019-07-24
GB201801009D0 (en) 2018-03-07
US11062167B2 (en) 2021-07-13
GB2561051A (en) 2018-10-03
US20180211128A1 (en) 2018-07-26
DE102018101318A1 (de) 2018-07-26
RU2701051C2 (ru) 2019-09-24
MX2018000851A (es) 2018-11-09
US10198655B2 (en) 2019-02-05
CN108388834B (zh) 2023-08-22
US20210103755A1 (en) 2021-04-08
US10452946B2 (en) 2019-10-22
CN108388834A (zh) 2018-08-10
US20190122067A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
RU2018101866A (ru) Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков
Sun et al. Ess: Learning event-based semantic segmentation from still images
CN113128271B (zh) 脸部图像的伪造检测
EP3848854B1 (en) Method for acquiring object information and apparatus for performing same
US10460208B1 (en) System and method for generating large simulation data sets for testing an autonomous driver
US11798288B2 (en) System and method for generating a training set for improving monocular object detection
CN107169463B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN115512206A (zh) 适用于低照度环境下的改进版YOLOv5目标检测方法
US20220180624A1 (en) Method and device for automatic identification of labels of an image
EP3624002A3 (en) Training data generating method for image processing, image processing method, and devices thereof
CN113903029B (zh) 一种点云数据中3d框的标注方法和装置
CN110263775B (zh) 图像识别方法、装置、设备和认证方法、装置、设备
WO2020134102A1 (zh) 物品识别方法、装置、售货系统和存储介质
RU2016152172A (ru) Формирование областей фиксации для машинного обучения
JP2018028899A5 (ru)
US20190266439A1 (en) System and method for object labeling
CN104572056B (zh) 一种页面对比的方法及装置
CN109558901B (zh) 一种语义分割训练方法及装置、电子设备、存储介质
CN106598984A (zh) 网络爬虫的数据处理方法及装置
CN110781744A (zh) 一种基于多层次特征融合的小尺度行人检测方法
US20200364872A1 (en) Image segmentation using neural networks
EP3076378A3 (en) Associative memory system and method for flight plan modification
CN109919110A (zh) 视频关注区域检测方法、装置及设备
KR20180020724A (ko) 나선형 신경망 네트워크 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵 생성 방법 및 특징맵 생성 방법
US11615558B2 (en) Computer-implemented method and system for generating a virtual vehicle environment