[go: up one dir, main page]

WO2022179945A1 - Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden - Google Patents

Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden Download PDF

Info

Publication number
WO2022179945A1
WO2022179945A1 PCT/EP2022/054066 EP2022054066W WO2022179945A1 WO 2022179945 A1 WO2022179945 A1 WO 2022179945A1 EP 2022054066 W EP2022054066 W EP 2022054066W WO 2022179945 A1 WO2022179945 A1 WO 2022179945A1
Authority
WO
WIPO (PCT)
Prior art keywords
features
latent representation
information
updated
training patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2022/054066
Other languages
English (en)
French (fr)
Inventor
Ernest-Adrian Scheiber
Istvan Remenyi
Balint SZOLLOSI-NAGY
Zoltan Karasz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN202280030253.6A priority Critical patent/CN117203681A/zh
Priority to US18/547,605 priority patent/US20240233352A1/en
Publication of WO2022179945A1 publication Critical patent/WO2022179945A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the processing of measurement data acquired through physical observation of a scene into information that can be used to operate technical systems, such as vehicles.
  • a vehicle that is at least partially driven automatically has to react to objects and events in its environment.
  • the surroundings of the vehicle are monitored using a large number of different sensors, such as cameras, radar sensors and LIDAR sensors.
  • the measurement data recorded by these different sensors are often merged into a final determination of which objects are present in the vehicle's surroundings.
  • the document WO 2018/188 877 A1 discloses an exemplary method for such a sensor-spanning fusion of measurement data.
  • the invention provides a method for fusing first measurement data acquired by observing a scene using a first measurement modality with second measurement data acquired by observing the same scene using a second measurement modality.
  • the scene may be a traffic scene and a vehicle carrying sensors which capture the first measurement data and the second measurement data can be part of this traffic scene.
  • a first latent representation of features is determined from the first measurement data using a first feature detector.
  • first information about these features is decoded from this first latent representation.
  • a second latent representation of features is determined from the second measurement data. Second information about these features is decoded from this second latent representation using a second decoder.
  • the features determined by the second feature detector can differ from the features determined by the first feature detector.
  • the information about features decoded by the first decoder and/or by the second decoder may further comprise one or more of:
  • features in the first latent representation are modified based on features in the second latent representation according to a first predetermined update function.
  • the first update function is from a distance between the position of the feature decoded from the first latent representation and the position of the feature decoded from the second latent representation.
  • features in the second latent representation are modified based on features in the first latent representation according to a second predetermined update function.
  • the second update function is dependent on a distance between the position of the feature decoded from the second latent representation and the position of the feature decoded from the first latent representation.
  • updated feature information is decoded from the updated first latent representation. Also, updated feature information is decoded from the updated second latent representation using the second decoder.
  • information can "flow" from features in the first latent representation into certain other features in the second latent representation, and from features in the second latent representation into certain other features in the first latent representation. Between which features such a “flow” is permissible and how strong or intense such a flow should be is determined by a "neighborhood relationship" in space between features decoded from the first and second latent representations by the respective first and second decoders. made dependent.
  • the first measurement modality may include acquiring one or more optical images of the scene using at least one camera
  • the second measurement modality includes acquiring LIDAR data and/or radar data of the same scene. This is a particularly advantageous configuration for observing the surroundings of a vehicle. Camera images are particularly useful for identifying classes of objects, but determining the distance to an object from a camera image is relatively difficult.
  • LIDAR data and radar data directly provide the distance to an object, and radar measurements are also very robust against adverse weather conditions.
  • radar and lidar data indicate locations from which some interrogating radiation is reflected. It is more difficult to determine an object's class from such reflections than to determine an object's class from an image of that object. With the method described here, both measurement modalities can “help each other” and exchange information about characteristics.
  • part of an image may be of poor quality because a direct ray of sunlight has forced part of the image sensor into saturation.
  • radar data unaffected by the sunbeam can be used to remove the doubt or ambiguity.
  • image information can be used to fill in the gaps.
  • the first feature detector may comprise a convolution portion of a first neural network configured as a classifier network.
  • the second feature detector may comprise a convolution portion of a second neural network configured as a classifier network.
  • the convolution section comprises at least one convolution layer of the respective neural network, the is designed to process its input by sliding one or more filter kernels.
  • the information flow between the first latent representation and the second latent representation can be applied to any combination of a convolutional layer of the first neural network and a convolutional layer of the second neural network. It is not even necessary for these layers to be in the same place in their respective neural networks. For example, information can also flow between the last convolutional layer of the first neural network and the penultimate layer of the second neural network.
  • the first decoder may comprise a classifier section and/or a regressor section of the first neural network.
  • the second decoder can comprise a classifier section and/or a regressor section of the second neural network.
  • the classifier section and/or the regressor section comprise at least one fully connected layer of the respective neural network. In this way, the improvements made to the respective latent representations are translated into improved accuracy of the results output from the classifier section and/or regressor section.
  • the method branches back to modifying features based on the new distances according to the positions contained in the updated information.
  • the features in the first latent representation and/or in the second latent representation can comprise information about a track or trajectory followed by a moving object.
  • the "tracklet" feature may include information indicative of a piece of a track followed by a moving object. This leads to a certain degree of freedom with regard to the requirement that the first measurement data and the second measurement data must be recorded simultaneously.
  • a camera may require an exposure time that is different than the time required to emit a radar or LIDAR beam and register the reflected beam.
  • the signal processing paths that lead from the respective raw data to the respective measurement data that reach the respective feature detector can also introduce different delays.
  • the predetermined update function depends on the specific application and the goal that is being pursued with the fusion of the measurement data.
  • the use case and goal may determine the dependency of the update function on the distance between feature positions.
  • This dependency is not limited to a linear or continuous dependency.
  • this dependency can also be discontinuous insofar as the updating of a feature is only dependent on a predetermined number K of features in the respective other representation, the positions of which are closest to the position of the feature to be updated.
  • subsets of the features in the latent representations can be preselected. Only the characteristics from these subsets may participate in the mutual updating of characteristics.
  • features that are considered “most promising” according to a metric defined in the context of each measurement modality can participate in the mutual update of features.
  • the effect of each feature on updating another feature may depend on the specific value of the distance between the positions of the features. For example, it is also possible to consider all K "nearest neighbors" of a feature with the same weight for the update.
  • the update function can be a parameterized function, and the parameters of this function can be optimized for a specific goal.
  • the goal can include maximizing a performance function with which the finally decoded information about features is evaluated.
  • the update function can also be trained for any other suitable target.
  • the first update function and the second update function can be different.
  • the update functions may include some kind of translation between these types of features. But even if the nature of the features determined from the first and second measurement data are the same, a concept of directionality can be introduced into the update process by making the first and the second update function different: a change of a feature in the first A one-unit latent representation may cause a related feature in the second latent representation to change by two units, but a one-unit change in one feature in the second latent representation may only cause a related feature in the first latent representation to change by one unit .
  • the first update function and the second update function can be merged into a single update function. That is, the first feature detector and the second feature detector may introduce a layer of abstraction that brings measurement data acquired using vastly different physical contrast mechanisms to a common denominator. For example, images from a variety of vehicle-mounted cameras, radar data, LIDAR data, and possibly other types of measurement data, can be abstracted into features that indicate the presence and properties of objects in the vehicle's surroundings.
  • the first predetermined update function and the second predetermined update function are implemented in at least one common layer of a graphic neural network, GNN. Subsequent iterations can then be implemented using further layers of this GNN. Thus, the entire process of fusing the measurement data can be implemented as a single GNN.
  • This GNN differs from ordinary GNNs at least in that additional processing takes place between adjacent layers to decode updated feature positions from the updated features in the latent representations.
  • an actuation signal is generated based on the information about features that were decoded from the finally obtained first latent representation and/or from the finally obtained second latent representation.
  • a vehicle and/or a quality assurance system and/or a monitoring system and/or a medical imaging system can then be actuated with this actuation signal.
  • the fusion of the measurement data acquired with the first and second measurement modalities results in a refinement of the information decoded from the latent representations.
  • This in turn has the effect that the actuation signal corresponds more precisely to the operating situation of the technical system to be actuated. The action that technical system performs in response to the actuation with this actuation signal is therefore more appropriate in this operating situation.
  • the invention also provides a method of training a trainable update function for use in the method described above.
  • This training method is particularly useful when the trainable update function is implemented in a neural network such as a graphical neural network, GNN. In principle, however, it can be applied to any type of update function whose behavior is marked by trainable parameters.
  • first training patterns of measurement data from the first measurement modality are provided.
  • a first part of these first training examples is marked with information on features.
  • at least a second part of these first training patterns is marked as negative examples that are free of the features to which the markings of the first part of the first training patterns relate.
  • the features can relate to objects, and the negative examples can be examples that are free of those objects.
  • second training patterns of measurement data of the second measurement modality are provided. At least a first part of these second training patterns is marked with information about features. Preferably, at least a second part of the second training patterns is marked as negative examples that are free of the features to which the markings of the first part of the second training patterns relate.
  • the features can relate to objects, and the negative examples can be examples that are free of those objects.
  • First training patterns and second training patterns are merged using the method described above. As previously discussed, this results in a final updated first latent representation and a final updated second latent representation.
  • Information about features decoded from the final updated first latent representation obtained from first training patterns is compared to the markers associated with those first training patterns. That is, when a first training pattern is associated with a particular marker, the information decoded from the final updated first latent representation should match that marker. If the first training example is a negative example devoid of certain features, the decoding from the finally updated first latent representation should return null information about those features. That is, the decoding should not return information about features that are not actually present, such as a type, dimensions, or speed of an object that is not present.
  • information about features decoded from the final updated second latent representation obtained from second training patterns is compared to the markers associated with those second training patterns. That is, if a second training pattern is associated with a particular marker, the information decoded from the final updated second latent representation should match that marker. If the second training example is a negative example devoid of certain features, the decoding from the finally updated first latent representation should return null information about those features.
  • the results of these comparisons are evaluated using a predetermined cost function.
  • Parameters that characterize the behavior of the trainable update function are optimized with the aim that the fusion of further first training patterns and second training patterns leads to a better evaluation by the cost function. This optimization can continue until a predetermined criterion is met, such as a maximum number of epochs in which all first and second training patterns have been traversed once, a threshold value of the evaluation by the cost function, or a convergence of the training that turns itself into a stagnation of the evaluation manifested by the cost function.
  • a predetermined criterion such as a maximum number of epochs in which all first and second training patterns have been traversed once, a threshold value of the evaluation by the cost function, or a convergence of the training that turns itself into a stagnation of the evaluation manifested by the cost function.
  • Neural networks such as graphical neural networks, GNN, for implementing the update function have a particularly high power to generalize in this way.
  • the methods can be fully or partially computer-implemented. They can therefore be implemented in software that updates one or more computers with the functionality of the method.
  • the invention therefore also provides a computer program having machine-readable instructions which, when executed by one or more computers, result in the one or more computers performing one of the methods described above.
  • the invention also provides a non-transitory machine-readable storage medium and/or a download product with the computer program.
  • a download product is a form of delivery of the computer program that can be sold online, for example, to run immediately.
  • One or more computers can also be equipped with the computer program, the non-transitory machine-readable storage medium and/or the download product.
  • FIG. 1 shows an exemplary embodiment of the method 100 for merging first measurement data 1 and second measurement data 2;
  • Figure 2 illustrates the iterative development of latent representations 11, 12;
  • FIG. 3 shows an exemplary embodiment of the method 200 for training a trainable update function 1c, 2c;
  • Figure 4 illustrates the training with positive and negative examples.
  • Figure 1 is a schematic flowchart of the method 100 for merging first measurement data 1 and second measurement data 2.
  • a first latent representation 11 is obtained from the first measurement data 1 using a first feature detector 1a.
  • first information 12 about features from the first latent representation 11 is decoded using a first decoder 1b.
  • the first feature detector la and the first decoder lb can, for example, be taken from a first classifier network 3 that is conventionally used to classify the information 12 from the first measurement data 1 .
  • the information 12 includes at least positions 12a of features in space.
  • a second latent representation 21 is obtained from the second measurement data 2 using a second feature detector 2a.
  • second feature information 22 is decoded from the second latent representation 21 using a second decoder 2b.
  • the second feature detector 2a and the second decoder 2b can be taken from a second classifier network 4, for example, which is conventionally used to classify the information 22 from the second measurement data 2.
  • step 150 features in the first latent representation 11 are modified based on features in the second latent representation 21 .
  • This Modification is controlled by a first predetermined update function lc. Whether the first update function lc changes a feature in the first latent representation, and if so to what extent, depends on a distance between the position 12a of the feature decoded from the first latent representation 11 and the position 22a of the feature decoded from the second latent representation Representation 21 decoded feature.
  • the result of the modification is an updated first latent representation 11*.
  • step 160 features in the second latent representation 21 are modified based on features in the first latent representation 11 .
  • This modification is controlled by a second predetermined update function 2c. Whether the second update function 2c changes a feature in the second latent representation, and if so to what extent, depends on a distance between the position 22a of the feature decoded from the second latent representation 21 and the position 12a of the feature decoded from the first latent representation Representation 11 decoded feature.
  • the result of the modification is an updated second latent representation 21*.
  • step 170 updated feature information 12* is decoded from the updated first latent representation 11* using the first decoder 1b.
  • updated feature information 22* is decoded from the updated second latent representation 21* using the second decoder 2b.
  • the updated latent representations 11*, 12* can then be further refined iteratively according to steps 150 and 160 until a predetermined termination criterion is reached.
  • an actuation signal 190a can be generated based on the updated information 12* and/or 22*.
  • a vehicle 60 and/or a quality assurance system 70 and/or a monitoring system 80 and/or a medical imaging system 90 can be actuated with this actuation signal.
  • FIG. 2 illustrates the iterative updating of the latent representations 11, 21 and the decoded information 12, 22.
  • the update functions lc and 2c are replaced by layers A,
  • the first latent representation 11 is used to update the second latent representation 21 to a new second latent representation 21* from which updated information 22* can be decoded.
  • the second latent representation 21 is used to update the first latent representation 11 to a new first latent representation 11* from which updated information 12* can be decoded.
  • the updated second latent representation 22* is used to update the updated first latent representation 12* to a further updated first latent representation 12** from which further updated information 11** is decoded can become.
  • the updated first latent representation 11* is used to update the updated second latent representation 21* to a further updated second latent representation 21** from which further updated information 22** can be decoded.
  • a finally updated first latent representation 11*** is generated here, from which the final information 12*** can be decoded.
  • a final updated second latent representation 21*** is generated from which the final information 22*** can be decoded.
  • Figure 3 is a schematic flow diagram of an exemplary embodiment of the method 200 for training a trainable update function lc, 2c for use in the method 100 described above.
  • first training patterns 1# of the first measurement data 1 of the first measurement modality are provided. At least a first part of these first training patterns 1# is marked with information 5 about features that should ideally be recognized in these patterns 1#. Optional has at least a second part of the first training patterns 1# receive a marker 6 as negative examples that are free of the features to which the markers 5 relate.
  • second training patterns 2# of the second measurement data 2 of the second measurement modality are provided. At least a first part of these second training patterns 2# is marked with information 7 about features that should ideally be recognized in these examples 2#. Optionally, at least a second part of the second training patterns 2# has received a mark 8 as negative examples that are free of the features to which the labels 7 refer.
  • step 230 the first training patterns 1# and the second training patterns 2#, which relate to the same situation (i.e., which relate to the same scene and point in time or are logically connected in a sequence of track segments), using the method 100 , as previously described, merged.
  • step 240 the first decoded information 12*, which was ultimately derived for the first measurement modality, is compared with the markings 5, 6 of the first training pattern 1#, yielding a result 240a.
  • step 250 the decoded information 22*, which was ultimately derived for the second measurement modality, is compared with the markings 7, 8 of the second training pattern 2#, yielding a result 250a.
  • the results 240a and 250a are evaluated in step 260 according to a predetermined cost function. Based on the assessment 260a, in step 270 parameters characterizing the behavior of the trainable update function 1c, 2c are optimized.
  • Training patterns 1# that actually contain features are assigned a marker 5 that encodes the information that should ideally be decoded from this example 1#.
  • a special marker 6 is assigned that encodes the lack of features. That is, either no information 12* should be decoded from a negative training pattern 1#, or this information 12* should explicitly indicate the absence of features.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren (100) zur Fusion von ersten Messdaten (1), umfassend die Schritte: - Bestimmen (110), aus den ersten Messdaten (1), unter Verwendung eines ersten Merkmalsdetektors (1a), einer ersten latente Darstellung (11) von Merkmalen; - Dekodieren (120), aus der ersten latenten Darstellung (11), unter Verwendung eines ersten Dekodierers (1b), von ersten Informationen (12) über Merkmale, wobei die ersten Informationen (12) mindestens Positionen (12a) der Merkmale im Raum umfassen; - Bestimmen (130), aus den zweiten Messdaten (2), unter Verwendung eines zweiten Merkmalsdetektors (2a), einer zweiten latenten Darstellung (21) von Merkmalen; - Dekodieren (140), aus der zweiten latenten Darstellung (21), unter Verwendung eines zweiten Dekodierers (2b), von zweiten Informationen (22) über Merkmale, wobei die zweiten Informationen (22) mindestens Positionen (22a) der Merkmale im Raum umfasst; - Modifizieren (150) von Merkmalen in der ersten latenten Darstellung (11) basierend auf Merkmalen in der zweiten latenten Darstellung (21) gemäß einer ersten vorbestimmten, abstandsabhängigen Aktualisierungsfunktion (1c); - Modifizieren (160) von Merkmalen in der zweiten latenten Darstellung (21) basierend auf Merkmalen in der ersten latenten Darstellung (11) gemäß einer zweiten vorbestimmten, abstandsabhängigen Aktualisierungsfunktion (2c); - Dekodieren (170), unter Verwendung des ersten Dekodierers (1b), von aktualisierten Informationen (12*) über Merkmale aus der aktualisierten ersten latenten Darstellung (11*); und - Dekodieren (180), unter Verwendung des zweiten Dekodierers (2b), von aktualisierten Informationen (22*) über Merkmale aus der aktualisierten zweiten latenten Darstellung (21*).

Description

Beschreibung
Titel:
Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
Die vorliegende Erfindung betrifft die Verarbeitung von Messdaten, die durch physikalische Beobachtung einer Szene in Informationen erfasst wurden, die zum Betätigen technischer Systeme, wie beispielsweise Fahrzeuge, verwendet werden können.
Hintergrund
Ein Fahrzeug, das zumindest teilweise automatisiert gefahren wird, muss auf Objekte und Ereignisse in seiner Umgebung reagieren. Zu diesem Zweck wird die Umgebung des Fahrzeugs unter Verwendung einer Vielzahl von unterschiedlichen Sensoren, wie beispielsweise Kameras, Radarsensoren und LIDAR-Sensoren, überwacht. Die von diesen unterschiedlichen Sensoren erfassten Messdaten werden häufig zu einer finalen Bestimmung, welche Objekte in der Umgebung des Fahrzeugs vorhanden sind, fusioniert. Das Dokument WO 2018/188 877 Al offenbart ein beispielhaftes Verfahren für eine solche sensorübergreifende Fusion von Messdaten.
Offenbarung der Erfindung
Die Erfindung stellt ein Verfahren zur Fusion von ersten Messdaten bereit, die durch Beobachtung einer Szene unter Verwendung einer ersten Messmodalität erfasst wurden, mit zweiten Messdaten, die durch Beobachtung derselben Szene unter Verwendung einer zweiten Messmodalität erfasst wurden. Die Szene kann beispielsweise eine Verkehrsszene sein, und ein Fahrzeug, das Sensoren trägt, die die ersten Messdaten und die zweiten Messdaten erfassen, kann Teil dieser Verkehrsszene sein.
Im Verlauf des Verfahrens wird unter Verwendung eines ersten Merkmalsdetektors eine erste latente Darstellung von Merkmalen aus den ersten Messdaten bestimmt. Unter Verwendung eines ersten Dekodierers werden erste Informationen über diese Merkmale aus dieser ersten latenten Darstellung dekodiert.
Ebenso wird unter Verwendung eines zweiten Merkmalsdetektors eine zweite latente Darstellung von Merkmalen aus den zweiten Messdaten bestimmt. Unter Verwendung eines zweiten Dekodierers werden zweite Informationen über diese Merkmale aus dieser zweiten latenten Darstellung dekodiert. Die von dem zweiten Merkmalsdetektor bestimmten Merkmale können sich von den von dem ersten Merkmalsdetektor bestimmten Merkmalen unterscheiden.
Insbesondere können zusätzlich zu den Positionen von Merkmalen im Raum die Informationen über Merkmale, die von dem ersten Dekodierer und/oder von dem zweiten Dekodierer dekodiert werden, ferner eines oder mehreres umfassen von:
• Klassifizierungen,
• Konfidenzen von Klassifizierungen,
• Abmessungen, und
• Orientierungen von Objekten, die durch die Merkmale in der ersten bzw. zweiten latenten Darstellung dargestellt werden. Dies sind Größen, die für die Beurteilung der Szene von besonderer Bedeutung sind, um daraus Schlussfolgerungen zu ziehen. Insbesondere sind Klassifizierungen von Objekten und die Konfidenz solcher Klassifizierungen wichtig, um eine semantische Bedeutung der Szene zu bestimmen. Abmessungen und Orientierungen sind besonders wichtig, um die zukünftige Entwicklung von Verkehrssituationen vorherzusagen.
Im Verlauf des Verfahrens werden Merkmale in der ersten latenten Darstellung basierend auf Merkmalen in der zweiten latenten Darstellung gemäß einer ersten vorbestimmten Aktualisierungsfunktion modifiziert. Dies erzeugt eine aktualisierte erste latente Darstellung. Die erste Aktualisierungsfunktion ist von einem Abstand zwischen der Position des aus der ersten latenten Darstellung dekodierten Merkmals und der Position des aus der zweiten latenten Darstellung dekodierten Merkmals abhängig.
Ebenso werden Merkmale in der zweiten latenten Darstellung basierend auf Merkmalen in der ersten latenten Darstellung gemäß einer zweiten vorbestimmten Aktualisierungsfunktion modifiziert. Dies erzeugt eine aktualisierte zweite latente Darstellung. Die zweite Aktualisierungsfunktion ist von einem Abstand zwischen der Position des aus der zweiten latenten Darstellung dekodierten Merkmals und der Position des aus der ersten latenten Darstellung dekodierten Merkmals abhängig.
Unter Verwendung des ersten Dekodierers werden aktualisierte Informationen über Merkmale aus der aktualisierten ersten latenten Darstellung dekodiert. Ebenso werden unter Verwendung des zweiten Dekodierers aktualisierte Informationen über Merkmale aus der aktualisierten zweiten latenten Darstellung dekodiert.
Mit anderen Worten, Informationen können von Merkmalen in der ersten latenten Darstellung in bestimmte andere Merkmale in der zweiten latenten Darstellung, und von Merkmalen in der zweiten latenten Darstellung in bestimmte andere Merkmale in der ersten latenten Darstellung “fließen”. Zwischen welchen Merkmalen ein solcher “Fluss” zulässig ist und wie stark oder intensiv ein solcher Fluss sein sollte, wird von einer “Nachbarschaftsbeziehung” im Raum zwischen Merkmalen, die von dem jeweiligen ersten und zweiten Dekodierer aus den ersten und zweiten latenten Darstellungen dekodiert werden, abhängig gemacht.
Die Erfinder haben herausgefunden, dass auf diese Weise, wenn ein und dieselbe Szene gleichzeitig unter Verwendung von zwei verschiedenen Messmodalitäten beobachtet wird, synergistische Effekte zwischen diesen Messmodalitäten ausgenutzt werden können. Das heißt, jede Messmodalität kann ihre spezifischen Stärken beitragen, und am Ende werden genauere Informationen aus den final aktualisierten latenten Darstellungen dekodiert. Beispielsweise kann in einem wichtigen Anwendungsfall die erste Messmodalität Erfassen eines oder mehrerer optischer Bilder der Szene unter Verwendung mindestens einer Kamera umfassen, und die zweite Messmodalität umfasst Erfassen von LIDAR-Daten und/oder Radardaten derselben Szene. Dies ist eine besonders vorteilhafte Konfiguration zur Beobachtung der Umgebung eines Fahrzeugs. Kamerabilder sind besonders nützlich, um Klassen von Objekten zu identifizieren, aber es ist relativ schwierig, den Abstand zu einem Objekt aus einem Kamerabild zu bestimmen. Auch Dunkelheit oder widrige Wetterbedingungen können die Qualität eines Kamerabildes beeinträchtigen. LIDAR-Daten und Radardaten liefern direkt den Abstand zu einem Objekt, und Radarmessungen sind auch gegen widrige Wetterbedingungen sehr robust. Radar- und LIDAR-Daten zeigen jedoch Orte an, von denen etwas Abfragestrahlung reflektiert wird. Es ist schwieriger, die Klasse eines Objekts aus solchen Reflexen zu bestimmen, als die Klasse eines Objekts aus einem Bild dieses Objekts zu bestimmen. Mit der hier beschriebenen Verfahren können sich beide Messmodalitäten “gegenseitig helfen” und Informationen über Merkmale austauschen.
Dies kann besonders hilfreich sein, wenn eine der Messmodalitäten nicht immer gleichmäßig funktioniert. Beispielsweise kann ein Teil eines Bildes von nur geringer Qualität sein, da ein direkter Sonnenstrahl einen Teil des Bildsensors in die Sättigung gezwungen hat. Das Ergebnis ist, dass bei der Erkennung von Merkmalen aus Bildern Zweifel oder Unklarheiten auftreten. In dieser Situation können Radardaten verwendet werden, die nicht von dem Sonnenstrahl beeinflusst werden, um den Zweifel oder die Mehrdeutigkeit zu beseitigen. Wenn umgekehrt einige Radarreflexe verdeckt werden, weil die Radarstrahlen auf ein Objekt treffen, das aus einem sehr weichen Material besteht (wie beispielsweise ein Schaumstoffteil, oder ein Pelzmantel eines Fußgängers), können Bildinformationen verwendet werden, um die Lücken zu füllen.
Der erste Merkmalsdetektor kann einen Faltungsabschnitt eines ersten neuronalen Netzes umfassen, das als Klassifikatornetz gestaltet ist. Ebenso kann der zweite Merkmalsdetektor einen Faltungsabschnitt eines zweiten neuronalen Netzes umfassen, das als Klassifikatornetz gestaltet ist. Der Faltungsabschnitt umfasst mindestens eine Faltungsschicht des jeweiligen neuronalen Netzes, die dazu gestaltet ist, ihre Eingabe durch gleitendes Anwenden eines oder mehrerer Filterkerne zu verarbeiten. Wenn ein Merkmaldetektor auf diese Weise organisiert ist, erkennt die erste Faltungsschicht wahrscheinlich sehr primitive Merkmale, und jede aufeinanderfolgende Faltungsschicht kann komplexere Merkmale erkennen, die auf den zuvor erkannten Merkmalen aufbauen. Wenn das neuronale Netz mehrere Faltungsschichten umfasst, die jeweils eine latente Darstellung erzeugen, kann der Informationsfluss zwischen der ersten latenten Darstellung und der zweiten latenten Darstellung auf eine beliebige Kombination einer Faltungsschicht des ersten neuronalen Netzes und einer Faltungsschicht des zweiten neuronalen Netzes angewendet werden. Es ist nicht einmal erforderlich, dass sich diese Schichten an demselben Ort in den jeweiligen neuronalen Netzen befinden. Beispielsweise können Informationen auch zwischen der letzten Faltungsschicht des ersten neuronalen Netzes und der vorletzten Schicht des zweiten neuronalen Netzes fließen.
Der erste Dekodierer kann einen Klassifikatorabschnitt und/oder einen Regressorabschnitt des ersten neuronalen Netzes umfassen. Ebenso kann der zweite Dekodierer einen Klassifikatorabschnitt und/oder einen Regressorabschnitt des zweiten neuronalen Netzes umfassen. Der Klassifikatorabschnitt und/oder der Regressorabschnitt umfassen mindestens eine vollständig verbundene Schicht des jeweiligen neuronalen Netzes. Auf diese Weise werden die an den jeweiligen latenten Darstellungen vorgenommenen Verbesserungen in eine verbesserte Genauigkeit der von dem Klassifikatorabschnitt und/oder Regressorabschnitt ausgegebenen Ergebnisse übersetzt.
In einer besonders vorteilhaften Ausführungsform verzweigt sich das Verfahren, nach dem Dekodieren von aktualisierten Informationen über Merkmale aus den aktualisierten ersten und zweiten Darstellungen, zurück zu einem Modifizieren von Merkmalen basierend auf den neuen Abständen gemäß den Positionen, die in den aktualisierten Informationen enthalten sind. Das heißt, der Informationsaustausch zwischen Merkmalen in der ersten latenten Darstellung und Merkmalen in der zweiten latenten Darstellung kann mehrfach iterativ durchgeführt werden. Dies kann fortgesetzt werden, bis ein vorbestimmtes Abbruchkriterium, wie beispielsweise eine feste Anzahl von Iterationen oder eine bestimmte Konvergenz der modifizierten latenten Darstellungen, erfüllt ist. Wenn das Abbruchkriterium erfüllt ist, können die dann erhaltenen dekodierten aktualisierten Informationen über Merkmale aus den jeweiligen aktualisierten latenten Darstellungen als die finalen Erkennungen, die aus den Messdaten der jeweiligen Messmodalität abgeleitet werden, verwendet werden.
In einer weiteren besonders vorteilhaften Ausführungsform können die Merkmale in der ersten latenten Darstellung und/oder in der zweiten latenten Darstellung Informationen über eine Spur oder Trajektorie umfassen, der ein sich bewegendes Objekt folgt. Beispielsweise können die Merkmale “Spurstück”- (“Tracklet”) Informationen umfassen, die ein Stück einer Spur anzeigen, dem ein sich bewegendes Objekt folgt. Dies führt zu einem gewissen Freiheitsgrad in Bezug auf die Anforderung, dass die ersten Messdaten und die zweiten Messdaten gleichzeitig erfasst werden müssen. In Abhängigkeit von dem Messaufbau kann es schwierig sein, erste Messdaten und zweite Messdaten zu erhalten, die die Szene genau zu dem gleichen Zeitpunkt darstellen. Beispielsweise benötigt eine Kamera möglicherweise eine Belichtungszeit, die sich von der Zeit unterscheidet, die erforderlich ist, um einen Radar- oder LIDAR- Strahl zu emittieren und den reflektierten Strahl zu registrieren. Auch die Signalverarbeitungspfade, die von den jeweiligen Rohdaten zu den jeweiligen Messdaten führen, die in den jeweiligen Merkmalsdetektor gelangen, können unterschiedliche Verzögerungen einführen.
Die vorbestimmte Aktualisierungsfunktion ist abhängig von dem konkreten Anwendungsfall und dem Ziel, das mit der Fusion der Messdaten verfolgt wird. Insbesondere können der Anwendungsfall und das Ziel die Abhängigkeit der Aktualisierungsfunktion von dem Abstand zwischen Positionen von Merkmalen bestimmen. Diese Abhängigkeit ist nicht auf eine lineare oder kontinuierliche Abhängigkeit beschränkt. Beispielsweise kann diese Abhängigkeit auch insofern diskontinuierlich sein, als die Aktualisierung eines Merkmals nur von einer vorbestimmten Anzahl K von Merkmalen in der jeweiligen anderen Darstellung, deren Positionen der Position des zu aktualisierenden Merkmals am nächsten liegen, abhängig ist. Auch können, bevor die “nächsten Nachbarn” auf diese Weise bestimmt werden, Teilmengen der Merkmale in den latenten Darstellungen vorausgewählt werden. Nur die Merkmale aus diesen Teilmengen dürfen an der gegenseitigen Aktualisierung von Merkmalen teilnehmen. Beispielsweise können nur Merkmale an der gegenseitigen Aktualisierung von Merkmalen teilnehmen, die gemäß einer im Kontext jeder Messmodalität definierten Metrik als “am vielversprechendsten” angesehen werden. Nachdem die Merkmale vorausgewählt und/oder mit ihren nächsten Nachbarn verbunden wurden, kann die Auswirkung jedes Merkmals auf die Aktualisierung eines anderen Merkmals ferner von dem konkreten Wert des Abstands zwischen den Positionen der Merkmale abhängig sein. Es ist beispielsweise auch möglich, alle K “nächste Nachbarn” eines Merkmals mit dem gleichen Gewicht für die Aktualisierung zu berücksichtigen.
Die Aktualisierungsfunktion kann beispielsweise eine parametrisierte Funktion sein, und die Parameter dieser Funktion können für ein bestimmtes Ziel optimiert sein. Beispielsweise kann das Ziel eine Maximierung einer Leistungsfunktion umfassen, mit der die final dekodierten Informationen über Merkmale ausgewertet werden. Die Aktualisierungsfunktion kann aber auch für jedes andere geeignete Ziel trainiert werden.
Die erste Aktualisierungsfunktion und die zweite Aktualisierungsfunktion können unterschiedlich sein. Wenn sich beispielsweise die Natur der Merkmale, die der erste Merkmalsdetektor aus den ersten Messdaten extrahiert, stark von der Natur der Merkmale unterscheidet, die der zweite Merkmalsdetektor aus den zweiten Messdaten extrahiert, können die Aktualisierungsfunktionen eine Art Übersetzung zwischen diesen Arten von Merkmalen enthalten. Aber selbst wenn die Natur der Merkmale, die aus den ersten und zweiten Messdaten bestimmt werden, gleich ist, kann ein Konzept von Direktionalität in den Aktualisierungsprozess eingeführt werden, indem die erste und die zweite Aktualisierungsfunktion unterschiedlich gemacht werden: Eine Änderung eines Merkmals in der ersten latenten Darstellung um eine Einheit kann eine Änderung eines verbundenen Merkmals in der zweiten latenten Darstellung um zwei Einheiten bewirken, aber eine Änderung eines Merkmals in der zweiten latenten Darstellung um eine Einheit kann nur eine Änderung eines verbundenen Merkmals in der ersten latenten Darstellung um eine Einheit bewirken. Wenn der erste Merkmalsdetektor und der zweite Merkmalsdetektor ungefähr die gleiche Art von Merkmalen aus den jeweiligen Messdaten extrahieren, können die erste Aktualisierungsfunktion und die zweite Aktualisierungsfunktion zu einer einzigen Aktualisierungsfunktion zusammengeführt werden. Das heißt, der erste Merkmalsdetektor und der zweite Merkmalsdetektor können eine Abstraktionsschicht einführen, die Messdaten, die unter Verwendung sehr unterschiedlicher physikalischer Kontrastmechanismen erfasst wurden, auf einen gemeinsamen Nenner bringt. Beispielsweise können Bilder von einer Vielzahl von an einem Fahrzeug montierten Kameras, Radardaten, LIDAR-Daten, und möglicherweise noch weitere Arten von Messdaten, zu Merkmalen abstrahiert werden, die das Vorhandensein und die Eigenschaften von Objekten in der Umgebung des Fahrzeugs anzeigen.
In einer besonders vorteilhaften Ausführungsform werden die erste vorbestimmte Aktualisierungsfunktion und die zweite vorbestimmte Aktualisierungsfunktion in mindestens einer gemeinsamen Schicht eines graphischen neuronalen Netzes, GNN, realisiert. Aufeinanderfolgende Iterationen können dann unter Verwendung weiterer Schichten dieses GNN realisiert werden. Somit kann der gesamte Prozess des Fusionierens der Messdaten als ein einziges GNN implementiert werden. Dieses GNN unterscheidet sich von gewöhnlichen GNNs zumindest darin, dass zwischen benachbarten Schichten eine zusätzliche Verarbeitung stattfindet, um aktualisierte Positionen von Merkmalen aus den aktualisierten Merkmalen in den latenten Darstellungen zu dekodieren.
In einer weiteren besonders vorteilhaften Ausführungsform wird basierend auf den Informationen über Merkmale, die aus der final erhaltenen ersten latenten Darstellung und/oder aus der final erhaltenen zweiten latenten Darstellung dekodiert wurden, ein Betätigungssignal generiert. Ein Fahrzeug und/oder ein Qualitätssicherungssystem und/oder ein Überwachungssystem und/oder ein medizinisches Bildgebungssystem können dann mit diesem Betätigungssignal betätigt werden. Wie zuvor diskutiert, führt die Fusion der Messdaten, die mit der ersten und zweiten Messmodalität erfasst wurden, zu einer Verfeinerung der Informationen, die aus den latenten Darstellungen dekodiert wurden. Dies bewirkt wiederum, dass das Betätigungssignal genauer mit der Betriebssituation des zu betätigenden technischen Systems übereinstimmt. Die Aktion, die das technische System als Reaktion auf die Betätigung mit diesem Betätigungssignal ausführt, ist daher in dieser Betriebssituation angemessener.
Die Erfindung stellt auch ein Verfahren zum Trainieren einer trainierbaren Aktualisierungsfunktion zur Verwendung in dem oben beschriebenen Verfahren bereit. Dieses Trainingsverfahren ist besonders nützlich, wenn die trainierbare Aktualisierungsfunktion in einem neuronalen Netz, wie beispielsweise einem graphischen neuronalen Netz, GNN, implementiert wird. Grundsätzlich ist es aber auf jede Art von Aktualisierungsfunktion, deren Verhalten durch trainierbare Parameter markiert ist, anwendbar.
Im Verlauf dieses Verfahrens werden erste Trainingsmuster von Messdaten der ersten Messmodalität bereitgestellt. Ein erster Teil dieser ersten Trainingsbeispiele wird mit Informationen zu Merkmalen markiert. Vorzugsweise wird mindestens ein zweiter Teil dieser ersten Trainingsmuster als negative Beispiele markiert, die frei von den Merkmalen sind, auf die sich die Markierungen des ersten Teils der ersten Trainingsmuster beziehen. Beispielsweise können sich die Merkmale auf Objekte beziehen, und die negativen Beispiele können Beispiele sein, die frei von diesen Objekten sind.
Ebenso werden zweite Trainingsmuster von Messdaten der zweiten Messmodalität bereitgestellt. Mindestens ein erster Teil dieser zweiten Trainingsmuster wird mit Informationen zu Merkmalen markiert. Vorzugsweise wird mindestens ein zweiter Teil der zweiten Trainingsmuster als negative Beispiele markiert, die frei von den Merkmalen sind, auf die sich die Markierungen des ersten Teils der zweiten Trainingsmuster beziehen. Beispielsweise können sich die Merkmale auf Objekte beziehen, und die negativen Beispiele können Beispiele sein, die frei von diesen Objekten sind.
Erste Trainingsmuster und zweite Trainingsmuster werden mit dem zuvor beschriebenen Verfahren fusioniert. Wie zuvor diskutiert, führt dies zu einer final aktualisierten ersten latenten Darstellung und einer final aktualisierten zweiten latenten Darstellung. Informationen über Merkmale, die aus der final aktualisierten ersten latenten Darstellung, die aus ersten Trainingsmustern erhalten wurde, dekodiert wurden, werden mit den Markierungen verglichen, die diesen ersten Trainingsmustern zugeordnet sind. Das heißt, wenn ein erstes Trainingsmuster einer bestimmten Markierung zugeordnet wird, sollten die Informationen, die aus der final aktualisierten ersten latenten Darstellung dekodiert wurden, mit dieser Markierung übereinstimmen. Wenn das erste Trainingsbeispiel ein negatives Beispiel frei von bestimmten Merkmalen ist, sollte die Dekodierung aus der final aktualisierten ersten latenten Darstellung Nullinformationen über diese Merkmale zurückgeben. Das heißt, die Dekodierung sollte keine Informationen über Merkmale zurückgeben, die tatsächlich nicht vorhanden sind, wie beispielsweise ein Typ, Abmessungen oder eine Geschwindigkeit eines Objekts, das nicht vorhanden ist.
Ebenso werden Informationen über Merkmale, die aus der final aktualisierten zweiten latenten Darstellung, die aus zweiten Trainingsmustern erhalten wurde, dekodiert wurden, mit den Markierungen verglichen, die diesen zweiten Trainingsmustern zugeordnet sind. Das heißt, wenn ein zweites Trainingsmuster einer bestimmten Markierung zugeordnet ist, sollten die aus der final aktualisierten zweiten latenten Darstellung dekodierten Informationen mit dieser Markierung übereinstimmen. Wenn das zweite Trainingsbeispiel ein negatives Beispiel frei von bestimmten Merkmalen ist, sollte die Dekodierung aus der final aktualisierten ersten latenten Darstellung Nullinformationen über diese Merkmale zurückgeben.
Die Ergebnisse dieser Vergleiche werden mittels einer vorbestimmten Kostenfunktion bewertet. Parameter, die das Verhalten der trainierbaren Aktualisierungsfunktion charakterisieren, werden mit dem Ziel optimiert, dass die Fusion weiterer erster Trainingsmuster und zweiter Trainingsmuster zu einer besseren Bewertung durch die Kostenfunktion führt. Diese Optimierung kann fortgesetzt werden, bis ein vorbestimmtes Kriterium erfüllt ist, wie beispielsweise eine maximale Anzahl von Epochen, in denen alle ersten und zweiten Trainingsmuster einmal durchlaufen wurden, ein Schwellenwert der Bewertung durch die Kostenfunktion, oder eine Konvergenz des Trainings, die sich selbst in einer Stagnation der Bewertung durch die Kostenfunktion manifestiert. Nachdem die Aktualisierungsfunktion auf diese Weise an Trainingsmustern mit einer ausreichenden Variabilität trainiert wurde, kann erwartet werden, dass sie die gegenseitige Aktualisierung von Merkmalen koordiniert, die aus einer großen Bandbreite von verborgenen ersten Messdaten und zweiten Messdaten erhalten werden. Neuronale Netze, wie beispielsweise graphische neuronale Netze, GNN, zur Implementierung der Aktualisierungsfunktion haben eine besonders hohe Leistungsfähigkeit, auf diese Weise zu verallgemeinern.
Die Verfahren können ganz oder teilweise computerimplementiert sein. Sie können daher in einer Software verwirklicht sein, die einen oder mehrere Computer mit der Funktionalität des Verfahrens aktualisiert. Die Erfindung stellt daher auch ein Computerprogramm mit maschinenlesbaren Anweisungen bereit, die, wenn sie von einem oder mehreren Computern ausgeführt werden, dazu führen, dass der eine oder die mehreren Computer eines der oben beschriebenen Verfahren ausführen. Die Erfindung stellt auch ein nichtflüchtiges maschinenlesbares Speichermedium und/oder ein Downloadprodukt mit dem Computerprogramm bereit. Ein Downloadprodukt ist eine Form der Auslieferung des Computerprogramms, das beispielsweise zur sofortigen Ausführung online verkauft werden kann.
Ein oder mehrere Computer können auch mit dem Computerprogramm, dem nichtflüchtigen maschinenlesbaren Speichermedium und/oder dem Downloadprodukt ausgestattet sein.
Im Folgenden werden weitere Verbesserungen der Erfindung in Kombination mit einer Beschreibung bevorzugter Ausführungsformen unter Verwendung von Figuren ausführlich beschrieben.
Bevorzugte Ausführungsformen
Die Figuren zeigen:
Figur 1 eine beispielhafte Ausführungsform des Verfahrens 100 zur Fusion von ersten Messdaten 1 und zweiten Messdaten 2; Figur 2 eine Veranschaulichung der iterativen Entwicklung latenter Darstellungen 11, 12;
Figur 3 eine beispielhafte Ausführungsform des Verfahrens 200 zum Trainieren einer trainierbaren Aktualisierungsfunktion lc, 2c;
Figur 4 eine Veranschaulichung des Trainings mit positiven und negativen Beispielen.
Figur 1 ist ein schematisches Flussdiagramm des Verfahrens 100 zur Fusion von ersten Messdaten 1 und zweiten Messdaten 2.
In Schritt 110 wird eine erste latente Darstellung 11 aus den ersten Messdaten 1 unter Verwendung eines ersten Merkmalsdetektors la erhalten. In Schritt 120 werden erste Informationen 12 über Merkmale aus der ersten latenten Darstellung 11 unter Verwendung eines ersten Dekodierers lb dekodiert. Der erste Merkmalsdetektor la und der erste Dekodierer lb können beispielsweise einem ersten Klassifikatornetz 3 entnommen sein, das herkömmlicherweise zum Klassifizieren der Informationen 12 aus den ersten Messdaten 1 verwendet wird. Die Informationen 12 umfassen mindestens Positionen 12a von Merkmalen im Raum.
Ebenso wird in Schritt 130 eine zweite latente Darstellung 21 aus den zweiten Messdaten 2 unter Verwendung eines zweiten Merkmalsdetektors 2a erhalten. In Schritt 140 werden zweite Informationen 22 über Merkmale aus der zweiten latenten Darstellung 21 unter Verwendung eines zweiten Dekodierers 2b dekodiert. Der zweite Merkmalsdetektor 2a und der zweite Dekodierer 2b können beispielsweise einem zweiten Klassifikatornetz 4 entnommen sein, das herkömmlicherweise zum Klassifizieren der Informationen 22 aus den zweiten Messdaten 2 verwendet wird.
In Schritt 150 werden Merkmale in der ersten latenten Darstellung 11 basierend auf Merkmalen in der zweiten latenten Darstellung 21 modifiziert. Diese Modifizierung wird durch eine erste vorbestimmte Aktualisierungsfunktion lc gesteuert. Ob die erste Aktualisierungsfunktion lc ein Merkmal in der ersten latenten Darstellung ändert, und, falls ja, in welchem Ausmaß, ist abhängig von einem Abstand zwischen der Position 12a des aus der ersten latenten Darstellung 11 dekodierten Merkmals und der Position 22a des aus der zweiten latenten Darstellung 21 dekodierten Merkmals. Das Ergebnis der Modifizierung ist eine aktualisierte erste latente Darstellung 11*.
Ebenso werden in Schritt 160 Merkmale in der zweiten latenten Darstellung 21 basierend auf Merkmalen in der ersten latenten Darstellung 11 modifiziert. Diese Modifizierung wird durch eine zweite vorbestimmte Aktualisierungsfunktion 2c gesteuert. Ob die zweite Aktualisierungsfunktion 2c ein Merkmal in der zweiten latenten Darstellung ändert, und, falls ja, in welchem Ausmaß, ist abhängig von einem Abstand zwischen der Position 22a des aus der zweiten latenten Darstellung 21 dekodierten Merkmals und der Position 12a des aus der ersten latenten Darstellung 11 dekodierten Merkmals. Das Ergebnis der Modifizierung ist eine aktualisierte zweite latente Darstellung 21*.
In Schritt 170 werden aktualisierte Informationen 12* über Merkmale aus der aktualisierten ersten latenten Darstellung 11* unter Verwendung des ersten Dekodierers lb dekodiert. Ebenso werden in Schritt 180 aktualisierte Informationen 22* über Merkmale aus der aktualisierten zweiten latenten Darstellung 21* unter Verwendung des zweiten Dekodierers 2b dekodiert. Die aktualisierten latenten Darstellungen 11*, 12* können dann gemäß den Schritten 150 und 160 iterativ weiter verfeinert werden, bis ein vorbestimmtes Abbruchkriterium erreicht ist.
Basierend auf den aktualisierten Informationen 12* und/oder 22* kann in Schritt 190 ein Betätigungssignal 190a generiert werden. In Schritt 195 können ein Fahrzeug 60 und/oder ein Qualitätssicherungssystem 70 und/oder ein Überwachungssystem 80 und/oder ein medizinisches Bildgebungssystem 90 mit diesem Betätigungssignal betätigt werden.
Figur 2 veranschaulicht die iterative Aktualisierung der latenten Darstellungen 11, 21 und der dekodierten Informationen 12, 22. In dem in Figur 2 gezeigten Beispiel werden die Aktualisierungsfunktionen lc und 2c durch die Schichten A,
B, N eines graphischen neuronalen Netzes, GNN, realisiert.
Während der Verarbeitung in der ersten Schicht A des GNN wird die erste latente Darstellung 11 verwendet, um die zweite latente Darstellung 21 auf eine neue zweite latente Darstellung 21* zu aktualisieren, aus der aktualisierte Informationen 22* dekodiert werden können. Ebenso wird die zweite latente Darstellung 21 verwendet, um die erste latente Darstellung 11 auf eine neue erste latente Darstellung 11* zu aktualisieren, aus der aktualisierte Informationen 12* dekodiert werden können.
Während der Verarbeitung in der zweiten Schicht B des GNN wird die aktualisierte zweite latente Darstellung 22* verwendet, um die aktualisierte erste latente Darstellung 12* auf eine weiter aktualisierte erste latente Darstellung 12** zu aktualisieren, aus der weitere aktualisierte Informationen 11** dekodiert werden können. Ebenso wird die aktualisierte erste latente Darstellung 11* verwendet, um die aktualisierte zweite latente Darstellung 21* auf eine weiter aktualisierte zweite latente Darstellung 21** zu aktualisieren, aus der weitere aktualisierte Informationen 22** dekodiert werden können.
Dieser Prozess wird fortgesetzt, bis die letzte Schicht N des GNN erreicht ist.
Hier wird eine final aktualisierte erste latente Darstellung 11*** erzeugt, aus der die finalen Informationen 12*** dekodiert werden können. Ebenso wird eine final aktualisierte zweite latente Darstellung 21*** erzeugt, aus der die finalen Informationen 22*** dekodiert werden können.
Figur 3 ist ein schematisches Flussdiagramm einer beispielhaften Ausführungsform des Verfahrens 200 zum Trainieren einer trainierbaren Aktualisierungsfunktion lc, 2c zur Verwendung in dem zuvor beschriebenen Verfahren 100.
In Schritt 210 werden erste Trainingsmuster 1# der ersten Messdaten 1 der ersten Messmodalität bereitgestellt. Mindestens ein erster Teil dieser ersten Trainingsmuster 1# wird mit Informationen 5 über Merkmale markiert, die idealerweise in diesen Mustern 1# erkannt werden sollten. Optional hat mindestens ein zweiter Teil der ersten Trainingsmuster 1# ein Markierung 6 als negative Beispiele empfangen, die frei von den Merkmalen sind, auf die sich die Markierungen 5 beziehen.
Ebenso werden in Schritt 220 zweite Trainingsmuster 2# der zweiten Messdaten 2 der zweiten Messmodalität bereitgestellt. Mindestens ein erster Teil dieser zweiten Trainingsmuster 2# wird mit Informationen 7 über Merkmale markiert, die idealerweise in diesen Beispielen 2# erkannt werden sollten. Optional hat mindestens ein zweiter Teil der zweiten Trainingsmuster 2# eine Markierung 8 als negative Beispiele empfangen, die frei von den Merkmalen sind, auf die sich die Beschriftungen 7 beziehen.
In Schritt 230 werden die ersten Trainingsmuster 1# und die zweiten Trainingsmuster 2#, die sich auf dieselbe Situation beziehen (d. h., die sich auf dieselbe Szene und denselben Zeitpunkt beziehen oder logisch in einer Folge von Spurstücken verbunden sind), unter Verwendung des Verfahrens 100, wie zuvor beschrieben, fusioniert. Dies ergibt eine final aktualisierte erste latente Darstellung 11*, aus der Informationen 12* dekodiert werden können, sowie eine final aktualisierte zweite latente Darstellung 21*, aus der Informationen 22* dekodiert werden können.
In Schritt 240 werden die ersten dekodierten Informationen 12*, die letztendlich für die erste Messmodalität abgeleitet wurden, mit den Markierungen 5, 6 der ersten Trainingsmuster 1# verglichen, was ein Ergebnis 240a ergibt. Ebenso werden in Schritt 250 die dekodierten Informationen 22*, die letztendlich für die zweite Messmodalität abgeleitet wurden, mit den Markierungen 7, 8 der zweiten Trainingsmuster 2# verglichen, was ein Ergebnis 250a ergibt. Die Ergebnisse 240a und 250a werden in Schritt 260 gemäß einer vorbestimmten Kostenfunktion bewertet. Basierend auf der Bewertung 260a werden in Schritt 270 Parameter, die das Verhalten der trainierbaren Aktualisierungsfunktion lc, 2c charakterisieren, optimiert. Das Ziel dieser Optimierung ist, dass das Fusionieren von weiteren ersten Trainingsmustern 1# und zweiten Trainingsmustern 2# zu einer besseren Bewertung 260a durch die Kostenfunktion führt. Der final trainierte Zustand der Parameter der trainierbaren Aktualisierungsfunktion lc, lc ist mit den Bezugszeichen lc* bzw. 2c* markiert. Figur 4 veranschaulicht das Training mit positiven und negativen Beispielen. In Schritt 240 von Figur 3 werden Informationen 12*, die aus der modifizierten ersten latenten Darstellung 11* dekodiert wurden, mit Markierungen verglichen, die den jeweiligen ersten Trainingsmustern 1# zugeordnet sind. Für positive
Trainingsmuster 1#, die tatsächlich Merkmale enthalten, wird ein Markierung 5 zugewiesen, das die Informationen kodiert, die idealerweise aus diesem Beispiel 1# dekodiert werden sollten. Für negative Trainingsmuster 1#, die frei von Merkmalen sind, wird ein spezielles Markierung 6 zugewiesen, das das Fehlen von Merkmalen kodiert. Das heißt, aus einem negativen Trainingsmuster 1# sollten entweder keine Informationen 12* dekodiert werden, oder diese Informationen 12* sollten explizit das Fehlen von Merkmalen anzeigen.
Gleiches gilt für den Vergleich 250 von Informationen 22*, die aus der modifizierten zweiten latenten Darstellung 21* mit Markierungen dekodiert wurden, die den zweiten Trainingsmustern 2# zugeordnet sind. Für positive Trainingsmuster 2#, die tatsächlich Merkmale enthalten, wird ein Markierung 7 zugewiesen, das die Informationen kodiert, die idealerweise aus diesem Beispiel 2# dekodiert werden sollten. Für negative Trainingsmuster 2#, die frei von Merkmalen sind, wird eine spezielle Markierung 8 zugewiesen, das das Fehlen von Merkmalen kodiert. Das heißt, aus einer negativen Trainingsmuster 2# sollten entweder keine Informationen 22* dekodiert werden, oder diese Informationen 22* sollten explizit das Fehlen von Merkmalen anzeigen.

Claims

Ansprüche
1. Verfahren (100) zur Fusion von ersten Messdaten (1), die durch Beobachtung einer Szene unter Verwendung einer ersten Messmodalität erfasst wurden, mit zweiten Messdaten (2), die durch Beobachtung derselben Szene unter Verwendung einer zweiten Messmodalität erfasst wurden, umfassend die Schritte:
• Bestimmen (110), aus den ersten Messdaten (1), unter Verwendung eines ersten Merkmalsdetektors (la), einer ersten latenten Darstellung (11) von Merkmalen;
• Dekodieren (120), aus der ersten latenten Darstellung (11), unter Verwendung eines ersten Dekodierers (lb), von ersten Informationen (12) über Merkmale, wobei die ersten Informationen (12) mindestens Positionen (12a) der Merkmale im Raum umfassen;
• Bestimmen (130), aus den zweiten Messdaten (2), unter Verwendung eines zweiten Merkmalsdetektors (2a), einer zweiten latenten Darstellung
(21) von Merkmalen;
• Dekodieren (140), aus der zweiten latenten Darstellung (21), unter Verwendung eines zweiten Dekodierers (2b), von zweiten Informationen
(22) über Merkmale, wobei die zweiten Informationen (22) mindestens Positionen (22a) der Merkmale im Raum umfasst;
• Modifizieren (150) von Merkmalen in der ersten latenten Darstellung (11) basierend auf Merkmalen in der zweiten latenten Darstellung (21) gemäß einer ersten vorbestimmten Aktualisierungsfunktion (lc), wodurch eine aktualisierte erste latente Darstellung (11*) erzeugt wird, wobei die erste Aktualisierungsfunktion (lc) von einem Abstand zwischen der Position (12a) des aus der ersten latenten Darstellung (11) dekodierten Merkmals und der Position (22a) des aus der zweiten latenten Darstellung (21) dekodierten Merkmals abhängig ist; • Modifizieren (160) von Merkmalen in der zweiten latenten Darstellung (21) basierend auf Merkmalen in der ersten latenten Darstellung (11) gemäß einer zweiten vorbestimmten Aktualisierungsfunktion (2c), wodurch eine aktualisierte zweite latente Darstellung (21*) erzeugt wird, wobei die zweite Aktualisierungsfunktion (2c) von einem Abstand zwischen der Position (22a) des aus der zweiten latenten Darstellung (21) dekodierten Merkmals und der Position (12a) des aus der ersten latenten Darstellung (11) dekodierten Merkmals abhängig ist;
• Dekodieren (170), unter Verwendung des ersten Dekodierers (lb), von aktualisierten Informationen (12*) über Merkmale aus der aktualisierten ersten latenten Darstellung (11*); und
• Dekodieren (180), unter Verwendung des zweiten Dekodierers (2b), von aktualisierten Informationen (22*) über Merkmale aus der aktualisierten zweiten latenten Darstellung (21*).
2. Verfahren (100) nach Anspruch 1, wobei
• der erste Merkmalsdetektor (la) einen Faltungsabschnitt eines ersten neuronalen Netzes (3), das als Klassifikatornetz gestaltet ist, umfasst, und/oder
• der zweite Merkmalsdetektor (2a) einen Faltungsabschnitt eines zweiten neuronalen Netzes (4), das als Klassifikatornetz gestaltet ist, umfasst, wobei der Faltungsabschnitt mindestens eine Faltungsschicht des jeweiligen neuronalen Netzes (3, 4) umfasst, die dazu gestaltet ist, ihre Eingabe durch gleitendes Anwenden eines oder mehrerer Filterkerne zu verarbeiten.
3. Verfahren (100) nach Anspruch 2, wobei
• der erste Dekodierer (lb) einen Klassifikatorabschnitt und/oder einen Regressorabschnitt des ersten neuronalen Netzes (3) umfasst, und/oder
• der zweite Dekodierer (2b) einen Klassifikatorabschnitt und/oder einen Regressorabschnitt des zweiten neuronalen Netzes (4) umfasst, wobei der Klassifikatorabschnitt und/oder der Regressorabschnitt mindestens eine vollständig verbundene Schicht des jeweiligen neuronalen Netzes (3, 4) umfasst.
4. Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei die Informationen (12, 22) über Merkmale, die von dem ersten Dekodierer (lb) und/oder von dem zweiten Dekodierer (2b) dekodiert werden, ferner eines oder mehreres umfassen von:
• Klassifizierungen,
• Konfidenz von Klassifizierungen,
• Abmessungen, und
• Orientierungen von Objekten, die durch die Merkmale in der ersten (11) bzw. zweiten (12) latenten Darstellung dargestellt werden.
5. Verfahren (100) nach einem der Ansprüche 1 bis 4, ferner umfassend: nach dem Dekodieren (170, 180) von aktualisierten Informationen (12*, 22*) über Merkmale aus den aktualisierten ersten (11*) und zweiten (21*) Darstellungen, Rückverzweigen zu dem Modifizieren (150, 160) von Merkmalen basierend auf den neuen Abständen gemäß den Positionen (12a, 22a), die in den aktualisierten Informationen (12*, 22*) enthalten sind.
6. Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei die Merkmale in der ersten latenten Darstellung (11) und/oder in der zweiten latenten Darstellung (21) Informationen über eine Spur oder Trajektorie umfassen, der ein sich bewegendes Objekt folgt.
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei die erste Messmodalität Erfassen eines oder mehrerer optischer Bilder der Szene unter Verwendung mindestens einer Kamera umfasst, und wobei die zweite Messmodalität Erfassen von LIDAR-Daten und/oder Radardaten derselben Szene umfasst.
8. Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei die erste vorbestimmte Aktualisierungsfunktion (lc) und die zweite vorbestimmte Aktualisierungsfunktion (2c) in mindestens einer gemeinsamen Schicht eines graphischen neuronalen Netzes, GNN, realisiert werden.
9. Verfahren (100) nach einem der Ansprüche 1 bis 8, ferner umfassend: • basierend auf den Informationen (12*, 22*) über Merkmale, die aus der final erhaltenen ersten latenten Darstellung (11*) und/oder aus der final erhaltenen zweiten latenten Darstellung (12*) dekodiert wurden, Generieren (190) eines Betätigungssignals (190a); und
• Betätigen (195) eines Fahrzeugs (60) und/oder eines Qualitätssicherungssystems (70) und/oder eines Überwachungssystems (80) und/oder eines medizinischen Bildgebungssystems (90) mit diesem Betätigungssignal (190a).
10. Verfahren (200) zum Trainieren einer trainierbaren Aktualisierungsfunktion (lc, 2c) zur Verwendung in dem Verfahren (100) eines der Ansprüche 1 bis 9, umfassend:
• Bereitstellen (210) von ersten Trainingsmustern (1#) von Messdaten (1) der ersten Messmodalität, wobei mindestens ein erster Teil dieser ersten Trainingsmuster (1#) mit Informationen (5) über Merkmale markiert ist;
• Bereitstellen (220) von zweiten Trainingsmustern (2#) von Messdaten (2) der zweiten Messmodalität, wobei mindestens ein erster Teil dieser zweiten Trainingsmuster (2#) mit Informationen (7) über Merkmale markiert ist;
• Fusionieren (230) von ersten Trainingsmustern (1#) und zweiten Trainingsmustern (2#) mit dem Verfahren (100) eines der Ansprüche 1 bis 9;
• Vergleichen (240) der Informationen (12*) über Merkmale, die aus der final aktualisierten ersten latenten Darstellung (11*), die aus ersten Trainingsmustern (1#) erhalten wurde, dekodiert wurden, mit den Markierungen (5, 6), die diesen ersten Trainingsmustern (1#) zugeordnet sind;
• Vergleichen (250) der Informationen (22*) über Merkmale, die aus der final erhaltenen zweiten latenten Darstellung (21*), die aus den zweiten Trainingsmustern (2#) erhalten wurde, dekodiert wurden, mit den Markierungen (7, 8), die diesen zweiten Trainingsmustern (2#) zugeordnet sind;
• Bewerten (260) der Ergebnisse (240a, 250a) dieser Vergleiche (240, 250) mittels einer vorgegebenen Kostenfunktion; und • Optimieren (270) von Parametern, die das Verhalten der trainierbaren Aktualisierungsfunktion (lc, 2c) charakterisieren, mit dem Ziel, dass das Fusionieren weiterer erster Trainingsmuster (1#) und zweiter Trainingsmuster (2#) zu einer besseren Bewertung (260a) durch die Kostenfunktion führt.
11. Verfahren (200) nach Anspruch 10, wobei
• mindestens ein zweiter Teil der ersten Trainingsmuster (1#) als negative Beispiele markiert (6) werden, die frei von den Merkmalen sind, auf die sich die Markierungen (5) des ersten Teils der ersten Trainingsmuster (1#) beziehen, und/oder
• mindestens ein zweiter Teil der zweiten Trainingsmuster (2#) als negative Beispiele markiert (8) werden, die frei von den Merkmalen sind, auf die sich die Markierungen des ersten Teils der zweiten Trainingsmuster (2#) beziehen.
12. Computerprogramm, das maschinenlesbare Anweisungen umfasst, die, wenn sie von einem oder mehreren Computern ausgeführt werden, bewirken, dass der eine oder die mehreren Computer eines der Verfahren (100, 200) eines der Ansprüche 1 bis 11 ausführen.
13. Nichtflüchtiges maschinenlesbares Speichermedium und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 12.
14. Ein oder mehrere Computer mit dem Computerprogramm nach Anspruch 12 und/oder mit dem nichtflüchtigen maschinenlesbaren Speichermedium nach Anspruch 13.
PCT/EP2022/054066 2021-02-24 2022-02-18 Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden Ceased WO2022179945A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280030253.6A CN117203681A (zh) 2021-02-24 2022-02-18 用于融合使用不同测量模态检测的测量数据的方法
US18/547,605 US20240233352A1 (en) 2021-02-24 2022-02-18 Method for fusing measurement data captured using different measurement modalities

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021104418.9A DE102021104418A1 (de) 2021-02-24 2021-02-24 Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
DE102021104418.9 2021-02-24

Publications (1)

Publication Number Publication Date
WO2022179945A1 true WO2022179945A1 (de) 2022-09-01

Family

ID=80933679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/054066 Ceased WO2022179945A1 (de) 2021-02-24 2022-02-18 Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden

Country Status (4)

Country Link
US (1) US20240233352A1 (de)
CN (1) CN117203681A (de)
DE (1) DE102021104418A1 (de)
WO (1) WO2022179945A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018188877A1 (de) 2017-04-10 2018-10-18 Robert Bosch Gmbh Fusion von daten mehrerer sensoren zur objekterkennung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004677A1 (en) * 2018-02-09 2021-01-07 Deepmind Technologies Limited Data compression using jointly trained encoder, decoder, and prior neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018188877A1 (de) 2017-04-10 2018-10-18 Robert Bosch Gmbh Fusion von daten mehrerer sensoren zur objekterkennung

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Handbuch Fahrerassistenzsysteme", 2015, SPRINGER FACHMEDIEN, Wiesbaden, Deutschland, ISBN: 978-3-658-05734-3, article DARMS MICHAEL ET AL: "Kapitel 24: "Fusion umfelderfassender Sensoren"; Kapitel 25: "Repräsentation fusionierter Umfelddaten"; Kapitel 26: "Datenfusion für die präzise Lokalisierung"", pages: 437 - 511, XP055932089 *
NOBIS FELIX ET AL: "A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection", 2019 SENSOR DATA FUSION: TRENDS, SOLUTIONS, APPLICATIONS (SDF), IEEE, 15 October 2019 (2019-10-15), pages 1 - 7, XP033667130, DOI: 10.1109/SDF.2019.8916629 *
SCARSELLI F ET AL: "The Graph Neural Network Model", IEEE TRANSACTIONS ON NEURAL NETWORKS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 20, no. 1, 1 January 2009 (2009-01-01), pages 61 - 80, XP011292959, ISSN: 1045-9227 *
TSUNG-YI LIN ET AL: "Feature Pyramid Networks for Object Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 December 2016 (2016-12-09), XP080738158, DOI: 10.1109/CVPR.2017.106 *
YANG FEI ET AL: "A fusion network for road detection via spatial propagation and spatial transformation", PATTERN RECOGNITION, ELSEVIER, GB, vol. 100, 28 November 2019 (2019-11-28), XP085993282, ISSN: 0031-3203, [retrieved on 20191128], DOI: 10.1016/J.PATCOG.2019.107141 *

Also Published As

Publication number Publication date
DE102021104418A1 (de) 2022-08-25
US20240233352A1 (en) 2024-07-11
CN117203681A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
WO2020260020A1 (de) Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes
DE112019007762T5 (de) Verfahren zum Trainieren eines generativen kontradiktorischen Netzes, modifiziertes Bildgenerierungsmodul und System zum Detektieren von Merkmalen in einem Bild
DE102011119767A1 (de) Erscheinungsbild-gestützte vereinigung von kamera- undentfernungssensordaten für mehrere objekte
WO2007107315A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102020200499A1 (de) Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, unter Verwendung ungelabelter, partitionierter Stichproben
DE102020119954A1 (de) Verfahren zum Erzeugen einer Belegungsgitterkarte für zumindest ein statisches Objekt, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102023109072A1 (de) Datenaugmentierung für domänenverallgemeinerung
WO2020064211A1 (de) Verfahren und vorrichtung zum ermitteln eines ansteuersignals
WO2020260016A1 (de) Verfahren und vorrichtung zum trainieren eines maschinellen lernsystems
DE102022100545A1 (de) Verbesserte objekterkennung
DE102022001208A1 (de) Verfahren zur Prädiktion von Trajektorien von Objekten
DE102018222800A1 (de) Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
WO2020233992A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
WO2022179945A1 (de) Verfahren zur fusion von messdaten, die mit unterschiedlichen messmodalitäten erfasst wurden
DE102020213057A1 (de) Verfahren und Vorrichtung zum Überprüfen eines beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs verwendeten KI-basierten Informationsverarbeitungssystems
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102021202933A1 (de) Verfolgung mehrerer Objekte in Zusammenarbeit mehrerer neuronaler Netzwerke
WO2023222343A1 (de) Verfahren zum steuern einer robotervorrichtung
DE102018213132A1 (de) Nicht-überwachtes oder teilüberwachtes Lernen eines Klassifikators für die Umfeld-Erfassung eines Fahrzeugs
WO2021078512A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
WO2021175783A1 (de) Computerimplementiertes verfahren und system zum erzeugen synthetischer sensordaten und trainingsverfahren
DE102019219926B4 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE102024203768A1 (de) Verfahren und Vorrichtung zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs
DE102023124788A1 (de) Verarbeitung von bilddaten mit maschinengelerntem foundation-modell

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22712255

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18547605

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280030253.6

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22712255

Country of ref document: EP

Kind code of ref document: A1