Claims (58)
1. Способ формирования обучающих данных для повторного обучения нейронной сети для обнаружения объектов (object detecting Neural Network, ODNN), обученной обнаруживать объекты по цифровому сигналу, зафиксированному движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам, выполняемый компьютерным устройством и включающий в себя этапы, на которых:1. A method of generating training data for retraining a neural network for object detection (object detecting neural network, ODNN), trained to detect objects from a digital signal recorded by a moving vehicle, by determining a part of a digital image corresponding to these objects, performed by a computer device and including the stages at which:
- вводят в сеть ODNN первое цифровое изображение, представляющее собой цифровой сигнал в первый момент времени, - the first digital image is introduced into the ODNN network, which is a digital signal at the first moment in time,
при этом сеть ODNN выполнена с возможностью обнаружения объекта по первому цифровому изображению путем определения первой части первого цифрового изображения, соответствующей этому объекту;the ODNN is configured to detect an object from the first digital image by determining the first part of the first digital image corresponding to this object;
- вводят в сеть ODNN второе цифровое изображение, представляющее собой цифровой сигнал во второй момент времени после первого момента времени, - a second digital image is introduced into the ODNN network, which is a digital signal at a second moment in time after the first moment in time,
при этом сеть ODNN выполнена с возможностью обнаружения объекта по второму цифровому изображению путем определения второй части второго цифрового изображения, соответствующей этому объекту;the ODNN is configured to detect an object from the second digital image by determining the second part of the second digital image corresponding to this object;
- сравнивают первую часть первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в первый момент времени и второй момент времени;- comparing the first part of the first digital image with the second part of the second digital image to determine the degree of similarity of object detection, indicating the degree of similarity of the predictions when this object is detected, performed by the ODNN network at the first time point and the second time point;
- если степень подобия обнаружения оказывается ниже заранее заданного порогового значения - if the degree of similarity of detection is below a predetermined threshold value
используют по меньшей мере одно из первого цифрового изображения и/или второго цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из первого цифрового изображения и/или второго цифрового изображения, занятую объектом на соответствующем первом цифровом изображении и/или втором цифровом изображении,; иuse at least one of the first digital image and / or the second digital image to obtain a human-appreciated mark indicating the actual portion of at least one of the first digital image and / or the second digital image occupied by the object in the corresponding first digital image and / or the second digital image; and
- повторно обучают сеть ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и/или оцененной человеком метки.- retraining the ODNN based on at least one of the first digital image and the second digital image and / or a human-assessed tag.
2. Способ по п. 1, в котором сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения включает в себя применение IOU-анализа (Intersection Over Union analysis). 2. The method of claim 1, wherein comparing the first portion of the first digital image with the second portion of the second digital image to determine the degree of similarity of detection comprises applying IOU analysis (Intersection Over Union analysis).
3. Способ по п. 2, в котором применение IOU-анализа включает в себя определение пересечения первой части и второй части и определение объединения первой части и второй части. 3. The method of claim 2, wherein applying the IOU analysis includes determining the intersection of the first part and the second part and determining the union of the first part and the second part.
4. Способ по п. 1, дополнительно включающий в себя получение от человека-оценщика указания на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе действительного состояния объекта. 4. The method according to claim 1, further comprising receiving from the human evaluator an indication of the real part occupied by the object as determined by the human evaluator based on the actual state of the object.
5. Способ по п. 1, дополнительно включающий в себя получение от человека-оценщика указания на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе искусственно измененного состояния объекта.5. The method according to claim 1, further comprising receiving from the human appraiser an indication of the real part occupied by the object, determined by the human appraiser based on the artificially altered state of the object.
6. Способ по п. 4, в котором повторное обучение сети ODNN выполняют для обнаружения объектов в соответствии с действительным состоянием объектов.6. The method of claim 4, wherein re-training of the ODNN is performed to discover objects in accordance with the actual state of the objects.
7. Способ по п. 5, в котором повторное обучение сети ODNN выполняют для обнаружения объектов в соответствии с искусственно измененным состоянием объектов. 7. The method of claim 5, wherein retraining of the ODNN is performed to discover objects in accordance with an artificially changed state of the objects.
8. Способ по п. 1, в котором повторное обучение сети ODNN выполняют на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток. 8. The method of claim 1, wherein the ODNN is retrained based on the first digital image, the second digital image, and corresponding human-evaluated tags.
9. Способ по п. 1, дополнительно включающий в себя этапы, на которых:9. The method according to claim 1, further comprising the steps of:
- вводят в сеть ODNN третье цифрового изображения, представляющее собой цифровой сигнал в третий момент времени, при этом сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту;- a third digital image is introduced into the ODNN network, which is a digital signal at a third time instant, while the ODNN network is able to detect an object in the third digital image by determining the third part of the third digital image corresponding to this object;
- вводят в сеть ODNN четвертое цифровое изображение, представляющее собой цифровой сигнал в четвертый момент времени после третьего момента времени, при этом сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту;a fourth digital image is introduced into the ODNN network, which is a digital signal at the fourth time point after the third time point, while the ODNN network is capable of detecting an object in the fourth digital image by determining the fourth part of the fourth digital image corresponding to this object;
- сравнивают третью часть третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в третий момент времени и четвертый момент времени; и- comparing the third part of the third digital image with the fourth part of the fourth digital image to determine the degree of similarity of object detection, indicating the degree of similarity of predictions when this object is detected, made by the ODNN network at the third time point and the fourth time point; and
- если степень подобия обнаружения оказывается ниже заранее заданного порогового значения- if the degree of similarity of detection is below a predetermined threshold value
используют по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую объектом на соответствующем третьем цифровом изображении и/или четвертом цифровом изображении.using at least one of the third digital image and the fourth digital image to obtain a human-evaluated mark indicating the actual portion of at least one of the third digital image and the fourth digital image occupied by the object in the corresponding third digital image and / or the fourth digital image.
10. Способ по п. 9, в котором по меньшей мере одно из первого цифрового изображения и второго цифрового изображения с соответствующей оцененной человеком метки и по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют по меньшей мере частично набор данных для повторного обучения сети ODNN.10. The method of claim 9, wherein at least one of the first digital image and the second digital image with a corresponding human-assessed mark and at least one of the third digital image and the fourth digital image with a corresponding human-assessed mark form at least partially a dataset for retraining the ODNN network.
11. Способ по п. 10, в котором набор данных для повторного обучения сети ODNN используют для повторного обучения сети ODNN по признакам цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным. 11. The method of claim 10, wherein the ODNN retraining dataset is used to retrain the ODNN based on digital images where ODNN object detection is inconsistent.
12. Способ по п. 1, в котором сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN прогнозирует классы объектов и расположение объектов на этом обучающем цифровом изображении.12. The method of claim 1, wherein the ODNN is trained to detect objects based on the training digital image and a human-assessed label for objects in the training digital image, wherein the ODNN predicts the object classes and locations of the objects in the training digital image.
13. Способ по п. 9, в котором область вокруг движущегося транспортного средства в по меньшей мере один из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяют как область несогласованного обнаружения.13. The method according to claim 9, wherein the area around the moving vehicle at at least one of the first time point, the second time point, the third time point, the fourth time point is defined as an inconsistent detection area.
14. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения. 14. The method of claim 13, wherein the retraining of the ODNN is performed to reduce the likelihood of inconsistent discovery of an object by the ODNN when the vehicle is in an area of inconsistent discovery.
15. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения. 15. The method of claim 13, wherein the ODNN retraining is performed to reduce the likelihood of inconsistent detection of an object by the ODNN based on digital image features captured in the inconsistent detection area.
16. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения. 16. The method of claim 13, wherein the ODNN retraining is performed to reduce the likelihood of inconsistent detection of an object by the ODNN based on digital image features captured in areas like the inconsistent detection area.
17. Компьютерное устройство для формирования обучающих данных для повторного обучения нейронной сети обнаружения объектов (ODNN), обученной обнаруживать объекты по цифровому сигналу, зафиксированном движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам, при этом компьютерное устройство выполнено с возможностью:17. A computer device for generating training data for retraining an object detection neural network (ODNN), trained to detect objects using a digital signal captured by a moving vehicle, by determining a part of a digital image corresponding to these objects, while the computer device is configured to:
- ввода в сеть ODNN первого цифрового изображения, представляющего собой цифровой сигнал в первый момент времени, - entering the first digital image into the ODNN network, which is a digital signal at the first moment in time,
при этом сеть ODNN выполнена с возможностью обнаруживать объект на первом цифровом изображении путем определения первой части первого цифрового изображения, соответствующей этому объекту;the ODNN is configured to detect an object in the first digital image by determining the first part of the first digital image corresponding to this object;
- ввода в сеть ODNN второго цифрового изображения, представляющего собой цифровой сигнал во второй момент времени после первого момента времени, - inputting a second digital image into the ODNN network, which is a digital signal at a second moment in time after the first moment in time,
при этом сеть ODNN выполнена с возможностью обнаруживать объект на втором цифровом изображении путем определения второй части второго цифрового изображения, соответствующей этому объекту;the ODNN is configured to detect an object in the second digital image by determining the second part of the second digital image corresponding to this object;
- сравнения первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружения этого объекта, выполняемых сетью ODNN в первый момент времени и второй момент времени;- comparing the first part of the first digital image with the second part of the second digital image to determine the degree of similarity of object detection, indicating the degree of similarity of the predictions when detecting this object, performed by the ODNN network at the first time point and the second time point;
если степень подобия обнаружения ниже заранее заданного порогового значения,if the similarity of detection is below a predetermined threshold,
- использования по меньшей мере одного из первого цифрового изображения и второго цифрового изображения для получения оцененной человеком метки , указывающей на действительную часть по меньшей мире одного из первого цифрового изображения и второго цифрового изображения, занятую объектом на соответствующем одном из первого цифрового изображения и второго цифрового изображения,; и- using at least one of the first digital image and the second digital image to obtain a human-appreciated mark indicating the real part of at least one of the first digital image and the second digital image occupied by the object on the corresponding one of the first digital image and the second digital image ,; and
- повторного обучения сети ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и оцененной человеком метки.- retraining the ODNN based on at least one of the first digital image and the second digital image and a human-assessed tag.
18. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью применять IOU-анализ при сравнении первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения.18. The computing device of claim 17, further configured to apply IOU analysis when comparing the first portion of the first digital image with the second portion of the second digital image to determine the degree of detection similarity.
19. Компьютерное устройство по п. 18, дополнительно выполненное с возможностью определять пересечение первой части и второй части и определять объединение первой части и второй части при применении IOU-анализа.19. The computing device of claim 18, further configured to detect the intersection of the first portion and the second portion and determine the union of the first portion and the second portion when applying the IOU analysis.
20. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью получать от человека-оценщика указание на действительную часть, занятую этим объектом, определяемую человеком-оценщиком на основе действительного состояния объекта. 20. The computer device according to claim 17, additionally configured to receive from the human evaluator an indication of the real part occupied by this object, determined by the human evaluator based on the actual state of the object.
21. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью получать от человека-оценщика указание на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе искусственно измененного состояния объекта.21. The computer device according to claim 17, additionally configured to receive from the human appraiser an indication of the real part occupied by the object, determined by the human appraiser based on the artificially changed state of the object.
22. Компьютерное устройство по п. 20, в котором повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с действительным состоянием объектов.22. The computing device of claim 20, wherein retraining of the ODNN is performed to discover objects in accordance with the actual state of the objects.
23. Компьютерное устройство по п. 21, в котором повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с искусственно измененным состоянием объектов. 23. The computing device of claim 21, wherein retraining of the ODNN is performed to detect objects in accordance with an artificially altered state of the objects.
24. Компьютерное устройство по п. 17, в котором повторное обучение сети ODNN выполняется на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток.24. The computing device of claim 17, wherein the ODNN retraining is performed based on the first digital image, the second digital image, and corresponding human-evaluated tags.
25. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью:25. The computer device of claim 17, further configured to:
- ввода в сеть ODNN третьего цифрового изображения, представляющего собой цифровой сигнал в третий момент времени, при этом сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту;- inputting a third digital image into the ODNN network, which is a digital signal at a third moment in time, while the ODNN network is able to detect an object in the third digital image by determining the third part of the third digital image corresponding to this object;
- ввода в сеть ODNN четвертого цифрового изображения, представляющего собой цифровой сигнал в четвертый момент времени после третьего момента времени, при этом сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту;- inputting the fourth digital image into the ODNN network, which is a digital signal at the fourth time point after the third time point, while the ODNN network is able to detect an object in the fourth digital image by determining the fourth part of the fourth digital image corresponding to this object;
- сравнения третьей части третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружения этого объекта, выполняемых сетью ODNN в третий момент времени и четвертый момент времени; и - comparing the third part of the third digital image with the fourth part of the fourth digital image to determine the degree of similarity of object detection, indicating the degree of similarity of the predictions when this object is detected, performed by the ODNN at the third time point and the fourth time point; and
если степень подобия обнаружения оказывается ниже заранее заданного порогового значения,if the similarity of detection falls below a predetermined threshold,
использования по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую объектом на соответствующем третьем цифровом изображении и/или четвертом цифровом изображении.using at least one of the third digital image and the fourth digital image to obtain a human-appreciated mark indicating the actual portion of at least one of the third digital image and the fourth digital image occupied by the object in the corresponding third digital image and / or the fourth digital image.
26. Компьютерное устройство по п. 25, в котором по меньшей мере одно из первого цифрового изображения и второго цифрового изображения с соответствующей оцененной человеком меткой и по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют, по меньшей мере частично, набор данных для повторного обучения сети ODNN.26. The computing device of claim 25, wherein at least one of a first digital image and a second digital image with a corresponding human-assessed mark and at least one of a third digital image and a fourth digital image with a corresponding human-assessed mark form at least at least in part, a dataset for retraining the ODNN network.
27. Компьютерное устройство по п. 26, в котором набор данных для повторного обучения сети ODNN используется для повторного обучения сети ODNN в отношении признаков цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным. 27. The computing device of claim 26, wherein the ODNN retraining dataset is used to retrain the ODNN for features of digital images where ODNN object detection is inconsistent.
28. Компьютерное устройство по п. 17, в котором сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN способна прогнозировать классы объектов и расположение объектов на этом обучающем цифровом изображении.28. The computing device of claim 17, wherein the ODNN is trained to detect objects based on the training digital image and a human-assessed label for objects in the training digital image, wherein the ODNN is capable of predicting object classes and location of objects in the training digital image.
29. Компьютерное устройство по п. 25, в котором область вокруг движущегося транспортного средства в по меньшей мере одном из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяется как область несогласованного обнаружения.29. The computing device of claim 25, wherein the area around the moving vehicle at at least one of the first point in time, second point in time, third point in time, fourth point in time is defined as an inconsistent detection area.
30. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения. 30. The computing device of claim 29, wherein retraining the ODNN is performed to reduce the likelihood of inconsistent ODNN discovery of an object when the vehicle is in an inconsistent discovery area.
31. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения. 31. The computing device of claim 29, wherein retraining the ODNN is performed to reduce the likelihood of inconsistent object detection by the ODNN based on digital image features captured in the inconsistent detection area.
32. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения.32. The computing device of claim 29, wherein the ODNN retraining is performed to reduce the likelihood of inconsistent ODNN detection of an object based on digital image features captured in areas like the inconsistent detection area.