CN107609635A - 一种基于物体检测与光流计算的物体物理速度估计方法 - Google Patents
一种基于物体检测与光流计算的物体物理速度估计方法 Download PDFInfo
- Publication number
- CN107609635A CN107609635A CN201710751490.2A CN201710751490A CN107609635A CN 107609635 A CN107609635 A CN 107609635A CN 201710751490 A CN201710751490 A CN 201710751490A CN 107609635 A CN107609635 A CN 107609635A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- neural network
- convolutional neural
- object detection
- flow calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种以视频帧信号或者摄像头帧信号作为输入，将视频帧分别输入物体检测卷积神经网络和光流计算卷积神经网络，将物体检测卷积神经网络和光流计算卷积神经网络的输出信息通过光学理论以及先验知识估算出画面中每个物体的真实速度值。本发明的有益效果是：能应用于普通单摄像头的场合，估算速度准确度较高，且不受摄像头移动、物体与摄像头距离、物体类别的影响，运行速度接近实时。
Description
技术领域
本发明涉及物体物理速度估计方法，尤其涉及一种基于物体检测与光流计算的物体物理速度估计方法。
背景技术
目前较为成熟的物体速度检测技术是基于雷达/激光的物理测速仪，该技术利用一个发射器发射雷达/激光信号，一个接收器接收物体反射回来的反射信号，通过两个信号之间的频率差来推算出物体当前的速度值。该技术的测速范围是5-240km/h，测速精度在1km/h左右，运行速度为实时。
基于雷达/激光的物理测速仪虽然具有精度高、准确性高、运行速度实时等优点，但其由于原理上的限制有着以下的不足：
(1)该技术只能用于测量车辆与球类物体的速度，其他类别的物体速度不能测量。
(2)该技术只能对当前单个物体进行速度测量，不能同时测量多个物体。
(3)该技术需要发送接收高频信号，容易受到外界电磁波的干扰。
(4)该技术需要测量端保持静止，因此在无人驾驶等测量端本身在移动的应用场景中无法使用。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于物体检测与光流计算的物体物理速度估计方法。
本发明提供了一种基于物体检测与光流计算的物体物理速度估计方法，将视频帧分别输入物体检测卷积神经网络和光流计算卷积神经网络，将物体检测卷积神经网络和光流计算卷积神经网络的输出信息通过光学理论以及先验知识估算出画面中每个物体的真实速度值。
作为本发明的进一步改进，所述物体检测卷积神经网络基于YOLO CNNs，是一个端到端的回归网络，所述物体检测卷积神经网络以一个包含物体位置信息、物体类别信息、物体大小信息的置信度作为回归函数，通过卷积层和采样层提取特征，训练后的网络以图片原像素作为输入，识别出图片中各个物体的位置信息、大小信息以及类别信息。
作为本发明的进一步改进，所述光流计算卷积神经网络基于FlowNetCNNs,是一个端到端的回归网络，所述光流计算卷积神经网络以前后帧两幅图作为输入，经过卷基层提取前后帧的像素差异，再利用上卷积层将差异特征还原回原像素级别，计算出前后两帧图像的全图光流值。
作为本发明的进一步改进，速度估算过程包括：(1)由于光流计算卷积神经网络只能输出全图光流值，借助物体检测卷积神经网络的位置以及大小信息可以找出全图中物体的光流值以及背景的光流值；(2)由于光流值只是一个像素单位的相对量，借助物体检测卷积神经网络的物体类别信息可以得到物体先验的真实大小，再利用摄像头定标法则可以找到光流值与真实速度之间的关系，如此便可以推算出物体的真实速度值。
本发明的有益效果是：通过上述方案，能应用于普通单摄像头的场合，估算速度准确度较高，且不受摄像头移动、物体与摄像头距离、物体类别的影响，运行速度接近实时。
附图说明
图1是本发明一种基于物体检测与光流计算的物体物理速度估计方法的示意图。
图2是传统卷积神经网络的工作方式的示意图。
图3是循环工作模式实现方式的示意图。
图4是同步运行的实现方式的原理图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1所示，一种基于物体检测与光流计算的物体物理速度估计方法，以视频帧信号或者摄像头帧信号作为输入，将视频帧分别输入物体检测卷积神经网络和光流计算卷积神经网络，将物体检测卷积神经网络和光流计算卷积神经网络的输出信息通过光学理论以及先验知识估算出画面中每个物体的真实速度值。
如图1所示，所述物体检测卷积神经网络基于YOLO CNNs，是一个端到端的回归网络，所述物体检测卷积神经网络以一个包含物体位置信息、物体类别信息、物体大小信息的置信度作为回归函数，通过卷积层和采样层提取特征，训练后的网络以图片原像素作为输入，识别出图片中各个物体的位置信息、大小信息以及类别信息。
如图1所示，所述光流计算卷积神经网络基于FlowNet CNNs,是一个端到端的回归网络，所述光流计算卷积神经网络以前后帧两幅图作为输入，经过卷基层提取前后帧的像素差异，再利用上卷积层将差异特征还原回原像素级别，计算出前后两帧图像的全图光流值。
如图1所示，速度估算过程包括：(1)由于光流计算卷积神经网络只能输出全图光流值，借助物体检测卷积神经网络的位置以及大小信息可以找出全图中物体的光流值以及背景的光流值；(2)由于光流值只是一个像素单位的相对量，借助物体检测卷积神经网络的物体类别信息可以得到物体先验的真实大小，再利用摄像头定标法则可以找到光流值与真实速度之间的关系，如此便可以推算出物体的真实速度值。
所述的网络系统是一个循环的、双网络同步运行的卷积神经网络系统，该系统各个网络同步输出数据，且能共享输出数据，因此可以组合不同的网络来实现不同的功能组合。
所述物体检测网络能够输出图片中物体的位置，类别以及像素大小三个信息。所述光流计算网络能够计算整图的光流值。利用物体位置信息以及整图光流值能得出图中每个物体的平均光流值；利用物体像素大小、物体类别，结合摄像头标定方法能将各个物体光流值转换成物理速度值。
如图1所示，物体检测网络与光流计算网络运行于一个同步网络系统，该网络系统工作特性如下：(1)两个网络以视频帧为单位，同步循环运行；(2)两个网络每一帧的输出数据能共享给对方。其中，循环工作模式实现方式如图3所示，图2是传统卷积神经网络的工作方式；同步运行的实现方式则是利用了信号量机制实现，其原理图如图4所示；数据共享则是通过共享内存机制实现。
本发明通过5个实验分别验证：(1)估算速度的准确度；(2)能否同时测量多个物体；(3)算法是否受距离关系影响；(4)算法是否受摄像头移动影响；(5)算法是否受物体类别影响。实验结果如表1至表5所示，其中，Class表示物体类别；z表示物体到摄像头的距离单位是cm；v_camera表示摄像头移动速度；v_g物体的标定速度；v_o表示物体的估算速度，单位均是m/s。
表1估算速度的准确度
| Class | z | v_camera | v_g | v_0 |
| Bottle | 80.0 | 0.00 | 0.00 | 0.00 |
| Bottle | 80.0 | 0.00 | 1.00 | 0.89 |
| Bottle | 80.0 | 0.00 | 2.00 | 1.85 |
| Bottle | 80.0 | 0.00 | 3.00 | 2.91 |
| Bottle | 80.0 | 0.00 | 4.00 | 3.90 |
实验中，估算速度的平均误差为0.09，准确率约为90％，这一误差在上文提到的大多数场合中能符合实际需求。
表2验证算法是否能测量多个物体
| Class | z | v_camera | v_g | v_0 |
| Bottle | 80.0 | 0.00 | 1.00 | 0.83 |
| Car | 80.0 | 0.00 | 1.00 | 0.85 |
| Bottle | 80.0 | 0.00 | 2.00 | 1.90 |
| Car | 80.0 | 0.00 | 2.00 | 1.90 |
| Bottle | 80.0 | 0.00 | 3.00 | 2.85 |
| Car | 80.0 | 0.00 | 3.00 | 2.88 |
实验说明算法能够同时测量多个物体，而物体之间的计算是单独的，物体的数量取决于物体检测网络能够检测到的物体数量。
表3验证算法与距离的关系
| Class | z | v_camera | v_g | v_0 |
| Bottle | 80.0 | -1.00 | 0.00 | 0.00 |
| Bottle | 80.0 | -1.00 | 1.00 | 0.89 |
| Bottle | 80.0 | -1.00 | 2.00 | 1.87 |
| Bottle | 80.0 | -1.00 | 3.00 | 2.92 |
| Bottle | 80.0 | -1.00 | 4.00 | 3.90 |
实验说明算法的有效性不受距离影响，但由于摄像头在距离较远端误差较大，所以距离远的估算出的物体速度会偏小。
表4验证算法与摄像头移动的关系
| Class | z | v_camera | v_g | v_0 |
| Bottle | 80.0 | 0.00 | 1.00 | 0.89 |
| Motor Car | 80.0 | 0.00 | 1.00 | 0.90 |
| Apple | 80.0 | 0.00 | 1.00 | 0.85 |
| Mouse | 80.0 | 0.00 | 1.00 | 0.92 |
| Phone | 80.0 | 0.00 | 1.00 | 0.93 |
实验说明算法的有效性不受摄像头移动的影响，这里指的移动仅仅是指水平移动，因为算法中采用的光流值是二维信息无法反映三维信息。
表5验证算法与物体类别的关系
| Class | z | v_camera | v_g | v_0 |
| Bottle | 40.0 | 0.00 | 1.00 | 0.91 |
| Bottle | 50.0 | 0.00 | 1.00 | 0.91 |
| Bottle | 60.0 | 0.00 | 1.00 | 0.89 |
| Bottle | 70.0 | 0.00 | 1.00 | 0.85 |
| Bottle | 80.0 | 0.00 | 1.00 | 0.85 |
实验说明算法的有效性不受物体类别影响，但物体的外观形状在一定程度上会影响算法的准确性因为算法中物体检测部分是采用预选框的大小来模拟物体真实大小的，因此物体外观越规律估算的速度值会更加精确。
实验运行于Intel Xeon E5-2620CPU和Nvidia Tesla K40c GPU，在该条件下算法的的运行速度为8.0FPS，基本满足实时要求。
本发明提供的一种基于物体检测与光流计算的物体物理速度估计方法，有效组合了两个卷积神经网络：物体检测卷积神经网络和光流计算卷积神经网络，利用前者输出的物体类别、物体大小和物体位置以及后者输出的整图光流值估算出摄像头或视频中各个物体的物理速度值。本发明能应用于普通单摄像头的场合，估算速度准确度接近90％，且不受摄像头移动、物体与摄像头距离、物体类别的影响，运行速度接近实时。
本发明提供的一种基于物体检测与光流计算的物体物理速度估计方法，实现的功能是在单个普通摄像头的条件下实时地对镜头中多个物体进行速度估计，其估算性能基本不受摄像头自身移动、物体与摄像头距离变化以及物体种类大小的影响。应用领域包括：(1)无人驾驶领域/机器人领域中，对前方车辆、行人以及其它物体的速度进行估计，为驾驶决策/避障和路线规划提供关键信息；(2)军事领域中，结合无人机技术实现高空对敌方多个目标进行速度估计，绘制敌方行动动态图；(3)交通领域多车辆速度监控。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (4)
1.一种基于物体检测与光流计算的物体物理速度估计方法，其特征在于，将视频帧分别输入物体检测卷积神经网络和光流计算卷积神经网络，将物体检测卷积神经网络和光流计算卷积神经网络的输出信息通过光学理论以及先验知识估算出画面中每个物体的真实速度值。
2.根据权利要求1所述的基于物体检测与光流计算的物体物理速度估计方法，其特征在于：所述物体检测卷积神经网络基于YOLO CNNs，是一个端到端的回归网络，所述物体检测卷积神经网络以一个包含物体位置信息、物体类别信息、物体大小信息的置信度作为回归函数，通过卷积层和采样层提取特征，训练后的网络以图片原像素作为输入，识别出图片中各个物体的位置信息、大小信息以及类别信息。
3.根据权利要求2所述的基于物体检测与光流计算的物体物理速度估计方法，其特征在于：所述光流计算卷积神经网络基于FlowNet CNNs,是一个端到端的回归网络，所述光流计算卷积神经网络以前后帧两幅图作为输入，经过卷基层提取前后帧的像素差异，再利用上卷积层将差异特征还原回原像素级别，计算出前后两帧图像的全图光流值。
4.根据权利要求3所述的基于物体检测与光流计算的物体物理速度估计方法，其特征在于：速度估算过程包括：(1)由于光流计算卷积神经网络只能输出全图光流值，借助物体检测卷积神经网络的位置以及大小信息可以找出全图中物体的光流值以及背景的光流值；(2)由于光流值只是一个像素单位的相对量，借助物体检测卷积神经网络的物体类别信息可以得到物体先验的真实大小，再利用摄像头定标法则可以找到光流值与真实速度之间的关系，如此便可以推算出物体的真实速度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710751490.2A CN107609635A (zh) | 2017-08-28 | 2017-08-28 | 一种基于物体检测与光流计算的物体物理速度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710751490.2A CN107609635A (zh) | 2017-08-28 | 2017-08-28 | 一种基于物体检测与光流计算的物体物理速度估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107609635A true CN107609635A (zh) | 2018-01-19 |
Family
ID=61056365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710751490.2A Pending CN107609635A (zh) | 2017-08-28 | 2017-08-28 | 一种基于物体检测与光流计算的物体物理速度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107609635A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171222A (zh) * | 2018-02-11 | 2018-06-15 | 清华大学 | 一种基于多流神经网络的实时视频分类方法及装置 |
| CN108491807A (zh) * | 2018-03-28 | 2018-09-04 | 北京农业信息技术研究中心 | 一种奶牛发情行为实时监测方法及系统 |
| CN109410254A (zh) * | 2018-11-05 | 2019-03-01 | 清华大学深圳研究生院 | 一种基于目标和相机运动建模的目标跟踪方法 |
| CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
| CN110533687A (zh) * | 2018-05-11 | 2019-12-03 | 深眸科技(深圳)有限公司 | 多目标三维轨迹跟踪方法及装置 |
| CN112904359A (zh) * | 2019-11-19 | 2021-06-04 | 沃尔沃汽车公司 | 基于远程激光探测与测量的速度估计 |
| WO2021174513A1 (zh) * | 2020-03-06 | 2021-09-10 | 华为技术有限公司 | 一种图像处理系统、方法以及包括该系统的自动驾驶车辆 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101401127A (zh) * | 2006-03-23 | 2009-04-01 | Nds有限公司 | 用于运动分析的系统 |
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
| CN105628951A (zh) * | 2015-12-31 | 2016-06-01 | 北京小孔科技有限公司 | 用于测量对象的速度的方法和装置 |
| CN105806342A (zh) * | 2016-03-02 | 2016-07-27 | 上海交通大学 | 基于机器学习的无人机运动速度预测方法 |
| CN106199039A (zh) * | 2016-07-06 | 2016-12-07 | 深圳市高巨创新科技开发有限公司 | 一种无人机速度监测方法及系统 |
| CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
| CN106803350A (zh) * | 2017-03-06 | 2017-06-06 | 中山大学 | 一种基于摄像头拍摄时间差的车辆速度检测方法及装置 |
| CN106815579A (zh) * | 2017-01-22 | 2017-06-09 | 深圳市唯特视科技有限公司 | 一种基于多区域双流卷积神经网络模型的动作检测方法 |
| CN106991370A (zh) * | 2017-02-28 | 2017-07-28 | 中科唯实科技（北京）有限公司 | 基于颜色和深度的行人检索方法 |
| CN107092883A (zh) * | 2017-04-20 | 2017-08-25 | 上海极链网络科技有限公司 | 物体识别追踪方法 |
-
2017
- 2017-08-28 CN CN201710751490.2A patent/CN107609635A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101401127A (zh) * | 2006-03-23 | 2009-04-01 | Nds有限公司 | 用于运动分析的系统 |
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
| CN105628951A (zh) * | 2015-12-31 | 2016-06-01 | 北京小孔科技有限公司 | 用于测量对象的速度的方法和装置 |
| CN105806342A (zh) * | 2016-03-02 | 2016-07-27 | 上海交通大学 | 基于机器学习的无人机运动速度预测方法 |
| CN106199039A (zh) * | 2016-07-06 | 2016-12-07 | 深圳市高巨创新科技开发有限公司 | 一种无人机速度监测方法及系统 |
| CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
| CN106815579A (zh) * | 2017-01-22 | 2017-06-09 | 深圳市唯特视科技有限公司 | 一种基于多区域双流卷积神经网络模型的动作检测方法 |
| CN106991370A (zh) * | 2017-02-28 | 2017-07-28 | 中科唯实科技（北京）有限公司 | 基于颜色和深度的行人检索方法 |
| CN106803350A (zh) * | 2017-03-06 | 2017-06-06 | 中山大学 | 一种基于摄像头拍摄时间差的车辆速度检测方法及装置 |
| CN107092883A (zh) * | 2017-04-20 | 2017-08-25 | 上海极链网络科技有限公司 | 物体识别追踪方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171222A (zh) * | 2018-02-11 | 2018-06-15 | 清华大学 | 一种基于多流神经网络的实时视频分类方法及装置 |
| CN108171222B (zh) * | 2018-02-11 | 2020-08-25 | 清华大学 | 一种基于多流神经网络的实时视频分类方法及装置 |
| CN108491807A (zh) * | 2018-03-28 | 2018-09-04 | 北京农业信息技术研究中心 | 一种奶牛发情行为实时监测方法及系统 |
| CN108491807B (zh) * | 2018-03-28 | 2020-08-28 | 北京农业信息技术研究中心 | 一种奶牛发情行为实时监测方法及系统 |
| CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
| CN110533687A (zh) * | 2018-05-11 | 2019-12-03 | 深眸科技(深圳)有限公司 | 多目标三维轨迹跟踪方法及装置 |
| CN110533687B (zh) * | 2018-05-11 | 2023-09-12 | 上海美城智能科技有限公司 | 多目标三维轨迹跟踪方法及装置 |
| CN109410254A (zh) * | 2018-11-05 | 2019-03-01 | 清华大学深圳研究生院 | 一种基于目标和相机运动建模的目标跟踪方法 |
| CN112904359A (zh) * | 2019-11-19 | 2021-06-04 | 沃尔沃汽车公司 | 基于远程激光探测与测量的速度估计 |
| CN112904359B (zh) * | 2019-11-19 | 2024-04-09 | 沃尔沃汽车公司 | 基于远程激光探测与测量的速度估计 |
| WO2021174513A1 (zh) * | 2020-03-06 | 2021-09-10 | 华为技术有限公司 | 一种图像处理系统、方法以及包括该系统的自动驾驶车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609635A (zh) | 一种基于物体检测与光流计算的物体物理速度估计方法 | |
| US11593950B2 (en) | System and method for movement detection | |
| US10024965B2 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
| US12260575B2 (en) | Scale-aware monocular localization and mapping | |
| CN103150559B (zh) | 基于Kinect三维深度图像的头部识别与跟踪方法 | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN107705563B (zh) | 基于激光雷达的连续车辆速度检测方法 | |
| CN105536233B (zh) | 一种用于田径场上跑步速度的采集测量系统 | |
| CN106780484A (zh) | 基于卷积神经网络特征描述子的机器人帧间位姿估计方法 | |
| CN117274749A (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| CN104268882A (zh) | 基于双线阵摄像头的高速运动物体检测与测速方法及系统 | |
| CN106931962A (zh) | 一种基于gpu‑sift的实时双目视觉定位方法 | |
| CN108830159A (zh) | 一种前方车辆单目视觉测距系统及方法 | |
| CN107462897A (zh) | 基于激光雷达的三维建图的方法 | |
| CN105093198A (zh) | 一种分布式外辐射源雷达组网探测的航迹融合方法 | |
| Yang et al. | Learn to model and filter point cloud noise for a near-infrared ToF LiDAR in adverse weather | |
| CN104570764A (zh) | 一种机载目标指示系统验证平台 | |
| Zheng et al. | Cooperfuse: A real-time cooperative perception fusion framework | |
| CN115205375A (zh) | 检测目标的方法、跟踪目标的方法及装置 | |
| US20240385318A1 (en) | Machine-learning based object detection and localization using ultrasonic sensor data | |
| CN117830775A (zh) | 一种基于毫米波雷达-相机多阶段融合的深度估计方法 | |
| CN113160299A (zh) | 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质 | |
| EP4533403A1 (en) | System and method for generating multi-resolution voxel spaces | |
| US11669980B2 (en) | Optical flow based motion detection | |
| US20250076880A1 (en) | High-definition mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |