[go: up one dir, main page]

CN116242319A - 一种大范围运动物体的高精度双目视觉测量方法及装置 - Google Patents

一种大范围运动物体的高精度双目视觉测量方法及装置 Download PDF

Info

Publication number
CN116242319A
CN116242319A CN202211716305.3A CN202211716305A CN116242319A CN 116242319 A CN116242319 A CN 116242319A CN 202211716305 A CN202211716305 A CN 202211716305A CN 116242319 A CN116242319 A CN 116242319A
Authority
CN
China
Prior art keywords
image
measured
binocular vision
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211716305.3A
Other languages
English (en)
Inventor
张飞凯
彭飞
夏拥军
秦剑
万建成
孟凡豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
State Grid Corp of China SGCC
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI, State Grid Corp of China SGCC filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202211716305.3A priority Critical patent/CN116242319A/zh
Publication of CN116242319A publication Critical patent/CN116242319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/26—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken using computers to control the position of the pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及机器视觉技术领域，具体提供了一种大范围运动物体的高精度双目视觉测量方法及装置，包括：获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。本发明提供的技术方案无需进行图像拼接，采集更少的图像数据即可获得相同甚至更好的测量精度，因此数据计算量相对更小，测量效率相对更高。

Description

一种大范围运动物体的高精度双目视觉测量方法及装置
技术领域
本发明涉及机器视觉技术领域，具体涉及一种大范围运动物体的高精度双目视觉测量方法及装置。
背景技术
双目立体视觉测量利用成像设备从不同的位置获取被测物体的两幅图像，基于视差原理计算图像对应点间的位置偏差，来获取物体特征点的三维空间坐标，常用于物体的几何尺寸和空间位置与姿态的测量。
使用双目视觉测量系统实时测量运动物体(比如无人机、吊装施工的吊件、机械臂抓取的零部件等)的几何尺寸和空间位置与姿态时，考虑到被测物体的运动范围，需要采用较大的拍摄视场。增大相机的拍摄视场就会减小被测物体的影像在拍摄的图像中的比例，减少了表示被测物体影像的像素数量，降低了被测物体的几何尺寸和空间位置与姿态的测量精度。在一些极端的情况下，当拍摄的图片上表示被测物体影像的像素少到难以对被测物体进行图像识别与特征匹配时，就无法完成测量任务。因此，传统双目立体视觉测量方法难以同时满足大范围运动物体的大视场与高精度测量需求。
双目视觉的两个相机的基线长度也对测量效果和测量精度有直接影响。当运动物体距离双目视觉测量系统较近时，较小的基线长度就能够获得较大的视差图，实现较高的测量精度；此时，基线长度太大反而会减少两个相机拍摄的图像的重叠区域，影响立体匹配的效果。当运动物体距离双目视觉测量系统较远时，需要较大的相机基线长度才能获得较大的视差图，实现较高的测量精度。
发明内容
为了克服上述缺陷，本发明提出了一种大范围运动物体的高精度双目视觉测量方法及装置。
第一方面，提供一种大范围运动物体的高精度双目视觉测量方法，所述大范围运动物体的高精度双目视觉测量方法包括：
获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
优选的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure BDA0004028077930000021
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure BDA0004028077930000022
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure BDA0004028077930000023
为从云台坐标系到世界坐标系坐标变换的平移向量。
优选的，所述基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标，包括：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA0004028077930000024
其中，
Figure BDA0004028077930000025
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000026
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000027
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000028
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000029
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure BDA00040280779300000210
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA00040280779300000211
其中，
Figure BDA00040280779300000212
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA00040280779300000213
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000031
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
优选的，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座安装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
进一步的，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
进一步的，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
进一步的，所述基于双目视觉测量设备拍摄的图像对被测物体进行测量，包括：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
进一步的，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
进一步的，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
进一步的，所述图像处理包括：图像校正、立体匹配和三维重建。
第二方面，提供一种大范围运动物体的高精度双目视觉测量装置，所述大范围运动物体的高精度双目视觉测量装置包括：
获取模块，用于获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
预测模块，用于基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
调节模块，用于调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
测量模块，用于控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
优选的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure BDA0004028077930000041
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure BDA0004028077930000042
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure BDA0004028077930000043
为从云台坐标系到世界坐标系坐标变换的平移向量。
优选的，所述预测模块具体用于：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA0004028077930000044
其中，
Figure BDA0004028077930000045
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000046
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000047
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000048
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000051
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure BDA0004028077930000052
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA0004028077930000053
其中，
Figure BDA0004028077930000054
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000055
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000056
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
优选的，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座安装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
进一步的，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
进一步的，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
进一步的，所述测量模块具体用于：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
进一步的，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
进一步的，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
进一步的，所述图像处理包括：图像校正、立体匹配和三维重建。
第三方面，提供一种计算机设备，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现所述的大范围运动物体的高精度双目视觉测量方法。
第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现所述的大范围运动物体的高精度双目视觉测量方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明提供了一种大范围运动物体的高精度双目视觉测量方法及装置，包括：获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。本发明提供的技术方案能够实现大范围运动物体的高精度视觉测量，实时获取其几何尺寸和空间位置与姿态。相对传统的双目视觉测量技术，在采用相同相机的情况下，本发明具有更高的测量精度和更广泛的测量视场范围；相对多目视觉测量技术，本发明无需进行图像拼接，采集更少的图像数据即可获得相同甚至更好的测量精度，因此数据计算量相对更小，测量效率相对更高。
附图说明
图1是本发明实施例的大范围运动物体的高精度双目视觉测量方法的主要步骤流程示意图；
图2是本发明实施例的被测物体对应的世界坐标的测量原理图；
图3是本发明实施例的大范围运动物体的高精度双目视觉测量系统结构图；
图4是本发明实施例的高精度云台示意图；
图5是本发明实施例的大范围运动物体的高精度双目视觉测量方法的实施流程图；
图6是本发明实施例的双平臂落地抱杆组塔吊装过程中吊件起吊时的应用场景；
图7是本发明实施例的双平臂落地抱杆组塔吊装过程中吊件待就位时的应用场景；
图8是本发明实施例的大范围运动物体的高精度双目视觉测量装置的主要结构框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如背景技术中所公开的，双目立体视觉测量利用成像设备从不同的位置获取被测物体的两幅图像，基于视差原理计算图像对应点间的位置偏差，来获取物体特征点的三维空间坐标，常用于物体的几何尺寸和空间位置与姿态的测量。
使用双目视觉测量系统实时测量运动物体(比如无人机、吊装施工的吊件、机械臂抓取的零部件等)的几何尺寸和空间位置与姿态时，考虑到被测物体的运动范围，需要采用较大的拍摄视场。增大相机的拍摄视场就会减小被测物体的影像在拍摄的图像中的比例，减少了表示被测物体影像的像素数量，降低了被测物体的几何尺寸和空间位置与姿态的测量精度。在一些极端的情况下，当拍摄的图片上表示被测物体影像的像素少到难以对被测物体进行图像识别与特征匹配时，就无法完成测量任务。因此，传统双目立体视觉测量方法难以同时满足大范围运动物体的大视场与高精度测量需求。
双目视觉的两个相机的基线长度也对测量效果和测量精度有直接影响。当运动物体距离双目视觉测量系统较近时，较小的基线长度就能够获得较大的视差图，实现较高的测量精度；此时，基线长度太大反而会减少两个相机拍摄的图像的重叠区域，影响立体匹配的效果。当运动物体距离双目视觉测量系统较远时，需要较大的相机基线长度才能获得较大的视差图，实现较高的测量精度。
为了改善上述问题，本发明提供了一种大范围运动物体的高精度双目视觉测量方法及装置，包括：获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。本发明提供的技术方案能够实现大范围运动物体的高精度视觉测量，实时获取其几何尺寸和空间位置与姿态。相对传统的双目视觉测量技术，在采用相同相机的情况下，本发明具有更高的测量精度和更广泛的测量视场范围；相对多目视觉测量技术，本发明无需进行图像拼接，采集更少的图像数据即可获得相同甚至更好的测量精度，因此数据计算量相对更小，测量效率相对更高。下面对上述方案进行详细阐述。
实施例1
参阅附图1，图1是本发明的一个实施例的大范围运动物体的高精度双目视觉测量方法的主要步骤流程示意图。如图1所示，本发明实施例中的大范围运动物体的高精度双目视觉测量方法主要包括以下步骤：
步骤S101：获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
步骤S102：基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
步骤S103：调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
步骤S104：控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
本实施例中，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure BDA0004028077930000081
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure BDA0004028077930000091
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure BDA0004028077930000092
为从云台坐标系到世界坐标系坐标变换的平移向量。
具体的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的测量原理与传统双目立体视觉测量系统不同，大范围运动物体的高精度双目视觉测量系统的相机采用的是变倍镜头，且相机安装在可变基线长度的转动云台上。假设相机的放大倍率为η、基线长度为ε、云台水平转动角度为θ、云台俯仰转动角度为
Figure BDA0004028077930000093
如图2所示，假设O-XWYWZW为世界坐标系，O-XYZ为云台坐标系，当云台水平转动角度和俯仰转动角度均为零时，两个坐标系的对应坐标轴相互平行。采用针孔模型近似描述相机成像原理，OC1-XC1YC1ZC1为左侧相机的相机坐标系，其中OC1点为相机的光心。平面H1为左侧相机的图像平面，与ZC1轴垂直相交于OH1，OC1与OH1的距离为左侧相机的焦距fη1。OH1-XH1YH1为左侧相机图像的物理坐标系，轴XH1和YH1分别平行于轴XC1和YC1。OUV1-U1V1为左侧相机图像的像素坐标系。右侧相机的相机坐标系、图像平面、图像物理坐标系、图像像素坐标系与左侧的类似。
空间点P在世界坐标系下的坐标为(xW,yW,zW)，在云台坐标下的坐标为(x,y,z)，在左侧相机坐标系下的坐标为(xC1,yC1,zC1)，在图像平面H1的相机图像像素坐标系下的投影为P1(u1,v1)，在图像平面H1的物理坐标系下的坐标为(xH1,yH1)。
由透视投影几何关系可确定P点在左侧相机坐标系的坐标与在对应像平面的投影点的图像物理坐标系坐标的关系为：
Figure BDA0004028077930000094
Figure BDA0004028077930000095
其齐次坐标矩阵表达方式为：
Figure BDA0004028077930000096
左侧相机图像的物理坐标系和像素坐标系之间的关系如下：
u1＝sx1xH1+u01(4)
v1＝sy1yH1+v01(5)
式中，sx1,sy1为左侧图像平面H1单位距离上的像素数，(u01,v01)为OH1点的左侧图像像素坐标系坐标。联立公式(3)～(5)可得：
Figure BDA0004028077930000101
式中，Mη1″是左侧相机的内部参数矩阵，受相机的放大倍率η的影响，需要在不同η值的情况下分别对相机进行标定，获取对应的相机内参。
P点在云台坐标系坐标与在左侧相机的相机坐标系坐标的关系可表示为：
Figure BDA0004028077930000102
式中，Rε1和tε1分别为从云台坐标系到相机坐标系变换的旋转矩阵和平移向量。Rε1是一个3×3单位正交矩阵，tε1是3×1的平移向量。Mε1′为左侧相机的外部参数矩阵，受相机的基线长度ε的影响，需要在不同ε值的情况下分别对相机进行标定，获取对应的相机外参。
因此，点P的云台坐标系坐标与其在左侧相机图像平面H1的投影的像素坐标系坐标的转换关系式为：
Figure BDA0004028077930000103
同理，点P的云台坐标系坐标与其在右侧相机图像平面H2的投影的像素坐标系坐标的转换关系式为：
Figure BDA0004028077930000104
通过双目相机的标定得到的左右两个相机内、外参数，通过求解公式(8)和(9)的联立方程组可计算出空间点P的云台坐标系坐标。然后结合云台坐标系与世界坐标系的坐标转换关系式，可求解点P的世界坐标系坐标：
Figure BDA0004028077930000111
式中，
Figure BDA0004028077930000112
和
Figure BDA0004028077930000113
分别为从云台坐标系到世界坐标系坐标变换的旋转矩阵和平移向量，可由云台坐标系原点的世界坐标系坐标、云台水平转动角度θ、云台俯仰转动角度
Figure BDA0004028077930000114
计算得到。
本实施例中，所述基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标，包括：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA0004028077930000115
其中，
Figure BDA0004028077930000116
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000117
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000118
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000119
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA00040280779300001110
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure BDA00040280779300001111
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA00040280779300001112
其中，
Figure BDA00040280779300001113
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA00040280779300001114
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA00040280779300001115
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
在进行目标跟踪时，首先将相机光心OC1和OC2的中点记为Q点，云台水平旋转使得PQ与OC1OC2垂直；然后云台俯仰旋转，使得PQ与相机光轴ZC1或ZC2共面(相机安装时应尽可能保持光轴ZC1和ZC2共面)共面即可完成目标跟踪。
本实施例中，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座安装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
在一个实施方式中，控制系统控制云台转动，以保持被测对象处于拍摄图像的中心区域，同时根据镜头的放大倍率对应调整控制基线长度，保证视觉测量精度；通过水平旋转角度、俯仰旋转角度和基线长度的闭环调整控制，提高控制精度。同时，视觉测量控制系统通过同步控制两个自动变倍镜头的电机转动调节镜片位置和放大倍率，通过高精度光栅尺反馈的镜片位置实现闭环控制，确保两个镜头的放大倍率一致；通过调整放大倍率可保持被测对象在拍摄图像中的大小比例，以确保视觉测量的分辨率和精度。
高精度云台能够进行水平和俯仰两个方向旋转，从而调整相机的拍摄角度，实现对被测量对象(吊件)的跟踪拍摄，云台的旋转编码器能够实时测量云台的水平转角和俯仰转角；云台上有两个安装相机的底座，一个底座直接固定在云台上，一个底座可以在固定于云台的滑轨上滑动(由电机驱动)，用于调整相机基线长度，滑轨上的高精度光栅尺可以精确测量相机基线长度。
其中，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
自动变倍镜头具有电机和传动系统，用于调整镜片位置和放大倍率，同时具有高精度光栅尺，能够精确测量镜片的位置，通过放大倍率的闭环调整控制，提高放大倍率的控制精度。
基于所述双目视觉测量设备，本发明还提供了一种大范围运动物体的高精度双目视觉测量系统，如图3所示，包括相机(两台)、自动变倍镜头(两个)、高精度云台、数据接口、计算机、视觉测量控制系统等；
相机为普通工业相机，可根据需要选用CCD相机或CMOS相机，相机固定安装在高精度云台上，两台相机朝向同一拍摄方向。自动变倍镜头安装于相机的镜头接口，具有电机和传动系统，用于调整镜片位置和放大倍率，同时具有高精度光栅尺，能够精确测量镜片的位置，通过放大倍率的闭环调整控制，提高放大倍率的控制精度。如图4所示，高精度云台能够进行水平和俯仰两个方向旋转，从而调整相机的拍摄角度，实现对被测量对象(吊件)的跟踪拍摄，云台的旋转编码器能够实时测量云台的水平转角和俯仰转角；云台上有两个安装相机的底座，一个底座直接固定在云台上，一个底座可以在固定于云台的滑轨上滑动(由电机驱动)，用于调整相机基线长度，滑轨上的高精度光栅尺可以精确测量相机基线长度；通过闭环调整控制，提高水平旋转角度、俯仰旋转角度和基线长度的控制精度。数据接口可实现控制信号、图像数据、放大倍率、云台转动角度等数据的有线或无线高速传输。视觉测量控制系统主要有目标识别、双目立体视觉测量、目标运动预测、高精度云台闭环控制和自动变倍镜头闭环控制等功能。
视觉测量控制系统可通过SVM、卷积神经网络等图像识别算法从相机拍摄的图像的复杂背景中识别出测量对象，实现目标识别功能。双目立体视觉测量功能能够对测量对象进行图像校正(如Bouguet立体校正算法等)、立体匹配(如SIFT、SURF等立体匹配算法等)和三维重建(基于视差图)，测量被测对象的几何尺寸和空间位姿信息。目标运动预测功能可根据不同时刻测得的被测对象空间位置与姿态信息，计算其速度和加速度，进而预测被测对象在下一时刻的位置。视觉测量控制系统控制云台转动，以保持被测对象处于拍摄图像的中心区域，同时根据镜头的放大倍率对应调整控制基线长度，保证视觉测量精度；通过水平旋转角度、俯仰旋转角度和基线长度的闭环调整控制，提高控制精度。同时，视觉测量控制系统通过同步控制两个自动变倍镜头的电机转动调节镜片位置和放大倍率，通过高精度光栅尺反馈的镜片位置实现闭环控制，确保两个镜头的放大倍率一致；通过调整放大倍率可保持被测对象在拍摄图像中的大小比例，以确保视觉测量的分辨率和精度。
进一步的，本实施例中，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
在一个实施方式中，所述基于双目视觉测量设备拍摄的图像对被测物体进行测量，包括：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
其中，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
在一个实施方式中，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
其中，所述图像处理包括：图像校正、立体匹配和三维重建。
在一个具体的实施方式中，采用本发明提供的方法进行被测目标的空间位置与姿态测量的流程如图5所示，具体步骤如下：
(1)初始化：云台转回初始位置，自动变倍镜头放大倍率回到最小值；
(2)目标搜索：云台以一定的路径转动，同时相机拍摄图像并在图像中搜索被测对象，当两个相机都能拍摄到被测对象的完整影像时，完成被测目标搜索。
(3)设备微调：根据目标搜索拍摄的图像计算被测对象的尺寸和空间位置，控制云台转动，使得被测对象位于图像中心区域，同时同步调节两台相机镜头的放大倍率，保持被测对象在两台相机拍摄的图像中都占据合适的比例(即表示被测对象的像素数量是否满足分辨率要求)。
(4)位姿测量：两台相机同步拍摄对多图像，根据这些图像测量被测对象的几何尺寸和不同相片拍摄时刻的空间位姿信息。
(5)任务完成情况判断：判断是否完成测量任务，如果已完成，结束测量，如果未完成，进行下一步。
(6)运动预测：根据不同时刻测得的被测对象空间位置与姿态信息，计算其速度和加速度，进而预测被测对象在下一时刻的位置。
(7)图像位置判断：判断被测对象下一时刻的位置是否位于拍摄图像的中心区域，如果位于中心区域，回到第(4)步，如果超出中心区域，进行下一步。
(8)目标跟踪：根据预测的被测对象位置，控制云台转动，使得被测对象位于下一次拍摄的图像中心区域。
(9)分辨率判断：判断被测目标在拍摄图形中是否占据合适的比例，如果比例合适，回到第(4)步，如果比例过大或过小，进行下一步。
(10)放大倍率、基线长度调整：同步调节两台相机镜头的放大倍率，保持被测对象在两台相机拍摄的图像中都占据合适的比例，同时根据放大倍率调整基线长度，保证能够得到大小合适的视差图，然后回到第(4)步。
在一个应用场景中，输电线路组塔施工时，常采用双平臂落地抱杆进行塔材等物料的吊装作业，将吊件从地面吊装到在建铁塔的装配位置。为了实现组塔吊装施工的自动化与智能化，需要对吊件的空间位置与姿态进行高精度实时测量，测量精度不能低于0.05m。吊装施工过程中，吊件的运动范围为一个底面位于地平面、轴心与双平臂落地抱杆中心重合、高度略高于铁塔高度、半径略大于抱杆最大工作幅度的圆柱形区域。铁塔的尺寸与线路回路、气象条件、导线截面、适用地形、铁塔型式和海拔高度等条件相关，750kV输电线路铁塔的高度一般为39.1m～107.8m。双平臂落地抱杆的最大工作幅度与其型号有关，T2T60、T2T80、T2T100和T2T120等型号抱杆的最大工作幅度分别为20m、21m、21m和24m。
机器视觉测量技术无需对被测物体进行任何处理，测量准备工作简单，测量成本低，是实现组塔吊装施工的吊件空间位置与姿态测量的理想技术。但传统的双目视觉测量技术难以同时满足吊件位置与姿态测量的大视场与高精度的测量需求，多目视觉测量技术采集的图像数量多，数据计算量大，难以实现吊件空间位置与姿态的实时测量。图6示出了双平臂落地抱杆组塔吊装过程中吊件起吊时的应用场景，图7示出了双平臂落地抱杆组塔吊装过程中吊件待就位时的应用场景，由此可见，采用本发明的方法，能够在半径24m高度100m的圆柱形范围内实现吊件的空间位置与姿态的高精度实时测量，测量精度满足5cm的要求。
实施例2
基于同一种发明构思，本发明还提供了一种大范围运动物体的高精度双目视觉测量装置，如图8所示，所述大范围运动物体的高精度双目视觉测量装置包括：
获取模块，用于获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
预测模块，用于基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
调节模块，用于调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
测量模块，用于控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
优选的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure BDA0004028077930000151
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure BDA0004028077930000161
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure BDA0004028077930000162
为从云台坐标系到世界坐标系坐标变换的平移向量。
优选的，所述预测模块具体用于：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA0004028077930000163
其中，
Figure BDA0004028077930000164
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000165
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA0004028077930000166
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000167
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA0004028077930000168
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure BDA0004028077930000169
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure BDA00040280779300001610
其中，
Figure BDA00040280779300001611
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure BDA00040280779300001612
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure BDA00040280779300001613
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
优选的，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座安装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
进一步的，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
进一步的，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
进一步的，所述测量模块具体用于：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
进一步的，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
进一步的，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
进一步的，所述图像处理包括：图像校正、立体匹配和三维重建。
实施例3
基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种大范围运动物体的高精度双目视觉测量方法的步骤。
实施例4
基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种大范围运动物体的高精度双目视觉测量方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (22)

1.一种大范围运动物体的高精度双目视觉测量方法，其特征在于，所述方法包括：
获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
2.如权利要求1所述的方法，其特征在于，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure FDA0004028077920000011
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure FDA0004028077920000019
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure FDA00040280779200000110
为从云台坐标系到世界坐标系坐标变换的平移向量。
3.如权利要求1所述的方法，其特征在于，所述基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标，包括：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure FDA0004028077920000012
其中，
Figure FDA0004028077920000013
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA0004028077920000014
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA0004028077920000015
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA0004028077920000016
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA0004028077920000017
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure FDA0004028077920000018
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure FDA0004028077920000021
其中，
Figure FDA0004028077920000022
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA0004028077920000023
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA0004028077920000024
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
4.如权利要求1所述的方法，其特征在于，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座安装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
5.如权利要求4所述的方法，其特征在于，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
6.如权利要求5所述的方法，其特征在于，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
7.如权利要求6所述的方法，其特征在于，所述基于双目视觉测量设备拍摄的图像对被测物体进行测量，包括：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
8.如权利要求7所述的方法，其特征在于，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
9.如权利要求8所述的方法，其特征在于，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
10.如权利要求8所述的方法，其特征在于，所述图像处理包括：图像校正、立体匹配和三维重建。
11.一种大范围运动物体的高精度双目视觉测量装置，其特征在于，所述装置包括：
获取模块，用于获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；
预测模块，用于基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；
调节模块，用于调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；
测量模块，用于控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。
12.如权利要求11所述的装置，其特征在于，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：
Figure FDA0004028077920000031
上式中，xW为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yW为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zW为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，
Figure FDA0004028077920000032
为从云台坐标系到世界坐标系坐标变换的旋转矩阵，
Figure FDA00040280779200000412
为从云台坐标系到世界坐标系坐标变换的平移向量。
13.如权利要求11所述的装置，其特征在于，所述预测模块具体用于：
当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure FDA0004028077920000041
其中，
Figure FDA0004028077920000042
为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA0004028077920000043
为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA0004028077920000044
为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA0004028077920000045
为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA0004028077920000046
为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，
Figure FDA0004028077920000047
为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；
当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为
Figure FDA0004028077920000048
其中，
Figure FDA0004028077920000049
为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，
Figure FDA00040280779200000410
为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，
Figure FDA00040280779200000411
为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。
14.如权利要求11所述的装置，其特征在于，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；
所述高精度云台配置有相机固定底座和相机滑动底座；
所述相机固定底座固定安装在所述高精度云台的固定底座装部；
所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；
所述相机固定底座和相机滑动底座分别安装一组拍摄单元；
所述数据接口，用于与外界计算机进行通信；
所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。
15.如权利要求14所述的装置，其特征在于，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。
16.如权利要求15所述的装置，其特征在于，所述调节双目视觉测量设备，包括：
调节所述高精度云台的水平旋转角度、俯仰旋转角度；
调节两组拍摄单元之间的基线长度；
调节相机的镜片位置和放大倍率。
17.如权利要求16所述的装置，其特征在于，所述测量模块具体用于：
初始化相机的放大倍率回到最小值；
对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；
调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；
对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。
18.如权利要求17所述的装置，其特征在于，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：
将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。
19.如权利要求18所述的装置，其特征在于，所述预先构建的机器学习模型的获取过程包括：
利用带有被测物体批注的图像构建训练数据；
利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。
20.如权利要求18所述的装置，其特征在于，所述图像处理包括：图像校正、立体匹配和三维重建。
21.一种计算机设备，其特征在于，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至10中任意一项所述的大范围运动物体的高精度双目视觉测量方法。
22.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1至10中任意一项所述的大范围运动物体的高精度双目视觉测量方法。
CN202211716305.3A 2022-12-30 2022-12-30 一种大范围运动物体的高精度双目视觉测量方法及装置 Pending CN116242319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211716305.3A CN116242319A (zh) 2022-12-30 2022-12-30 一种大范围运动物体的高精度双目视觉测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211716305.3A CN116242319A (zh) 2022-12-30 2022-12-30 一种大范围运动物体的高精度双目视觉测量方法及装置

Publications (1)

Publication Number Publication Date
CN116242319A true CN116242319A (zh) 2023-06-09

Family

ID=86635553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211716305.3A Pending CN116242319A (zh) 2022-12-30 2022-12-30 一种大范围运动物体的高精度双目视觉测量方法及装置

Country Status (1)

Country Link
CN (1) CN116242319A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118376884A (zh) * 2024-06-24 2024-07-23 辽宁飞纵电力设计有限公司 一种基于热成像反馈的架空缆线工况检测设备
CN119666065A (zh) * 2024-12-06 2025-03-21 中国铁建重工集团股份有限公司 一种用于数字图像相关测量的图像采集系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118376884A (zh) * 2024-06-24 2024-07-23 辽宁飞纵电力设计有限公司 一种基于热成像反馈的架空缆线工况检测设备
CN119666065A (zh) * 2024-12-06 2025-03-21 中国铁建重工集团股份有限公司 一种用于数字图像相关测量的图像采集系统和方法

Similar Documents

Publication Publication Date Title
JP4825980B2 (ja) 魚眼カメラの校正方法。
CN113205603B (zh) 一种基于旋转台的三维点云拼接重建方法
CN106408556B (zh) 一种基于一般成像模型的微小物体测量系统标定方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN109360243B (zh) 一种多自由度可动视觉系统的标定方法
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN102798456B (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
CN109146961B (zh) 一种基于虚拟矩阵的3d测量及获取装置
CN108805938B (zh) 一种光学防抖模组的检测方法、移动终端及存储介质
CN106485753A (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN116242319A (zh) 一种大范围运动物体的高精度双目视觉测量方法及装置
CN108574825A (zh) 一种云台摄像机的调整方法和装置
CN113643384B (zh) 坐标系标定方法、自动组装方法及装置
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN103676455B (zh) 光学防震相机模组的自动调试方法及系统
CN110514114A (zh) 一种基于双目视觉的微小目标空间位置标定方法
CN113592956A (zh) 一种基于显微检测机台的多镜头联合标定方法和装置
CN111316325B (zh) 拍摄装置参数标定方法、设备及存储介质
CN113487677B (zh) 一种基于任意分布式配置的多ptz相机的室外中远距场景标定方法
CN106094162A (zh) 一种对焦方法
CN118799409B (zh) 一种基于声信息引导的水下光源投送方向协同调控方法
CN110969652B (zh) 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
CN117274326B (zh) 基于距离估计和姿态参数的机器视觉图像配准方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination