CN116817929B - 一种无人机对地平面多目标同时定位方法及系统 - Google Patents
一种无人机对地平面多目标同时定位方法及系统 Download PDFInfo
- Publication number
- CN116817929B CN116817929B CN202311085054.8A CN202311085054A CN116817929B CN 116817929 B CN116817929 B CN 116817929B CN 202311085054 A CN202311085054 A CN 202311085054A CN 116817929 B CN116817929 B CN 116817929B
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- target point
- center
- acquisition equipment
- north
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 230000004807 localization Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种无人机对地平面多目标同时定位方法及系统,包括从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;获取图像采集设备的当前时刻视野中心的位姿信息和图像中心的像素坐标,基于图像采集设备的物理焦距和像素物理尺寸以及目标点的像素坐标,计算每个目标点的北东地姿态;基于无人机的高度信息和每个目标点的北东地姿态,计算出每个目标点到图像采集设备光心的距离,并基于每个目标点的北东地姿态,计算每个目标点相对图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。本发明解决了同时对拍摄图像中的所有目标同时进行定位的问题。
Description
技术领域
本发明属于目标跟踪技术领域,尤其涉及一种无人机对地平面多目标同时定位方法及系统。
背景技术
随着无人机技术发展,无人机在军用领域的应用场景也越来越多,利用无人机的光电吊舱对拍摄的目标进行定位,是重要的应用。光电吊舱是指安装在无人机、无人车、无人艇等多种无人平台以及有人平台上,组成各种系统对区域实施光学侦察和监视任务的设备。目标定位具体过程是,先使用视觉方法对图像进行目标检测,再针对目标进行经纬度计算。
目标定位依赖摄像机相对于北东地的姿态信息、目标相对于摄像机光心的距离、摄像机光心的经纬度信息。一种实现目标定位的方法为直接利用无人机云台、激光测距、GPS数据对视野中心位置进行经纬度计算,但一般情况下,无人机光电吊舱只有单束激光打到摄像机视野中心处,所以通过无人机只能获取摄像机视野中心处到摄像机原点的距离。因此此种方式的目标定位存在局限性。另一种实现目标定位的方法为利用三角化方法进行任意目标的定位,涉及到特征匹配和摄像机内外参估计,因此此种方式的目标定位存在不稳定问题。
发明内容
为解决上述技术问题,本发明提出一种无人机对地平面多目标同时定位方法及系统。
本发明第一方面公开了一种无人机对地平面多目标同时定位方法;所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取所述云台的北东地姿态来获取所述图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备的激光测距值;
所述方法包括以下步骤:
S1,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
S2,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
S3,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
S4,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
根据本发明第一方面的方法,步骤S2中,所述计算每个目标点的北东地姿态的步骤包括:
S21,基于所述目标点的像素坐标和所述图像中心的像素坐标的差值,获得所述目标点到图像中心的像素坐标;
S22,基于所述图像采集设备的像素物理尺寸和所述目标点到图像中心的像素坐标的乘积,获得目标点到图像中心的物理坐标;
S23,基于所述目标点到图像中心的物理坐标、所述图像采集设备的物理焦距以及所述激光测距值,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息;
S24,根据所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息,并基于当前时刻的所述图像采集设备视野中心的北东地姿态,计算所述目标点的北东地姿态。
根据本发明第一方面的方法,在所述步骤S23中,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息包括:
S231,获取目标点到所述图像采集设备视野中心的X方向距离和目标点到所述图像采集设备视野中心的Y方向距离;
获得目标点到所述图像采集设备视野中心的X方向距离的方程为:
其中,focus为所述图像采集设备的物理焦距, c_distance为所述激光测距值,fabs为绝对值函数, 为所述目标点到图像中心的物理坐标的X轴坐标值,img_x为所述目标点的像素坐标的X轴坐标值,cx为图像中心的像素坐标的X轴坐标值,dx为所述图像采集设备的X轴上的像素物理尺寸,dist_x为目标点到所述图像采集设备视野中心的X方向距离;
获得目标点到所述图像采集设备视野中心的Y方向距离的方程为:
其中,为所述目标点到图像中心的物理坐标的Y轴坐标值,img_y为所述目标点的像素坐标的Y轴坐标值,cy为图像中心的像素坐标的Y轴坐标值,dy为所述图像采集设备的Y轴上的像素物理尺寸, dist_y为目标点到所述图像采集设备视野中心的Y方向距离;
S232,根据所述图像采集设备的视野中心的激光测距值、所述目标点到所述图像采集设备视野中心的X方向距离和所述目标点到所述图像采集设备视野中心的Y方向距离获得所述目标点与所述图像采集设备光心构成的直线L与所述图像采集设备光轴z在xz平面、yz平面的夹角;
其中,所述直线L与所述图像采集设备光轴z在xz平面的夹角为:
ay=arctan(dist_x / c_distance)
所述直线L与所述图像采集设备光轴z在yz平面的夹角为:
ax=arctan(dist_y / c_distance)
图像采集设备绕图像采集设备y轴旋转,对应ay,记作d_yaw, 图像采集设备绕图像采集设备x轴旋转,对应ax,记作d_pitch,即所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息为d_yaw和d_pitch;
根据d_yaw和d_pitch构成第一旋转矩阵d_R。
根据本发明第一方面的方法,所述步骤S24具体包括:
基于当前时刻的所述图像采集设备视野中心的北东地姿态和所述第一旋转矩阵d_R的乘积,获得目标点的北东地姿态R2;
其中,R1为当前时刻的所述图像采集设备视野中心的北东地姿态yaw1、pitch1、roll1,R2对应的欧拉角为yaw2、pitch2、roll2。
根据本发明第一方面的方法,计算目标点到所述图像采集设备光心的距离的公式为:
distance2 = height / sin(fabs(pitch2))
其中,distance2 为目标点到所述图像采集设备的距离,height为无人机的高度信息,pitch2为所述目标点的北东地姿态中的俯仰角。
根据本发明第一方面的方法,计算目标点相对所述图像采集设备光心的北东地坐标的公式为:
其中east, depth, north分别为北东地坐标下的东轴值、地轴值以及北轴值,图像采集设备z轴指向正北时,x轴指向正东,y轴指向地面朝上,与北东地坐标系的N、E、D对应。
根据本发明第一方面的方法,所述方法还包括:
基于所述每个目标点的北东地姿态和所述当前时刻的所述图像采集设备视野中心的北东地姿态的差值,获得所述图像采集设备的视野中心若要调整到所述目标点,所述云台需要转动的角度;
所述云台需要转动的角度:yaw2-yaw1,pitch2-pitch1,roll2-roll1。
本发明第二方面公开了一种无人机对地平面多目标同时定位系统;所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取无人机云台的北东地姿态来获取图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备的激光测距值;
所述系统包括:
检测模块,被配置为,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
第一处理模块,被配置为,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
第二处理模块,被配置为,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
第三处理模块,被配置为,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本公开第一方面中任一项的一种无人机对地平面多目标同时定位方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本公开第一方面中任一项的一种无人机对地平面多目标同时定位方法中的步骤。
综上,本发明提出的方案具备如下技术效果:本发明通过目标点相对摄像机光心的北东地坐标,进一步计算经纬度解决了无人机摄像头的视野中心自动调整到任一目标位置的问题,以及同时对拍摄图像中的所有目标同时进行定位的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种无人机对地平面多目标同时定位方法的流程图;
图2为根据本发明实施例的一种无人机对地平面多目标同时定位系统的结构图;
图3为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
本发明第一方面公开了一种无人机对地平面多目标同时定位方法;所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取所述云台的北东地姿态来获取所述图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备视野中心位置的激光测距值;通过无人机的云台和激光测距设备获取摄像机视野中心的位姿信息。下面将以所述图像采集设备为摄像机进行介绍。
请参见图1,所述方法包括以下步骤:
S1,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
本步骤中,通过对无人机视频流进行目标检测,得到目标的像素坐标。
S2,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
根据本发明第一方面的方法,步骤S2中,所述计算每个目标点的北东地姿态的步骤包括:
S21,基于所述目标点的像素坐标和所述图像中心的像素坐标的差值,获得所述目标点到图像中心的像素坐标;
S22,基于所述图像采集设备的像素物理尺寸和所述目标点到图像中心的像素坐标的乘积,获得目标点到图像中心的物理坐标;
S23,基于所述目标点到图像中心的物理坐标、所述图像采集设备的物理焦距以及所述激光测距值,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息;
在所述步骤S23中,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息包括:
S231,获取目标点到所述图像采集设备视野中心的X方向距离和目标点到所述图像采集设备视野中心的Y方向距离;
获得目标点到所述图像采集设备视野中心的X方向距离的方程为:
其中,focus为所述图像采集设备的物理焦距, c_distance为所述激光测距值,fabs为绝对值函数, 为所述目标点到图像中心的物理坐标的X轴坐标值,img_x为所述目标点的像素坐标的X轴坐标值,cx为图像中心的像素坐标的X轴坐标值,dx为所述图像采集设备的X轴上的像素物理尺寸,dist_x为目标点到所述图像采集设备视野中心的X方向距离;
获得目标点到所述图像采集设备视野中心的Y方向距离的方程为:
其中, 为所述目标点到图像中心的物理坐标的Y轴坐标值,img_y为所述目标点的像素坐标的Y轴坐标值,cy为图像中心的像素坐标的Y轴坐标值,dy为所述图像采集设备的Y轴上的像素物理尺寸, dist_y为目标点到所述图像采集设备视野中心的Y方向距离;
S232,根据所述图像采集设备的视野中心的激光测距值、所述目标点到所述图像采集设备视野中心的X方向距离和所述目标点到所述图像采集设备视野中心的Y方向距离获得所述目标点与所述图像采集设备光心构成的直线L与所述图像采集设备光轴z在xz平面、yz平面的夹角;
其中,所述直线L与所述图像采集设备光轴z在xz平面的夹角为:
ay=arctan(dist_x / c_distance)
所述直线L与所述图像采集设备光轴z在yz平面的夹角为:
ax=arctan(dist_y / c_distance)
图像采集设备绕图像采集设备y轴旋转,对应ay,记作d_yaw, 图像采集设备绕图像采集设备x轴旋转,对应ax,记作d_pitch,即所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息为d_yaw和d_pitch;
云台偏航角yaw,右偏航为正,范围[-PI,PI];俯仰角pitch,抬头为正,范围[-PI/2.PI/2];横滚角roll,向右滚为正,范围[-PI,PI]。
世界坐标系原点为摄像机光心。摄像机姿态yaw,pict,roll为0,0,0时,摄像机z轴对应正北方向,摄像机x轴对应正东方向,摄像机y轴对应地面朝上方向。
视野中心若自动调整到目标点:
img_y < cy时,摄像机绕x轴逆时针旋转ax,即抬头,此时d_pitch为正,反之为负。
Img_x < cx时,摄像机绕y轴逆时针旋转zy,即左偏航,此时d_yaw为负,反之为正。
根据d_yaw和d_pitch构成第一旋转矩阵d_R。d_yaw、d_pitch就是所述摄像机视野中心若要调整到目标点处摄像机所要绕摄像机坐标轴旋转的角度信息,对应第一旋转矩阵d_R。
S24,根据所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息,并基于当前时刻的所述图像采集设备视野中心的北东地姿态,计算所述目标点的北东地姿态。
基于当前时刻的所述图像采集设备视野中心的北东地姿态和所述第一旋转矩阵d_R的乘积,获得目标点的北东地姿态R2;
其中,R1为当前时刻的所述图像采集设备视野中心的北东地姿态yaw1、pitch1、roll1,R2对应的欧拉角为yaw2、pitch2、roll2。
本步骤中,世界坐标系为北东地坐标系。云台的yaw、pitch、roll都是北东地坐标系下的值。无人机上摄像机是小孔成像模型。视野中心激光测距值为c_distance。 x,y,z为摄像机坐标系的三个轴,z轴为摄像机光轴方向。
世界坐标系原点为摄像机光心。摄像机姿态yaw,pict,roll为0,0,0时,摄像机z轴对应正北方向,摄像机x轴对应正东方向,摄像机y轴对应地面朝上方向。摄像机光心与GPS原点认为是同一位置,可以获取该处的经纬度。
云台偏航角yaw,右偏航为正,范围[-PI,PI];俯仰角pitch,抬头为正,范围[-PI/2.PI/2];横滚角roll,向右滚为正,范围[-PI,PI]。
S3,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
根据本发明第一方面的方法,计算目标点到所述图像采集设备光心的距离的公式为:
distance2 = height / sin(fabs(pitch2))
其中,distance2 为目标点到所述图像采集设备的距离,height为无人机的高度信息,pitch2为所述目标点的北东地姿态中的俯仰角。
S4,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
根据本发明第一方面的方法,计算目标点相对所述图像采集设备光心的北东地坐标的公式为:
其中east, depth, north分别为北东地坐标下的东轴值、地轴值以及北轴值。图像采集设备z轴指向正北时,x轴指向正东,y轴指向地面朝上,与北东地坐标系的N、E、D对应。
根据本发明第一方面的方法,所述方法还包括:
基于所述每个目标点的北东地姿态和所述当前时刻的所述图像采集设备视野中心的北东地姿态的差值,获得所述图像采集设备的视野中心若要调整到所述目标点,所述云台需要转动的角度;
所述云台需要转动的角度:yaw2-yaw1,pitch2-pitch1,roll2-roll1。
本步骤解决了无人机摄像头的视野中心自动调整到任一目标位置的问题。
调整云台的步骤如下:
世界坐标系下,当前时刻的云台初始欧拉角为yaw1,pitch1,roll1,对应相机的初始姿态,记作R1;
根据上述方案计算出摄像机在摄像机坐标系下要调整的角度d_yaw,d_pitch,对应的旋转矩阵为d_R;
镜头调整后,视野中心对准目标点,此时目标点也就是新的视野中心对应的姿态为,与R2对应的欧拉角为yaw2,pitch2,roll2,则原始的视野中心若自动调整到目标点,云台需要转动的角度为yaw2-yaw1、pitch2-pitch1、roll2-roll1。
本发明第二方面公开了一种无人机对地平面多目标同时定位系统;所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取无人机云台的北东地姿态来获取图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备的激光测距值;
请参见图2,所述系统100包括:
检测模块101,被配置为,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
第一处理模块102,被配置为,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
第二处理模块103,被配置为,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
第三处理模块104,被配置为,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本公开第一方面中任一项的一种无人机对地平面多目标同时定位方法中的步骤。
图3为根据本发明实施例的一种电子设备的结构图,如图3所示,电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本公开的技术方案相关的部分的结构图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本公开第一方面中任一项的一种无人机对地平面多目标同时定位方法中的步骤中的步骤。
综上,本发明提出的技术方案具备如下技术效果:
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种无人机对地平面多目标同时定位方法,其特征在于,
所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取所述云台的北东地姿态来获取所述图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备视野中心位置的激光测距值;
所述方法包括以下步骤:
S1,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
S2,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
S3,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
S4,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
2.根据权利要求1所述的一种无人机对地平面多目标同时定位方法,其特征在于,步骤S2中,所述计算每个目标点的北东地姿态的步骤包括:
S21,基于所述目标点的像素坐标和所述图像中心的像素坐标的差值,获得所述目标点到图像中心的像素坐标;
S22,基于所述图像采集设备的像素物理尺寸和所述目标点到图像中心的像素坐标的乘积,获得目标点到图像中心的物理坐标;
S23,基于所述目标点到图像中心的物理坐标、所述图像采集设备的物理焦距以及所述激光测距值,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息;
S24,根据所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息,并基于当前时刻的所述图像采集设备视野中心的北东地姿态,计算所述目标点的北东地姿态。
3.根据权利要求2所述的一种无人机对地平面多目标同时定位方法,其特征在于,在所述步骤S23中,获得所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息包括:
S231,获取目标点到所述图像采集设备视野中心的X方向距离和目标点到所述图像采集设备视野中心的Y方向距离;
获得目标点到所述图像采集设备视野中心的X方向距离的方程为:
,
其中,focus为所述图像采集设备的物理焦距, c_distance为所述激光测距值,fabs为绝对值函数, 为所述目标点到图像中心的物理坐标的X轴坐标值,img_x为所述目标点的像素坐标的X轴坐标值,cx为图像中心的像素坐标的X轴坐标值,dx为所述图像采集设备的X轴上的像素物理尺寸,dist_x为目标点到所述图像采集设备视野中心的X方向距离;
获得目标点到所述图像采集设备视野中心的Y方向距离的方程为:
,
其中, 为所述目标点到图像中心的物理坐标的Y轴坐标值,img_y为所述目标点的像素坐标的Y轴坐标值,cy为图像中心的像素坐标的Y轴坐标值,dy为所述图像采集设备的Y轴上的像素物理尺寸, dist_y为目标点到所述图像采集设备视野中心的Y方向距离;
S232,根据所述图像采集设备的视野中心的激光测距值、所述目标点到所述图像采集设备视野中心的X方向距离和所述目标点到所述图像采集设备视野中心的Y方向距离获得所述目标点与所述图像采集设备光心构成的直线L与所述图像采集设备光轴z在xz平面、yz平面的夹角;
其中,所述直线L与所述图像采集设备光轴z在xz平面的夹角为:
ay=arctan(dist_x / c_distance)
所述直线L与所述图像采集设备光轴z在yz平面的夹角为:
ax=arctan(dist_y / c_distance)
图像采集设备绕图像采集设备y轴旋转,对应ay,记作d_yaw, 图像采集设备绕图像采集设备x轴旋转,对应ax,记作d_pitch,即所述图像采集设备视野中心要调整到目标点处所述图像采集设备所要绕图像采集设备坐标轴旋转的角度信息为d_yaw和d_pitch;
根据d_yaw和d_pitch构成第一旋转矩阵d_R。
4.根据权利要求3所述的一种无人机对地平面多目标同时定位方法,其特征在于,所述步骤S24具体包括:
基于当前时刻的所述图像采集设备视野中心的北东地姿态和所述第一旋转矩阵d_R的乘积,获得目标点的北东地姿态R2;
其中,R1为当前时刻的所述图像采集设备视野中心的北东地姿态yaw1、pitch1、roll1,R2对应的欧拉角为yaw2、pitch2、roll2。
5.根据权利要求4所述的一种无人机对地平面多目标同时定位方法,其特征在于,计算目标点到所述图像采集设备光心的距离的公式为:
distance2 = height / sin(fabs(pitch2))
其中,distance2 为目标点到所述图像采集设备的距离,height为无人机的高度信息,pitch2为所述目标点的北东地姿态中的俯仰角。
6.根据权利要求5所述的一种无人机对地平面多目标同时定位方法,其特征在于,计算目标点相对所述图像采集设备光心的北东地坐标的公式为:
,
其中east, depth, north分别为北东地坐标下的东轴值、地轴值以及北轴值,图像采集设备z轴指向正北时,x轴指向正东,y轴指向地面朝上,与北东地坐标系的N、E、D对应。
7.根据权利要求6所述的一种无人机对地平面多目标同时定位方法,其特征在于,所述方法还包括:
基于所述每个目标点的北东地姿态和所述当前时刻的所述图像采集设备视野中心的北东地姿态的差值,获得所述图像采集设备的视野中心若要调整到所述目标点,所述云台需要转动的角度;
所述云台需要转动的角度:yaw2-yaw1,pitch2-pitch1,roll2-roll1。
8.一种无人机对地平面多目标同时定位系统,其特征在于,所述无人机包括图像采集设备、云台、GPS装置以及激光测距装置;
所述图像采集设备安装在所述云台上,通过控制云台的转动调整所述图像采集设备的视野中心,通过获取无人机云台的北东地姿态来获取图像采集设备视野中心的北东地姿态,所述GPS装置用于获取所述无人机的经纬度信息,所述激光测距装置用于获取所述图像采集设备的激光测距值;
所述系统包括:
检测模块,被配置为,从图像采集设备获取的环境图像信息中识别出所有待监测目标点的像素坐标;
第一处理模块,被配置为,获取当前时刻所述图像采集设备视野中心的位姿信息和图像中心的像素坐标,基于所述图像采集设备的物理焦距和像素物理尺寸以及所述目标点的像素坐标,计算每个目标点的北东地姿态;
所述当前时刻的图像采集设备视野中心的位姿信息包括当前时刻的所述图像采集设备视野中心的北东地姿态和当前时刻的激光测距值;所述图像采集设备的物理焦距和像素物理尺寸为所述图像采集设备的内参;
第二处理模块,被配置为,基于所述无人机的高度信息和所述每个目标点的北东地姿态,计算出每个目标点到所述图像采集设备光心的距离;
第三处理模块,被配置为,基于所述每个目标点到所述图像采集设备光心的距离和所述每个目标点的北东地姿态,计算每个目标点相对所述图像采集设备光心的北东地坐标,并结合无人机的经纬度信息,计算出每个目标点的经纬度信息,以对每个目标点进行定位。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至7中任一项所述的一种无人机对地平面多目标同时定位方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至7中任一项所述的一种无人机对地平面多目标同时定位方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311085054.8A CN116817929B (zh) | 2023-08-28 | 2023-08-28 | 一种无人机对地平面多目标同时定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311085054.8A CN116817929B (zh) | 2023-08-28 | 2023-08-28 | 一种无人机对地平面多目标同时定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116817929A CN116817929A (zh) | 2023-09-29 |
| CN116817929B true CN116817929B (zh) | 2023-11-10 |
Family
ID=88114777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311085054.8A Active CN116817929B (zh) | 2023-08-28 | 2023-08-28 | 一种无人机对地平面多目标同时定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116817929B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809217A (zh) * | 2023-12-26 | 2024-04-02 | 浙江大学 | 一种基于实时单阶段目标识别的察打方法及系统 |
| CN119478028B (zh) * | 2024-10-11 | 2025-09-16 | 西安道达天际信息技术有限公司 | 一种无人机目标定位系统及定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
| CN111167052A (zh) * | 2020-03-18 | 2020-05-19 | 沈阳天目科技有限公司 | 基于摄像机定位的自动消防炮目标经纬度计算方法 |
| WO2021189456A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市大疆创新科技有限公司 | 无人机巡检方法、装置及无人机 |
| CN113920186A (zh) * | 2021-10-13 | 2022-01-11 | 中国电子科技集团公司第五十四研究所 | 一种低空无人机多源融合定位方法 |
| CN114812558A (zh) * | 2022-04-19 | 2022-07-29 | 中山大学 | 一种结合激光测距的单目视觉无人机自主定位方法 |
| CN114973037A (zh) * | 2022-06-15 | 2022-08-30 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机智能检测与同步定位多目标的方法 |
| CN116385504A (zh) * | 2023-03-15 | 2023-07-04 | 智洋创新科技股份有限公司 | 一种基于无人机采集点云与图像配准的巡检、测距方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7552589B2 (ja) * | 2019-05-09 | 2024-09-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
-
2023
- 2023-08-28 CN CN202311085054.8A patent/CN116817929B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
| CN111167052A (zh) * | 2020-03-18 | 2020-05-19 | 沈阳天目科技有限公司 | 基于摄像机定位的自动消防炮目标经纬度计算方法 |
| WO2021189456A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市大疆创新科技有限公司 | 无人机巡检方法、装置及无人机 |
| CN113920186A (zh) * | 2021-10-13 | 2022-01-11 | 中国电子科技集团公司第五十四研究所 | 一种低空无人机多源融合定位方法 |
| CN114812558A (zh) * | 2022-04-19 | 2022-07-29 | 中山大学 | 一种结合激光测距的单目视觉无人机自主定位方法 |
| CN114973037A (zh) * | 2022-06-15 | 2022-08-30 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机智能检测与同步定位多目标的方法 |
| CN116385504A (zh) * | 2023-03-15 | 2023-07-04 | 智洋创新科技股份有限公司 | 一种基于无人机采集点云与图像配准的巡检、测距方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116817929A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12206359B2 (en) | Method and system for solar photovoltaic power station monitoring | |
| CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| CN111966133A (zh) | 一种云台视觉伺服控制系统 | |
| CN111625091B (zh) | 基于ar眼镜的标签叠加方法及装置 | |
| CN116817929B (zh) | 一种无人机对地平面多目标同时定位方法及系统 | |
| CN104835115A (zh) | 用于航空相机的图像成像方法及系统 | |
| CN113194263B (zh) | 枪球联动控制方法、装置、计算机设备和存储介质 | |
| CN115379390B (zh) | 无人机定位方法、装置、计算机设备和存储介质 | |
| CN114187344B (zh) | 一种地图构建方法、装置及设备 | |
| KR20210049581A (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
| CN114979956A (zh) | 一种无人机航拍地面目标定位方法及系统 | |
| CN111213159A (zh) | 一种图像处理方法、装置及系统 | |
| CN113436267A (zh) | 视觉惯导标定方法、装置、计算机设备和存储介质 | |
| CN112985398A (zh) | 目标定位方法及系统 | |
| CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| CN114820725A (zh) | 目标显示方法、装置、电子设备及存储介质 | |
| WO2020198963A1 (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
| CN108344401A (zh) | 定位方法、装置及计算机可读存储介质 | |
| CN118623782A (zh) | 一种边坡变形监测方法、装置、电子设备及介质 | |
| CN108444452B (zh) | 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置 | |
| CN110750094B (zh) | 确定可移动设备的位姿变化信息的方法、装置和系统 | |
| CN117523010B (zh) | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 | |
| JP2006234703A (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| CN118050762A (zh) | 基于空间匹配交会的目标定位方法 | |
| CN113223076B (zh) | 车辆与车载摄像头的坐标系标定方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |