CN116642468A - 基于无人机航空摄影和无人船水上水下一体化扫描方法 - Google Patents

Abstract

本发明公开了一种基于无人机航空摄影和无人船水上水下一体化扫描方法，涉及防波堤健康监测技术领域，包括：将无人机和无人船搭载的所有传感器通过船载刚性稳定平台固联；量取各个传感器在水上水下一体化系统物方坐标系下的坐标值；将量取的杆臂值输入实时采集软件中进行水上水下数据采集，获取多源数据；将组合定位定姿解算后的数据导入水上水下一体化系统，将获取的多源数据转换至统一的当地工程坐标系；将转换至同一坐标系下的多源数据融合，建立防波堤整体面貌的三维模型。本发明通过对无人机和无人船的多源数据进行融合，可以建立呈现码头、防波堤及水下结构等整体面貌的三维模型。

Description

基于无人机航空摄影和无人船水上水下一体化扫描方法

技术领域

本发明涉及防波堤健康监测技术领域，更具体的说是涉及一种基于无人机航空摄影和无人船水上水下一体化扫描方法。

背景技术

作为港口基础设施的重要组成部分，防波堤能够防御波浪、冰凌、泥沙、水中激流等入侵港口区域，为港口提供一个安全稳定的掩蔽水域，从而保证港内船舶的平稳工作以及保护港内各种设施装备的安全。

防波堤工作环境比较恶劣，由风暴潮及近岸台风大浪直接导致的防波堤、护岸、海堤等海岸基础设施破坏案例屡见不鲜。防波堤破坏会造成巨大的经济损失，还将直接影响到港口内工作人员的安全以及各种装备设施的正常运转，因而开展防波堤巡检及时监测其结构健康状况具有重要经济和社会意义。

目前防波堤结构健康监测主要依靠目测、人工摄影、卷尺、水准仪、全站仪、GNSSRTK、潜水员水下勘察等方式，存在诸多明显缺点：检测劳动效率低，强度大且人员安全风险高；检测结果难以由点及面，展示结构物整体面貌；人工测量存在人为主观因素，导致测量误差较大，测量结果比较粗放，数字化程度低；GNSS RTK自动监测系统成本高(仅适于测点较少的直立堤身监测，不适用于数量众多含护面块体块石的斜坡堤、引堤及护岸)。

基于对防波堤、护岸损坏危害的认识以及针对现有监测技术的不足，已经有人提出采用无人机和无人船结合的方式对水上水下部分分别进行观测，但是这种检测方法往往存在以下不足：水上水下坐标基准不统一、水上水下数据精度不一致、水上水下数据不连续，存在数据空白需进行插值等后处理工作，作业效率不高等技术瓶颈。

因此，水上水下一体化测绘是对传统水域相关测绘技术方法的变革和创新，如何提出基于“无人机+无人船”水上水下一体化测绘的防波堤、护岸等智能巡检及健康监测的解决方案是本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种基于无人机航空摄影和无人船水上水下一体化扫描方法，通过对无人机和无人船的多源数据进行融合，可以建立呈现码头、防波堤及水下结构等整体面貌的三维模型。

为了实现上述目的，本发明提供如下技术方案：

一种基于无人机航空摄影和无人船水上水下一体化扫描方法，包括以下步骤：

将无人机和无人船搭载的所有传感器通过船载刚性稳定平台固联；

量取各个传感器在水上水下一体化系统物方坐标系下的坐标值；

将量取的杆臂值输入实时采集软件中进行水上水下数据采集，获取多源数据；

将组合定位定姿解算后的数据导入水上水下一体化系统，将获取的多源数据转换至统一的当地工程坐标系；

将转换至同一坐标系下的多源数据融合，建立防波堤整体面貌的三维模型。

可选的，传感器包括：激光扫描仪、360°全景相机、多波束测深仪、GNSS-IMU组合导航设备；

激光扫描仪搭载在无人机、无人船上，用于获取防波堤两侧斜坡水上部分的空间信息数据；

多波束测深仪搭载在无人船上，用于获取防波堤两侧斜坡水下部分的空间信息数据；

360°全景相机搭载在无人机上，用于获取防波堤顶部结构的图像数据；

GNSS-IMU组合导航设备搭载在无人机上，用于为激光扫描仪、多波束测深仪和360°全景相机提供定位信息、时间信息、姿态信息和航向信息。

可选的，将通过360°全景相机获取的防波堤顶部结构的图像数据转换至物方坐标系下，具体包括以下步骤：

获取360°全景相机拍摄图像数据时对应的拍摄参数信息，其中拍摄参数信息包括天线相位中心三维坐标和传感器姿态角；

将天线相位中心三维坐标记为(X_C、Y_C、Z_C)，传感器姿态角包括滚动角俯仰角θ、航偏角ψ；将拍摄参数信息转换至物方坐标系下的公式为：

式中：表示从物方坐标系到影像坐标系的旋转矩阵；/>表示影像坐标系到传感器坐标系的旋转矩阵；/>表示传感器坐标系到载体坐标系的旋转矩阵；/>表示地心地固坐标系到导航坐标系的旋转矩阵；/>表示载体坐标系到导航坐标系的旋转矩阵；/>为固定矩阵，用于导航坐标系和物方坐标系之间的转换。

可选的，杆臂值的获取方法包括以下步骤：

采集多个采样时刻的IMU数据和GNSS数据，获得先验状态信息和各个相邻GNSS采样时刻之间的IMU状态增量残差；

结合待优化的杆臂值构建目标函数，当目标函数收敛时，求解杆臂值。

可选的，在获取多源数据之后，所述方法还包括：

利用硬件同步控制器为各个传感器提供相应的同步信号，并记录相应的时间，建立一个时间同步标准；

利用IE进行基准站和流动站数据结算，输出POS数据；

对POS数据进行点云数据预处理，得到标准LAS数据文件。

可选的，对POS数据进行点云数据预处理，包括点云滤波和点云抽稀；

点云滤波包括回波信号去噪、距离去噪和时间去噪；

点云抽稀是对密集的点云数据进行缩减。

可选的，组合定位定姿解算的过程包括：

定义无人机在初始时刻的位移值为0mm，则无人机在n时刻的X、Y、Z方向的位移值＝无人机在n时刻X、Y、Z方向的坐标值-无人机在初始时刻X、Y、Z方向的坐标值；

定义无人机在n时刻的速度为无人机在n-1时刻和n+1时刻之间的平均速度，则无人机在n时刻X、Y、Z方向的速度＝(无人机在n+1时刻X、Y、Z方向三维的空间坐标-无人机在n-1时刻X、Y、Z方向三维的空间坐标)/2/相邻时刻的时间间隔；

定义无人机在n时刻的加速度为无人机在n-1时刻和n+1时刻间的平均加速度，则无人机在n时刻X、Y、Z方向的加速度＝(无人机在n+1时刻X、Y、Z方向的速度-无人机在n-1时刻X、Y、Z方向的速度)/2/相邻影像的时间间隔。

可选的，对无人机和无人船的控制包括：

控制无人船按照预设路径航行以及无人机跟随无人船同步飞行于无人船上方，且无人机与无人船之间通信连接；

当无人机的剩余电量低于预设阈值时，控制无人机降低飞行高度，将无人机停落在无人船上并通过无人船为无人机充电。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于无人机摄影和无人船水上水下一体化扫描方法，通过无人机和无人船多源数据融合，建立可呈现防波堤整体面貌的三维模型，为实际工程测绘提供决策依据；集成化高，可提高工作效率；无人化，可保障工作人员安全；时间同步，水上水下数据无缝拼接，精度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的基于无人机航空摄影和无人船水上水下一体化扫描方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于无人机航空摄影和无人船水上水下一体化扫描方法，如图1所示，包括以下步骤：

将无人机和无人船搭载的所有传感器通过船载刚性稳定平台固联；

量取各个传感器在水上水下一体化系统物方坐标系下的坐标值；

将量取的杆臂值输入实时采集软件中进行水上水下数据采集，获取多源数据；

将组合定位定姿解算后的数据导入水上水下一体化系统，将获取的多源数据转换至统一的当地工程坐标系；

将转换至同一坐标系下的多源数据融合，建立防波堤整体面貌的三维模型。

进一步地，传感器包括：激光扫描仪、360°全景相机、多波束测深仪、GNSS-IMU组合导航设备；

激光扫描仪搭载在无人机、无人船上，用于获取防波堤两侧斜坡水上部分的空间信息数据；

多波束测深仪搭载在无人船上，用于获取防波堤两侧斜坡水下部分的空间信息数据；多波束测深仪向水下区域发射宽扇区覆盖的声波，利用接收换能器阵列对声波进行窄波束接收，通过发射、接收扇区指向的正交性形成对水底地形的照射脚印并进行处理，得到水下地形的点云数据；

360°全景相机搭载在无人机上，用于获取防波堤顶部结构的图像数据；

GNSS-IMU组合导航设备搭载在无人机上，用于为激光扫描仪、多波束测深仪和360°全景相机提供定位信息、时间信息、姿态信息和航向信息。

更进一步地，将通过360°全景相机获取的防波堤顶部结构的图像数据转换至物方坐标系下，具体包括以下步骤：

获取360°全景相机拍摄图像数据时对应的拍摄参数信息，其中拍摄参数信息包括天线相位中心三维坐标和传感器姿态角；

将天线相位中心三维坐标记为(X_C、Y_C、Z_C)，传感器姿态角包括滚动角俯仰角θ、航偏角ψ；将拍摄参数信息转换至物方坐标系下的公式为：

式中：表示从物方坐标系到影像坐标系的旋转矩阵；/>表示影像坐标系到传感器坐标系的旋转矩阵；/>表示传感器坐标系到载体坐标系的旋转矩阵；/>表示地心地固坐标系到导航坐标系的旋转矩阵；/>表示载体坐标系到导航坐标系的旋转矩阵；/>为固定矩阵，用于导航坐标系和物方坐标系之间的转换。

进一步地，杆臂值的获取方法包括以下步骤：

采集多个采样时刻的IMU数据和GNSS数据，获得先验状态信息和各个相邻GNSS采样时刻之间的IMU状态增量残差；

结合待优化的杆臂值构建目标函数，当目标函数收敛时，求解杆臂值。

进一步地，在获取多源数据之后，所述方法还包括：

利用硬件同步控制器为各个传感器提供相应的同步信号，并记录相应的时间，建立一个时间同步标准；

利用IE进行基准站和流动站数据结算，输出POS数据；

对POS数据进行点云数据预处理，得到标准LAS数据文件。

更进一步地，对POS数据进行点云数据预处理，包括点云滤波和点云抽稀；

点云滤波包括回波信号去噪、距离去噪和时间去噪；

点云抽稀是对密集的点云数据进行缩减。

更进一步地，采用线性内插的方式，将低频率的数据按照高频率的数据进行内插，导入惯导姿态数据，根据校验参数得到各个时刻激光扫描仪和多波束测深仪中心点的坐标及姿态；导入初始激光数据和测深数据并进行解析，得到测点在传感器坐标系下的坐标；根据各个点的时间对应查找此时刻传感器的位置与姿态，得到构成旋转矩阵的三个角度以及三个平移参数。

进一步地，组合定位定姿解算的过程包括：

定义无人机在初始时刻的位移值为0mm，则无人机在n时刻的X、Y、Z方向的位移值＝无人机在n时刻X、Y、Z方向的坐标值-无人机在初始时刻X、Y、Z方向的坐标值；

定义无人机在n时刻的速度为无人机在n-1时刻和n+1时刻之间的平均速度，则无人机在n时刻X、Y、Z方向的速度＝(无人机在n+1时刻X、Y、Z方向三维的空间坐标-无人机在n-1时刻X、Y、Z方向三维的空间坐标)/2/相邻时刻的时间间隔；

定义无人机在n时刻的加速度为无人机在n-1时刻和n+1时刻间的平均加速度，则无人机在n时刻X、Y、Z方向的加速度＝(无人机在n+1时刻X、Y、Z方向的速度-无人机在n-1时刻X、Y、Z方向的速度)/2/相邻影像的时间间隔。

进一步地，对无人机和无人船的控制包括：

控制无人船按照预设路径航行以及无人机跟随无人船同步飞行于无人船上方，且无人机与无人船之间通信连接；具体的，可以采用蓝牙、WIFI、5G、ZIGBE或GPRS方式进行无线通信；

当无人机的剩余电量低于预设阈值时，控制无人机降低飞行高度，将无人机停落在无人船上并通过无人船为无人机充电。

具体的，无人机为旋翼无人机，其充电口位于机体下侧；无人船包括停机平台、设置在停机平台上的无人机起降充电装置。无人机起降充电装置包括设置在停机平台上的云台、设置在云台上的充电接口、缓冲装置、固定装置和着陆板。将无人机置于停机平台上后，通过控制中心控制夹持臂转动使其高出滑行轨道，再通过驱动纵夹电机使夹杆移动使夹持臂夹紧并推动无人机起飞。

进一步地，通过构建数字高程模型，对防波堤的高程信息进行直接的观察与分析，利用地面点云数据生成陆域DEM模型和水域DEM模型，通过坐标配准将水域和陆域的DEM模型进行拼接，得到防波堤整体面貌的三维模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于无人机航空摄影和无人船水上水下一体化扫描方法，其特征在于，包括以下步骤：

将无人机和无人船搭载的所有传感器通过船载刚性稳定平台固联；

量取各个传感器在水上水下一体化系统物方坐标系下的坐标值；

将量取的杆臂值输入实时采集软件中进行水上水下数据采集，获取多源数据；

将组合定位定姿解算后的数据导入水上水下一体化系统，将获取的多源数据转换至统一的当地工程坐标系；

将转换至同一坐标系下的多源数据融合，建立防波堤整体面貌的三维模型。

2.根据权利要求1所述的一种基于无人机航空摄影和无人船水上水下一体化扫描方法，其特征在于，传感器包括：激光扫描仪、360°全景相机、多波束测深仪、GNSS-IMU组合导航设备；

激光扫描仪搭载在无人机、无人船上，用于获取防波堤两侧斜坡水上部分的空间信息数据；

多波束测深仪搭载在无人船上，用于获取防波堤两侧斜坡水下部分的空间信息数据；

360°全景相机搭载在无人机上，用于获取防波堤顶部结构的图像数据；

GNSS-IMU组合导航设备搭载在无人机上，用于为激光扫描仪、多波束测深仪和360°全景相机提供定位信息、时间信息、姿态信息和航向信息。

3.根据权利要求2所述的一种基于无人机航空摄影和无人船水上水下一体化扫描方法，其特征在于，将通过360°全景相机获取的防波堤顶部结构的图像数据转换至物方坐标系下，具体包括以下步骤：

获取360°全景相机拍摄图像数据时对应的拍摄参数信息，其中拍摄参数信息包括天线相位中心三维坐标和传感器姿态角；

将天线相位中心三维坐标记为(X_C、Y_C、Z_C)，传感器姿态角包括滚动角俯仰角θ、航偏角ψ；将拍摄参数信息转换至物方坐标系下的公式为：

式中：表示从物方坐标系到影像坐标系的旋转矩阵；/>表示影像坐标系到传感器坐标系的旋转矩阵；/>表示传感器坐标系到载体坐标系的旋转矩阵；/>表示地心地固坐标系到导航坐标系的旋转矩阵；/>表示载体坐标系到导航坐标系的旋转矩阵；/>为固定矩阵，用于导航坐标系和物方坐标系之间的转换。

4.根据权利要求1所述的一种基于无人机航空摄影和无人船水上水下一体化扫描方法，其特征在于，杆臂值的获取方法包括以下步骤：

采集多个采样时刻的IMU数据和GNSS数据，获得先验状态信息和各个相邻GNSS采样时刻之间的IMU状态增量残差；

结合待优化的杆臂值构建目标函数，当目标函数收敛时，求解杆臂值。

5.根据权利要求1所述的一种基于无人机摄影和无人船水上水下一体化扫描方法，其特征在于，在获取多源数据之后，所述方法还包括：

利用硬件同步控制器为各个传感器提供相应的同步信号，并记录相应的时间，建立一个时间同步标准；

利用IE进行基准站和流动站数据结算，输出POS数据；

对POS数据进行点云数据预处理，得到标准LAS数据文件。

6.根据权利要求5所述的一种基于无人机摄影和无人船水上水下一体化扫描方法，其特征在于，对POS数据进行点云数据预处理，包括点云滤波和点云抽稀；

点云滤波包括回波信号去噪、距离去噪和时间去噪；

点云抽稀是对密集的点云数据进行缩减。

7.根据权利要求1所述的一种基于无人机摄影和无人船水上水下一体化扫描方法，其特征在于，组合定位定姿解算的过程包括：

定义无人机在初始时刻的位移值为0mm，则无人机在n时刻的X、Y、Z方向的位移值＝无人机在n时刻X、Y、Z方向的坐标值-无人机在初始时刻X、Y、Z方向的坐标值；

定义无人机在n时刻的速度为无人机在n-1时刻和n+1时刻之间的平均速度，则无人机在n时刻X、Y、Z方向的速度＝(无人机在n+1时刻X、Y、Z方向三维的空间坐标-无人机在n-1时刻X、Y、Z方向三维的空间坐标)/2/相邻时刻的时间间隔；

定义无人机在n时刻的加速度为无人机在n-1时刻和n+1时刻间的平均加速度，则无人机在n时刻X、Y、Z方向的加速度＝(无人机在n+1时刻X、Y、Z方向的速度-无人机在n-1时刻X、Y、Z方向的速度)/2/相邻影像的时间间隔。

8.根据权利要求1所述的一种基于无人机摄影和无人船水上水下一体化扫描方法，其特征在于，对无人机和无人船的控制包括：

控制无人船按照预设路径航行以及无人机跟随无人船同步飞行于无人船上方，且无人机与无人船之间通信连接；

当无人机的剩余电量低于预设阈值时，控制无人机降低飞行高度，将无人机停落在无人船上并通过无人船为无人机充电。