CN117009816A - 激光雷达和视觉启发式学习的目标检测系统及方法 - Google Patents

Abstract

本发明涉及一种激光雷达和视觉启发式学习的目标检测系统，属于自主无人系统环境感知技术领域，包括视觉目标检测模块：用于实时采集视觉数据，通过视觉模型‑1进行目标检测，将检测结果作为视觉伪标签数据发送给启发式学习模块；激光雷达目标检测模块：用于实时采集激光雷达数据，通过激光雷达模型‑1进行目标检测，将检测结果作为激光雷达伪标签数据发送给启发式学习模块；启发式学习模块：使用评估器对视觉和激光雷达目标输出伪标签信息进行评估，根据评估结果，利用伪标签信息对视觉模型‑2和激光雷达模型‑2进行训练，将训练好的视觉模型‑2和激光雷达模型‑2分别用以更新视觉模型‑1和激光雷达模型‑1。还包括一种方法。

Description

激光雷达和视觉启发式学习的目标检测系统及方法

技术领域

本发明属于自主无人系统环境感知技术领域，涉及一种激光雷达和视觉启发式学习的目标检测系统及方法。

背景技术

环境感知是自主无人系统(包括无人驾驶车辆、智能机器人等)的关键技术之一，是决策规划与控制的基础。激光雷达和相机作为其中主要的环境感知传感器，其目标检测方法在自主无人系统中具有重要作用。

中国专利申请：基于点云数据与多视图图像数据融合的3D目标检测方法(申请号：CN202211250323.7)，公开了一种点云数据与多视图图像数据融合的3D目标检测方法，其特征在于，包括：从Nuscenes数据集中获取点云数据及多视图图像数据；生成点云BEV特征和图像BEV特征，输入图像及点云融合网络处理生成图像和点云融合特征，得到初始预测边界框及生成最终的目标边界框。该方法需要标注的数据进行学习。

中国专利申请：三维物体检测模型的训练与三维物体检测方法、装置(申请号：CN202211259102.6)，公开了一种三维物体检测模型的训练与三维物体检测方法，获取数据对的检测框标注信息；将数据对中的点云数据输入教师网络、将双目图像输入学生网络；计算第一损失函数值；计算第二损失函数值；根据损失函数值调整学生网络的参数，得到三维物体检测模型。该方法需要人工标注检测框信息。

发明内容

有鉴于此，本发明的目的在于利用激光雷达和视觉传感器在不同场景或特征下检测能力的差异性，构造一种启发式学习方法来提高两种传感器检测模型的检测能力，实现检测模型无监督学习，减少人工数据标注的工作量，提高检测模型训练效率。

为达到上述目的，本发明提供如下技术方案：

一方面，本发明提供一种激光雷达和视觉启发式学习的目标检测系统，包括视觉目标检测模块、激光雷达目标检测模块及启发式学习模块；

所述视觉目标检测模块用于实时采集视觉数据，通过视觉模型-1进行目标检测，将检测结果作为视觉伪标签数据发送给启发式学习模块；

所述激光雷达目标检测模块用于实时采集激光雷达数据，通过激光雷达模型-1进行目标检测，将检测结果作为激光雷达伪标签数据发送给启发式学习模块；

所述启发式学习模块使用评估器对视觉和激光雷达目标输出伪标签信息进行评估，根据评估结果，利用伪标签信息对视觉模型-2和激光雷达模型-2进行训练，将训练好的视觉模型-2和激光雷达模型-2分别用以更新视觉模型-1和激光雷达模型-1。

另一方面，本发明提供一种激光雷达和视觉启发式学习的目标检测方法，包括以下步骤：

S1：视觉实时数据采集：在时刻k，采集视觉数据，通过视觉模型-1进行目标检测，得到视觉目标检测结果以及视觉伪标签数据；

S2：激光雷达实时数据采集：在时刻k，采集激光雷达数据，通过激光雷达模型-1进行目标检测，得到激光雷达目标检测结果以及激光雷达伪标签数据；

S3：使用评估器对视觉与激光雷达目标输出伪标签数据进行评估，将伪标签数据进行目标数据关联，得到激光雷达与视觉伪标签目标关联矩阵，再通过目标关联矩阵进行决策判断，得到激光雷达与视觉目标检测一致性向量；

S4：根据激光雷达与视觉目标检测一致性向量进行训练，得到训练更新检测模型，包括视觉模型-2与激光雷达模型-2，并分别用以更新视觉模型-1和激光雷达模型-1。

进一步，步骤S3所述使用评估器对视觉与激光雷达目标输出伪标签数据进行评估，具体包括以下步骤：

S31：目标关联：对视觉与激光雷达目标输出伪标签数据T^K、T^L分别建立目标特征向量x_i，计算目标相似度s_tar，根据目标相似度计算目标关联矩阵A_ij；

S32：计算目标检测一致性向量：根据关联矩阵A_ij，将T^K、T^L中的目标分别放入集合P_Y ^K、P_N ^K、P_Y ^L、P_N ^L中，判断P_N ^K、P_N ^L是否为计算目标检测一致性向量y_i。

进一步，所述步骤S31具体包括以下步骤：

S311：根据激光雷达与视觉伪标签信息，分别建立目标的特征向量：

x_i＝[p,s]^T

其中位姿特征p＝[x,y,α]表示目标中心点的x位置、y位置以及目标朝向信息，形状特征s＝[l,w]表示目标检测框的长、宽；

建立目标状态模型和量测模型：

x_k＝Bu_k+w_k

z_k＝Hx_k+v_k

其中x_k表示k时刻的目标状态，z_k表示k时刻的目标量测，u_k为系统输入，B为将输入转换为状态的矩阵，H为量测矩阵，w_k和v_k分别为相互独立的过程噪声和量测噪声；

S312：加权计算目标位姿、形状特征相似度得出目标相似度，具体包括：

特征相似度衡量方法使用欧氏距离，设有两个n维特征向量，通过设定距离阈值d_max，若特征向量之间欧式距离超过距离阈值，则特征向量之间相似度s为零，达到对量测的筛选作用，向量计算方法如下：

其中d(x,y)为向量x和向量y之间的欧式距离，n表示向量的维数，从而计算出目标的位姿、形状相似度s_p、s_s；

然后通过加权计算得出目标相似度s_tar：

s_tar＝l₁s_p+l₂s_s

其中l₁,l₂为各个特征所占权重，且l₁+l₂＝1。

(3)利用相似度做目标数据关联，具体包括：

假设目标轨迹数量和目标量测数量分别为p和q，由目标相似度计算方法获得一个p×q维的相似度矩阵S_p×q：

其中s_tar,i,j表示目标轨迹i和目标量测j的相似度，设定阈值δ，当s_tar,i,j＜δ时，令s_tar,i,j＝0，然后筛选出全零行和全零列，分别代表无量测关联轨迹与无可关联的量测，降低后续计算量，得到相似度矩阵S′_p×q，定义一个关联矩阵A_ij：

其中a_ij∈{0,1}，a_ij＝0表示相互不关联，a_ij＝1表示相互关联，在设定的约束条件下调整关联矩阵的元素取值，使得相似度矩阵与关联矩阵对应元素乘积之和最大，此时的关联矩阵为最优解。

进一步，所述最优分配问题公式如下：

目标函数：

约束条件：

进一步，所述步骤S32具体包括以下步骤：

S321：将视觉伪标签目标数据划分为T^K＝{T₁ ^K,T^K ₂,T₃ ^K,...,T^K _n}，将激光雷达伪标签目标数据划分为T^L＝{T₁ ^L,T^L ₂,T₃ ^L,...,T^L _m}；

S322：设置4类目标集合：

P_Y ^K＝{P_Y1 ^K,P_Y2 ^K,P_Y3 ^K,...,P_Yn ^K}

P_N ^K＝{P_N1 ^K,P_N2 ^K,P_N3 ^K,...,P_Nm ^K}

P_Y ^L＝{P_Y1 ^L,P_Y2 ^L,P_Y3 ^L,...,P_Yu ^L}

P_N ^L＝{P_N1 ^L,P_N2 ^L,P_N3 ^L,...,P_Nv ^L}

其中P_Y ^K为视觉伪标签目标T^K中成功关联的目标集合，P_N ^K为视觉伪标签目标T^K中未成功关联的目标集合，P_Y ^L为激光雷达伪标签目标T^L中成功关联的目标集合，P_N ^L为激光雷达伪标签目标T^L中未成功关联的目标集合；

S323：定义一个目标检测一致性向量：

y_i＝[t₁,t₂,t₃,t₄]^T

其中t_j∈{0,1}，j∈[1,4]，当t_k＝1时，t_i＝0，

S324：若P_N ^K与P_N ^L均为令t₁＝1，本组伪标签数据具备一致性；

若P_N ^K为P_N ^L不为/>令t₂＝1，本组伪标签数据不具备一致性，用激光雷达网络模型A_l训练视觉网络模型A_k；

若P_N ^K不为P_N ^L为/>令t₃＝1，本组伪标签数据不具备一致性，用视觉网络模型A_k训练激光雷达网络模型A_l；

若P_N ^K与P_N ^L均不为令t₄＝1，本组伪标签数据不具备一致性，用激光雷达网络模型A_l训练视觉网络模型A_k，同时用视觉网络模型A_k训练激光雷达网络模型A_l。

进一步，步骤S4所述得到训练更新检测模型，具体包括：

(1)情况一：y_i＝[t₁,t₂,t₃,t₄]^T中t₁＝1，不进行数据传输；

(2)情况二：y_i＝[t₁,t₂,t₃,t₄]^T中t₂＝1，将T^L传输给A_k进行进一步训练；

(3)情况三：y_i＝[t₁,t₂,t₃,t₄]^T中t₃＝1，将T^K传输给A_l进行进一步训练；

(4)情况四：y_i＝[t₁,t₂,t₃,t₄]^T中t₄＝1，将T^L传输给A_k，同时将T^K传输给A_l进行进一步训练；

(5)样本数量累积到训练阈值ω之后，进行新一轮训练，得到训练更新检测模型，包括视觉模型-2与激光雷达模型-2，并分别用以更新视觉模型-1和激光雷达模型-1。

本发明的有益效果在于：本发明提出一种激光雷达和视觉启发式学习的目标检测系统及方法，该系统利用激光雷达和视觉传感器在不同场景或特征下检测能力的差异性，将各自检测样本进行交互启发学习来提高两种传感器检测模型的检测能力；同时加入评估器，减少交互样本数量，以此来降低训练成本；在评估器中使用数据关联方法，提升评估准确性。该系统利用激光雷达和视觉传感器在不同场景或特征下检测能力的差异性，构造一种启发式学习方法来提高两种传感器检测模型的检测能力，实现检测模型无监督学习，减少人工数据标注的工作量，提高检测模型训练效率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1是本发明提供优选实施例一种激光雷达和视觉启发式学习的目标检测系统及方法总体架构图；

图2是评估器工作整体流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示为本发明一种激光雷达和视觉启发式学习的目标检测系统及方法总体架构图。该系统包括视觉目标检测模块、激光雷达目标检测模块及启发式学习模块三个模块：

所述视觉目标检测模块用于实时采集视觉数据，通过视觉模型-1进行目标检测，检测结果同时作为视觉伪标签数据发送给启发式学习模块；

所述激光雷达目标检测模块用于实时采集激光雷达数据，通过激光雷达模型-1进行目标检测，检测结果同时作为激光雷达伪标签数据发送给启发式学习模块；

所述启发式学习模块使用评估器对视觉和激光雷达目标输出伪标签信息进行评估，将伪标签信息进行目标数据关联，得到激光雷达与视觉伪标签目标关联矩阵；通过目标关联矩阵进行决策判断，得到激光雷达与视觉目标检测一致性向量；根据激光雷达与视觉目标检测一致性向量，利用伪标签信息对视觉模型-2和激光雷达模型-2进行训练，训练好的视觉模型-2和激光雷达模型-2分别用以更新视觉模型-1和激光雷达模型-1，以提高视觉目标检测模块及激光雷达目标检测模块性能。

如图2所示为评估器工作整体流程图。

(1)目标关联。建立目标的特征向量：

x_i＝[p,s]^T (1)

其中位姿特征p＝[x,y,α]表示目标中心点的x位置、y位置以及目标朝向信息，形状特征s＝[l,w]表示目标检测框的长、宽；

建立目标状态模型和量测模型：

x_k＝Bu_k+w_k (2)

z_k＝Hx_k+v_k (3)

其中x_k表示k时刻的目标状态，z_k表示k时刻的目标量测，u_k为系统输入，B为将输入转换为状态的矩阵，H为量测矩阵，w_k和v_k分别为相互独立的过程噪声和量测噪声。

(2)计算目标相似度，特征相似度衡量方法使用欧氏距离，设有两个n维特征向量，通过设定距离阈值d_max,若特征向量之间欧式距离超过距离阈值，则特征向量之间相似度s为零，达到对量测的筛选作用，向量计算方法如下：

其中d(x,y)为向量x和向量y之间的欧式距离，n表示向量的维数，利用该方法可计算出目标的位姿、形状相似度s_p、s_s。

然后通过加权计算得出目标相似度s_tar：

s_tar＝l₁s_p+l₂s_s (6)

其中l₁,l₂为各个特征所占权重，且l₁+l₂＝1。

(3)利用相似度做目标数据关联，假设目标轨迹数量和目标量测数量分别为p和q，由目标相似度计算方法获得一个p×q维的相似度矩阵S_p×q：

其中s_tar,i,j表示目标轨迹i和目标量测j的相似度，设定阈值δ，当s_tar,i,j＜δ时，令s_tar,i,j＝0，然后筛选出全零行和全零列，分别代表无量测关联轨迹与无可关联的量测，降低后续计算量，得到相似度矩阵S′_p×q，定义一个关联矩阵A_ij：

其中a_ij∈{0,1}，a_ij＝0表示相互不关联，a_ij＝1表示相互关联，在设定的约束条件下调整关联矩阵的元素取值，使得相似度矩阵与关联矩阵对应元素乘积之和最大，此时的关联矩阵为最优解。

该最优分配问题公式如下：

目标函数：

约束条件：

(4)目标检测一致性向量计算。将视觉伪标签目标信息划分为T^K＝{T₁ ^K,T^K ₂,T₃ ^K,...,T^K _n}，将激光雷达伪标签目标信息划分为T^L＝{T₁ ^L,T^L ₂,T₃ ^L,...,T^L _m}；

(5)设置4类目标集合：

P_Y ^K＝{P_Y1 ^K,P_Y2 ^K,P_Y3 ^K,...,P_Yn ^K} (11)

P_N ^K＝{P_N1 ^K,P_N2 ^K,P_N3 ^K,...,P_Nm ^K} (12)

P_Y ^L＝{P_Y1 ^L,P_Y2 ^L,P_Y3 ^L,...,P_Yu ^L} (13)

P_N ^L＝{P_N1 ^L,P_N2 ^L,P_N3 ^L,...,P_Nv ^L} (14)

其中P_Y ^K为视觉伪标签目标T^K中成功关联的目标集合，P_N ^K为视觉伪标签目标T^K中未成功关联的目标集合，P_Y ^L为激光雷达伪标签目标T^L中成功关联的目标集合，P_N ^L为激光雷达伪标签目标T^L中未成功关联的目标集合；

(6)定义一个目标检测一致性向量：

y_i＝[t₁,t₂,t₃,t₄]^T (15)

其中t_j∈{0,1}，j∈[1,4]，当t_k＝1时，t_i＝0，

(7)若P_N ^K与P_N ^L均为令t₁＝1，本组伪标签数据具备一致性；

(8)若P_N ^K为P_N ^L不为/>令t₂＝1，本组伪标签数据不具备一致性，需用激光雷达网络模型A_l训练视觉网络模型A_k；

(9)若P_N ^K不为P_N ^L为/>令t₃＝1，本组伪标签数据不具备一致性，需用视觉网络模型A_k训练激光雷达网络模型A_l；

(10)若P_N ^K与P_N ^L均不为令t₄＝1，本组伪标签数据不具备一致性，需用激光雷达网络模型A_l训练视觉网络模型A_k，同时用视觉网络模型A_k训练激光雷达网络模型A_l。

(11)训练决策。根据激光雷达与视觉目标检测一致性向量y_i＝[t₁,t₂,t₃,t₄]^T，得到四种处理情况，具体包括：

情况一：y_i＝[t₁,t₂,t₃,t₄]^T中t₁＝1，不需要进行数据传输；

情况二：y_i＝[t₁,t₂,t₃,t₄]^T中t₂＝1，将T^L传输给A_k进行进一步训练；

情况三：y_i＝[t₁,t₂,t₃,t₄]^T中t₃＝1，将T^K传输给A_l进行进一步训练；

情况四：y_i＝[t₁,t₂,t₃,t₄]^T中t₄＝1，将T^L传输给A_k，同时将T^K传输给A_l进行进一步训练；

(12)样本数量累积到训练阈值ω之后，进行新一轮训练，得到训练更新检测模型，包括视觉模型-2与激光雷达模型-2，并分别用以更新视觉模型-1和激光雷达模型-1。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种激光雷达和视觉启发式学习的目标检测系统，其特征在于：包括视觉目标检测模块、激光雷达目标检测模块及启发式学习模块；

所述视觉目标检测模块用于实时采集视觉数据，通过视觉模型-1进行目标检测，将检测结果作为视觉伪标签数据发送给启发式学习模块；

所述激光雷达目标检测模块用于实时采集激光雷达数据，通过激光雷达模型-1进行目标检测，将检测结果作为激光雷达伪标签数据发送给启发式学习模块；

所述启发式学习模块使用评估器对视觉和激光雷达目标输出伪标签信息进行评估，根据评估结果，利用伪标签信息对视觉模型-2和激光雷达模型-2进行训练，将训练好的视觉模型-2和激光雷达模型-2分别用以更新视觉模型-1和激光雷达模型-1。

2.一种激光雷达和视觉启发式学习的目标检测方法，其特征在于：包括以下步骤：

S1：视觉实时数据采集：在时刻k，采集视觉数据，通过视觉模型-1进行目标检测，得到视觉目标检测结果以及视觉伪标签数据；

S2：激光雷达实时数据采集：在时刻k，采集激光雷达数据，通过激光雷达模型-1进行目标检测，得到激光雷达目标检测结果以及激光雷达伪标签数据；

S3：使用评估器对视觉与激光雷达目标输出伪标签数据进行评估，将伪标签数据进行目标数据关联，得到激光雷达与视觉伪标签目标关联矩阵，再通过目标关联矩阵进行决策判断，得到激光雷达与视觉目标检测一致性向量；

S4：根据激光雷达与视觉目标检测一致性向量进行训练，得到训练更新检测模型，包括视觉模型-2与激光雷达模型-2，并分别用以更新视觉模型-1和激光雷达模型-1。

3.根据权利要求2所述的激光雷达和视觉启发式学习的目标检测方法，其特征在于：步骤S3所述使用评估器对视觉与激光雷达目标输出伪标签数据进行评估，具体包括以下步骤：

S31：目标关联：对视觉与激光雷达目标输出伪标签数据T^K、T^L分别建立目标特征向量x_i，计算目标相似度s_tar，根据目标相似度计算目标关联矩阵A_ij；

S32：计算目标检测一致性向量：根据关联矩阵A_ij，将T^K、T^L中的目标分别放入集合P_Y ^K、P_N ^K、P_Y ^L、P_N ^L中，判断P_N ^K、P_N ^L是否为计算目标检测一致性向量y_i。

4.根据权利要求3所述的激光雷达和视觉启发式学习的目标检测方法，其特征在于：所述步骤S31具体包括以下步骤：

S311：根据激光雷达与视觉伪标签信息，分别建立目标的特征向量：

x_i＝[p,s]^T

其中位姿特征p＝[x,y,α]表示目标中心点的x位置、y位置以及目标朝向信息，形状特征s＝[l,w]表示目标检测框的长、宽；

建立目标状态模型和量测模型：

x_k＝Bu_k+w_k

z_k＝Hx_k+v_k

其中x_k表示k时刻的目标状态，z_k表示k时刻的目标量测，u_k为系统输入，B为将输入转换为状态的矩阵，H为量测矩阵，w_k和v_k分别为相互独立的过程噪声和量测噪声；

S312：加权计算目标位姿、形状特征相似度得出目标相似度，具体包括：

特征相似度衡量方法使用欧氏距离，设有两个n维特征向量，通过设定距离阈值d_max，若特征向量之间欧式距离超过距离阈值，则特征向量之间相似度s为零，达到对量测的筛选作用，向量计算方法如下：

其中d(x,y)为向量x和向量y之间的欧式距离，n表示向量的维数，从而计算出目标的位姿、形状相似度s_p、s_s；

然后通过加权计算得出目标相似度s_tar：

s_tar＝l₁s_p+l₂s_s

其中l₁,l₂为各个特征所占权重，且l₁+l₂＝1；

(3)利用相似度做目标数据关联，具体包括：

假设目标轨迹数量和目标量测数量分别为p和q，由目标相似度计算方法获得一个p×q维的相似度矩阵S_p×q：

其中s_tar,i,j表示目标轨迹i和目标量测j的相似度，设定阈值δ，当s_tar,i,j＜δ时，令s_tar,i,j＝0，然后筛选出全零行和全零列，分别代表无量测关联轨迹与无可关联的量测，降低后续计算量，得到相似度矩阵S′_p×q，定义一个关联矩阵A_ij：

其中a_ij∈{0,1}，a_ij＝0表示相互不关联，a_ij＝1表示相互关联，在设定的约束条件下调整关联矩阵的元素取值，使得相似度矩阵与关联矩阵对应元素乘积之和最大，此时的关联矩阵为最优解。

5.根据权利要求4所述的激光雷达和视觉启发式学习的目标检测方法，其特征在于：所述最优分配问题公式如下：

目标函数：

约束条件：

6.根据权利要求3所述的激光雷达和视觉启发式学习的目标检测方法，其特征在于：所述步骤S32具体包括以下步骤：

S321：将视觉伪标签目标数据划分为T^K＝{T₁ ^K,T^K ₂,T₃ ^K,...,T^K _n}，将激光雷达伪标签目标数据划分为T^L＝{T₁ ^L,T^L ₂,T₃ ^L,...,T^L _m}；

S322：设置4类目标集合：

P_Y ^K＝{P_Y1 ^K,P_Y2 ^K,P_Y3 ^K,...,P_Yn ^K}

P_N ^K＝{P_N1 ^K,P_N2 ^K,P_N3 ^K,...,P_Nm ^K}

P_Y ^L＝{P_Y1 ^L,P_Y2 ^L,P_Y3 ^L,...,P_Yu ^L}

P_N ^L＝{P_N1 ^L,P_N2 ^L,P_N3 ^L,...,P_Nv ^L}

其中P_Y ^K为视觉伪标签目标T^K中成功关联的目标集合，P_N ^K为视觉伪标签目标T^K中未成功关联的目标集合，P_Y ^L为激光雷达伪标签目标T^L中成功关联的目标集合，P_N ^L为激光雷达伪标签目标T^L中未成功关联的目标集合；

S323：定义一个目标检测一致性向量：

y_i＝[t₁,t₂,t₃,t₄]^T

其中t_j∈{0,1}，j∈[1,4]，当t_k＝1时，t_i＝0，

S324：若P_N ^K与P_N ^L均为令t₁＝1，本组伪标签数据具备一致性；

若P_N ^K为P_N ^L不为/>令t₂＝1，本组伪标签数据不具备一致性，用激光雷达网络模型A_l训练视觉网络模型A_k；

若P_N ^K不为P_N ^L为/>令t₃＝1，本组伪标签数据不具备一致性，用视觉网络模型A_k训练激光雷达网络模型A_l；

若P_N ^K与P_N ^L均不为令t₄＝1，本组伪标签数据不具备一致性，用激光雷达网络模型A_l训练视觉网络模型A_k，同时用视觉网络模型A_k训练激光雷达网络模型A_l。

7.根据权利要求6所述的激光雷达和视觉启发式学习的目标检测方法，其特征在于：步骤S4所述得到训练更新检测模型，具体包括：

(1)情况一：y_i＝[t₁,t₂,t₃,t₄]^T中t₁＝1，不进行数据传输；

(2)情况二：y_i＝[t₁,t₂,t₃,t₄]^T中t₂＝1，将T^L传输给A_k进行进一步训练；

(3)情况三：y_i＝[t₁,t₂,t₃,t₄]^T中t₃＝1，将T^K传输给A_l进行进一步训练；

(4)情况四：y_i＝[t₁,t₂,t₃,t₄]^T中t₄＝1，将T^L传输给A_k，同时将T^K传输给A_l进行进一步训练；

(5)样本数量累积到训练阈值ω之后，进行新一轮训练，得到训练更新检测模型，包括视觉模型-2与激光雷达模型-2，并分别用以更新视觉模型-1和激光雷达模型-1。