CN110705485A - 一种交通信号灯识别方法及装置 - Google Patents

Abstract

本申请公开交通信号灯识别方法及装置。获得交通信号灯在三维地图的位置，利用车上装设的激光雷达获得车辆在三维地图的位置；三维地图为预先利用激光雷达建立；用交通信号灯和车辆各自在三维地图的位置坐标转换得到交通信号灯在相机坐标系的位置；用交通信号灯在相机坐标系的位置及相机坐标系的空间点与相机拍摄的图像中像素点的对应关系，得到交通信号灯在图像中的二维感兴趣区域；识别感兴趣区域得到交通信号灯颜色识别结果。三维地图上交通信号灯位置精度也非常高。坐标转换将高精度的交通信号灯位置从三维空间逐渐转换到相机所摄图像的二维平面，再确定二维感兴趣区域，目的性更强，避免图像中冗余信息干扰，交通信号灯识别的准确度提高。

Description

一种交通信号灯识别方法及装置

技术领域

本申请涉及信息处理技术领域，特别是涉及一种交通信号灯识别方法及装置。

背景技术

交通信号灯是指挥交通运行的信号灯，通过不同的颜色分别传递禁止通行、准许通行和警示等信息。识别交通信号灯对于人工驾驶和自动驾驶均具有重要的应用。例如，人工驾驶时，驾驶员可能因为视角、视力或遮挡物等原因无法看清信号灯，如果将交通信号灯识别结果反馈驾驶员能够提升人工驾驶安全性；自动驾驶时，交通信号灯的识别结果能够有助于规划行车路径，提升自动驾驶的便捷性和安全性。

目前可以通过采集交通信号灯图像并进行图像处理的方法识别交通信号灯。但是实际应用中从场景复杂的图像中识别交通信号灯的难度非常大，导致识别准确度较低。

发明内容

基于上述问题，本申请提供了一种交通信号灯识别方法及装置，以提升交通信号灯识别的准确性。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种交通信号灯识别方法，包括：

获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；所述三维地图为预先利用激光雷达建立；

利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置；

利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域；

识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

可选地，所述利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置，具体包括：

利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

利用相机在所述车辆的相对装设位置，通过将所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在所述相机坐标系的位置。

可选地，所述利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置，具体包括：

利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

利用所述车辆上装设的激光雷达与所述车辆的相对位置关系，对所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在雷达坐标系的位置；

利用车辆上装设的相机与所述车辆上装设的激光雷达的相对位置关系，对所述交通信号灯在雷达坐标系的位置进行坐标转换，得到所述交通信号灯在相机坐标系的位置。

可选地，所述获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置，具体包括：

获得对交通信号灯的搜寻半径；

利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；

根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域；

在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

可选地，所述获得交通信号灯在三维地图的位置，具体包括：

确定所述车辆所在的车道；

获得所述三维地图中所述车道对应的交通信号灯的位置。

可选地，所述识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果，具体包括：

将所述二维感兴趣区域的数据转换到HSV颜色空间，利用所述HSV颜色空间所述二维感兴趣区域的色调、饱和度和明度得到所述交通信号灯的颜色识别结果。

可选地，方法还包括：

根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；

和/或，

将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

第二方面，本申请提供一种交通信号灯识别装置，包括：

信号灯位置第一获取模块，用于获得交通信号灯在三维地图的位置；所述三维地图为预先利用激光雷达建立；

车辆位置第一获取模块，用于利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；

信号灯位置第二获取模块，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置；

感兴趣区域获取模块，用于利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域；

信号灯颜色识别模块，用于识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

可选地，所述信号灯位置第二获取模块，具体包括：第一转换单元，和第二转换单元。

其中，第一转换单元，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

第二转换单元，用于利用相机在所述车辆的相对装设位置，通过将所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在所述相机坐标系的位置。

可选地，信号灯位置第二获取模块，具体包括：第一转换单元，第三转换单元，和第四转换单元。

其中，第一转换单元，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

第三转换单元，用于利用所述车辆上装设的激光雷达与所述车辆的相对位置关系，对所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在雷达坐标系的位置；

第四转换单元，用于利用车辆上装设的相机与所述车辆上装设的激光雷达的相对位置关系，对所述交通信号灯在雷达坐标系的位置进行坐标转换，得到所述交通信号灯在相机坐标系的位置。

可选地，所述信号灯位置第一获取模块，具体包括：

搜寻半径获取单元，用于获得对交通信号灯的搜寻半径；

搜寻区域确定单元，用于根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域；

信号灯位置第一获取单元，用于在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

可选地，所述信号灯位置第一获取模块，具体包括：

车道确定单元，用于确定所述车辆所在的车道；

信号灯位置第二获取单元，用于获得所述三维地图中所述车道对应的交通信号灯的位置。

可选地，装置还包括：

路径规划模块，和/或，广播模块；

所述路径规划模块，用于根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；

所述广播模块，用于将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

可选地，信号灯颜色识别模块具体可以包括：

数据转换单元，用于将所述二维感兴趣区域的数据转换到HSV颜色空间；

颜色识别单元，用于利用所述HSV颜色空间所述二维感兴趣区域的色调、饱和度和明度得到所述交通信号灯的颜色识别结果。

通过将二维感兴趣区域的数据转换到HSV颜色空间，能够结合二维感兴趣区域的色调、饱和度和明度综合对交通信号灯的颜色进行识别判断。因此，颜色识别结果的准确性得到提升。

相较于现有技术，本申请具有以下有益效果：

本申请提供的交通信号灯处理方法，首先通过获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得车辆在三维地图的位置。其后，由于相机与车辆存在确定的相对装设位置，并且三维地图中车辆位置以及交通信号灯位置均已知，因此利用交通信号灯和车辆各自在三维地图的位置，通过坐标转换即可以得到交通信号灯在相机坐标系的位置，实现交通信号灯位置从三维地图到相机坐标系的转换。接着，由于相机坐标系的空间点与相机拍摄的图像中像素点之间存在对应关系，因此利用交通信号灯在相机坐标系的位置及该对应关系，可以得到交通信号灯在图像中对应的二维感兴趣区域，实现交通信号灯位置从相机坐标系到图像的转换，通过这一步将交通信号灯位置从三维空间转换到二维平面。最终，识别二维感兴趣区域即可得到交通信号灯的颜色识别结果。

由于三维地图是基于激光雷达建立的，因此三维地图整体精度非常高，相应地，三维地图上交通信号灯的位置精度也非常高。相比于现有技术从图像中直接确定交通信号灯来说，本方法通过坐标转换将高精度的交通信号灯的位置从三维空间逐渐转换到相机所摄图像的二维平面，再从二维平面确定代表交通信号灯的二维感兴趣区域，目的性更强，避免图像中冗余信息的干扰，因此确定出的二维感兴趣区域与交通信号灯更为匹配也更为精准。从而，使交通信号灯识别的准确度得以提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种交通信号灯识别方法的流程图；

图2为本申请实施例提供的另一种交通信号灯识别方法的流程图；

图3为本申请实施例提供的一种交通信号灯示意图；

图4为本申请实施例提供的一种交通信号灯识别装置的结构示意图。

具体实施方式

正如前文描述，目前交通信号灯识别方法主要依赖于相机拍摄的图像，从图像中直接识别交通信号灯。但是由于图像中存在较多的冗余信息，例如前方车体顶部的广告图形，路灯上的宣传海报等，干扰对交通信号灯的准确识别。并且实现识别的算法难度较大，一种算法难以适用于多种拍摄场景。

基于此问题，发明人经过研究，提供一种交通信号灯识别方法。通过在高精度的三维地图中预先确定交通信号灯的位置，再通过坐标转换将三维的交通信号灯的位置对应转换到二维平面，在相机拍摄的图像中确定出交通信号灯所对应的二维感兴趣区域，最终对该区域进行颜色识别。该方法有效避免了图像中冗余信息的干扰，降低识别算法复杂度。并且由于最初始的交通信号灯位置信息精度较高，因此相应保证了转换得到的二维感兴趣区域与交通信号灯的匹配性，使最终的识别准确度也得到显著提升。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

参见图1，该图为本申请实施例提供的一种交通信号灯识别方法的流程图。

如图1所示，本实施例提供的交通信号灯识别方法，包括：

步骤101：获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置。

在本申请实施例提供的技术方案中，预先利用激光雷达建立了三维地图。作为一种可能的实现方式，可以在三维地图建立阶段，通过在车辆上装设一个或多个激光雷达扫描探测车辆周围环境中的物体，根据扫描探测的信息建立地图。例如，建立某一区域的三维地图，使车辆在该区域的所有车道上行驶，在行驶过程中利用车上的激光雷达不断扫描探测，最终可以利用扫描探测信息建立该区域的三维地图。需要说明的是，本实施例中在三维地图建立阶段使用的车辆与本实施例中用于采用相机拍摄交通信号灯的车辆可以相同，也可以不同。

可以理解的是，这些用于建立三维地图的激光雷达探测精度非常高，能够达到毫米量级，因此，采用扫描探测得到的信息准确度非常高，基于这些信息建立的三维地图具有较高精度和准确度。在已有三维地图的基础上，三维地图上的各种建筑和基础设施的位置也都可以确定。因此，可以从三维地图直接获得本实施例中需要识别的交通信号灯在三维地图的位置。

由于车辆并非三维地图中固有的建筑或基础设施，因此在三维地图中某一车辆的位置无法通过三维地图直接获得。本实施例中，为确定车辆在三维地图的位置，利用车辆上装设的激光雷达对车辆周围环境进行扫描探测。例如，车辆上装设的激光雷达通过探测周围的建筑或基础设施，得到扫描探测信息。由于这些周围的建筑或基础设施在三维地图的位置是已知的，结合激光雷达的扫描探测信息，可以相应得到车辆在三维地图的位置。

步骤102：利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置。

在前一步骤中，已经得到三维地图中交通信号灯和车辆各自的位置。由于交通信号灯与车辆同位于相同的三维地图，因此可以将交通信号灯的位置从三维地图转换到车辆坐标系中。

在本实施例，车辆上还装设有相机，用来拍摄包含交通信号灯的图像。实际应用中，装设相机时相机与所在车辆的相对装设位置便已经确定。因此，利用该相对装设位置可以实现空间点位置在车辆坐标系与相机坐标系之间的转换。

本步骤在具体实现时，可以将交通信号灯位置首先从三维地图转换到车辆坐标系，再利用相机在车辆的相对位置关系，将交通信号灯位置从车辆坐标系转换到相机坐标系。最终得到交通信号灯在相机坐标系的位置。

步骤103：利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域。

实际应用中，可以预先建立相机镜头的视野范围内所拍摄的各个空间点与相机所拍摄图像中像素点的对应关系。对于本领域技术人员，建立该对应关系属于比较成熟的技术，在此不做赘述。

在本实施例中，作为一种可能的实现方式，执行步骤101获得交通信号灯在三维地图的位置具体可以是交通信号灯正面特征点的位置。例如，正面形状为矩形的交通信号灯，步骤101得到该交通信号灯正面矩形形状四个顶点在三维地图的位置。通过步骤102得到四个顶点在相机坐标系的位置。执行本步骤103时可以利用四个顶点在相机坐标系的位置以及相机坐标系空间点与所述相机拍摄的图像中像素点的对应关系，得到四个顶点在图像中对应的像素点，再利用四个顶点在图像中对应的像素点获得二维感兴趣区域。本实施例对于二维感兴趣区域的形状不进行限定。

以上仅作为本步骤的一种可能的实现方式，在实际应用中，还可以采用其他方式实现步骤103。因此，此处对于步骤103的实现方式不加以限定。

步骤104：识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

实际应用中，利用相机拍摄的图像以及步骤103确定的交通信号灯在图像中对应的二维感兴趣区域，可以相应地获得二维感兴趣区域的数据。

由于相机拍摄的图像可能受到天气因素的影响，例如雾霾天气或沙尘天气，因此拍摄的图像中交通信号灯对应的二维感兴趣区域其颜色在RGB空间的识别准确性可能较低。

作为本步骤一种可能的实现方式，可以将所述二维感兴趣区域的数据转换到HSV颜色空间，利用所述HSV颜色空间二维感兴趣区域的色调、饱和度和明度得到所述交通信号灯的颜色识别结果。

通过将二维感兴趣区域的数据转换到HSV颜色空间，能够结合二维感兴趣区域的色调、饱和度和明度综合对交通信号灯的颜色进行识别判断。因此，颜色识别结果的准确性得到提升。

以上即为本申请提供的交通信号灯处理方法。该方法首先通过获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得车辆在三维地图的位置。其后，由于相机与车辆存在确定的相对装设位置，并且三维地图中车辆位置以及交通信号灯位置均已知，因此利用交通信号灯和车辆各自在三维地图的位置，及相机在车辆的相对装设位置，可以得到交通信号灯在相机坐标系的位置，实现交通信号灯位置从三维地图到相机坐标系的转换。接着，由于相机坐标系的空间点与相机拍摄的图像中像素点之间存在对应关系，因此利用交通信号灯在相机坐标系的位置及该对应关系，可以得到交通信号灯在图像中对应的二维感兴趣区域，实现交通信号灯位置从相机坐标系到图像的转换，通过这一步将交通信号灯位置从三维空间转换到二维平面。最终，识别二维感兴趣区域即可得到交通信号灯的颜色识别结果。

由于三维地图是基于激光雷达建立的，因此三维地图整体精度非常高，相应地，三维地图上交通信号灯的位置精度也非常高。相比于现有技术从图像中直接确定交通信号灯来说，本方法通过坐标转换将高精度的交通信号灯的位置从三维空间逐渐转换到相机所摄图像的二维平面，再从二维平面确定代表交通信号灯的二维感兴趣区域，目的性更强，避免图像中冗余信息的干扰，因此确定出的二维感兴趣区域与交通信号灯更为匹配也更为精准。从而，使交通信号灯识别的准确度得以提高。

实际应用中，还可以基于车辆的实际驾驶需求提供相应的交通信号灯颜色识别结果，从而提升用户的驾驶体验。另外，颜色识别结果对于自车驾驶以及其他车辆驾驶均具有重要的应用。下面提供另一种交通信号灯识别方法，具体结合实施例和附图进行说明。

第二实施例

参见图2，该图为本申请实施例提供的另一种交通信号灯识别方法的流程图。

如图2所示，本实施例提供的交通信号灯识别方法，包括：

步骤201：获得对交通信号灯的搜寻半径。

本实施例中，对交通信号灯的搜寻半径可以是默认数值也可以是由车辆用户设置。作为示例，搜索半径可以是80米，150米，200米等。此处对于搜索半径的具体数值不进行限定。

可以理解的是，对交通信号灯的搜寻半径无需过大，例如1000米则为过大。过大的搜寻半径容易导致搜寻到的交通信号灯过多。对于车辆用户来说，较为急需的信息是用户行车路线上最先遇到的交通信号灯的颜色识别结果。

另外，搜索半径也可以根据三维地图中交通信号灯设置的密集度进行设置。例如，如果当前车辆周围的交通信号灯设置的较为密集，则可以设置较小的搜寻半径；如果当前车辆周围的交通信号灯设置的较为稀疏，则可以设置较大的搜寻半径。

步骤202：利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置。

步骤203：根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域。

本实施例中，搜寻区域可以依据车辆在三维地图中的位置，以及步骤201获得的搜寻半径进行确定。作为示例，以车辆在三维地图的位置为中心并按照搜索半径得到一个球形区域，将此球形区域作为搜寻区域。

步骤204：在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

设置于此三维区域内的交通信号灯即为本申请实施例需要进行颜色识别的交通信号灯。从三维地图得到这个(或这些)交通信号灯的位置。

步骤205：利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置。

公式(1)中D_m为交通信号灯在三维地图中的位置的表达矩阵，x_m、y_m和z_m分别是交通信号灯在三维地图中三个坐标轴上的坐标值。步骤205的实现具体可以参照公式(2)。

公式(2)中，D_c是交通信号灯在车辆坐标系中的位置的表达矩阵。从三维地图到车辆坐标系转换矩阵为K_mc，这个转换矩阵K_mc是由激光雷达探测到的车辆在三维地图中的位置与三维地图原点进行实时转换计算出来的，该转换矩阵K_mc随时刻变化。x_c、y_c和z_c分别是交通信号灯在车辆坐标系中三个坐标轴上的坐标值。

步骤206是将交通信号灯位置从车辆坐标系转换到雷达坐标系，参见公式(3)。

公式(3)中，K_cl是交通信号灯位置从车辆坐标系到雷达坐标系的转换矩阵。这个矩阵K_cl是先对车上雷达与自车原点相对位置进行标定，进而计算出该转换矩阵。x_l、y_l和z_l分别是交通信号灯在雷达坐标系中三个坐标轴上的坐标值。

步骤207是将交通信号灯位置从雷达坐标系转换到相机坐标系，参见公式(4)。

公式(4)中，K_lcam是交通信号灯位置从雷达坐标系到相机坐标系的转换矩阵。该矩阵K_lcam是通过对车上安装好的相机和雷达进行相对位置标定，进而计算出该转换矩阵。x_cam、y_cam和z_cam分别是交通信号灯在相机坐标系中三个坐标轴上的坐标值。

步骤208：利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域。

公式(5)和(6)分别示出了空间点从相机坐标系到图像像素点的转换关系。其中，c_x和c_y是相机光轴分别在图像的x方向和y方向的偏移量；f_x和f_y是相机在x方向和y方向的焦距。x_i和y_i分别是构成图像上交通信号灯的像素点在图像x方向和y方向的位置。

步骤209：识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

本实施例步骤209的实现方式与前述实施例步骤104的实现方式相同，步骤209的相关描述可参照前述实施例，此处不再赘述。

步骤210：根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；和/或，将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

在实际应用中，通过执行步骤201-209得到交通信号灯的颜色识别结果。例如，交通信号灯显示红灯或绿灯，或者交通信号灯显示红色秒数或绿色秒数等。对于获得的颜色识别结果，可以将其播报给车辆用户，以提示其根据交通信号灯颜色识别结果安全行车或改换车道等。

如果车辆使用导航系统或应用于无人驾驶状态，还可根据交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，车辆的其他参数(例如档位，车长等)，行程目的地等，进行行车路径规划，规划获得一条行车路径。将该行车路径发送给导航系统或先进驾驶辅助系统(Advanced Driver Assistant System,ADAS)。

另外，作为可选的实现方式，本实施例还可以将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。作为一种可能的实现方式，可以通过V2V方式，将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。作为另一种可能的实现方式，如果自车与其他车辆处于同一导航系统，自车可以将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置上传系统服务器，从而其他车辆通过与系统服务器通信可以获得这些信息。作为又一种可能的实现方式，可以在自车尾部或侧窗玻璃处设置可以显示红、黄、绿颜色的小型信号指示灯，当识别交通信号灯的颜色为某一种颜色时，向小型信号指示灯发送控制信号，使其显示于交通信号灯相同的颜色。从而，其他车辆的用户通过观察该小型信号指示灯，可以了解前方交通信号灯的颜色，便于根据该颜色指示采取相应的安全行车操作。

以上即为本申请实施例提供的交通信号灯识别方法。该方法通过获得对交通信号灯的搜寻半径，锁定三维地图中搜寻区域内的交通信号灯，具体对搜寻区域内的交通信号灯进行颜色识别。通过在搜寻区域内确定交通信号灯，基于车辆的实际驾驶需求提供相应的交通信号灯颜色识别结果，提升用户的驾驶体验。另外，颜色识别结果可以用于自车驾驶的行车路径规划，或提供给其他车辆，以辅助其他车辆的安全驾驶，实现信息共享，显著提升人工驾驶或无人驾驶的安全系数。

此外，本申请还提供确定需要进行颜色识别的交通信号灯的另一实现方式。在该实现方式中，首先，确定所述车辆所在的车道；其后，获得所述三维地图中所述车道对应的交通信号灯的位置。

交通信号灯可能包括指示左转、直行和右转之中的至少两个指示灯。参见图3，该图为本实施例提供的一种交通信号灯示意图。如图3所示，交通信号灯能够通过几种颜色同时显示左转、直行和右转的准许、禁止或警示。三维地图中，按照交通规则设置，车辆在某些车道上只能允许直行，只能允许右转，只能允许左转，只能允许左转或直行，或者，只能允许右转或执行。

如果车辆行驶在只能允许左转或直行的车道上，则显然右转指示灯的颜色对车辆行驶没有参考价值。本实现方式中，通过确定车辆所在的车道，从而明确交通信号灯中具体需要识别的指示灯。例如，如果所在车道允许左转或直行，则对于图3所示意的交通信号灯，可以获得图3所示交通信号灯其左转指示灯和直行指示灯在三维地图的位置。进而执行后续的坐标转换和颜色识别。

上述实现方式同样是基于车辆的实际驾驶需求提供相应的交通信号灯颜色识别结果。从而得到精准的识别结果，减少无用信息的计算或反馈，提升用户体验。

基于前述实施例提供的交通信号灯识别方法，相应地，本申请还提供一种交通信号灯识别装置。下面结合实施例和附图对该装置的具体实现进行描述和说明。

第三实施例

参见图4，该图为本申请实施例提供的一种交通信号灯识别装置的结构示意图。

如图4所示，本实施例提供的交通信号灯识别装置，包括：

信号灯位置第一获取模块401，用于获得交通信号灯在三维地图的位置；所述三维地图为预先利用激光雷达建立；

车辆位置第一获取模块402，用于利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；

信号灯位置第二获取模块403，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置；

感兴趣区域获取模块404，用于利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域；

信号灯颜色识别模块405，用于识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

由于三维地图是基于激光雷达建立的，因此三维地图整体精度非常高，相应地，三维地图上交通信号灯的位置精度也非常高。相比于现有技术从图像中直接确定交通信号灯来说，本实施例提供的交通信号灯识别装置通过坐标转换将高精度的交通信号灯的位置从三维空间逐渐转换到相机所摄图像的二维平面，再从二维平面确定代表交通信号灯的二维感兴趣区域，目的性更强，避免图像中冗余信息的干扰，因此确定出的二维感兴趣区域与交通信号灯更为匹配也更为精准。从而，使交通信号灯识别的准确度得以提高。

可选地，所述信号灯位置第二获取模块403，具体包括：第一转换单元，和第二转换单元。

其中，第一转换单元，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

第二转换单元，用于利用相机在所述车辆的相对装设位置，通过将所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在所述相机坐标系的位置。

可选地，信号灯位置第二获取模块，具体包括：第一转换单元，第三转换单元，和第四转换单元。

其中，第一转换单元，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

第三转换单元，用于利用所述车辆上装设的激光雷达与所述车辆的相对位置关系，对所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在雷达坐标系的位置；

第四转换单元，用于利用车辆上装设的相机与所述车辆上装设的激光雷达的相对位置关系，对所述交通信号灯在雷达坐标系的位置进行坐标转换，得到所述交通信号灯在相机坐标系的位置。

实际应用中，还可以基于车辆的实际驾驶需求提供相应的交通信号灯颜色识别结果，从而提升用户的驾驶体验。可选地，所述信号灯位置第一获取模块401，具体包括：

搜寻半径获取单元，用于获得对交通信号灯的搜寻半径；

搜寻区域确定单元，用于根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域；

信号灯位置第一获取单元，用于在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

该装置利用信号灯位置第一获取模块401通过获得对交通信号灯的搜寻半径，锁定三维地图中搜寻区域内的交通信号灯，具体对搜寻区域内的交通信号灯进行颜色识别。通过在搜寻区域内确定交通信号灯，基于车辆的实际驾驶需求提供相应的交通信号灯颜色识别结果，能够提升用户的驾驶体验。

可选地，所述信号灯位置第一获取模块401，具体包括：

车道确定单元，用于确定所述车辆所在的车道；

信号灯位置第二获取单元，用于获得所述三维地图中所述车道对应的交通信号灯的位置。

上述实现方式中，通过确定车辆所在的车道，能够明确车辆驾驶中对于交通信号灯的实际需求，从而提供相应的交通信号灯颜色识别结果。该信号灯位置第一获取模块401的实现有助于得到精准的识别结果，减少无用信息的计算或反馈，提升用户体验。

颜色识别结果对于自车驾驶以及其他车辆驾驶均具有重要的应用。在本申请实施例提供的交通信号灯识别装置中，还可以进一步包括如下模块：

路径规划模块，和/或，广播模块；

其中，所述路径规划模块，用于根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；

所述广播模块，用于将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

可见，在本实施例提供的装置中，颜色识别结果可以用于自车驾驶的行车路径规划，或提供给其他车辆，以辅助其他车辆的安全驾驶，实现信息共享，显著提升人工驾驶或无人驾驶的安全系数。

本实施例中信号灯颜色识别模块405具体可以包括：

数据转换单元，用于将所述二维感兴趣区域的数据转换到HSV颜色空间；

颜色识别单元，用于利用所述HSV颜色空间所述二维感兴趣区域的色调、饱和度和明度得到所述交通信号灯的颜色识别结果。

通过将二维感兴趣区域的数据转换到HSV颜色空间，能够结合二维感兴趣区域的色调、饱和度和明度综合对交通信号灯的颜色进行识别判断。因此，颜色识别结果的准确性得到提升。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种交通信号灯识别方法，其特征在于，包括：

获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；所述三维地图为预先利用激光雷达建立；

利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置；

利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域；

识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

2.根据权利要求1所述的方法，其特征在于，所述利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置，具体包括：

利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

利用相机在所述车辆的相对装设位置，通过将所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在所述相机坐标系的位置。

3.根据权利要求1所述的方法，其特征在于，所述利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置，具体包括：

利用所述交通信号灯和所述车辆各自在所述三维地图的位置进行坐标转换，得到所述交通信号灯在车辆坐标系的位置；

利用所述车辆上装设的激光雷达与所述车辆的相对位置关系，对所述交通信号灯在车辆坐标系的位置进行坐标转换，得到所述交通信号灯在雷达坐标系的位置；

利用车辆上装设的相机与所述车辆上装设的激光雷达的相对位置关系，对所述交通信号灯在雷达坐标系的位置进行坐标转换，得到所述交通信号灯在相机坐标系的位置。

4.根据权利要求1所述的方法，其特征在于，所述获得交通信号灯在三维地图的位置，并利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置，具体包括：

获得对交通信号灯的搜寻半径；

利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；

根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域；

在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

5.根据权利要求1所述的方法，其特征在于，所述获得交通信号灯在三维地图的位置，具体包括：

确定所述车辆所在的车道；

获得所述三维地图中所述车道对应的交通信号灯的位置。

6.根据权利要求1所述的方法，其特征在于，所述识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果，具体包括：

将所述二维感兴趣区域的数据转换到HSV颜色空间，利用所述HSV颜色空间所述二维感兴趣区域的色调、饱和度和明度得到所述交通信号灯的颜色识别结果。

7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：

根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；

和/或，

将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

8.一种交通信号灯识别装置，其特征在于，包括：

信号灯位置第一获取模块，用于获得交通信号灯在三维地图的位置；所述三维地图为预先利用激光雷达建立；

车辆位置第一获取模块，用于利用车辆上装设的激光雷达获得所述车辆在所述三维地图的位置；

信号灯位置第二获取模块，用于利用所述交通信号灯和所述车辆各自在所述三维地图的位置，通过坐标转换得到所述交通信号灯在相机坐标系的位置；

感兴趣区域获取模块，用于利用所述交通信号灯在所述相机坐标系的位置，及所述相机坐标系的空间点与所述相机拍摄的图像中像素点的对应关系，得到所述交通信号灯在所述图像中对应的二维感兴趣区域；

信号灯颜色识别模块，用于识别所述二维感兴趣区域得到所述交通信号灯的颜色识别结果。

9.根据权利要求8所述的装置，其特征在于，所述信号灯位置第一获取模块，具体包括：

搜寻半径获取单元，用于获得对交通信号灯的搜寻半径；

搜寻区域确定单元，用于根据所述车辆在所述三维地图的位置和所述搜寻半径，得到搜寻区域；

信号灯位置第一获取单元，用于在所述三维地图中搜寻所述搜寻区域内的交通信号灯，获得所述交通信号灯在所述三维地图的位置。

10.根据权利要求8所述的装置，其特征在于，所述信号灯位置第一获取模块，具体包括：

车道确定单元，用于确定所述车辆所在的车道；

信号灯位置第二获取单元，用于获得所述三维地图中所述车道对应的交通信号灯的位置。

11.根据权利要求8-10任一项所述的装置，其特征在于，还包括：

路径规划模块，和/或，广播模块；

所述路径规划模块，用于根据所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置，进行行车路径规划；

所述广播模块，用于将所述交通信号灯的颜色识别结果和所述交通信号灯在所述三维地图的位置广播给其他车辆。

Images