[go: up one dir, main page]

CN116758169A - 多摄像头外参标定方法、装置、存储介质及电子设备 - Google Patents

多摄像头外参标定方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116758169A
CN116758169A CN202310962125.1A CN202310962125A CN116758169A CN 116758169 A CN116758169 A CN 116758169A CN 202310962125 A CN202310962125 A CN 202310962125A CN 116758169 A CN116758169 A CN 116758169A
Authority
CN
China
Prior art keywords
camera
cameras
data
camera group
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310962125.1A
Other languages
English (en)
Inventor
张欣
赵泽洋
杨德刚
徐斌峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202310962125.1A priority Critical patent/CN116758169A/zh
Publication of CN116758169A publication Critical patent/CN116758169A/zh
Priority to US18/790,686 priority patent/US20250045962A1/en
Priority to EP24192329.1A priority patent/EP4502951A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种多摄像头外参标定方法、装置、存储介质及电子设备，该方法包括：获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；分别对多帧环境图像进行预定类型物体的检测，得到多帧环境图像各自对应的初始检测信息；将各初始检测信息映射至可移动设备对应的预设坐标系下，得对应的转换检测信息；基于多个摄像头的空间布局，将多个摄像头划分为至少一个摄像头组；针对每个摄像头组，基于其包括的各个摄像头各自对应的转换检测信息，构建预定类型物体的跨图像匹配信息；基于各跨图像匹配信息，对多个摄像头进行外参标定。本公开实施例能够自动实时可靠地对多个摄像头进行外参标定，从而保证自动驾驶相关的任务的执行效果。

Description

多摄像头外参标定方法、装置、存储介质及电子设备
技术领域
本公开涉及机器视觉技术，尤其是一种多摄像头外参标定方法、装置、存储介质及电子设备。
背景技术
车辆等可移动设备上往往会设置多个摄像头，一般而言，安装位置活动、震动、胎压变化、碰撞等因素均会造成摄像头位置的微小变化，从而导致摄像头外参的变化。
发明内容
为了在可移动设备的移动过程中，对多个摄像头进行外参标定，提出了本公开。本公开的实施例提供了一种多摄像头外参标定方法、装置、存储介质及电子设备。
根据本公开实施例的一个方面，提供了一种多摄像头外参标定方法，包括：
获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
分别对所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。
根据本公开实施例的另一个方面，提供了一种多摄像头外参标定装置，包括：
获取模块，用于获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
检测模块，用于分别对所述获取模块获取的所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
映射模块，用于将所述检测模块得到的所述多帧环境图像各自对应的所述初始检测信息均映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
第一确定模块，用于基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
构建模块，用于针对所述第一确定模块确定的所述至少一个摄像头组中的每个摄像头组，基于所述映射模块得到的该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
第一标定模块，用于基于所述构建模块构建的所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述多摄像头外参标定方法。
根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述多摄像头外参标定方法。
根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述多摄像头外参标定方法。
基于本公开上述实施例提供的多摄像头外参标定方法、装置、存储介质及电子设备，通过设置于可移动设备不同方位的多个摄像头，可以采集多视角图像数据(其包括不同视角的多帧环境图像)，通过对多视角图像数据进行预定类型物体的检测和对检测结果进行坐标系转换，可以得到同在预设坐标系下的多个转换检测信息，另外，参考多个摄像头的空间布局，可以将多个摄像头划分为至少一个摄像头组，再结合同在预设坐标系下的多个转换检测信息的运用，可以将位于不同环境图像中的相同预定类型物体进行匹配，以将得到的跨图像匹配信息用于多个摄像头的外参标定。这样，本公开的实施例中，在可移动设备的移动过程中，通过参考多视角图像数据承载的信息，在预设坐标系进行信息的跨图像匹配，能够自动实时可靠地对多个摄像头进行外参标定，从而保证自动驾驶相关的任务的执行效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
图1是本公开所适用的场景示意图。
图2是本公开一示例性实施例提供的多摄像头外参标定方法的流程示意图。
图3是本公开一示例性实施例中车道线的示意图。
图4是本公开一示例性实施例中确定跨图像匹配信息的方式的流程示意图。
图5是本公开一示例性实施例中确定点线匹配对的方式的原理图。
图6是本公开一示例性实施例中对多个摄像头各自的初始外参进行修正的方式的流程示意图。
图7是本公开一示例性实施例中对多帧环境图像各自对应的转换检测信息进行时间同步的方式的流程示意图。
图8是本公开另一示例性实施例中对多帧环境图像各自对应的转换检测信息进行时间同步的方式的流程示意图。
图9是本公开一示例性实施例中确定多个摄像头各自的目标外参的方式的流程示意图。
图10是本公开一示例性实施例中确定修正外参数据是否符合数据特征的方式的流程示意图。
图11是本公开一示例性实施例中对多个摄像头各自的初始外参进行更新的方式的流程示意图。
图12是本公开另一示例性实施例提供的多摄像头外参标定方法的流程示意图。
图13是本公开一示例性实施例提供的多摄像头外参标定装置的结构示意图。
图14是本公开一示例性实施例中构建模块的结构示意图。
图15是本公开一示例性实施例中映射模块和第一标定模块的结构示意图。
图16是本公开一示例性实施例中多帧环境图像各自对应的转换检测信息进行时间同步涉及的模块的示意图。
图17是本公开一示例性实施例中时间同步模块的结构示意图。
图18是本公开一示例性实施例中确定多个摄像头各自的目标外参涉及的模块的示意图。
图19是本公开一示例性实施例中确定修正外参数据是否符合数据特征涉及的模块的示意图。
图20是本公开一示例性实施例中对多个摄像头各自的初始外参进行更新涉及的模块的示意图。
图21是本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
申请概述
车辆等可移动设备上往往会设置多个摄像头(Camera)，一些因素会造成摄像头位置的微小变化，从而导致摄像头外参的变化；其中，摄像头外参是计算机视觉和图形学中常用的概念，摄像头外参可以用于描述摄像头在三维场景中的位置和朝向。
可选地，摄像头外参可以呈下面的矩阵形式：
R表示摄像头外参中的旋转部分，R的形状可以为3*3，其中，“3*3”中的前一个3可以表示R的宽度，3*3中的后一个3可以表示R的长度，也即，R中可以包括三行三列共九个元素。t表示摄像头外参中的平移部分，t的形状可以为3*1，其中，“3*1”中的3可以表示t的宽度，“3*1”中的1可以表示t的长度，也即，t中可以包括三行一列共三个元素。这样，摄像头外参具体可以呈形状为4*4的矩阵。
在实现本公开的过程中，发明人发现，摄像头外参可以应用于自动驾驶相关的任务，例如应用于目标检测任务、目标跟踪任务等，摄像头外参的准确性会影响到自动驾驶相关的任务的执行效果。因此，有必要在可移动设备的移动过程中，实时地对设置于可移动设备的多个摄像头进行外参标定，以为多个摄像头分别确定准确的摄像头外参，从而保证自动驾驶相关的任务的执行效果。
示例性系统
如图1所示，本公开所适用的场景示意图中可以包括：车辆12、电子设备14和多个摄像头；其中，电子设备14可以设置于车辆12上，或者，电子设备14可以不设置于车辆12上，而是与车辆12进行远程通信；多个摄像头可以设置于车辆12的不同方位。
在一个例子中，多个摄像头可以为6个摄像头，分别是图1所示的摄像头1、摄像头2、摄像头3、摄像头4、摄像头5和摄像头6。
在车辆12的移动过程中，多个摄像头可以周期性地进行环境图像的采集，多个摄像头各自采集的环境图像均可以提供给电子设备14，电子设备14可以基于多个摄像头提供的环境图像，执行本公开的实施例中的多摄像头外参标定方法，以实现对多个摄像头的外参标定，从而保证自动驾驶相关的任务的执行效果。
示例性方法
图2是本公开一示例性实施例提供的多摄像头外参标定方法的流程示意图。图2所示的方法可以包括步骤210、步骤220、步骤230、步骤240、步骤250和步骤260，下面分别对各步骤进行说明。
步骤210，获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像。
可选地，可移动设备包括但不限于车辆、轮船、飞机等，在此不再一一列举。
可选地，设置于可移动设备不同方位的多个摄像头可以表示为N个摄像头，N的取值可以为4、6、8等，在此不再一一列举。
在可移动设备的移动过程中，N个摄像头可以分别进行环境图像的采集，由此可以得到与N个摄像头一一对应的N帧环境图像以作为步骤210中涉及的多帧环境图像；其中，N帧环境图像各自的采集时间点可以相同，也即，N帧环境图像可以是时间完全对齐的；或者，N帧环境图像各自的采集时间点可以存在细微的差别，也即，N帧环境图像可以是时间基本对齐的。
步骤220，分别对多帧环境图像进行预定类型物体的检测，得到多帧环境图像各自对应的初始检测信息。
可选地，预定类型物体包括但不限于车道线、路灯灯座等，只需保证预定类型物体在路面上经常出现，便于识别，且呈细长状即可，在此不再一一列举。为了便于理解，本公开的实施例中均以预定类型物体为车道线的情况为例进行说明。
针对N帧环境图像中的每帧环境图像，可以利用语义分割算法，对该帧环境图像进行语义分割，以确定该帧环境图像中的哪些像素点的类型为车道线类型，由此可以检测出该帧环境图像中存在的车道线；其中，该帧环境图像中存在的车道线的数量可以为1条、2条或者2条以上。通过对该帧环境图像进行车道线采样，可以得到车道线采样结果，车道线采样结果可以作为该帧环境图像对应的初始检测信息。
在一个例子中，该帧环境图像中存在的车道线的数量为1条，且呈图3所示的细长矩形310，则对该帧环境图像进行车道线采样得到的车道线采样结果可以包括：细长矩形310的四个角点；或者，细长矩形310的中心线320上的若干个点。假设细长矩形310的长边尺寸为20米，则可以沿着中心线320，每隔1米采样一个点，以得到21个点，这21个点可以组成该帧环境图像对应的车道线采样结果。
步骤230，将多帧环境图像各自对应的初始检测信息映射至可移动设备对应的预设坐标系下，得到多帧环境图像各自对应的转换检测信息。
可选地，可移动设备可以为车辆，可移动设备对应的预设坐标系可以为车辆坐标系统(Vehicle Coordinate System，VCS)坐标系。当然，预设坐标系也可以为针对可移动设备定制的其他坐标系，本公开的实施例对此不做限定。
针对N帧环境图像中的每帧环境图像，该帧环境图像对应的初始检测信息可以认为是该帧环境图像对应的摄像头的像素坐标系下的检测信息。在步骤230中，可以将该帧环境图像对应的初始检测信息由像素坐标系映射至预设坐标系下，以得到该帧环境图像对应的转换检测信息。很明显，转换检测信息与初始检测信息的区别主要在于：归属的坐标系不同。
需要说明的是，本公开的实施例中涉及的摄像头外参或者外参可以用于描述摄像头在VCS坐标系下的位置和朝向，这样，本公开的实施例中涉及的摄像头外参或者外参也可以称为摄像头-VCS外参。
步骤240，基于多个摄像头的空间布局，将多个摄像头划分为至少一个摄像头组。
参考N个摄像头的空间布局，可以确定N个摄像头的相对位置关系，参考N个摄像头的相对位置关系，可以将N个摄像头划分为至少一个摄像头组。
可选地，至少一个摄像头组可以表示为M个摄像头组，M个摄像头组中的每个摄像头组可以包括：N个摄像头中相邻的2个摄像头。在一个例子中，如图1所示，N个摄像头为6个摄像头，分别是摄像头1、摄像头2、摄像头3、摄像头4、摄像头5和摄像头6；其中，摄像头1设置于可移动设备的正前方，摄像头2设置于可移动设备的左前方，摄像头3设置于可移动设备的右前方，摄像头4设置于可移动设备的正后方，摄像头5设置于可移动设备的左后方，摄像头6设置于可移动设备的右后方。很明显，从相对位置关系上来说，摄像头1与摄像头2是相邻的，摄像头1与摄像头3是相邻的，摄像头4与摄像头5是相邻的，摄像头4与摄像头6是相邻的，摄像头2与摄像头5是相邻的，摄像头3与摄像头6是相邻的，那么，对6个摄像头进行划分得到的M个摄像头组可以为6个摄像头组，分别是：包括摄像头1与摄像头2的摄像头组、包括摄像头1与摄像头3的摄像头组、包括摄像头4与摄像头5的摄像头组、包括摄像头4与摄像头6的摄像头组、包括摄像头2与摄像头5的摄像头组、包括摄像头3与摄像头6的摄像头组。
当然，步骤240的实施方式并不局限于此，例如，对于任一摄像头组，该摄像头组中的2个摄像头也可以不相邻，只需保证这2个摄像头的视场范围存在重叠，能够同时拍摄相同预定类型物体即可，再例如，对于任一摄像头组，该摄像头组中的摄像头数量并不局限于2个，例如还可以为3个，只需保证这3个摄像头的视场范围存在重叠，能够同时拍摄相同预定类型物体即可。
步骤250，针对至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的转换检测信息，构建预定类型物体的跨图像匹配信息。
对于任一摄像头组而言，该摄像头组包括的各个摄像头可以同时拍摄相同的预定类型物体，也即，该摄像头组包括的各个摄像头各自对应的转换检测信息可以包括对相同预定类型物体的检测信息。基于该摄像头组包括的各个摄像头各自对应的转换检测信息，可以将位于不同环境图像中的相同预定类型物体进行匹配，以得到该摄像头组对应的跨图像匹配信息；其中，跨图像匹配信息可以包括：位于不同环境图像中的相同预定类型物体的匹配结果。
步骤260，基于至少一个摄像头组各自对应的跨图像匹配信息，对多个摄像头进行外参标定。
结合至少一个摄像头组各自对应的跨图像匹配信息，可以通过构建数学模型的方式，为N个摄像头分别确定准确的摄像头外参，由此实现N个摄像头的外参标定。
基于本公开上述实施例提供的多摄像头外参标定方法，通过设置于可移动设备不同方位的多个摄像头，可以采集多视角图像数据(其包括不同视角的多帧环境图像)，通过对多视角图像数据进行预定类型物体的检测和对检测结果进行坐标系转换，可以得到同在预设坐标系下的多个转换检测信息，另外，参考多个摄像头的空间布局，可以将多个摄像头划分为至少一个摄像头组，再结合同在预设坐标系下的多个转换检测信息的运用，可以将位于不同环境图像中的相同预定类型物体进行匹配，以将得到的跨图像匹配信息用于多个摄像头的外参标定。这样，本公开的实施例中，在可移动设备的移动过程中，通过参考多视角图像数据承载的信息，在预设坐标系进行信息的跨图像匹配，能够自动实时可靠地对多个摄像头进行外参标定，从而保证自动驾驶相关的任务的执行效果。
在一些可选示例中，每个摄像头组中的摄像头数量为两个；如图4所示，步骤250，包括步骤2501、步骤2503、步骤2505、步骤2507、步骤2509、步骤2511和步骤2513。
步骤2501，基于第一摄像头组中的一个摄像头所对应的转换检测信息，确定预设坐标系下表示一预定类型物体的第一点集，第一摄像头组为至少一个摄像头组中的任一摄像头组。
步骤2503，基于第一摄像头组中的另一个摄像头所对应的转换检测信息，确定预设坐标系下与第一点集表示相同预定类型物体的第二点集。
假设第一摄像头组中的2个摄像头分别是摄像头a和摄像头b，摄像头a对应的环境图像和摄像头b对应的环境图像中均存在车道线c，摄像头a对应的初始检测信息可以包括：摄像头a对应的像素坐标系下车道线c对应的车道线采样结果c1，摄像头a对应的转换检测信息可以包括：预设坐标系下车道线c对应的车道线采样结果c1＇。类似地，摄像头b对应的初始检测信息可以包括：摄像头b对应的像素坐标系下车道线c对应的车道线采样结果c2，摄像头b对应的转换检测信息可以包括：预设坐标系下车道线c对应的车道线采样结果c2＇。
可选地，车道线采样结果c1＇中的所有点的集合可以作为表示预设坐标系下车道线c的第一点集，车道线采样结果c2＇中的所有点的集合可以作为表示预设坐标系下车道线c的第二点集。当然，也可以将车道线采样结果c1＇中的所有点顺次相连，以形成第一线条，并将第一线条包括的所有点的集合作为表示预设坐标系下车道线c的第一点集，类似地，可以将车道线采样结果c2＇中的所有点顺次相连，以形成第二线条，并将第二线条包括的所有点的集合作为表示预设坐标系下车道线c的第二点集。
步骤2505，从第一点集中确定采样点。
可选地，第一点集中的每个点可以分别作为一个采样点；或者，可以从第一点集中筛选部分点，并将筛选出的部分点中的每个点分别作为一个采样点。这样，采样点的数量可以为多个，例如为10个、12个、15个等，在此不再一一列举。由于针对每个采样点的处理方式是类似的，后续主要针对单个采样点的处理方式进行介绍。
步骤2507，在第二点集中搜索与采样点满足预设距离关系的两个点。
可选地，可以利用最近邻匹配算法，在第二点集中搜索与采样点最近邻的两个点，搜索得到的两个点即可作为与采样点满足预设距离关系的两个点；其中，最近邻匹配算法可以通过k-d树(其是一种分割k维数据空间的数据结构)实现。
步骤2509，确定用于连接两个点的直线。
可选地，可以将步骤2507中搜索得到的两个点进行连接，以得到相应的直线。
步骤2511，构建包括采样点与直线的点线匹配对。
假设采样点表示为p，直线表示为g，则步骤2511中构建的点线匹配对可以表示为(p，g)，或者表示为(g，p)，再或者表示为p&g。
步骤2513，基于点线匹配对，确定第一摄像头组所对应的跨图像匹配信息。
针对从第一点集中确定的多个采样点中的每个采样点，均可以得到一个点线匹配度，由此可以得到与多个采样点一一对应的多个点线匹配度，第一摄像头组所对应的跨图像匹配信息可以包括：与多个采样点一一对应的多个点线匹配度；或者，在采样点的数量过多的情况下，第一摄像头组所对应的跨图像匹配信息可以包括：与多个采样点一一对应的多个点线匹配度中的部分点线匹配度。
在一个例子中，第一线条可以如图5中的实线510所示，第二线条可以如图5中的实线520所示，实线510可以对应第一点集，实线520可以对应第二点集，从第一点集中可以确定采样点p1、采样点p2、采样点p3、采样点p4和采样点p5，从第二点集中可以搜索出与采样点p1最近邻的两个点(点j1和点j1＇)，与采样点p2最近邻的两个点(点j2和点j2＇)，与采样点p3最近邻的两个点(点j3和点j3＇)，与采样点p4最近邻的两个点(点j4和点j4＇)，与采样点p5最近邻的两个点(点j5和点j5＇)。假设用于连接点j1和点j1＇的直线表示为g1，用于连接点j2和点j2＇的直线表示为g2，用于连接点j3和点j3＇的直线表示为g3，用于连接点j4和点j4＇的直线表示为g4，用于连接点j5和点j5＇的直线表示为g5，则可以构建出以下5个点线匹配对：(p1，g1)、(p2，g2)、(p3，g3)、(p4，g4)、(p5，g5)，第一摄像头组所对应的跨图像匹配信息可以包括这5个点线匹配对。
本公开的实施例中，针对每个摄像头组包括的2个摄像头，参考这2个摄像头各自对应的转换检测信息，可以高效可靠地确定预设坐标系下表示相同预定类型物体的两个点集，其中一个点集可以用于得到采样点，另一个点集可以用于得到采样点的两个最近邻点，通过对采样点和最近邻点的运用，能够高效可靠地构建出点线匹配对，以将点线匹配对用于跨图像匹配信息的确定，由于点线匹配对中的采样点本质上基于这2个摄像头中的一者对应的环境图像得到，点线匹配对中的直线本质上基于这2个摄像头中的另一者对应的环境图像得到，跨图像匹配信息能够有效地表征这2个摄像头对应的2帧环境图像中的相同预定类型物体的匹配结果。
在一些可选示例中，步骤230，包括：
利用多个摄像头各自的初始外参，将多帧环境图像各自对应的初始检测信息映射至可移动设备对应的预设坐标系下。
一般而言，在通过摄像头进行图像采集时，相对应的三维空间点与图像像素点之间的关系可以表示为如下的公式(1)：
其中，Z表示归一化系数，(u，v)表示图像像素点，K表示摄像头内参，R表示摄像头外参中的旋转部分，t表示摄像头外参中的平移部分，(x，y，z)表示三维空间点。
由于本公开的实施例中考虑的主要是车辆在路面上移动的情况，可以认为(x，y，z)中的z为0，那么，上述的公式(1)可以转换为如下的公式(2)：
上述的公式(1)中的R的形状可以为3*3，上述的公式(2)中的R2可以包括上述的公式(1)中的R的前两列。
参照上文中的介绍可知，任一环境图像对应的初始检测信息可以包括若干个点，针对该环境图像对应的初始检测信息中的每个点(其可以认为属于图像像素点)，可以利用上述的公式(2)，将该点转换至VCS坐标系，以确定相应的三维空间点，由此可以得到若干个三维空间点，该环境图像对应的转换检测信息可以包括这些三维空间点；其中，每个三维空间点沿z轴方向的坐标值均可以为0。
每个跨图像匹配信息包括：多个点线匹配对；如图6所示，步骤260，包括步骤2601、步骤2603和步骤2605。
步骤2601，针对至少一个摄像头组各自对应的跨图像匹配信息中的每个点线匹配度，计算该点线匹配度中的采样点与直线之间的距离。
对于每个点线匹配对，其中的采样点的坐标和其中的直线的方程均可以认为是已知的，在此基础上，通过几何计算，能够高效可靠地确定该采样点与该直线之间的距离。
步骤2603，基于至少一个摄像头组各自对应的跨图像匹配信息中的每个点线匹配度各自对应的距离，计算距离总和。
假设每个摄像头组对应的跨图像匹配信息中点线匹配度的数量均为Q个，由于摄像头组的数量为M个，且利用每个点线匹配对均可以计算出一个距离，由此可以得到M*Q个距离，通过对M*Q个距离进行求和，即可得到距离总和。
当然，距离总和的获得方式并不局限于此，例如，如果M*Q个距离中的少部分距离数值偏大，可以认为这部分距离是存在异常的数据，那么，可以丢弃这部分距离，并仅对M*Q个距离中未被丢弃的距离进行求和，以得到距离总和。
步骤2605，以最小化距离总和作为修正目标，对多个摄像头各自对应的初始外参进行修正，得到多个摄像头各自的修正外参以作为多个摄像头的外参标定结果。
可选地，可以将N个摄像头各自的初始外参作为需要优化的变量，利用预设优化算法，以最小化距离总和作为修正目标进行优化处理，从而得到多个摄像头各自的修正外参；其中，预设优化算法可以为线性优化算法或者非线性优化算法，例如，预设优化算法可以为线性最小二乘法或者非线性最小二乘法。在预设优化算法是非线性优化算法的情况下，距离总和的最小化可以通过非线性求解器实现。
由于像素坐标系至预设坐标系的映射需要运用摄像头的初始外参，可以认为初始外参会影响到转换检测信息，而转换检测信息又会影响到跨图像匹配信息，从而影响到距离总和，也即，距离总和的计算需要依赖于N个摄像头各自的初始外参。有鉴于此，本公开的实施例中，可以通过最小化距离总和，使得通过不同摄像头观测到的相同车道线之间的距离最小化，从而实现对计算距离总和所需的初始外参的修正，进而高效可靠地实现N个摄像头的外参标定。
在一些可选示例中，如图7所示，本公开的实施例提供的方法还包括步骤710和步骤720。可选地，步骤710和步骤720可以在步骤250之前执行。
步骤710，确定可移动设备在多帧环境图像各自的采集时间点的设备位姿矩阵。
可选地，可移动设备上可以设置有里程计(例如惯性里程计)，通过里程计采集的里程计信息，可以确定可移动设备在N帧环境图像各自的采集时间点的设备位姿矩阵。
可选地，可移动设备上可以设置有惯性测量单元(Inertial Measurement Unit，IMU)，通过对惯性测量单元采集的惯性测量数据，可以确定可移动设备在N帧环境图像各自的采集时间点的设备位姿矩阵。
需要说明的是，本公开的实施例中涉及的任一设备位姿矩阵可以用于描述VCS坐标系在世界坐标系下的位置和朝向，设备位姿矩阵的构成形式可以参考上文中对摄像头外参的矩阵形式的介绍，在此不再赘述。
步骤720，基于多帧环境图像各自对应的设备位姿矩阵，对多帧环境图像各自对应的转换检测信息进行时间同步。
在本公开的一些可选实施方式中，如图8所示，步骤720，包括步骤7201、步骤7203和步骤7205。
步骤7201，从多个摄像头中选择一个摄像头作为基准摄像头。
可选地，可以从N个摄像头中随机选择一个摄像头作为基准摄像头；或者，可以从N个摄像头中选择性能最优的摄像头作为基准摄像头。
步骤7203，确定基准摄像头采集的环境图像对应的设备位姿矩阵的逆矩阵。
可选地，通过对基准摄像头采集的环境图像对应的设备位姿矩阵进行矩阵逆运算，可以得到相应的逆矩阵。假设基准摄像头采集的环境图像对应的设备位姿矩阵表示为Twvb，则基准摄像头采集的环境图像对应的设备位姿矩阵的逆矩阵可以表示为
步骤7205，利用逆矩阵和第一环境图像对应的设备位姿矩阵，将第一环境图像对应的转换检测信息同步至目标采集时间点，第一环境图像为多帧环境图像中，除了基准摄像头采集的环境图像之外的剩余环境图像中的任一环境图像，目标采集时间点为基准摄像头采集的环境图像的采集时间点。
参照上文中的介绍可知，任一环境图像对应的转换检测信息可以包括若干个点，假设第一环境图像对应的设备位姿矩阵表示为Twva，针对第一环境图像对应的转换检测信息中的每个点，如果该点的坐标表示为Xvb，则利用和Twva，可以将Xvb同步至目标采集时间点，以得到Xva，具体可以采用如下的公式(3)进行同步：
步骤250，包括：
针对至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的经时间同步后的转换检测信息，构建预定类型物体的跨图像匹配信息。
需要说明的是，基于经时间同步后的转换检测信息，构建预定类型物体的跨图像匹配信息的方式参照上文中对步骤250的相关介绍即可，在此不再赘述。
这种实施方式中，通过从N个摄像头中选择基准摄像头，可以将基准摄像头采集的环境图像的采集时间点作为基准，将剩余环境图像各自对应的转换检测信息均转换至该采集时间点，由此能够得到时间完全对齐的多个转换检测信息，将时间完全对齐的多个转换检测信息用于跨图像匹配信息的构建，有利于保证构建出的跨图像匹配信息的准确性和可靠性，从而能够保证依据跨图像匹配信息得到的外参标定结果的准确性和可靠性。
当然，步骤720的实施方式并不局限于此，例如，基于N个帧环境图像各自对应的设备位姿矩阵，可以不将N帧环境图像各自对应的转换检测信息均同步至目标采集时间点，而是同步至不同于N帧环境图像中的任一帧环境图像的采集时间点的其他时间，只需保证多个转换检测信息的时间对齐性即可，由此能够有效地保证外参标定结果的准确性和可靠性。
在一些可选示例中，多帧环境图像组成一个图像集，外参标定的次数为多次，每次外参标定对应的图像集不同，每次外参标定用于得到一个修正外参数据，每个修正外参数据包括：多个摄像头各自的修正外参。
对于每个图像集，可以利用该图像集中的N帧环境图像，执行上文中的步骤210至步骤260，以通过一次外参标定得到一个外参标定结果，一个外参标定结果包括一个修正外参数据。假设图像集的数量为H个，这样可以通过H次外参标定得到与H个图像集一一对应的H个修正外参数据。
如图9所示，本公开的实施例提供的方法还包括步骤910、步骤920和步骤930。可选地，步骤910、步骤920和步骤930可以在步骤260之后执行。
步骤910，将多次外参标定各自对应的修正外参数据依次添加至数据序列中。
可选地，H次外参标定可以顺序执行，在每通过一次外参标定得到一个修正外参数据之后，可以将该修正外参数据添加至数据序列中，这样，数据序列中包括的修正外参数据的数量可以逐渐增多，数据序列中最终可以有H个修正外参数据，H个修正外参数据可以按照获得时间由早至晚的顺序排列。
步骤920，统计数据序列中排序在前的第一预设数量个修正外参数据的数据特征。
可选地，第一预设数量可以15、20、25或者其他取值，在此不再一一列举。
在通过H次外参标定中的前第一预设数量次外参标定得到第一预设数量个修正外参数据之后，可以针对这些修正外参数据进行统计，以求得均值数据、中位值数据、方差数据、标准差数据等，由此可以得到包括均值数据、中位值数据、方差数据、标准差数据等的数据特征；其中，均值数据可以包括：N个摄像头各自对应的均值；中位值数据可以包括：N个摄像头各自对应的中位值；方差数据可以包括：N个摄像头各自对应的方差；标准差数据可以包括：N个摄像头各自对应的标准差。
步骤930，响应于数据序列中的剩余修正外参数据中，连续第二预设数量个修正外参数据符合数据特征，基于第二预设数量个修正外参数据，确定多个摄像头各自的目标外参。
这里，数据序列中的剩余修正外参数据可以包括：数据序列中除了排序在前的第一预设数量个修正外参数据之外的各个修正外参数据。
可选地，第二预设数量可以为5、10、15或者其他取值，在此不再一一列举。
在前第一预设数量次外参标定结束之后，对于后续的每一次外参标定，可以判断本次外参标定得到的修正外参数据是否符合步骤920中统计出的数据特征，由此能够筛选出符合数据特征的连续第二预设数量个修正外参数据，该连续第二预设数量个修正外参数据可以用于确定N个摄像头各自的目标外参。
可选地，针对N个摄像头中的每个摄像头，可以确定该连续第二预设数量个修正外参数据中对应于该摄像头的第二预设数量个修正外参的均值，之后可以直接将确定出的均值作为该摄像头的目标外参，或者，可以在该均值的基础上再通过一些简单的算法进行修正，并将得到的修正结果作为该摄像头的目标外参。由此可以得到N个摄像头各自的目标外参，N个摄像头各自的目标外参可以认为是为N个摄像头分别确定的准确的摄像头外参。
本公开的实施例中，可以通过对与第一预设数量次外参标定一一对应的第一预设数量个修正外参数据进行统计，得到包括均值数据、中位值数据、方差数据、标准差数据等的数据特征，后续可以继续进行外参标定，如果后续的外参标定中，连续第二预设数量个修正外参数据均符合数据特征，可以判定标定收敛，此时可以将该第二预设数量个修正外参数据用于N个摄像头各自的目标外参的确定，由此能够保证最终的多摄像头外参标定结果的准确性和可靠性。
在一些可选示例中，如图10所示，本公开的实施例提供的方法还包括步骤1010、步骤1020、步骤1030和步骤1040。
步骤1010，基于数据特征，确定第一预设数量个修正外参数据的均值数据和标准差数据。
可选地，数据特征可以包括：第一预设数量个修正外参数据的均值数据和标准差数据，那么，在步骤1010中，可以直接从数据特征中提取均值数据和方差数据；其中，均值数据可以包括：N个摄像头各自对应的均值；标准差数据可以包括：N个摄像头各自对应的标准差。
步骤1020，针对剩余修正外参数据中的每个修正外参数据，确定该修正外参数据与均值数据之间的差异。
针对剩余修正外参数据中的每个修正外参数据，可以将该修正外参数据与均值数据进行比较，以得到两者之间的差异；其中，得到的差异可以包括：N个摄像头各自对应的差异值，任一摄像头对应的差异值可以通过将该修正外参数据中该摄像头的修正外参与该摄像头对应的均值进行做差得到。
步骤1030，将差异与标准差数据进行比较，得到比较结果。
通过将差异与标准差数据进行比较，可以得到两者的比较结果；其中，得到的比较结果可以包括：N个摄像头各自对应的比较信息，任一摄像头对应的比较信息可以用于表征该摄像头对应的差异值是否超过该摄像头对应的标准差。
步骤1040，基于比较结果，确定该修正外参数据是否符合数据特征。
可选地，如果N个摄像头中的每个摄像头对应的比较结果均用于表征该摄像头对应的差异值未超过该摄像头对应的标准差，可以判定该修正外参数据符合数据特征；如果N个摄像头中的至少一个摄像头对应的比较结果用于表征该摄像头对应的差异值超过该摄像头对应的标准差，可以判定该修正外参数据不符合数据特征。
当然，确定该修正外参数据是否符合数据特征的方式并不局限于此，例如，如果N个摄像头中，超过一定比例的摄像头对应的比较结果用于表征该摄像头对应的差异值未超过该摄像头对应的标准差，可以判定该修正外参数据符合数据特征。
本公开的实施例中，数据特征可以包括均值数据和标准差数据，通过判断进行外参标定得到的修正外参数据相对于均值数据的浮动情况(其可以通过步骤1020中确定的差异进行表征)与标准差数据是否相符，能够高效可靠地确定该修正外参数据是否符合数据特征。
在一些可选示例中，如图11所示，本公开的实施例提供的方法还包括步骤1110和步骤1120。
步骤1110，进行多次外参标定；其中，多帧环境图像组成一个图像集，每次外参标定对应的图像集不同，每次外参标定用于得到一个修正外参数据，每个修正外参数据包括：多个摄像头各自的修正外参。
对于每个图像集，可以利用该图像集中的N帧环境图像，执行上文中的步骤210至步骤260，以通过一次外参标定得到一个外参标定结果，一个外参标定结果包括一个修正外参数据。假设图像集的数量为H个，这样可以通过H次外参标定得到与H个图像集一一对应的H个修正外参数据。
步骤1120，在通过任一次外参标定得到修正外参数据之后，利用本次外参标定得到的修正外参数据更新多个摄像头各自的初始外参。
需要说明的是，H次外参标定中的首次外参标定使用的N个摄像头各自的初始外参可以由人工给定，或者通过一些简单的算法计算得到。在通过H次外参标定中的任一次外参标定得到修正外参数据之后，针对N个摄像头中的每个摄像头，可以将该摄像头的初始外参替换为本次外参标定得到的修正外参数据中该摄像头的修正外参。这样，随着标定次数的增加，N个摄像头各自的初始外参能够不断进行更新，使得每次外参标定使用的初始外参更加合理和准确，由此能够保证最终的多摄像头外参标定结果的准确性和可靠性。
在一些可选示例中，如图12所示，可移动设备上可以设置有多个摄像头，通过多个摄像头，可以采集多视角图像数据(其可以包括上文中不同视角的多帧环境图像)。通过对每帧环境图像进行语义分割，并进行车道线采样，可以得到相应的初始检测信息。通过将各初始检测信息根据相应摄像头的初始外参映射至VCS坐标系下，再结合最近邻匹配算法，可以确定点线匹配对，由此可以实现车道线的跨图像匹配。之后可以依据确定出的所有点线匹配对，通过非线性优化算法，以各摄像头的初始外参作为优化变量，以最小化基于所有点线匹配对计算得到的距离总和作为修正目标，建立非线性优化问题求解外参，从而得到各摄像头的修正外参。
可选地，非线性优化问题的目标函数可以表示为：
rpy表示多个摄像头各自的外参，T表示不同环境图像对应的设备位姿矩阵(T可以用于实现上文中的对多帧环境图像各自对应的转换检测信息进行时间同步)，X表示基于不同环境图像得到的点线匹配度，f表示基于所有点线匹配对计算距离总和的过程。
另外，可以对一定次数(例如第一预设数量次)的外参标定得到的修正外参数据进行统计，后续可以继续进行外参标定，且在后续的外参标定中，可以参考经统计得到的数据特征，判断标定是否收敛，如果收敛，则可以输出最终的多摄像头外参标定结果；如果不收敛，则可以进行下一次外参标定，直至收敛。
综上，本公开的实施例中，通过参考多视角图像数据承载的车道线相关的信息，可以在VCS坐标系进行信息的跨图像匹配，再通过非线性优化算法的运用，能够高效可靠实时地对多个摄像头进行外参标定，从而有效地保证自动驾驶相关的任务的执行效果。
本公开实施例提供的任一种多摄像头外参标定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种多摄像头外参标定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种多摄像头外参标定方法。下文不再赘述。
示例性装置
图13是本公开一示例性实施例提供的多摄像头外参标定方法装置的结构示意图。图13所示的装置包括获取模块1310、检测模块1320、映射模块1330、第一确定模块1340、构建模块1350和第一标定模块1360。
获取模块1310，用于获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
检测模块1320，用于分别对获取模块1310获取的多帧环境图像进行预定类型物体的检测，得到多帧环境图像各自对应的初始检测信息；
映射模块1330，用于将检测模块1320得到的多帧环境图像各自对应的初始检测信息均映射至可移动设备对应的预设坐标系下，得到多帧环境图像各自对应的转换检测信息；
第一确定模块1340，用于基于多个摄像头的空间布局，将多个摄像头划分为至少一个摄像头组；
构建模块1350，用于针对第一确定模块1340确定的至少一个摄像头组中的每个摄像头组，基于映射模块1330得到的该摄像头组包括的各个摄像头各自对应的转换检测信息，构建预定类型物体的跨图像匹配信息；
第一标定模块1360，用于基于构建模块1350构建的至少一个摄像头组各自对应的跨图像匹配信息，对多个摄像头进行外参标定。
在一些可选示例中，每个摄像头组中的摄像头数量为两个；
如图14所示，构建模块1350，包括：
第一确定子模块13501，用于基于映射模块1330得到的第一摄像头组中的一个摄像头所对应的转换检测信息，确定预设坐标系下表示一预定类型物体的第一点集，第一摄像头组为至少一个摄像头组中的任一摄像头组；
第二确定子模块13503，用于基于映射模块1330得到的第一摄像头组中的另一个摄像头所对应的转换检测信息，确定预设坐标系下与第一点集表示相同预定类型物体的第二点集；
第三确定子模块13505，用于从第一确定子模块13501确定的第一点集中确定采样点；
搜索子模块13507，用于在第二确定子模块13503确定的第二点集中搜索与第三确定子模块13505确定的采样点满足预设距离关系的两个点；
第四确定子模块13509，用于确定用于连接搜索子模块13507搜索到的两个点的直线；
第一构建子模块13511，用于构建包括第三确定子模块13505确定的采样点与第四确定子模块13509确定的直线的点线匹配对；
第五确定子模块13513，用于基于第一构建子模块13511构建的点线匹配对，确定第一摄像头组所对应的跨图像匹配信息。
在一些可选示例中，如图15所示，映射模块1330，包括：
第六确定子模块13301，用于确定多个摄像头各自的初始外参；
映射子模块13303，用于利用第六确定子模块13301确定的多个摄像头各自的初始外参，将检测模块1320得到的多帧环境图像各自对应的初始检测信息映射至可移动设备对应的预设坐标系下；
每个跨图像匹配信息包括：多个点线匹配对，第一标定模块1360，包括：
第一计算子模块13601，用于针对构建模块1350构建的至少一个摄像头组各自对应的跨图像匹配信息中的每个点线匹配度，计算该点线匹配度中的采样点与直线之间的距离；
第二计算子模块13603，用于基于第一计算子模块13601计算得到的至少一个摄像头组各自对应的跨图像匹配信息中的每个点线匹配度各自对应的距离，计算距离总和；
修正子模块13605，用于以最小化第二计算子模块13603计算得到的距离总和作为修正目标，对第六确定子模块13301确定的多个摄像头各自对应的初始外参进行修正，得到多个摄像头各自的修正外参以作为多个摄像头的外参标定结果。
在一些可选示例中，如图16所示，本公开的实施例提供的装置还包括：
第二确定模块1610，用于在构建模块1350构建预定类型物体的跨图像匹配信息之前，确定可移动设备在获取模块1310获取的多帧环境图像各自的采集时间点的设备位姿矩阵；
时间同步模块1620，用于基于第二确定模块1610确定的多帧环境图像各自对应的设备位姿矩阵，对获取模块1310获取的多帧环境图像各自对应的转换检测信息进行时间同步；
构建模块1350，包括：
第二构建子模块13515，用于针对至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的经时间同步后的转换检测信息，构建预定类型物体的跨图像匹配信息。
在一些可选示例中，如图17所示，时间同步模块1620，包括：
选择子模块16201，用于从多个摄像头中选择一个摄像头作为基准摄像头；
第七确定子模块16203，用于确定选择子模块16201选择的基准摄像头采集的环境图像对应的设备位姿矩阵的逆矩阵；
同步子模块16205，用于利用第七确定子模块16203确定的逆矩阵和第二确定模块1610确定的第一环境图像对应的设备位姿矩阵，将映射模块1330得到的第一环境图像对应的转换检测信息同步至目标采集时间点，第一环境图像为多帧环境图像中，除了基准摄像头采集的环境图像之外的剩余环境图像中的任一环境图像，目标采集时间点为基准摄像头采集的环境图像的采集时间点。
在一些可选示例中，多帧环境图像组成一个图像集，外参标定的次数为多次，每次外参标定对应的图像集不同，每次外参标定用于得到一个修正外参数据，每个修正外参数据包括：多个摄像头各自的修正外参；
如图18所示，本公开的实施例提供的装置还包括：
添加模块1810，用于在第一标定模块1360对多个摄像头进行外参标定之后，将第一标定模块1360进行的多次外参标定各自对应的修正外参数据依次添加至数据序列中；
统计模块1820，用于统计数据序列中排序在前的第一预设数量个修正外参数据的数据特征；
第三确定模块1830，用于响应于数据序列中的剩余修正外参数据中，连续第二预设数量个修正外参数据符合统计模块1820统计得到的数据特征，基于第二预设数量个修正外参数据，确定多个摄像头各自的目标外参。
在一些可选示例中，如图19所示，本公开的实施例提供的装置还包括：
第四确定模块1910，用于基于统计模块1820统计得到的数据特征，确定第一预设数量个修正外参数据的均值数据和标准差数据；
第五确定模块1920，用于针对剩余修正外参数据中的每个修正外参数据，确定该修正外参数据与第四确定模块1910确定的均值数据之间的差异；
比较模块1930，用于将第五确定模块1920确定的差异与第四确定模块1910确定的标准差数据进行比较，得到比较结果；
第六确定模块1940，用于基于比较模块1930得到的比较结果，确定该修正外参数据是否符合数据特征。
在一些可选示例中，如图20所示，本公开的实施例提供的装置还包括：
第二标定模块2010，用于进行多次外参标定；其中，多帧环境图像组成一个图像集，每次外参标定对应的图像集不同，每次外参标定用于得到一个修正外参数据，每个修正外参数据包括：多个摄像头各自的修正外参；
更新模块2020，用于在通过第二标定模块2010进行的任一次外参标定得到修正外参数据之后，利用本次外参标定得到的修正外参数据更新多个摄像头各自的初始外参。
在本公开的装置中，上述公开的各种可选实施例、可选实施方式和可选示例，都可以根据需要进行灵活的选择和组合，从而实现相应的功能和效果，本公开不进行一一列举。
本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
示例性电子设备
图21图示了根据本公开实施例的电子设备的框图，电子设备2100包括一个或多个处理器2110和存储器2120。
处理器2110可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备2100中的其他组件以执行期望的功能。
存储器2120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器2110可以运行一个或多个计算机程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。
在一个示例中，电子设备2100还可以包括：输入装置2130和输出装置2140，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置2130还可以包括例如键盘、鼠标等等。
该输出装置2140可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图21中仅示出了该电子设备2100中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备2100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多摄像头外参标定方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多摄像头外参标定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (11)

1.一种多摄像头外参标定方法，包括：
获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
分别对所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。
2.根据权利要求1所述的方法，其中，每个摄像头组中的摄像头数量为两个；
所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息，包括：
基于第一摄像头组中的一个摄像头所对应的所述转换检测信息，确定所述预设坐标系下表示一预定类型物体的第一点集，所述第一摄像头组为所述至少一个摄像头组中的任一摄像头组；
基于所述第一摄像头组中的另一个摄像头所对应的所述转换检测信息，确定所述预设坐标系下与所述第一点集表示相同预定类型物体的第二点集；
从所述第一点集中确定采样点；
在所述第二点集中搜索与所述采样点满足预设距离关系的两个点；
确定用于连接所述两个点的直线；
构建包括所述采样点与所述直线的点线匹配对；
基于所述点线匹配对，确定所述第一摄像头组所对应的跨图像匹配信息。
3.根据权利要求2所述的方法，其中，
所述将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，包括：
利用所述多个摄像头各自的初始外参，将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下；
每个所述跨图像匹配信息包括：多个所述点线匹配对，所述基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定，包括：
针对所述至少一个摄像头组各自对应的所述跨图像匹配信息中的每个所述点线匹配度，计算该点线匹配度中的所述采样点与所述直线之间的距离；
基于所述至少一个摄像头组各自对应的所述跨图像匹配信息中的每个所述点线匹配度各自对应的所述距离，计算距离总和；
以最小化所述距离总和作为修正目标，对所述多个摄像头各自对应的所述初始外参进行修正，得到所述多个摄像头各自的修正外参以作为所述多个摄像头的外参标定结果。
4.根据权利要求1所述的方法，其中，
所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息之前，所述方法还包括：
确定所述可移动设备在所述多帧环境图像各自的采集时间点的设备位姿矩阵；
基于所述多帧环境图像各自对应的所述设备位姿矩阵，对所述多帧环境图像各自对应的所述转换检测信息进行时间同步；
所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息，包括：
针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的经时间同步后的所述转换检测信息，构建预定类型物体的跨图像匹配信息。
5.根据权利要求4所述的方法，其中，所述基于所述多帧环境图像各自对应的所述设备位姿矩阵，对所述多帧环境图像各自对应的所述转换检测信息进行时间同步，包括：
从所述多个摄像头中选择一个摄像头作为基准摄像头；
确定所述基准摄像头采集的环境图像对应的所述设备位姿矩阵的逆矩阵；
利用所述逆矩阵和第一环境图像对应的所述设备位姿矩阵，将所述第一环境图像对应的所述转换检测信息同步至所述目标采集时间点，所述第一环境图像为所述多帧环境图像中，除了所述基准摄像头采集的环境图像之外的剩余环境图像中的任一环境图像，所述目标采集时间点为所述基准摄像头采集的环境图像的采集时间点。
6.根据权利要求1所述的方法，其中，所述多帧环境图像组成一个图像集，所述外参标定的次数为多次，每次所述外参标定对应的所述图像集不同，每次所述外参标定用于得到一个修正外参数据，每个修正外参数据包括：所述多个摄像头各自的修正外参；
所述基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定之后，所述方法还包括：
将多次所述外参标定各自对应的所述修正外参数据依次添加至数据序列中；
统计所述数据序列中排序在前的第一预设数量个所述修正外参数据的数据特征；
响应于所述数据序列中的剩余修正外参数据中，连续第二预设数量个所述修正外参数据符合所述数据特征，基于所述第二预设数量个所述修正外参数据，确定所述多个摄像头各自的目标外参。
7.根据权利要求6所述的方法，还包括：
基于所述数据特征，确定所述第一预设数量个所述修正外参数据的均值数据和标准差数据；
针对所述剩余修正外参数据中的每个所述修正外参数据，确定该修正外参数据与所述均值数据之间的差异；
将所述差异与所述标准差数据进行比较，得到比较结果；
基于所述比较结果，确定该修正外参数据是否符合所述数据特征。
8.根据权利要求6所述的方法，还包括：
在通过任一次所述外参标定得到所述修正外参数据之后，利用本次所述外参标定得到的所述修正外参数据更新所述多个摄像头各自的初始外参。
9.一种多摄像头外参标定装置，包括：
获取模块，用于获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
检测模块，用于分别对所述获取模块获取的所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
映射模块，用于将所述检测模块得到的所述多帧环境图像各自对应的所述初始检测信息均映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
第一确定模块，用于基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
构建模块，用于针对所述第一确定模块确定的所述至少一个摄像头组中的每个摄像头组，基于所述映射模块得到的该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
第一标定模块，用于基于所述构建模块构建的所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的多摄像头外参标定方法。
11.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一所述的多摄像头外参标定方法。
CN202310962125.1A 2023-08-01 2023-08-01 多摄像头外参标定方法、装置、存储介质及电子设备 Pending CN116758169A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310962125.1A CN116758169A (zh) 2023-08-01 2023-08-01 多摄像头外参标定方法、装置、存储介质及电子设备
US18/790,686 US20250045962A1 (en) 2023-08-01 2024-07-31 Multi-camera extrinsic parameter calibration method, storage medium and electronic apparatus
EP24192329.1A EP4502951A1 (en) 2023-08-01 2024-08-01 Multi-camera extrinsic parameter calibration method and device, storage medium and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310962125.1A CN116758169A (zh) 2023-08-01 2023-08-01 多摄像头外参标定方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN116758169A true CN116758169A (zh) 2023-09-15

Family

ID=87949900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310962125.1A Pending CN116758169A (zh) 2023-08-01 2023-08-01 多摄像头外参标定方法、装置、存储介质及电子设备

Country Status (3)

Country Link
US (1) US20250045962A1 (zh)
EP (1) EP4502951A1 (zh)
CN (1) CN116758169A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN114764138A (zh) * 2021-01-15 2022-07-19 图森有限公司 多传感器顺序校准系统
CN115082573A (zh) * 2022-08-19 2022-09-20 小米汽车科技有限公司 参数标定方法、装置、车辆及存储介质
CN116051655A (zh) * 2023-02-07 2023-05-02 北京四维图新科技股份有限公司 多摄像头标定方法、设备、存储介质及车辆

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12217458B1 (en) * 2023-09-01 2025-02-04 Tp-Link Corporation Pte. Ltd. Camera extrinsic parameter calibration method, image stitching method and apparatus thereof
US12394094B1 (en) * 2024-03-29 2025-08-19 Htc Corporation Extrinsic calibration parameter generating device, method, and non-transitory computer readable storage medium thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN114764138A (zh) * 2021-01-15 2022-07-19 图森有限公司 多传感器顺序校准系统
CN115082573A (zh) * 2022-08-19 2022-09-20 小米汽车科技有限公司 参数标定方法、装置、车辆及存储介质
CN116051655A (zh) * 2023-02-07 2023-05-02 北京四维图新科技股份有限公司 多摄像头标定方法、设备、存储介质及车辆

Also Published As

Publication number Publication date
EP4502951A1 (en) 2025-02-05
US20250045962A1 (en) 2025-02-06

Similar Documents

Publication Publication Date Title
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN112183171B (zh) 一种基于视觉信标建立信标地图方法、装置
CN112184824B (zh) 一种相机外参标定方法、装置
CN110501036A (zh) 传感器参数的标定检查方法及装置
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN107796397A (zh) 一种机器人双目视觉定位方法、装置和存储介质
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN117671022B (zh) 一种室内弱纹理环境的移动机器人视觉定位系统及方法
CN113137968A (zh) 基于多传感器融合的重定位方法、重定位装置和电子设备
CN116152714A (zh) 目标跟踪方法、系统及电子设备
CN119245625B (zh) 基于巡检机器人的电力作业点云地图构建方法及系统
CN117726687B (zh) 一种融合实景三维与视频的视觉重定位方法
CN116758169A (zh) 多摄像头外参标定方法、装置、存储介质及电子设备
CN118518009A (zh) 标定参数确定方法、校正方法、介质及设备
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN116007659A (zh) 激光传感器的标定方法及机器人、存储介质
CN119515971B (zh) 一种面向跨视角场景的多特征位姿估计方法
CN119863509A (zh) 相机对准的方法、相机对准和监控的方法
CN118967828A (zh) 雷达与相机联合标定方法、装置、计算机设备及存储介质
CN120233344A (zh) 激光雷达与相机的匹配方法、装置、电子设备和存储介质
CN119445013A (zh) 一种空地异构无人平台协同三维建图方法
CN120823268A (zh) 多摄像头联合标定的无人机定位方法和装置
CN119515990A (zh) 相机外参标定方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination