[go: up one dir, main page]

CN115330695A - 一种泊车信息确定方法、电子设备、存储介质及程序产品 - Google Patents

一种泊车信息确定方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115330695A
CN115330695A CN202210862054.3A CN202210862054A CN115330695A CN 115330695 A CN115330695 A CN 115330695A CN 202210862054 A CN202210862054 A CN 202210862054A CN 115330695 A CN115330695 A CN 115330695A
Authority
CN
China
Prior art keywords
bird
image
parking information
obstacle
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210862054.3A
Other languages
English (en)
Inventor
唐玉婷
杨昭
肖子乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maichi Zhixing Technology Co ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202210862054.3A priority Critical patent/CN115330695A/zh
Publication of CN115330695A publication Critical patent/CN115330695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种泊车信息确定方法、电子设备、存储介质及程序产品，旨在提高泊车信息的准确性。所述方法包括：获取第一鸟瞰图和第二鸟瞰图，所述第一鸟瞰图包括车辆的前视角的拍摄图像内容和后视角的拍摄图像内容，所述第二鸟瞰图包括所述车辆的左视角的拍摄图像内容和右视角的拍摄图像内容；将所述第一鸟瞰图和所述第二鸟瞰图进行图像通道上的拼接，得到多通道图像；将所述多通道图像输入至泊车信息检测模型，通过所述泊车信息检测模型对所述多通道图像进行处理，获得所述泊车信息检测模型输出的泊车信息，所述泊车信息用于描述车位相关信息。

Description

一种泊车信息确定方法、电子设备、存储介质及程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种泊车信息确定方法、电子设备、存储介质及程序产品。
背景技术
随着辅助泊车和自动泊车技术的广泛应用，对泊车信息的精度要求日益提高。
相关技术中，主要通过完整的鸟瞰环视图确定泊车信息。但在完整的鸟瞰环视图的拼接环节，各视角下的鸟瞰图之间重合的部分不能精准对齐，造成拼接得到的鸟瞰环视图存在信息误差和丢失，进而影响泊车信息的准确性。
发明内容
鉴于上述问题，本申请实施例提供了一种泊车信息确定方法、电子设备、存储介质及程序产品，以便克服上述问题或者至少部分地解决上述问题。
本申请实施例的第一方面，提供了一种泊车信息确定方法，包括：
获取第一鸟瞰图和第二鸟瞰图，所述第一鸟瞰图包括车辆的前视角的拍摄图像内容和后视角的拍摄图像内容，所述第二鸟瞰图包括所述车辆的左视角的拍摄图像内容和右视角的拍摄图像内容；
将所述第一鸟瞰图和所述第二鸟瞰图进行图像通道上的拼接，得到多通道图像；
将所述多通道图像输入至泊车信息检测模型，通过所述泊车信息检测模型对所述多通道图像进行处理，获得所述泊车信息检测模型输出的泊车信息，所述泊车信息用于描述车位相关信息。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，检测所述多通道图像中的疑似车位位置框、角点位置、以及每个所述疑似车位位置框对应的车位占用属性，所述车位占用属性用于描述车位是否被占用；
通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框、所述实际车位位置框对应的角点位置、以及所述实际车位位置框对应的车位占用属性。
可选地，所述通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框，包括：
通过所述泊车信息检测模型，预测所述疑似车位位置框对应的左角点和右角点；
检测所述角点位置处的角点是否与所述左角点和所述右角点匹配；
将匹配成功的疑似车位位置框确定为所述实际车位位置框。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，检测所述多通道图像中的障碍物是否相对于所述多通道图像存在旋转角度；
针对存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框；
针对不存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框。
可选地，所述通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框，包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述中心点到所述障碍物的第一外接矩形的四条边的向量，所述第一外接矩形相对于所述多通道图像存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点和所述向量，确定所述第一障碍物位置框。
可选地，所述通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框，包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述障碍物的第二外接矩形的长度和宽度，所述第二外接矩形相对于所述多通道图像不存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点、以及所述第二外接矩形的长度和宽度，确定所述第二障碍物位置框。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，对所述多通道图像进行语义分割，得到语义分割结果；其中，所述语义分割结果包括所述车辆周围的物体的类型信息、以及所述物体在所述多通道图像中覆盖的图像区域中至少一项。
可选地，所述获取第一鸟瞰图和第二鸟瞰图，包括：
获取所述车辆的前视角的鸟瞰图像、所述车辆的后视角的鸟瞰图像、所述车辆的左视角的鸟瞰图像和所述车辆的右视角的鸟瞰图像，并获取完整鸟瞰环视图的图像尺寸；
基于所述完整鸟瞰环视图的图像尺寸，将所述前视角的鸟瞰图片和所述后视角的鸟瞰图片进行图像位置上的拼接，得到所述第一鸟瞰图，以及，基于所述完整鸟瞰环视图的图像尺寸，将所述左视角的鸟瞰图片和所述右视角的鸟瞰图片进行图像位置上的拼接，得到所述第二鸟瞰图。
可选地，所述第一鸟瞰图和所述第二鸟瞰图均为三通道图像，所述多通道图像为六通道图像。
本申请实施例的第二方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如本申请实施例公开的所述的泊车信息确定方法。
本申请实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的泊车信息确定方法。
本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的泊车信息确定方法。
本申请实施例包括以下优点：
本实施例中，通过对第一鸟瞰图和第二鸟瞰图进行图像通道上的拼接，能够避免以往对完整鸟瞰环视图的拼接环节中(即采用图像内容的拼接方式时)，需要对重合区域进行配准和融合，以致出现信息误差和丢失的情况，保证得到的多通道图像能够准确描述各个视角的拍摄图像内容，再基于该信息完整的多通道图像确定泊车信息，从而提高泊车信息的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中一种泊车信息确定方法的步骤流程图；
图2是本申请实施例中障碍物位置框的示意图；
图3是本申请实施例中另一种泊车信息确定方法的步骤流程图；
图4是本申请实施例中第一鸟瞰图的示意图；
图5是本申请实施例中第二鸟瞰图的示意图；
图6是本申请实施例的一种泊车信息确定装置的结构示意图；
图7是本申请实施例中一种电子设备的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
随着基于人工智能的计算机视觉的发展，基于图像确定的泊车信息被广泛应用于辅助泊车和自动泊车技术中，其在对车辆附近的车位识别、以及泊车路线规划等方面起到重要作用。目前，泊车信息主要通过完整的鸟瞰环视图确定，但在完整的鸟瞰环视图的拼接环节，各视角下的鸟瞰图之间重合的部分难以精准对齐，以致拼接后得到的鸟瞰环视图，相较拼接前各视角下的鸟瞰图存在信息误差和丢失的缺陷，进而影响得到的泊车信息的精度。
本申请实施例提供了一种泊车信息确定方法，参照图1所示，示出了本申请实施例中一种泊车信息确定方法的步骤流程图，如图1所示，该泊车信息确定方法包括以下步骤：
步骤S11：获取第一鸟瞰图和第二鸟瞰图，所述第一鸟瞰图包括车辆的前视角的拍摄图像内容和后视角的拍摄图像内容，所述第二鸟瞰图包括所述车辆的左视角的拍摄图像内容和右视角的拍摄图像内容。
示例性地，在车辆的前、后、左和右的车身位置处各设置一个车载摄像头，控制各个车载摄像头进行图像拍摄，以得到前视角、后视角、左视角和右视角的拍摄图像内容。基于前视角和后视角的拍摄图像内容，获取第一鸟瞰图，并基于左视角和右视角的拍摄图像内容，获取第二鸟瞰图，从而避免在获取不同视角对应的单张鸟瞰图的过程中，出现拍摄图像内容重合，需要进行对齐的情况。
例如，对于包含所有视角的拍摄图像内容的鸟瞰环视图、或者包含前视角和左视角的拍摄图像内容的鸟瞰图，需要对不同视角的拍摄图像内容的重合部分进行图像配准，再对重合部分进行图像融合，以得到不同视角对应的单张鸟瞰图。
而考虑到前视角和后视角的拍摄图像内容、或者左视角和右视角的拍摄图像内容，不存在拍摄图像内容重合的情况。因此，在获取第一鸟瞰图和第二鸟瞰图的过程中，可以省去对重合区域的图像配准和图像融合的步骤，使得本申请实施例记载的第一鸟瞰图和第二鸟瞰图可以对应包含前视角和后视角的完整拍摄图像内容、以及左视角和右视角的完整拍摄图像内容。
步骤S12：将所述第一鸟瞰图和所述第二鸟瞰图进行图像通道上的拼接，得到多通道图像。
作为一种可能的实施方式，获取第一鸟瞰图和第二鸟瞰图各自对应的单通道图像，将各个单通道图像按照通道类型进行叠加处理或串接处理，再将处理后的各个单通道图像按照通道类型进行拼接，得到多通道图像。
可选地，所述第一鸟瞰图和所述第二鸟瞰图均为三通道图像，所述多通道图像为六通道图像。
示例性地，假设第一鸟瞰图和第二鸟瞰图均为RGB三通道图像，对于第一鸟瞰图和第二鸟瞰图中的相同位置的两个像素点，将该两个像素点对应的RGB数据作为多通道图像中的相同位置的像素点的六通道数据，即多通道图像中的每个像素点均具有两个RGB数据，从而得到六通道图像。
步骤S13：将所述多通道图像输入至泊车信息检测模型，通过所述泊车信息检测模型对所述多通道图像进行处理，获得所述泊车信息检测模型输出的泊车信息，所述泊车信息用于描述车位相关信息。
可以理解的是，通过通道拼接技术得到的多通道图像，并未对第一鸟瞰图和第二视角鸟瞰图自身的图像内容进行修改(如对图像内容的删除等)，使得多通道图像能够完整包含第一鸟瞰图和第二视角鸟瞰图中的图像特征，从而进一步避免完整鸟瞰环视图所存在的信息错误和丢失的缺陷。
采用本申请实施例的技术方案，对第一鸟瞰图和第二视角鸟瞰图进行图像通道上的拼接，以得到用于确定泊车信息的多通道图像，该多通道图像能够有效表征各个视角的鸟瞰图的图像内容，克服了现有技术中“在完整的鸟瞰环视图的拼接环节，各视角下的鸟瞰图之间重合的部分不能精准对齐”存在的信息误差和丢失的缺陷，进而提高了泊车信息的准确性。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理的实现过程包括：
通过所述泊车信息检测模型，检测所述多通道图像中的疑似车位位置框、角点位置、以及每个所述疑似车位位置框对应的车位占用属性，所述车位占用属性用于描述车位是否被占用；
通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框、所述实际车位位置框对应的角点位置、以及所述实际车位位置框对应的车位占用属性。
示例性地，将多通道图像输入至泊车信息检测模型，泊车信息检测模型会对该多通道图像中检测到的车位位置利用矩形框进行标记，得到多个初始车位位置框和多个初始角点位置，并通过检测该矩形框所标记区域是否存在非车位物体，以得到该初始车位位置框对应的车位占用属性，如标记区域存在非车位物体则判定车位被占用，标记区域未存在非车位物体则判定车位未被占用。泊车信息检测模型再对该多个初始车位位置框和初始角点位置通过阈值筛选和非极大值抑制处理，得到检测精度更高的疑似车位位置框和角点位置。
泊车信息检测模型对上述疑似车位位置框和角点位置进行匹配，例如，若一个疑似车位位置框能够从角点位置中找到符合设定条件的角点位置，则判定该疑似车位位置框真实存在，并将其确定为实际车位位置框，若一个疑似车位位置框不能找到符合设定条件的角点位置，则判定该疑似车位位置框不存在，并将其清楚。
其中，设定条件可以为至少两个角点位置与疑似车位位置框之间的距离小于设定阈值。
作为一种可能的实施方式，将车位入口处的左右两个点设置为角点(左角点和右角点)。
在该实施例中，该泊车信息检测模型用于执行车位检测任务，该车位检测任务针对车位、车位的角点、以及车位是否被占用进行检测。
可选地，所述通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框的实现过程包括：
通过所述泊车信息检测模型，预测所述疑似车位位置框对应的左角点和右角点；
检测所述角点位置处的角点是否与所述左角点和所述右角点匹配；
将匹配成功的疑似车位位置框确定为所述实际车位位置框。
示例性地，泊车信息检测模型在得到疑似车位位置框后，对疑似车位位置框所描述车位的入口处的左右角点位置进行预测(即对车位的入口处的两个角点的方位进行预测)，得到疑似车位位置框对应的左角点和右角点，再查找检测出的角点位置中是否存在与该左角点和右角点位置相同的角点位置，若角点位置存在，则可判定该预测的左角点和右角点真实存在，进而判定该疑似车位位置框真实存在，若角点位置不存在，则可判定该疑似车位位置框不存在，进而有效提高车位检测的可靠性。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理的实现过程包括：
通过所述泊车信息检测模型，检测所述多通道图像中的障碍物是否相对于所述多通道图像存在旋转角度；
针对存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框；
针对不存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框。
在该实施例中，该泊车信息检测模型用于执行障碍物目标检测任务。相较通过语义分割将障碍物覆盖的所有区域(如立柱的柱身区域和立柱与地面的接触区域)分割出来，再从分割出的图像区域中，通过后处理确定障碍物地面位置(如立柱与地面的接触区域的位置)的传统障碍物检测方式，本申请实施例执行的障碍物目标检测任务将障碍物分为存在旋转角度的障碍物(如在图像中斜放的立柱、车辆等)和不存在旋转角度的障碍物，并利用旋转目标检测方法和水平目标检测方法，将障碍物的地面位置利用障碍物位置框(第一障碍物位置框和第二障碍物位置框)直接标记出来，从而能够避免需要对语义分割结果通过后处理确定障碍物地面位置的繁琐步骤，且能够提高对障碍物的地面位置的检测精度。
作为一种可能的实施方式，在将多通道图像输入至泊车信息检测模型后，泊车信息检测模型会对障碍物是否为具有旋转角度的置信度进行预测，再根据预测的置信度进行不同的目标检测处理，如障碍物被判断为存在旋转角度，则进行旋转目标检测，反之则进行水平目标检测。
图2示出了障碍物位置框的示意图，示意图中的坐标轴原点为障碍物的中心点，Ⅰ、Ⅱ、Ⅲ和Ⅳ表示坐标轴象限，实线框为第一外接矩形，虚线框为第二外接矩形，(t,r,l,b)分别为中心点到第一外接矩形的四条边的向量，(we,he)分别第二外接矩形的宽度和长度。
可选地，所述通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框的实现过程包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述中心点到所述障碍物的第一外接矩形的四条边的向量，所述第一外接矩形相对于所述多通道图像存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点和所述向量，确定所述第一障碍物位置框。
可以理解的是，假设图2示出的坐标轴与多通道图像的图像坐标轴方向一致，则可看到第一外接矩形的四条边的方向与图像坐标轴方向不一致，各边与坐标轴存在夹角，则该夹角可认为是第一外接矩形和该第一外接矩形对应的障碍物的旋转角度。
可选地，所述通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框的实现过程包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述障碍物的第二外接矩形的长度和宽度，所述第二外接矩形相对于所述多通道图像不存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点、以及所述第二外接矩形的长度和宽度，确定所述第二障碍物位置框。
可选地，所述通过所述泊车信息检测模型对所述多通道图像进行处理的实现过程包括：
通过所述泊车信息检测模型，对所述多通道图像进行语义分割，得到语义分割结果；其中，所述语义分割结果包括所述车辆周围的物体的类型信息、以及所述物体在所述多通道图像中覆盖的图像区域中至少一项。
在该实施例中，该泊车信息检测模型用于执行语义分割任务，该语义分割任务则用于对多通道图像中的各类物体，例如：车道线、车辆等进行语义分割，得到用于描述物体位置的图像区域。
示例性地，如图3所示的另一种泊车信息确定方法的步骤流程图。输入的第一鸟瞰图和第二鸟瞰图首先被拼接为多通道图像；再将多通道图像通过特征提取网络进行特征提取，得到多尺度的金字塔特征集合(即多尺度特征)；该多尺度特征经过特征融合网络进行特征融合，得到融合后的目标特征图像。
将上述目标特征图像输入至任务检测模型，该任务检测模型用于执行车位检测任务、语义分割任务和障碍物检测任务中的至少一个任务。每个任务都分别将目标特征图像作为任务输入数据，以输出任务结果。任务检测模型输出的各个任务结果即为泊车信息。
其中，进行特征提取和特征融合所用到的两个模型可以独立于任务检测模型，使用相关技术中的模型实现，或者，可以集成在任务检测模型中，经训练后得到，以执行车位检测、语义分割和障碍物检测等任务，本申请实施例不对任务检测模型中的模型类型和数量进行限定。
作为一种可能的实施方式，上述任务检测模型可包含本申请实施例提供的泊车信息检测模型，该泊车信息检测模型可以执行障碍物目标检测任务(即障碍物检测任务)、车位检测任务和语义分割任务中的至少一种任务，而多任务检测模型中的剩余任务则可由相关技术中具有相应任务检测功能的模型负责执行。
可选地，所述获取第一鸟瞰图和第二鸟瞰图的实现过程包括：
获取所述车辆的前视角的鸟瞰图像、所述车辆的后视角的鸟瞰图像、所述车辆的左视角的鸟瞰图像和所述车辆的右视角的鸟瞰图像，并获取完整鸟瞰环视图的图像尺寸；
基于所述完整鸟瞰环视图的图像尺寸，将所述前视角的鸟瞰图片和所述后视角的鸟瞰图片进行图像位置上的拼接，得到所述第一鸟瞰图，以及，基于所述完整鸟瞰环视图的图像尺寸，将所述左视角的鸟瞰图片和所述右视角的鸟瞰图片进行图像位置上的拼接，得到所述第二鸟瞰图。
图4和图5分别示出了第一鸟瞰图和第二鸟瞰图的示意图。由示意图可知，在将前、后视角和左、右视角的鸟瞰图分别进行拼接时，保留了各视角鸟瞰视图的相对位置，即前视角的鸟瞰图在拼接时放于第一鸟瞰图的上方，后视角的鸟瞰图在拼接时放于第一鸟瞰图的下方，左视角的鸟瞰图在拼接时放于第二鸟瞰图的左方，右视角的鸟瞰图在拼接时放于第二鸟瞰图的右方，以使第一鸟瞰图、第二鸟瞰图的图像尺寸与相同的各视角鸟瞰图拼接成的完整鸟瞰环视图的图像尺寸一致，以便后续的模型输入。且该第一鸟瞰图和第二鸟瞰图保留了各视角图像内容的视角位置关系，能够进一步避免重合区域的产生。
作为一种可能的实施方式，各个视角的鸟瞰图像通过以下方式获取：
利用车辆上设置的鱼眼相机，拍摄得到各个视角的鱼眼相机图像，根据鱼眼相机的内参矩阵和畸变系数，计算出畸变矫正矩阵，从而将鱼眼相机图像中的信息投影到无畸变图像中。
根据各个视角的无畸变图像中各自确定的四点坐标，以及各个视角的鸟瞰图中对应的四点坐标，确定一个转换矩阵，从而将各个视角的无畸变图像投影到各个视角的鸟瞰图中。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
图6是本申请实施例的一种泊车信息确定装置的结构示意图，该泊车信息确定装置包括获取模块、处理模块和检测模块，其中：
获取模块，用于获取第一鸟瞰图和第二鸟瞰图，所述第一鸟瞰图包括车辆的前视角的拍摄图像内容和后视角的拍摄图像内容，所述第二鸟瞰图包括所述车辆的左视角的拍摄图像内容和右视角的拍摄图像内容；
处理模块，用于将所述第一鸟瞰图和所述第二鸟瞰图进行图像通道上的拼接，得到多通道图像；
检测模块，用于将所述多通道图像输入至泊车信息检测模型，通过所述泊车信息检测模型对所述多通道图像进行处理，获得所述泊车信息检测模型输出的泊车信息，所述泊车信息用于描述车位相关信息。
可选地，所述检测模块，具体用于通过所述泊车信息检测模型，检测所述多通道图像中的疑似车位位置框、角点位置、以及每个所述疑似车位位置框对应的车位占用属性，所述车位占用属性用于描述车位是否被占用；
通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框、所述实际车位位置框对应的角点位置、以及所述实际车位位置框对应的车位占用属性。
可选地，所述检测模块，还用于通过所述泊车信息检测模型，预测所述疑似车位位置框对应的左角点和右角点；检测所述角点位置处的角点是否与所述左角点和所述右角点匹配；将匹配成功的疑似车位位置框确定为所述实际车位位置框。
可选地，所述检测模块，还用于通过所述泊车信息检测模型，检测所述多通道图像中的障碍物是否相对于所述多通道图像存在旋转角度；
针对存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框；
针对不存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框。
可选地，所述检测模块，还用于通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述中心点到所述障碍物的第一外接矩形的四条边的向量，所述第一外接矩形相对于所述多通道图像存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点和所述向量，确定所述第一障碍物位置框。
可选地，所述检测模块，还用于通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述障碍物的第二外接矩形的长度和宽度，所述第二外接矩形相对于所述多通道图像不存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点、以及所述第二外接矩形的长度和宽度，确定所述第二障碍物位置框。
可选地，所述检测模块，还用于通过所述泊车信息检测模型，对所述多通道图像进行语义分割，得到语义分割结果；其中，所述语义分割结果包括所述车辆周围的物体的类型信息、以及所述物体在所述多通道图像中覆盖的图像区域中至少一项。
可选地，所述获取模块，具体用于获取所述车辆的前视角的鸟瞰图像、所述车辆的后视角的鸟瞰图像、所述车辆的左视角的鸟瞰图像和所述车辆的右视角的鸟瞰图像，并获取完整鸟瞰环视图的图像尺寸；
基于所述完整鸟瞰环视图的图像尺寸，将所述前视角的鸟瞰图片和所述后视角的鸟瞰图片进行图像位置上的拼接，得到所述第一鸟瞰图，以及，基于所述完整鸟瞰环视图的图像尺寸，将所述左视角的鸟瞰图片和所述右视角的鸟瞰图片进行图像位置上的拼接，得到所述第二鸟瞰图。
可选地，所述第一鸟瞰图和所述第二鸟瞰图均为三通道图像，所述多通道图像为六通道图像。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本申请实施例还提供了一种电子设备，参照图7，图7是本申请实施例提出的电子设备的示意图。如图7所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，进而实现本申请实施例公开的泊车信息确定方法中的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的泊车信息确定方法。
本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的泊车信息确定方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种泊车信息确定方法、电子设备、存储介质及程序产品，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种泊车信息确定方法，其特征在于，包括：
获取第一鸟瞰图和第二鸟瞰图，所述第一鸟瞰图包括车辆的前视角的拍摄图像内容和后视角的拍摄图像内容，所述第二鸟瞰图包括所述车辆的左视角的拍摄图像内容和右视角的拍摄图像内容；
将所述第一鸟瞰图和所述第二鸟瞰图进行图像通道上的拼接，得到多通道图像；
将所述多通道图像输入至泊车信息检测模型，通过所述泊车信息检测模型对所述多通道图像进行处理，获得所述泊车信息检测模型输出的泊车信息，所述泊车信息用于描述车位相关信息。
2.根据权利要求1所述的方法，其特征在于，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，检测所述多通道图像中的疑似车位位置框、角点位置、以及每个所述疑似车位位置框对应的车位占用属性，所述车位占用属性用于描述车位是否被占用；
通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框、所述实际车位位置框对应的角点位置、以及所述实际车位位置框对应的车位占用属性。
3.根据权利要求2所述的方法，其特征在于，所述通过所述泊车信息检测模型，结合所述角点位置，对所述多通道图像中的疑似车位位置框进行筛选，得到所述多通道图像中实际车位位置框，包括：
通过所述泊车信息检测模型，预测所述疑似车位位置框对应的左角点和右角点；
检测所述角点位置处的角点是否与所述左角点和所述右角点匹配；
将匹配成功的疑似车位位置框确定为所述实际车位位置框。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，检测所述多通道图像中的障碍物是否相对于所述多通道图像存在旋转角度；
针对存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框；
针对不存在旋转角度的障碍物，通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框。
5.根据权利要求4所述的方法，其特征在于，所述通过所述泊车信息检测模型对所述障碍物进行旋转目标检测，确定用于描述所述障碍物的地面位置的第一障碍物位置框，包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述中心点到所述障碍物的第一外接矩形的四条边的向量，所述第一外接矩形相对于所述多通道图像存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点和所述向量，确定所述第一障碍物位置框。
6.根据权利要求4所述的方法，其特征在于所述通过所述泊车信息检测模型对所述障碍物进行水平目标检测，确定用于描述所述障碍物的地面位置的第二障碍物位置框，包括：
通过所述泊车信息检测模型，确定所述障碍物的中心点、以及所述障碍物的第二外接矩形的长度和宽度，所述第二外接矩形相对于所述多通道图像不存在旋转角度；
通过所述泊车信息检测模型，结合所述中心点、以及所述第二外接矩形的长度和宽度，确定所述第二障碍物位置框。
7.根据权利要求1-6任一所述的方法，其特征在于，所述通过所述泊车信息检测模型对所述多通道图像进行处理，包括：
通过所述泊车信息检测模型，对所述多通道图像进行语义分割，得到语义分割结果；其中，所述语义分割结果包括所述车辆周围的物体的类型信息、以及所述物体在所述多通道图像中覆盖的图像区域中至少一项。
8.根据权利要求1-7任一所述的方法，其特征在于，所述获取第一鸟瞰图和第二鸟瞰图，包括：
获取所述车辆的前视角的鸟瞰图像、所述车辆的后视角的鸟瞰图像、所述车辆的左视角的鸟瞰图像和所述车辆的右视角的鸟瞰图像，并获取完整鸟瞰环视图的图像尺寸；
基于所述完整鸟瞰环视图的图像尺寸，将所述前视角的鸟瞰图片和所述后视角的鸟瞰图片进行图像位置上的拼接，得到所述第一鸟瞰图，以及，基于所述完整鸟瞰环视图的图像尺寸，将所述左视角的鸟瞰图片和所述右视角的鸟瞰图片进行图像位置上的拼接，得到所述第二鸟瞰图。
9.根据权利要求1-8任一所述的方法，其特征在于，所述第一鸟瞰图和所述第二鸟瞰图均为三通道图像，所述多通道图像为六通道图像。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至9中任一项所述的泊车信息确定方法。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至9中任一项所述的泊车信息确定方法。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至9中任一项所述的泊车信息确定方法。
CN202210862054.3A 2022-07-20 2022-07-20 一种泊车信息确定方法、电子设备、存储介质及程序产品 Pending CN115330695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862054.3A CN115330695A (zh) 2022-07-20 2022-07-20 一种泊车信息确定方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862054.3A CN115330695A (zh) 2022-07-20 2022-07-20 一种泊车信息确定方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115330695A true CN115330695A (zh) 2022-11-11

Family

ID=83919294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862054.3A Pending CN115330695A (zh) 2022-07-20 2022-07-20 一种泊车信息确定方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN115330695A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118269939A (zh) * 2023-09-28 2024-07-02 比亚迪股份有限公司 自动泊车方法及装置、电子装置、车辆和存储介质
CN119741680A (zh) * 2025-02-28 2025-04-01 科大讯飞股份有限公司 车位检测方法、装置、系统、电子设备及程序产品
WO2025082534A1 (zh) * 2023-10-20 2025-04-24 浙江极氪智能科技有限公司 用于泊车的方法、装置、电子设备系统和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124988A1 (zh) * 2018-12-21 2020-06-25 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置
CN113762134A (zh) * 2021-09-01 2021-12-07 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124988A1 (zh) * 2018-12-21 2020-06-25 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置
CN113762134A (zh) * 2021-09-01 2021-12-07 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈刚: "基于多传感器信息融合的智能泊车路径规划与跟踪方法研究", 中国优秀硕士学位论文全文数据库(工程科技II辑), vol. 15, no. 02, 15 February 2021 (2021-02-15), pages 13 - 17 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118269939A (zh) * 2023-09-28 2024-07-02 比亚迪股份有限公司 自动泊车方法及装置、电子装置、车辆和存储介质
WO2025082534A1 (zh) * 2023-10-20 2025-04-24 浙江极氪智能科技有限公司 用于泊车的方法、装置、电子设备系统和存储介质
CN119741680A (zh) * 2025-02-28 2025-04-01 科大讯飞股份有限公司 车位检测方法、装置、系统、电子设备及程序产品

Similar Documents

Publication Publication Date Title
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
CN111160172B (zh) 泊车位检测方法、装置、计算机设备和存储介质
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN107341453B (zh) 一种车道线提取方法及装置
CN103358993B (zh) 用于识别车辆停车位线标记的系统和方法
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
CN115330695A (zh) 一种泊车信息确定方法、电子设备、存储介质及程序产品
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN115641561B (zh) 一种障碍物检测方法、电子设备、存储介质及程序产品
CN112070798B (zh) 库位的检测方法及装置、存储介质和电子装置
CN114758318B (zh) 一种基于全景视图的任意角度车位检测方法
CN111460854B (zh) 一种远距离目标检测方法、装置及系统
CN115760987A (zh) 泊车定位、地图构建方法及装置、电子设备、存储介质
CN118038409B (zh) 车辆可行驶区域检测方法、装置、电子设备及存储介质
CN117664098A (zh) 停车场地图的构建方法、装置、车载终端及介质
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN113147746A (zh) 坡道车位的探测方法及装置
Rui et al. Geometry-constrained car recognition using a 3D perspective network
CN110348407A (zh) 一种泊车位检测方法
CN118149797B (zh) 栅格地图构建方法、装置、计算机设备及存储介质
CN112215748A (zh) 图像处理方法和装置
CN116476816A (zh) 泊车规划方法、装置、电子设备及存储介质
Min et al. Motion detection using binocular image flow in dynamic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230308

Address after: 1201, China Vision Valley Building, 88 Ruixiang Road, Guandou Street, Jiujiang District, Wuhu City, Anhui Province, 241005

Applicant after: Wuhu Maichi Zhixing Technology Co.,Ltd.

Address before: 317, floor 3, No. 2, South Road, Academy of Sciences, Haidian District, Beijing 100086

Applicant before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20250126

Address after: Room 306-2, 3rd Floor, Building 6, No. 10 Kegu 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176 (Yizhuang Cluster, High end Industrial Zone, Beijing Pilot Free Trade Zone)

Applicant after: Beijing Maichi Zhixing Technology Co.,Ltd.

Country or region after: China

Address before: 1201, China Vision Valley Building, 88 Ruixiang Road, Guandou Street, Jiujiang District, Wuhu City, Anhui Province, 241005

Applicant before: Wuhu Maichi Zhixing Technology Co.,Ltd.

Country or region before: China