[go: up one dir, main page]

CN110503597B - 一种基于2d结构模型的车辆视点规范化方法 - Google Patents

一种基于2d结构模型的车辆视点规范化方法 Download PDF

Info

Publication number
CN110503597B
CN110503597B CN201910616670.9A CN201910616670A CN110503597B CN 110503597 B CN110503597 B CN 110503597B CN 201910616670 A CN201910616670 A CN 201910616670A CN 110503597 B CN110503597 B CN 110503597B
Authority
CN
China
Prior art keywords
vehicle
determined
straight line
image
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910616670.9A
Other languages
English (en)
Other versions
CN110503597A (zh
Inventor
刘远超
吴宗林
夏路
何伟荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haoteng Electron Technology Co ltd
Original Assignee
Zhejiang Haoteng Electron Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haoteng Electron Technology Co ltd filed Critical Zhejiang Haoteng Electron Technology Co ltd
Priority to CN201910616670.9A priority Critical patent/CN110503597B/zh
Publication of CN110503597A publication Critical patent/CN110503597A/zh
Application granted granted Critical
Publication of CN110503597B publication Critical patent/CN110503597B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于2D结构模型的车辆视点规范化方法，步骤如下：步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR；步骤2：根据公式计算出车辆偏转角度θCar；步骤3：根据θCar确定车辆偏转方向：步骤4：车辆2D结构模型由有限个关键点确定，步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像；步骤7：经过步骤6处理后的图像进行拼接，得到最终的视点归范化图像。本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。

Description

一种基于2D结构模型的车辆视点规范化方法
技术领域
本发明涉及数字图像处理领域，是一种车辆视点规范化方法，具体是一种基于2D结构模型的车辆视点规范化方法。
背景技术
车辆视点规范化的目标是实现不同视角车辆的视点统一，降低图像布局差异造成特征描述的难度，从而改善车辆特征表达的精准度，对车辆分类、识别等任务有重要意义。
已有的车辆视点规范化方法大多都是基于3D结构模型的，比如Jakub等人(BoxCars:Improving Fine-Grained Recognition of Vehicles using 3-D BoundingBoxes in Traffic Surveillance[J].2017,1-12)提出了一种基于车辆3D结构模型的车辆视点规范化方法，他通过展开车辆的3D结构模型的实现车辆视点规范，其3D结构模型构建的是基于KLT跟踪算法和背景建模算法实现的，作者通过实验证明了视点规范化方法可以显著改善车辆分类、识别任务的性能，但方法仍存在算法复杂、视点规范化效果不佳、适用场景有限的不足。
因此针对现有基于车辆3D结构模型视点规范化方法的不足，本发明提出了一种基于2D结构模型的视点规范化方法。该方法在车辆车窗精准定位结果基础上进行车辆2D结构模型的建模，然后基于2D结构模型确定车辆图像的车脸、车窗、车顶、车身4个子区域，进而通过区域重组实现图像视点规范。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于2D结构模型的车辆视点规范化方法。
本发明的技术方案如下：
一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure GDA0004103047190000021
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。
附图说明
图1是车辆偏转角度示意图；
图2是直行车辆2D结构模型示意图；
图3是右朝向车辆2D结构模型示意图；
图4是直行车辆视点规范化图像；
图5是右朝向车辆直行车辆视点规范化图像。
具体实施方式
下面结合具体实例，对一种基于车辆2D结构模型的车辆视点规范化方法实施的过程进行详细的说明。
基于2D结构模型的车辆视点规范化方法，具体步骤如下：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure GDA0004103047190000041
车辆偏转角度θCar的示意图如图1所示；
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
在本实例中，根据步骤4构建的直行车辆和右朝向车辆2D结构模型如图2，图3所示；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
在本实例中，根据步骤5-7得到的直行车辆和右朝向车辆对应的视点规范化图像如图4、图5所示。

Claims (2)

1.一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure FDA0004109469840000011
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定；
所述步骤4具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
2.根据权利要求1所述的一种基于2D结构模型的车辆视点规范化方法，其特征在于，所述步骤5具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112。
CN201910616670.9A 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法 Expired - Fee Related CN110503597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Publications (2)

Publication Number Publication Date
CN110503597A CN110503597A (zh) 2019-11-26
CN110503597B true CN110503597B (zh) 2023-05-16

Family

ID=68585609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616670.9A Expired - Fee Related CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Country Status (1)

Country Link
CN (1) CN110503597B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2015507386A (ja) * 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ ３ｄ車両周辺映像生成方法および装置
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep manta：A coarse-to-fine many task network for joint 2d and 3d vehicle analysis from monocular image;F Chabot;《CVPR 2017 open access》;20171231;全文 *
基于图论的复杂交通环境下车辆检测方法;苏帅等;《北京交通大学学报》;20171015(第05期);全文 *
基于改进SIFT算法的汽车车型自动识别;刘灵等;《山东师范大学学报(自然科学版)》;20170315(第01期);全文 *

Also Published As

Publication number Publication date
CN110503597A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
US20220237866A1 (en) Vehicle environment modeling with cameras
CN103231708B (zh) 一种基于双目视觉的智能车辆避障方法
CN109671110B (zh) 一种局部几何结构约束的城区宽基线影像特征点匹配方法
CN107392964A (zh) 基于室内特征点和结构线结合的室内slam方法
Yang et al. Multi-view semantic learning network for point cloud based 3D object detection
CN115439743B (zh) 一种泊车场景下精确提取视觉slam静态特征的方法
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN103324920A (zh) 基于车辆正面图像与模板匹配的车型自动识别方法
CN113673444A (zh) 一种基于角点池化的路口多视角目标检测方法及系统
CN101916445A (zh) 一种基于仿射参数估计的图像配准方法
CN105976377B (zh) 车载鱼眼摄像头自标定的方法
CN114004900A (zh) 一种基于点线面特征的室内双目视觉里程计方法
CN108805075A (zh) 行车轨迹线获取方法、装置以及电子设备
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN105760879A (zh) 基于傅里叶梅林变换的图像几何匹配方法
CN110503597B (zh) 一种基于2d结构模型的车辆视点规范化方法
US20230068375A1 (en) Method and system for detecting a three-dimensional object in a two-dimensional image
KR102372298B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
CN115082897A (zh) 一种改进smoke的单目视觉3d车辆目标实时检测方法
CN103208003B (zh) 一种基于几何图形特征点形状描述子的方法
Li et al. Vehicle 3-dimension measurement by monocular camera based on license plate
CN108844542A (zh) 一种基于无人检测车自动定位系统的误差分析与补偿方法
CN112200107A (zh) 一种发票文本检测方法
CN118212617A (zh) 一种基于改进YOLOv5的高精度交通标志检测方法
CN117788471A (zh) 一种基于YOLOv5检测飞机蒙皮缺陷和分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230516