[go: up one dir, main page]

CN109756657A - 用于处理图像的方法和系统 - Google Patents

用于处理图像的方法和系统 Download PDF

Info

Publication number
CN109756657A
CN109756657A CN201811294618.8A CN201811294618A CN109756657A CN 109756657 A CN109756657 A CN 109756657A CN 201811294618 A CN201811294618 A CN 201811294618A CN 109756657 A CN109756657 A CN 109756657A
Authority
CN
China
Prior art keywords
image
vehicle
changing
vehicular system
changing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811294618.8A
Other languages
English (en)
Inventor
丁司昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN109756657A publication Critical patent/CN109756657A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

此处的实施例涉及一种通过用于处理车辆(100)周围图像的车辆系统执行的方法。获得车辆(100)周围的图像。从安装在车辆(100)内或上的至少一个图像捕获装置(105)获得图像，并且图像捕获装置(105)包括鱼眼透镜。校正图像中的至少一部分失真以获得校正图像。利用第一旋转变换旋转地变换校正图像以获得第一变换图像。利用第二旋转变换旋转地变换校正图像以获得第二变换图像。第一和第二旋转变换彼此不同，并且第一变换图像和第二变换图像是连续图像。

Description

用于处理图像的方法和系统
技术领域
此处的实施例通常涉及车辆系统和由车辆系统执行的方法。更特别地，此处的实施例涉及处理车辆周围的图像。
背景技术
使用摄像机获得车辆周围的视图是常见和已知的。例如，US5670935公开了一种车辆，其具有定位在车辆上且相对于车辆的行进方向向后指向的两个图像捕获装置。显示器将所捕获的图像组合在一个将通过单个后向摄像机获得的具有不被车辆阻碍视图的图像中。也存在用于这种摄像机设定的(自动)摄像机校准的算法和系统。
常规的透镜也被称为直线透镜(rectilinear lens)，是其中直线再生为直线的透镜。鱼眼透镜(fisheye lens，或称鱼眼镜头)，也称为曲线透镜或全方位透镜，与直线透镜相反并且将直线再生为曲线，即，其赋予凸面的非直线外观。
鱼眼透镜的前部具有圆顶或拱顶状的前端，其命名是因为类似于鱼眼。鱼眼透镜是全景或半球形透镜的示例，其具有例如180°、220°或360°的视域。鱼眼透镜能够看得比直线透镜更宽，并且具有在一个镜头中捕获大尺寸指定区域的能力。鱼眼透镜不产生带有透视直线的图像(直线图像)，而是产生带有凸面非直线外观的图像。因此，鱼眼透镜摄像机提供带有改动视图即带有视觉失真的图像。有几种类型的鱼眼透镜，例如圆形鱼眼透镜、全框架鱼眼透镜、全形(panomorph)鱼眼透镜、全方向(omni-directional)摄像机等等。
由于其良好的覆盖范围(视域)，鱼眼透镜摄像机被广泛地用作用于高级驾驶员辅助系统(ADAS)和自动化驾驶(AD)的视觉传感器。但是，这是有成本的：特别是在图像外缘处由极大失真导致的不自然图像。它不仅给人类驾驶员带来了理解某些内容的困难，而且导致了加工这些图像的ADAS和/或AD软件的问题。大多数计算机视觉和机器学习算法被设计为用于非鱼眼(即标准的不失真)数据集且在其上的训练，这使得当在通过鱼眼透镜摄像机捕获的高度失真图像上执行时它们是次佳乃至失败的。
某些现有的常规方法进行图像失真修复的代价是丧失了很大一部分的摄像机视域，这首先使得使用鱼眼透镜摄像机的目的失败。车辆检测系统是使用鱼眼摄像机检测车辆的示例系统。图1a和1b示出车辆检测系统的示例，其中图1a示出施加失真图像的车辆检测系统，图1b示出施加不失真图像的车辆检测系统。更详细地，它们示出提高用于利用常规鱼眼透镜失真修复方法(其代价是丧失大部分视域)的AD的单帧检测(Single ShotDetection，简称为SSD)目标检测算法的检测性能。图1a示出通过位于车辆侧面(侧翼)的鱼眼摄像机捕获的曲线图像。围绕其中两个车辆的包围盒(bounding boxes)表示它们是被检测的车辆。由于图像失真，不具有包围盒的车辆未被车辆检测系统检测。图1b示出不失真图像，其中丧失了很大一部分视域，但是剩余视域中的所有车辆被车辆检测系统检测到(所检测车辆用车辆周围的包围盒表示)。该图1a和1b用于陈述两个事实的目的：(1)失真修复改进了软件例如车辆检测的性能；(2)失真修复减少了视域。
发明内容
因此此处实施例的一个目的是消除至少一个上述缺陷并且提供用于处理车辆周围图像的改进车辆系统。
根据第一方面，通过用于处理车辆周围图像的车辆系统执行的方法来实现该目的。车辆系统获得车辆周围的图像。从安装在车辆内或上的至少一个图像捕获装置获得所述图像。图像捕获装置包括鱼眼透镜。车辆系统校正图像中的至少一部分变形以获得校正图像。车辆系统利用第一旋转变换旋转地变换校正图像以获得第一变换图像，并且利用第二旋转变换旋转地变换校正图像以获得第二变换图像。第一和第二旋转变换彼此不同，并且第一变换图像和第二变换图像是连续图像。
根据第二方面，通过用于处理图像的车辆系统用实现该目的。车辆系统适于获得车辆周围的图像。从安装在车辆内或上的至少一个图像捕获装置获得所述图像。图像捕获装置包括鱼眼透镜。车辆系统适于校正图像中的至少一部分变形以获得校正图像。车辆系统适于利用第一旋转变换旋转地变换校正图像以获得第一变换图像，并且适于利用第二旋转变换旋转地变换校正图像以获得第二变换图像。第一和第二旋转变换彼此不同，并且第一变换图像和第二变换图像是连续图像。
根据第三方面，通过包括车辆系统的车辆实现该目的。
由于校正和旋转变换，已经提供了用于处理车辆周围图像的改进车辆系统。由于改进的车辆系统，提供了不失真图像且不丧失图像捕获装置的视域。这种图像能够更好地为人类(例如车辆使用者)及其它车辆系统(人工智能(AI)/机器学习/用于ADAS和AD的计算机视觉算法)所用。
此处实施例提供了很多优点，以下是示例的非穷尽列表：
此处实施例的一个优点在于它们提供了失真图像的更自然和可理解的视图。这种自然的可理解的视图能够更好地为人类和计算机程序所用。
此处实施例的另一个优点是完成图像的失真修复而不减少过多的视域。
此外，此处实施例的一个优点在于对于人类来说利用此处方法处理的图像变得更容易理解。特别地，它们提供了对目标和环境的距离、尺寸、形状和定向的更好感知。因此增强了驾驶安全性。
此处实施例的另一个优点在于对于计算机程序(AI/机器学习/用于ADAS和AD的计算机视觉算法)来说改进了性能。因此增强了驾驶安全性。
此处的实施例不局限于上述特征和优点。一旦阅读了以下详细说明，则所属技术领域的技术人员将认识到附加特征和优点。
附图说明
现在将在下面的详细说明中参考示出实施例的附图进一步更详细地描述此处的实施例，其中：
图1a是示出利用失真图像的车辆检测系统的示意图。
图1b是示出利用不失真图像的车辆检测系统的示意图。
图2是示出车辆的示意图。
图3是示出方法实施例的流程图。
图4a、4b是示出双折形式/模式的示意图。
图5是示出三折形式/模式的示意图。
图6是示出三折形式/模式的示意图。
图7a、7b是示出图像实施例的示意图。
图8a、8b是示出图像实施例的示意图。
图9是示出车辆系统的实施例的示意图。
附图不一定是按比例的并且为了清楚起见某些部件的尺寸可能被放大了。重点放在说明此处实施例的原理上。
具体实施方式
此处的实施例涉及一种图像(例如180度图像，360度图像)的畸变修复和失真修复的方法，其加强了人类车辆用户(例如驾驶员)的视图可视化以及通用计算机视觉(generalcomputer vision)和机器学习算法的性能。
图2是示出车辆100的示意图。车辆100可以是任何任意车辆，例如小汽车、卡车、运货汽车、厢式货车、公共汽车、摩托车等等。车辆100可以是至少部分自主或自动驾驶的，它可能是完全自主或自动驾驶的，或者它可能是非自主的等等。
车辆100包括至少一个图像捕获装置105。图2示出的示例中，车辆100包括三个图像捕获装置105，但也可应用任何其它适宜数目的图像捕获装置105。在图2中，图像捕获装置105位于车辆100的前部处、车辆100的一侧处以及车辆100的后部处。因而，图像捕获装置105也可被称为前视、侧视和后视的。图像捕获装置105包括鱼眼透镜并且也可被称为鱼眼摄像机或包括鱼眼透镜的摄像机、360度摄像机或超广角摄像机。图像捕获装置105可能适于捕获车辆100周围至少180度的图像。在某些实施例中，图像捕获装置105可能适于捕获车辆100周围360度的图像。
要记得，鱼眼透镜可能在所获得的意图产生鱼眼图像、宽全景图像或半球图像的图像中生成很强的视觉失真。鱼眼透镜在所获得图像中获得了极其大角度的视图。不是通过直线透镜获得带有透视直线的图像(直线图像)，而是鱼眼透镜使用特定的映射，其赋予图像特有的凸面非直线外观。
车辆100的用户110可被称为车辆操作者、乘客、乘坐者、驾驶员等等。
车辆100包括至少一个车辆系统(未示出)。一个这种车辆系统可以是用于处理车辆100周围图像的系统。另一个这种系统可以是处理系统、制动系统、转向系统等等。
现在将参照图3所示的流程图描述通过用于处理车辆100周围图像的车辆系统执行的方法。通过所述车辆系统执行的方法包括以下步骤中的至少一个，这些步骤也可以如下所述之外的其它适宜顺序进行。
步骤301
车辆系统获得车辆100周围的图像400。从安装在车辆100内或上的至少一个图像捕获装置105获得图像400。图像捕获装置105包括鱼眼透镜，因此所获得的图像可被称为鱼眼图像。可通过从图像捕获装置105接收图像来获得图像400。在另一实施例中，图像捕获装置105捕获图像400并且将其存储在存储器中，随后车辆系统从存储器获得图像400。可按车辆系统的要求定期地或连续地获得图像。
所获得的图像400包括变形。图像400可以是车辆100周围至少180度的图像。图像捕获装置105可以是鱼眼摄像机。
步骤302
所述车辆系统校正所述图像400中的至少一部分失真以获得校正图像。
校正也可被称为畸变修复或基础畸变修复。可通过车辆系统执行的任何适当的摄像机校准算法或模型完成基础的畸变修复，所述车辆系统获得从畸变坐标到非畸变坐标的映射以及图像捕获装置105的固有参数。畸变修复可被描述为校正所获得图像400以将由图像捕获装置105例如图像捕获装置105的鱼眼透镜所致的几何失真的效果抵消。
步骤303
车辆系统利用第一旋转变换旋转地变换校正图像以获得第一变换图像403。
步骤304
车辆系统利用第二旋转变换旋转地变换校正图像以获得第二变换图像405。第一和第二旋转变换彼此不同。第一变换图像和第二变换图像403、405是连续图像(consecutive images)。术语连续图像可能指的是以下图像：顺次的、系列的、后继的等等。例如，第一变换图像403和第二变换图像405是有顺序的，其中第一变换图像403表示所获得图像的右部并且第二变换图像405表示所获得图像的左部。当两个变换图像403、405被放置在一起时，它们可形成对应于所获得图像的一个图像，但是其提供不失真图像。
第一变换图像403可映射到一个平面表面上并且第二变换图像405可映射到另一平面表面上。如图4a和图4b所示。两个平面表面可能紧挨着彼此，即它们是有顺序的表面。图4a示出双折形式/模式(two fold form/pattern)的三维(3D)视图。图4b示出不同于图4a的另一视图的双折形式/模式的3D视图。
步骤303和304可被称为双折映射(2-fold mapping)，其中在基础畸变修复之后分别施加两个旋转变换。这就产生两个不同的视图。旋转变换中施加的旋转量被设定为使得畸变修复的图像看起来正常并且仿佛它们被两个面向不同方向或具有不同定向的摄像机所捕获。双折的结构如图4a和4b所展示。
步骤305
车辆系统可从第一变换图像和第二变换图像403、405中的至少一个去除冗余的重叠区域。
步骤305也可被描述为施加适当的修剪以去除第一与第二变换图像403、405之间冗余的重叠区域。该步骤也可去除一部分严重失真的区域(通常在视图的边缘处)。某些重叠区域可被保存在第一与第二变换图像403、405之间从而提供第一与第二变换图像403、405之间算法结果的潜在拼接/移植。
第一变换图像和第二变换图像403、405(尽可能地也在去除冗余重叠区域之后)也可被称为得到的不失真的畸变修复图像。得到的不失真畸变修复图像提供了对人类(特别是车辆100中的用户110)更自然和可理解的朝向至少两个方向的由平面表面限定的视图。
步骤306
车辆系统可提供第一变换图像和第二变换图像403、405作为给另一车辆系统的输入以便进一步处理。这种其它车辆系统例如可以是自主驾驶系统、车道检测系统、车辆检测系统等等。
第一变换图像和第二变换图像403、405提供了通过车辆系统或其它车辆系统施加的“常规”机器学习/计算机视觉算法/模型。此处，“常规”算法/模型可能指的是设计用于通常通过标准摄像机即非鱼眼/非全方位摄像机捕获的图像的那些算法/模型和/或在通常通过标准摄像机即非鱼眼/非全方位摄像机捕获的图像上训练的算法/模型。
步骤307
车辆系统10可向车辆100用户110显示第一变换图像和第二变换图像403、405中的至少一个。在一个实施例中，所有变换图像403、405可能同时显示在车辆100中的显示器上。在另一实施例中，当时可能显示一个图像403、405，使用者110可然后能够在不同的图像之间切换。
用至少两个旋转变换描述图3中的方法。图5示出带有三个旋转变换的示例。换句话说，图5示出了由360度鱼眼透镜摄像机105捕捉的2D图像如何被映射到三个平面表面上。三个旋转变换提供了第一变换图像403、第二变换图像405和第三变换图像408。车辆系统利用第三旋转变换旋转地变换校正图像以获得第三变换图像408。第一、第二和第三旋转变换彼此不同。第一、第二和第三变换图像403、405、408是连续图像。图5的左部示出所获得的图像400，即带有指示3折分隔线的点划线的初始视图。图5的右部示出三个变换图像403、405、408，即形成三个平面表面的顶视图。
图6以与图5相比的其它方式呈现了3D的3折模式。因而，图6所示与图5相同，但利用了不同的示意图。
图7a、7b、8a和8b示出了所得到图像的示例。附图示出了从安装于正在高速公路上行驶的车辆100内或上的面向左的图像捕获装置105拍摄的图像。图像捕获装置105的示例具有360度的鱼眼透镜摄像机。图7a和7b示出施加3折畸变修复(3-fold dewarping)的结果。图7a是由360度的鱼眼透镜摄像机105捕获的初始输入图像。图7b示出映射到3个平面表面上的所得到图像。图8a和8b示出另一个这种结果。图8a是由360度的鱼眼透镜摄像机105捕获的初始输入图像。图8b示出映射到3个平面表面上的3个所得到图像。
在3折畸变修复之前(在步骤302-307之前)的初始图像如图7a和8a所示。图7b和8b示出畸变修复之后的图像(在步骤304之后，并且可能也在步骤305之后)。在图7b和8b中，左右图像合成正向和后向摄像机的视图，与之前边缘处失真区域相比这赋予人类驾驶员更好的位置和方向感。能够清楚地看见，在畸变修复之后图7b和8b中的图像对于人类来说更直观的多。
在图7a和8a中，车道标志是严重失真的，而在图7b和8b中它们是不失真的。弯曲的车道标志被校正为直线，这是所期望的且将改进利用这些图像的其它车辆系统例如自主驾驶系统(这种情况，车道检测)的性能。同样注意到，在图8a的右侧图像中，之前的侧向旋转卡车现在是直立定位的，这种情况下有助于车辆检测系统。
此处的实施例旨在得到不失真图像而不失去图像捕获装置105的大量视域，因此能够更好地由人类(例如使用者110)和车辆系统(用于ADAS和AD的AI/机器学习/计算机视觉算法)来利用它们。
所述实施例涉及用于车辆100的计算机视觉，更具体地，涉及令人类驾驶员和用于自主驾驶车辆的计算机系统均受益的图像处理方法。
作为示例，现在将利用三个旋转变换更详细地描述步骤302、303和304：
步骤302
基础畸变修复可被描述为根据包含校准模式例如棋盘(chessboard)的一组图像来估算一组内在关联参数K、ξ和D以及外在关联参数r和t的过程。此处，K是通用的图像捕获装置矩阵，ξ是单值参数，D包括失真系数，并且r和t的特征分别在于该组图像与图像捕获装置105之间的旋转和平移。K、ξ和D用于对由图像捕获装置105获取的图像进行失真修复。用于修正后图像(rectified images)Knew的图像捕获装置矩阵通常是比例矩阵(scaledidentity matrix)。
步骤303和304
在步骤302中的基础畸变修复之后通过用旋转矩阵R乘以用于修正后图像Knew的图像捕获装置矩阵施加旋转变换：
KR＝Knew·R
新的图像捕获装置矩阵KR替换Knew，并且与之前的K、ξ和D一起使用以获得不失真图像的旋转视图(即第一、第二和第三变换图像403、450、408)。
此处，旋转变换能够被分解为围绕x(水平)、y(竖直)和z(图像捕获装置105中鱼眼透镜的光轴)轴的旋转变换。
R＝RzRyRx
用于3折畸变修复中的左侧折区(角度是弧度)：
θx＝0
θy∈[0.65，0.95]
θz∈[0.4，0.7]
用于3折畸变修复中的中心折区(角度是弧度)：
θx∈[0，0.3]
θy＝0
θz＝0
用于3折畸变修复中的右侧折区(角度是弧度)：
θx＝0
θy∈[-0.95，-0.65]
θz∈[-0.7，-0.4]
为了执行图3中所示用于处理车辆100周围图像的方法步骤，车辆系统包括如图9所示的设备。
车辆系统适于例如通过获得组件901来获得车辆100周围的图像。图像从安装在车辆100上的至少一个图像捕获装置105获得。图像捕获装置105包括鱼眼透镜。图像可以是车辆100周围至少180度的图像。图像捕获装置105可以是鱼眼摄像机。获得组件901也可被称为获得单元、获得器件、获得电路、用于获得的器件等等。获得组件901可以是车辆系统的处理器903或包含于处理器903内。在某些实施例中，获得组件901可被称为接收组件。
车辆系统适于例如通过校正组件905来校正图像中的至少一部分失真以获得校正图像。校正组件905也可被称为校正单元、校正器件、校正电路、用于校正的器件等等。校正组件905可以是车辆系统的处理器903或包含于处理器903内。
车辆系统适于例如通过变换组件908利用第一旋转变换旋转地变换校正图像以获得第一变换图像。变换组件908也可被称为变换单元、变换器件、变换电路、用于变换的器件等等。变换组件908可以是车辆系统的处理器903或包含于处理器903内。
车辆系统适于例如通过变换组件908利用第二旋转变换旋转地变换校正图像以获得第二变换图像。第一和第二旋转变换彼此不同，并且第一变换图像和第二变换图像是连续图像。第一变换图像可映射到一个平面表面上并且第二变换图像映射到另一平面表面上。
车辆系统可适于例如通过去除组件910从第一和第二变换图像中的至少一个去除冗余的重叠区域。去除组件910也可被称为去除单元、去除器件、去除电路、用于去除的器件等等。去除组件910可以是车辆系统的处理器903或包含于处理器903内。
车辆系统可适于例如通过供给组件913提供第一变换图像和第二变换图像作为至另一车辆系统的输入以便进一步处理。供给组件911也可被称为供给单元、供给器件、供给电路、用于供给的器件等等。供给组件913可以是车辆系统的处理器903或包含于处理器903内。在某些实施例中，供给组件913可被称为传输组件。
车辆系统可适于例如通过显示组件915向车辆100用户110显示第一和第二变换图像中的至少一个。图像可被显示在车辆100内的显示器上。显示组件915也可被称为显示单元、显示器件、显示电路、用于显示的器件等等。显示组件915也可以是车辆系统的处理器903或包含于处理器903内。
在某些实施例中，车辆系统包括处理器903和存储器918。存储器918包括可通过处理器903执行的指令。存储器918包括一个或多个存储单元。存储器918被设置为用于存储数据、接收数据流、电力水平测量值、图像、参数、失真信息、变换信息、车辆信息、车辆周围信息、阈值、时段、配置、日程和应用从而当由车辆系统执行时实施此处的方法。
车辆100可包括如上所述的车辆系统。
可通过图9所示的车辆系统设备中一个或多个处理器例如处理器903连同用于实施此处实施例功能的计算机程序代码实施此处用于处理车辆100周围图像的实施例。处理器可以是例如数字信号处理机(DSP)、专用集成电路(ASIC)处理器、现场可编程门阵列(FPGA)处理器或微处理器。上述程序代码也可被提供为计算机程序产品例如承载有当载入车辆系统时实施此处实施例的计算机程序代码的数据载体的形式。一个这种载体可以是CDROM盘的形式。但是采用其它数据载体例如存储棒也是可行的。计算机程序代码此外能够被设置为服务器上被下载至车辆系统的纯程序代码。
计算机程序可包括指令，当在至少一个处理器上执行指令时使得至少一个处理器执行如上所述的方法。载体可包括计算机程序，并且载体可以是电子信号、光信号、无线电信号或计算机可读存储介质之一。
本领域技术人员还将理解，获得组件901、校正组件905、变换组件908、去除组件910、供给组件913和显示组件915如上所述可能指的是模拟数字电路和/或一个或多个处理器的组合，所述处理器配置有例如存储在存储器中当通过一个或多个处理器例如处理器903执行时进行如上所述实施的软件和/或固件。不论分别包装还是组装为系统芯片(system-on-a-chip，简称SoC)，一个或多个这些处理器以及其它数字硬件可包括在单个专用集成电路(ASIC)中，或者若干处理器和各种数字硬件可分配给若干零散部件。
以下术语此处可互换使用：“畸变修复”、“失真恢复”和“映射”。它们均描述图像的某些几何变换的过程，通常从由图像捕获装置105捕获的二维(2D)图像变换为至少两个平面图像，后者不具有由图像捕获装置105带来的失真效果。
“计算机视觉和机器学习算法”涉及基于机器学习/人工智能技术使用由图像捕获装置105捕捉的图像作为与ADAS和/或AD相关的输入和输出决策的通用算法。一些示例是车道检测、行人检测、车辆检测、距离测量等等。
此处使用的方向例如水平、竖直、横向指的是当车辆系统安装在置于平地上的车辆100内时的方向。车辆系统可作为独立单元被制造、存储、运输和销售。在那种情况下，所述方向可能不同于当安装在车辆100内时的方向。
此处的实施例不局限于上述实施例。可使用各种可选方案、改进和等价物。因此，上述实施例不应该被视为限制实施例的范围，其范围受到所附权利要求的限定。一个实施例的特征可与任何其它实施例的一个或多个特征组合。
应当强调，当用于该说明书中时术语“包括”规定所列特征、整数、步骤或部件的存在，但不排除一个或多个其它特征、整数、步骤、部件或其群组的存在或添加。还要注意，元件前面的单词“一个”不排除多个这种元件的存在。术语“由……组成”或“实质上由……组成”可用于代替术语“包括”。
此处使用的术语“被构造为”也可被称为“被设置为”、“适于”、“能够”或“作用为”。
还要强调，所附权利要求限定的方法步骤可以不同于权利要求之外的顺序实施而不脱离此处的实施例。

Claims (11)

1.通过用于处理车辆(100)周围图像的车辆系统执行的方法，所述方法包括：
获得(301)所述车辆(100)周围的图像，其中从安装在所述车辆(100)内或上的至少一个图像捕获装置(105)获得所述图像，其中所述图像捕获装置(105)包括鱼眼透镜；
校正(302)所述图像中的至少一部分失真以获得校正图像；
利用第一旋转变换旋转地变换(303)所述校正图像以获得第一变换图像；并且
利用第二旋转变换旋转地变换(304)所述校正图像以获得第二变换图像，其中所述第一旋转变换和第二旋转变换彼此不同，并且其中所述第一变换图像和第二变换图像是连续图像。
2.根据权利要求1所述的方法，进一步包括：
从所述第一变换图像和第二变换图像的至少一个中去除(305)冗余的重叠区域。
3.根据权利要求1-2任意一项所述的方法，其中所述第一变换图像映射到一个平面表面上并且第二变换图像映射到另一平面表面上。
4.根据权利要求1-3任意一项所述的方法，进一步地包括：
提供(306)所述第一变换图像和第二变换图像作为至另一车辆系统的输入以便进一步地处理。
5.根据权利要求1-4任意一项所述的方法，进一步地包括：
向所述车辆(100)的使用者(110)显示(307)所述第一变换图像和第二变换图像中的至少一个。
6.根据权利要求1-5任意一项所述的方法，其中所述图像是所述车辆(100)周围至少180度的图像。
7.根据权利要求1-6任意一项所述的方法，其中所述图像捕获装置(105)是鱼眼摄像机。
8.一种用于处理图像的车辆系统，其中所述车辆系统适于：
获得所述车辆(100)周围的图像，其中从安装在所述车辆(100)内或上的至少一个图像捕获装置(105)获得所述图像，其中所述图像捕获装置(105)包括鱼眼透镜；
校正所述图像中的至少一部分失真以获得校正图像；
利用第一旋转变换旋转地变换所述校正图像以获得第一变换图像；并且
利用第二旋转变换旋转地变换所述校正图像以获得第二变换图像，其中所述第一和第二旋转变换彼此不同，并且其中所述第一变换图像和第二变换图像是连续图像。
9.一种车辆(100)，包括根据权利要求8所述的车辆系统。
10.一种计算机程序，包括当在至少一个处理器上执行时使得至少一个处理器执行根据权利要求1-7任意一项所述方法的指令。
11.一种载体，包括根据权利要求10的计算机程序，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质之一。
CN201811294618.8A 2017-11-01 2018-11-01 用于处理图像的方法和系统 Pending CN109756657A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17199505.3 2017-11-01
EP17199505.3A EP3480779A1 (en) 2017-11-01 2017-11-01 Method and system for handling images

Publications (1)

Publication Number Publication Date
CN109756657A true CN109756657A (zh) 2019-05-14

Family

ID=60293726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811294618.8A Pending CN109756657A (zh) 2017-11-01 2018-11-01 用于处理图像的方法和系统

Country Status (3)

Country Link
US (1) US10861139B2 (zh)
EP (1) EP3480779A1 (zh)
CN (1) CN109756657A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846831B2 (en) * 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
CN110276716B (zh) * 2019-06-19 2023-06-20 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
JP7554699B2 (ja) * 2021-03-31 2024-09-20 本田技研工業株式会社 画像処理装置および画像処理方法、車両用制御装置、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001068540A2 (en) * 2000-03-16 2001-09-20 Lee Scott Friend Imaging apparatus
US6476855B1 (en) * 1998-05-25 2002-11-05 Nissan Motor Co., Ltd. Surrounding monitor apparatus for a vehicle
CN101809993A (zh) * 2007-07-29 2010-08-18 奈米光子有限公司 利用旋转对称广角透镜获得全景图像的方法及其设备
CN103712059A (zh) * 2013-11-29 2014-04-09 中国海洋石油总公司 液化天然气储罐泄漏区域定位方法
US20170026572A1 (en) * 2015-07-24 2017-01-26 Robert Bosch Gmbh Rear cross traffic - quick looks
US20170232896A1 (en) * 2015-06-17 2017-08-17 Geo Semiconductor Inc. Vehicle vision system
US20170307857A1 (en) * 2014-10-27 2017-10-26 Alex Ning Wide-angle lenses with low distortion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US647655A (en) * 1899-04-24 1900-04-17 Alfred B Floyd Cotton-picker.
US5550677A (en) 1993-02-26 1996-08-27 Donnelly Corporation Automatic rearview mirror system using a photosensor array
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6104288A (en) 1999-03-11 2000-08-15 Hopkins; John L. Door mounted audio reminder
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
KR100898631B1 (ko) * 2007-10-31 2009-05-21 삼성전기주식회사 후방감시용 카메라 장치 및 그 제어방법, 그리고 이를포함하는 자동차
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9834141B2 (en) * 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
KR101741659B1 (ko) * 2014-11-03 2017-05-31 주식회사 엠티엠 카메라 모듈 이물 검사를 위한 광원장치
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476855B1 (en) * 1998-05-25 2002-11-05 Nissan Motor Co., Ltd. Surrounding monitor apparatus for a vehicle
WO2001068540A2 (en) * 2000-03-16 2001-09-20 Lee Scott Friend Imaging apparatus
CN101809993A (zh) * 2007-07-29 2010-08-18 奈米光子有限公司 利用旋转对称广角透镜获得全景图像的方法及其设备
CN103712059A (zh) * 2013-11-29 2014-04-09 中国海洋石油总公司 液化天然气储罐泄漏区域定位方法
US20170307857A1 (en) * 2014-10-27 2017-10-26 Alex Ning Wide-angle lenses with low distortion
US20170232896A1 (en) * 2015-06-17 2017-08-17 Geo Semiconductor Inc. Vehicle vision system
US20170026572A1 (en) * 2015-07-24 2017-01-26 Robert Bosch Gmbh Rear cross traffic - quick looks

Also Published As

Publication number Publication date
US10861139B2 (en) 2020-12-08
US20190130540A1 (en) 2019-05-02
EP3480779A1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN111582080B (zh) 车辆360度环视监控实现方法及装置
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN109756657A (zh) 用于处理图像的方法和系统
EP2437494B1 (en) Device for monitoring area around vehicle
CN113490879B (zh) 使用实时光线跟踪以用于透镜重新映射
CN110341597A (zh) 一种车载全景视频显示系统、方法及车载控制器
US10810762B2 (en) Image processing apparatus
CN107660336A (zh) 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN108765496A (zh) 一种多视点汽车环视辅助驾驶系统及方法
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP2009151524A (ja) 画像表示方法および画像表示装置
CN103810686A (zh) 无缝拼接全景辅助驾驶系统及方法
JP2020502640A (ja) 乗物用サラウンドビューシステム
CN107240065A (zh) 一种3d全景图像生成系统和方法
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN112825546A (zh) 使用中间图像表面生成合成图像
CN103065318A (zh) 多摄像机全景系统的曲面投影方法及装置
CN107851304A (zh) 面板变换
CN106296646A (zh) Avm系统的公差校正装置及其方法
CN116245722A (zh) 一种应用于重高型车辆的全景影像拼接系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190514

RJ01 Rejection of invention patent application after publication