CN101636297B - 车辆的周边监视装置 - Google Patents

Abstract

本发明提供一种针对包含车体的缘部的摄影图像以得到与实际空间同样的平行感的方式实施失真修正处理，从而能够显示驾驶者易于观察的图像的车辆的周边监视装置。由搭载于车辆的摄像头拍摄到的摄影图像中含有车体的缘部，在该摄影图像中设定沿着车体的缘部的Y轴、和与该Y轴正交的X轴，实施Y轴方向大致固定、同时以依存于距该X轴的距离的非线性增加的放大率γ对X轴方向进行放大处理的失真修正处理，并将失真修正处理后的摄影图像显示到车内显示器上。

Description

车辆的周边监视装置

技术领域

本发明涉及一种对由设置于车辆的摄像头拍摄到的摄影图像实施规定的图像处理，并将其显示到车室内的显示装置的车辆的周边监视装置。

背景技术

作为在将由设置于车辆的摄像头拍摄到的摄影图像显示到车室内的显示装置时为了驾驶者容易观看而实施规定的图像处理的技术，例如公知有专利文献1所记载的驾驶辅助图像生成装置。该驾驶辅助图像生成装置将显示器画面一分为二，在一个画面上显示从侧面摄像头的拍摄影像中去除透镜失真而按照直线被显示为直线的方式进行了修正的影像。而且，在另一个画面上显示如同来自在侧面反射镜的上空设置的虚拟摄像头的影像那样地进行了变换的图像。通过进行这样的显示器画面显示，在车辆靠边过程中，向驾驶者提供了容易把握的影像。

另外，专利文献2中记载了一种监视用车载摄像系统，其利用一个透镜组对车体周围的广阔范围进行拍摄，根据该影像能够简单地向驾驶者提供准确、充分的信息。该监视用车载摄像系统还具备对影像信息的失真进行修正的修正机构，利用该修正机构得到没有失真的平面的影像信息，以便驾驶者能够立即判断远近感和对象物的大小等。

专利文献1：日本特开2004-194071号公报

专利文献2：日本特开2004-159186号公报

由于将设置于车辆的广角鱼眼摄像头等所拍摄的摄影图像直接地显示于车内显示器，会导致其成为失真感强烈的影像，所以进行了上述那样的失真修正处理。此外，上述任意一个文献中都没有公开该失真修正的具体方法。但是，由于对设置于车辆的广角鱼眼摄像头等所拍摄的摄影图像进行失真修正的情况，是车辆靠边时等，所以，希望失真修正成车体的缘部、和与该车体的缘部平行的直线尽可能以与在实际空间中原样的平行关系进行显示。

发明内容

本发明着眼于该问题点而提出，其目的在于，提供一种车辆的周边监视装置，其通过对包含车体的缘部的摄影图像以得到与实际空间同样的平行感的方式实施失真修正处理，从而能够显示驾驶者容易观察的图像。

为了解决上述课题，本发明涉及的车辆的周边监视装置，对由设置于车辆的摄像头拍摄到的摄影图像实施规定的图像处理，并将其显示到车室内的显示装置上，其中，按照车体的缘部包含在所述摄影图像中的方式设置所述摄像头，该车辆的周边监视装置具备：坐标轴设定部，其在所述摄影图像中设定沿着所述车体的缘部的第一轴、和与该第一轴正交的第二轴；和失真修正处理部，其针对所述摄影图像，大致固定所述第一轴方向，同时以依存于距该第二轴的距离的非线性增加的放大率对所述第二轴方向进行放大处理，将失真修正处理后的所述摄影图像显示于所述显示装置。

根据上述构成，通过首先沿着摄影图像中的车体的缘部设定第一轴、和与该第一轴正交的第二轴，然后大致固定第一轴方向，同时以依存于距该第二轴的距离的非线性增加的放大率对第二轴方向进行放大处理，由此来进行失真修正处理。

例如在摄影图像中映现出曲率比较小的圆弧状的车体的缘部的情况下，在该圆弧状的缘部的内侧且沿着该缘部设定第一轴。接着，设定通过该圆弧状的缘部的中央附近且与第一轴正交的第二轴。此时，圆弧状的缘部处于其中央附近最远离第一轴，随着向端部行进而接近第一轴的状态，换言之，处于随着远离第二轴而接近第一轴的状态。

因此，如果以随着远离第二轴、即随着距第二轴的距离增大而增加的放大率向第二轴方向放大，则圆弧状的缘部可以形成为直线状。此外，由于缘部为曲线，所以，作为这样的放大率使用了非线性的放大率。

由于通过该失真修正处理，可以将车体的缘部等在摄影图像中弯曲了的直线形成为原来的直线状，所以，能够以与实际空间同样的平行感显示摄影图像。由此，失真修正后的摄影图像对于驾驶者而言易于观察，能够易于把握车辆周边的状况。

另外，在本发明涉及的车辆的周边监视装置的一个优选实施方式中，所述坐标轴设定部将所述摄像头的摄影中心作为原点，来设定所述第一轴和第二轴。根据该构成，由于将摄影中心设为原点，所以，可以减少摄影图像中的第一轴上的图像自身的失真，能够更有效地进行失真修正处理。

此外，作为摄像头可以使用侧面摄像头或后置摄像头等，在本发明涉及的车辆的周边监视装置的一个优选实施方式中，所述摄像头是侧面摄像头，该侧面摄像头被设定成其摄影方向铅垂朝下。根据该构成，侧面摄像头被设定成摄影方向(透镜的光轴方向)为铅垂朝下，在其摄影图像中以该光轴中心的位置、即摄影中心作为原点，设定第一轴和第二轴。此时，映现在摄影图像中的是车体的侧部，沿着该侧部设定了第一轴。如上所述，由于在本发明的失真修正中，第一轴方向处于被大致固定的状态，所以，该情况下即使进行失真修正，也能够残留车辆的前后方向的信息。由于其尤其能够确保车辆的行进方向的视野，所以优选使用该方案。

并且，在本发明涉及的车辆的周边监视装置的一个优选实施方式中，将所述摄像头设为后置摄像头。由此，可以将后方的摄影图像作为与亲眼观看时同样感觉的图像进行显示，因此，成为驾驶者易于观看的图像。

附图说明

图1是表示本实施方式中的车辆的整体构成的示意图。

图2是图像处理ECU的功能模块图。

图3是对失真修正处理中的放大率进行说明的图。

图4是失真修正处理的流程图。

图5是表示对侧面摄像头所拍摄的摄影图像进行的失真修正处理的一例的图。

图6是表示对后方摄像头拍摄的摄影图像进行的失真修正处理的一例的图。

具体实施方式

下面，基于附图，对本发明涉及的车辆的周边监视装置的实施方式进行说明。

[整体构成]

图1中示意地表示了搭载有该车辆的周边监视装置的车辆。在车辆1的副驾驶席侧的侧镜11上设置有侧面摄像头2L，在车辆1的后方设置有后置摄像头2R。由这些摄像头2(侧面摄像头2L与后置摄像头2R的总称，以下相同)拍摄到的摄影图像的信息被传递给图像处理ECU4，在被实施规定的图像处理之后，显示到显示部3上。此外，侧面摄像头2L是被设置成其摄影方向(透镜的光轴方向)为铅垂朝下的广角鱼眼摄像头，被设置成车体的左侧的缘部映现在其摄影图像中(参照图5(a))。而后置摄像头2R是被设置成其摄影方向为倾斜朝下的广角鱼眼摄像头，并被设置成保险杠映现在其摄影图像中(参照图6(a))。

[图像处理ECU]

图2是针对车辆1中搭载的图像处理ECU4，表示了尤其与本发明相关联的功能部的功能模块图。这些功能部以CPU为核心，由硬件或软件或者其双方构成。摄像头2拍摄到的摄影图像(准确而言是摄影图像数据，以下简称为摄影图像)被图像输入部41取得，在存储器44中展开。在存储器44中展开的摄影图像，被图像处理部45实施放大/缩小处理、旋转处理、失真修正处理等规定的图像处理。然后，针对被实施过图像处理的摄影图像，由显示用图像数据生成部47生成显示用的图像数据，并通过显示控制部42将其显示到显示部3的车内显示器3a上。其中，显示部3以设置于车内显示器3a的触摸屏、或设置在车内显示器3a附近的按钮等形式，还设置有指示操作部3b，来自该指示操作部3b的信息由指示输入部43取得。

接着，针对由图像处理部45实施的图像处理中、尤其与本发明相关的失真修正处理进行说明。为了进行该失真修正处理，图像处理部45中具备坐标轴设定部45a、和参照失真修正LUT46来进行失真修正的失真修正处理部45b。

坐标轴设定部45a针对由摄像头2拍摄到的摄影图像，进行设定沿着被映现在该摄影图像中的车体的缘部的第一轴，并且设定与该第一轴正交的第二轴的处理。例如，在是利用侧面摄像头2L拍摄的摄影图像的情况下，由于如图5(a)所示，车体左侧的缘部弯曲，所以，在该弯曲了的缘部的内侧设定作为第一轴的Y轴。然后，按照通过车体左侧的缘部的中央附近的方式，设定与该Y轴正交的X轴。同样，在是利用后置摄像头2R拍摄的摄影图像的情况下，由于如图6(a)所示，保险杠弯曲，所以，在该弯曲了的保险杠的内侧设置作为第一轴的Y轴。然后，按照通过保险杠的中央附近的方式，设定与该Y轴正交的X轴。

另外，在本实施方式中，这样的坐标轴的设定被初始设定为以摄影中心(光轴位置)为原点，摄影图像的上下方向、左右方向为Y轴或X轴。不过，该原点的位置与坐标轴相对上下方向、左右方向的倾斜等，可以根据驾驶者的喜好通过指示操作部3b进行变更。

失真修正处理部45b针对设定了坐标轴的摄影图像，进行在将第一轴(Y轴)方向大致固定的同时，将第二轴(X轴)方向以依存于距该第二轴(X轴)的距离的非线性增加的放大率来实施放大的处理。图3概念性地表示了这样的放大率。在图3中，Y轴方向被固定，对于X轴方向以放大率γ进行了放大。越远离X轴、即Y的大小(Y的绝对值)越增大，该放大率γ越增加，在图3中还表示了越向上或越向下，放大率γ越增加的情况。换言之，当Y的值为正时其值越大，或当Y的值为负时其值越小，就越以大的放大率沿X方向放大。其中，这里将X轴的正方向和负方向统称为X轴方向，同样，将Y轴的正方向和负方向统称为Y轴方向，在不需要区别正方向和负方向的情况下，如此简单地称作X轴方向或Y轴方向。

作为这样的变换处理，可以考虑各种各样的处理，作为以摄影中心为原点来设定坐标轴的情况的例子，可以举出以下的变换式。

X’＝γ*X＝[1+a*{Y/(H/2)}^2]*X    ......(1)

Y’＝Y  ......(2)

这里，(X，Y)是变换前的坐标，(X’，Y’)是变换后的坐标，H表示摄影图像的上下方向(Y轴方向)上的长度，a表示调整系数。而*表示乘法，/表示除法，^表示乘幂。其中，该调整系数是以实验方式、按经验求出的系数。通过使用这样的简单的算式，可以减轻运算负担，而且由于通过一个算式对摄影图像整体进行变换，所以能够连续地修正图像整体。

根据上述算式(1)及(2)，Y轴方向固定，同时X轴方向以放大率γ被放大处理。该放大率γ为依存于距X轴的距离、即Y的大小的非线性增加的放大率。由算式(1)可知，通过Y轴方向被标准化为Y/(H/2)，然后将该标准化后的Y轴方向的值进行平方，并在乘以调整系数a后加上1，由此定义了放大率γ。

另外，作为这样的变换式，不限定于上述算式(1)、(2)，当然还能够采用将乘幂设为2以上的自然数等其他的方式。此外，虽然还能够根据变换式每次进行运算，但在本实施方式中，将与该变换相关的数据组以查询表的形式存储在失真修正LUT46中。另外，还可以根据原点的位置和坐标轴相对于上下方向、左右方向的倾斜，准备多个变换表。

这样，失真修正处理部45b通过对由坐标轴设定部45a设定了坐标轴的摄影图像，参照失真修正LUT46实施上述的变换处理，由此进行失真修正。即，位于坐标位置(X，Y)处的像素被变换成坐标位置(X’，Y’)，同时通过这样的变换处理来进行对缺乏的像素实施补偿的插补处理。

[摄影图像的显示处理]

接着，利用图4对本实施方式中的摄影图像的显示处理的流程进行说明。首先，由图像处理部41从摄像头2取得摄影图像，将其在存储器44中展开(#01)。针对该摄影图像，根据需要由图像处理部45进行放大、缩小处理、旋转处理或切分处理等前处理(#02)。例如当车体在摄影图像中占据的比例多时，可以通过切分处理切分出包含车体的缘部和其周边的路面部分的矩形区域。

接着，针对该摄影图像，由坐标轴设定部45a进行上述的Y轴、X轴的设定(#03)。在本实施方式中，按照摄影中心(光轴位置)为原点的方式进行初始设定，但该原点的位置和坐标轴的倾斜可以由指示操作部3b进行调整。然后，对该设定了坐标轴的摄影图像，由失真修正处理部45b进行失真修正处理(#04)。在该失真修正处理中，用于变换摄影图像上的各坐标的数据被存储在失真修正LUT46中，失真修正处理部45b通过参照该失真修正LUT46来进行失真修正处理。

然后，根据被失真修正处理部45b失真修正处理后的摄影图像，由显示用图像数据生成部47生成用于在车内显示器3a上显示的显示用摄影图像(#05)，并通过显示控制部42显示到车内显示器3a上(#06)。

[被失真修正处理后的摄影图像]

图5及图6表示了通过失真修正处理而显示的摄影图像的例子。图5(a)是由侧面摄像头2L拍摄的失真修正处理前的摄影图像。如上所述，由于侧面摄像头2L是广角鱼眼摄像头，所以，从车体的前端到后端都被映现在摄影图像中。另外，在对原始图像进行切分处理，且显示时该切分处理后的图像的纵横比与车内显示器3a的纵横比不一致的情况下，如图所示，车内显示器3a的一部分成为背景图像GB。如果画面配置上的背景图像过多，则可以有意图地打乱该纵横比。在失真修正处理之前，车体左侧的缘部E1向左向弯曲，并且车辆的左侧的路面上的线L1向右向弯曲。而且，在实际空间中，车体左侧的缘部E1与该线L1近似平行。

因此，为了进行上述的失真修正处理，以侧面摄像头2L的摄影中心(光轴位置)O为原点，沿着车体左侧的缘部E1在摄影图像的上下方向上设定Y轴，在与其正交的左右方向上设定X轴。对这样设定了坐标轴的摄影图像进行失真修正处理。即，摄影图像上的(X，Y)位置，例如通过使用上述的算式(1)及(2)被变换成(X’，Y’)位置，由此进行摄影图像向X轴方向的放大处理。

如上所述，该算式(1)的变换处理，是Y轴方向固定、同时以依存于Y的大小(Y的绝对值)的非线性增加的放大率γ对X轴方向进行放大的处理。即，还如图3所示那样，在Y的正方向，Y的值越大越以大的放大率γ向X方向放大，在Y轴的负方向，Y的值越小越以大的放大率γ向X方向放大。如图5(a)所示那样，在失真修正处理前的摄影图像中，由于车体左侧的缘部E1及线L1分别呈现随着向Y轴的正方向或负方向行进而接近Y轴的形状，所以，通过进行该失真修正处理，可以如图5(b)所示那样，使车体左侧的缘部E1与线L1近似平行。而且，路面上的立杆P1也与实际空间同样，相对线L1更接近直角。

另外，图6(a)是由后置摄像头2R拍摄的失真修正处理前的摄影图像。在失真修正处理前，保险杠E2向上向弯曲，并且位于车辆后方的路面上的线L2向下方弯曲。而且，在实际空间中，保险杠E2与该线L2近似平行。

在该后置摄像头2R的情况下，由于保险杠E2向摄影图像的左右方向延伸，所以，沿着该保险杠在左右方向上设定了Y轴，并按照与该Y轴正交的方向在上下方向上设定了X轴。而且，这里原点O也作为摄影中心。然后，通过实施与上述同样的失真修正处理，可以如图6(b)所示那样使保险杠E2与后方的线L2近似平行。另外，对于路面上的立杆P2而言，也与实际空间同样，能够使其更加直立。

通过这样的失真修正处理，由于可以将摄像头2拍摄到的摄影图像作为与亲眼观看时同样感觉的图像，显示到车内显示器3a，所以，其对于驾驶者而言成为便于观察的影像，车辆周边的状况也变得容易把握。而且，由于不对Y轴方向进行变换，所以，还具有在侧面摄像头的情况下能够确保车辆行进方向的视野这一好处。

[其他实施方式]

在上述的实施方式中，将X轴或Y轴设定为摄影图像的上下方向或左右方向，但如果Y轴沿着车体的缘部，则也可以通过自上下方向或左右方以规定角度倾斜的形式进行设定。而且，设定Y轴的车体的缘部，是映现在摄影图像的车体的缘部中想要平行的部分，多数情况下，是摄影图像中的最长、且曲率小的车体的缘部。并且，作为沿着车辆的缘部来设定Y轴的方法，例如可以举出按照与成为对象的车辆缘部的中央附近(中央或中央附近)的切线近似平行的方式进行设定。

在上述的实施方式中，按照X轴与Y轴的原点为摄影中心(光轴位置)的方式进行了设定，但不限定于此，也可以在摄影中心附近等其他的位置进行设定。尤其在本发明的失真修正中的放大率的性质方面，可在弯曲的车辆的缘部的内侧(弯曲方向的内侧)，且沿着该车辆的缘部设定Y轴。而且，优选在该弯曲的车辆的缘部中，按照通过最远离Y轴的位置附近的方式设定X轴。

在上述的实施方式中，当进行失真修正处理时，通过一个变换式对摄影图像的整个画面实施了变换处理，但也可以将摄影图像分割成多个区域，针对各区域使用不同的变换式来进行变换处理，然后将其合成。例如，可以通过不同的放大率对X轴的正方向和负方向进行放大处理。

另外，也可以采用从摄影图像中检测出车辆的缘部(轮廓)，对其自动地设定坐标轴的方式。即，设置车体边缘检测部，该车体边缘提取部通过公知的方法根据摄像头2拍摄到的摄影图像进行边缘检测，并从该边缘图像中提取出与车体的缘部相当的边缘。而且，该车体的缘部的提取，可以根据向车体边缘检测部传递的摄像头的设置位置和摄影方向之类的摄像头信息来进行。如果作为简单的例子，对上述的侧面摄像头2L拍摄摄影图像的情况进行说明，则由于如图5(a)所示那样，车体被映现在摄影图像的右侧，所以，只要将最接近摄影图像的右侧、且上下方向上连续的曲线作为车体边缘进行提取即可。而且，由于沿着如此提取的车体的边缘设定坐标轴，所以，即使因为设置了侧面摄像头的反射镜的开闭动作等，导致摄影图像中的车辆的缘部的位置发生了变化，也能够容易地进行坐标轴设定。

并且，在设置了该车体边缘检测部的情况下可构成为，可以求出与该被提取出的车体的缘部相当的边缘的近似曲线，在Y轴方向大致固定该近似曲线，计算出与该Y轴为大致平行那样的变换式，并根据该变换式导出用于对摄影图像进行的失真修正处理的放大率。因此，将放大率计算部与车体边缘检测部一同设置，在该放大率计算部中求出车体边缘近似曲线，并且根据计算出的车体边缘近似曲线，计算出用于使该近似曲线与Y轴近似平行的变换式。然后，根据计算出的变换式来计算用于失真修正处理的放大率。此时，还可以具备失真修正LUT生成部，其用于生成使用计算出的放大率进行失真修正处理用的失真修正LUT。根据该构成，具有能够根据状况自动地定义适当的放大率这一好处。

工业上的可利用性

本发明能够用于对由设置于车辆的摄像头拍摄到的摄影图像实施规定的图像处理，并将其显示到车室内的显示装置的车辆的周边监视装置。

Claims (4)

1.一种车辆的周边监视装置，对由设置于车辆的摄像头拍摄到的摄影图像实施规定的图像处理，并将其显示到车室内的显示装置上，其特征在于，

按照车体的缘部包含在所述摄影图像中的方式设置所述摄像头，

该车辆的周边监视装置具备：

坐标轴设定部，其在所述摄影图像中设定沿着所述车体的缘部的第一轴、和与该第一轴正交的第二轴；以及

失真修正处理部，其大致固定所述第一轴方向，同时以依存于距该第二轴的距离的非线性增加的放大率在所述第二轴方向对所述摄影图像进行放大处理，

将失真修正处理后的所述摄影图像显示于所述显示装置。

2.根据权利要求1所述的车辆的周边监视装置，其特征在于，

所述坐标轴设定部将所述摄像头的摄影中心作为原点，来设定所述第一轴和第二轴。

3.根据权利要求1或2所述的车辆的周边监视装置，其特征在于，

所述摄像头是侧面摄像头，该侧面摄像头被设定成其摄影方向铅垂朝下。

4.根据权利要求1或2所述的车辆的周边监视装置，其特征在于，

所述摄像头是后置摄像头。

Images