CN111345036A - 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法 - Google Patents

Abstract

一种图像处理装置包括输入接口和第一至第四控制器。输入接口获取图像。第一控制器对图像执行图像处理。第二控制器执行校正处理以校正由捕获图像的光学系统引起的图像中的光学失真。第三控制器对已经执行了图像处理并且已经校正了光学失真的图像执行识别处理。第四控制器将识别处理的结果叠加到经过图像处理和校正处理的图像上，并输出结果图像。第一控制器可以执行至少两种类型的图像处理：第一图像处理和第二图像处理。第二控制器可以执行至少两种类型的校正处理：第一校正处理和第二校正处理。第三控制器接收已经执行了第一图像处理和第一校正处理的图像的输入，并且输出指示图像中识别出的物体的位置的信息。第四控制器接收已经执行了第二图像处理和第二校正处理的图像的输入以及指示识别出的物体的位置的信息，并且将指示识别出的物体的位置的图叠加到图像中的对应位置上。因此，可以提供实现在图像识别中的高检测率和高可视性图像的显示的图像处理装置、成像装置、驾驶辅助装置和移动体。

Description

图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理 方法

相关申请的交叉引用

本申请要求于2017年10月26日提交的日本专利申请No.2017-207177的优先权和权益，其全部内容通过引用合并于此。

技术领域

本公开涉及图像处理装置、成像装置、驾驶辅助装置、移动体以及图像处理方法。

背景技术

传统上，已知从捕获移动体的周围环境并显示障碍物的图像中检测障碍物的装置。

例如，以下提出的PTL 1公开了一种行人检测和显示装置，其基于捕获车辆的行进方向的图像来检测行人的图像，将矩形框附加到行人的图像的位置，并将行人的图像输出到显示装置。

引文列表

专利文献

PTL 1：JP-A-2010-136207

发明内容

根据本公开的图像处理装置包括输入接口和第一至第四控制器。输入接口被配置为获取图像。第一控制器被配置为对图像执行图像处理。第二控制器被配置为执行校正处理以校正由捕获图像的光学系统引起的图像中的光学失真。第三控制器被配置为对已经执行了图像处理并且已经校正了光学失真的图像执行识别处理。第四控制器被配置为将识别处理的结果叠加到经过图像处理和校正处理的图像上，并输出结果图像。第一控制器可以执行至少两种类型的图像处理：第一图像处理和第二图像处理。第二控制器可以执行至少两种类型的校正处理：第一校正处理和第二校正处理。第三控制器被配置为接收已经执行了第一图像处理和第一校正处理的图像的输入，并且输出指示图像中识别出的物体的位置的信息。第四控制器被配置为接收已经执行了第二图像处理和第二校正处理的图像的输入以及指示识别出的物体的位置的信息，并且将指示识别出的物体的位置的图叠加到图像中的对应位置上。

根据本公开的成像装置包括成像光学系统、图像传感器以及第一至第四控制器。图像传感器被配置为对经由成像光学系统获取的物体图像进行光电转换并输出图像信号。第一控制器被配置为对图像信号执行图像处理。第二控制器被配置为执行校正处理以校正由成像光学系统引起的图像中的光学失真。第三控制器被配置为对已经执行了图像处理并且已经校正了光学失真的图像执行识别处理。第四控制器被配置为将识别处理的结果叠加到经过图像处理和校正处理的图像上，并输出结果图像。第一控制器可以执行至少两种类型的图像处理：第一图像处理和第二图像处理。第二控制器可以执行至少两种类型的校正处理：第一校正处理和第二校正处理。第三控制器被配置为接收已经执行了第一图像处理和第一校正处理的图像的输入，并且输出指示图像中识别出的物体的位置的信息。第四控制器被配置为接收已经执行了第二图像处理和第二校正处理的图像的输入以及指示识别出的物体的位置的信息，并且将指示识别出的物体的位置的图叠加到图像中的对应位置上。

根据本公开的驾驶辅助装置包括成像光学系统、图像传感器、第一至第四控制器以及显示器。图像传感器被配置为对经由成像光学系统获取的物体图像进行光电转换并输出图像信号。第一控制器被配置为对图像信号执行图像处理。第二控制器被配置为执行校正处理以校正由成像光学系统引起的图像中的光学失真。第三控制器被配置为对已经执行了图像处理并且已经校正了光学失真的图像执行识别处理。第四控制器被配置为将识别处理的结果叠加到经过图像处理和校正处理的图像上，并输出结果图像。显示器被配置为显示从第四控制器输出的图像。第一控制器可以执行至少两种类型的图像处理：第一图像处理和第二图像处理。第二控制器可以执行至少两种类型的校正处理：第一校正处理和第二校正处理。第三控制器被配置为接收已经执行了第一图像处理和第一校正处理的图像的输入，并且输出指示图像中识别出的物体的位置的信息。第四控制器被配置为接收已经执行了第二图像处理和第二校正处理的图像的输入以及指示识别出的物体的位置的信息，并且将指示识别出的物体的位置的图叠加在图像中的对应位置处。显示器被配置为在从第四控制器接收到图像时显示图像。

根据本公开的移动体配备有上述驾驶辅助装置。

根据本公开的图像处理方法包括获取图像的步骤。该图像处理方法包括对图像执行至少两种类型的图像处理：第一图像处理和第二图像处理的步骤。图像处理方法包括以下步骤：执行至少两种类型的校正处理：第一校正处理和第二校正处理，以校正由捕获图像的光学系统引起的图像中的光学失真。该图像处理方法包括对已经执行了第一图像处理和第一校正处理的图像执行识别处理的步骤。该图像处理方法包括以下步骤：将识别出的物体的位置叠加到经过第二图像处理和第二校正处理的图像中的对应位置上。

附图说明

在附图中：

图1是示出驾驶辅助装置的示意性配置的框图；

图2是示出安装在移动体上的驾驶辅助装置的示意性配置的图；

图3是用于说明每个过程的定时的图；

图4是示出并行处理的示例流程的流程图；以及

图5是示出顺序处理的示例流程的流程图。

具体实施方式

由驾驶辅助装置显示的图像中的障碍物等的检测率不一定很高。例如，在使用诸如鱼眼相机的广角镜的情况下，失真大并且图像识别处理的检测率可能降低。另外，在显示器上显示包括广角观看范围的图像的情况下，难以校正安全视野内的失真。此外，尽管出于显示具有高对比度的清晰图像的目的而改善了可视性，但是出于图像识别的目的，过度的图像校正会降低检测率。

在下文中，将公开实现图像识别的高检测率和高可视性图像的显示两者的图像处理装置等。

在下文中，将参考附图描述本公开的实施例。

如图1所示，根据多个实施例之一的驾驶辅助装置1包括成像装置100和显示器80。

如图2所示，成像装置100和显示器80安装在移动体300上。成像装置100和显示器80可以经由移动体300的网络90(诸如通信电缆、CAN(控制区域网络)等)相互连接。

如本文所用，术语“移动体”涵盖车辆、轮船和飞行器。在本公开中，车辆可以包括汽车和工业车辆，但不限于此，并且还可以包括轨道车辆、家用车辆和在跑道上行驶的固定翼飞行器。汽车包括轿车、卡车、公共汽车、摩托车和无轨电车，但不限于此，还可以包括在道路上行驶的其他汽车。工业车辆包括农用车辆和建筑车辆。工业车辆包括但不限于叉车和高尔夫球车。用于农业目的的工业车辆包括但不限于拖拉机、耕种机、插秧机、捆扎机、联合收割机和割草机。用于建筑目的的工业车辆包括但不限于推土机、铲运机、挖掘机、起重机、自卸车和压路机。车辆可以包括依靠人力行驶的人力车辆。车辆的分类不限于以上。例如，车辆可以包括被授权在道路上行驶的工业车辆，并且多个类别可以包括相同类型的车辆。根据本公开，轮船可以包括船艇、小船和油轮。根据本公开，飞行器可以包括固定翼飞行器和旋翼飞行器。

例如，安装成像装置100以捕获移动体300的向前行进路径。在多个实施例之一中，将成像装置100安装在移动体300的机舱中。并且可以通过挡风玻璃捕获移动体300的外部。在另一实施例中，成像装置100可以固定到前保险杠、挡泥板格栅、侧挡泥板、照明模块和发动机盖之一。成像装置100可以安装在装饰件或侧镜中以捕获移动体300的后方向或侧方向。

如图1所示，成像装置100包括光学系统10(成像光学系统)、图像传感器20和图像处理装置200。图像处理装置200包括第一控制器30、第二控制器40、第三控制器50、第四控制器60、存储器70等。

光学系统10是用于会聚光的透镜，使得入射到光学系统10上的光在图像传感器20上形成图像。光学系统10可以被配置为例如鱼眼镜头或超广角镜头。光学系统10可以被配置为一个透镜或多个透镜。

图像传感器20是用于捕获由光学系统10形成的图像的图像传感器。图像传感器20包括CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。图像传感器20可以输出通过对由光学系统10形成的图像执行光电转换而获得的电信号。

第一控制器30包括被配置为获取由图像传感器20输出的电信号的输入接口。第一控制器30是被配置为处理电信号的一个或多个处理器。第一控制器30例如是专用于执行特定功能的专用微处理器，或者是被配置为通过读出特定程序来执行特定功能的处理器。

第一控制器30可以是信号处理电路，例如一个或多个门阵列，其被配置为处理由图像传感器20输出的电信号。第一控制器30可以是被配置为执行与上述处理器等效的特定功能的信号处理电路。

第一控制器30从图像传感器20输出的电子信号生成表示图像的图像信号。第一控制器30可以对图像执行任何处理，例如对比度调整、边缘增强、亮度调整或伽马校正。

第一控制器30可以包括多个处理器，诸如第一处理器31和第二处理器32，并且并行地执行不同的图像处理。第一控制器30可以包括一个处理器，并且顺序地执行不同的图像处理。

第二控制器40执行例如失真校正，以校正经过由第一控制器30执行的处理的图像中的失真。第二控制器40是一个或多个处理器。第二控制器40例如是专用于执行特定功能的专用处理器，或者被配置为通过读出特定程序来执行特定功能的处理器。

第二控制器40执行例如失真校正，以校正经过由第一控制器30执行的处理的图像中的失真。第二控制器40可以是诸如一个或多个门阵列的信号处理电路。第二控制器40可以是例如被配置为执行与上述处理器等效的特定功能的信号处理电路。

第二控制器40可以执行任何校正处理，包括例如校正由诸如捕获图像的光学系统10的失真像差之类的特性引起的失真。特别地，在光学系统10是诸如鱼眼镜头的超广角光学系统的情况下，存在当物体的形状围绕光轴更靠近图像边缘时，物体的形状会发生很大的变形的趋势。第二控制器40可以完全校正或减轻使用这种光学系统捕获的图像的失真。

第二控制器40可以包括多个处理器，诸如第一校正单元41和第二校正单元42，并且并行地执行不同的校正处理。第二控制器40可以包括一个处理器，并且顺序地执行不同的校正处理。

第三控制器50识别包括在经过由第二控制器40执行的处理的图像中的诸如行人、移动体、交通标志、交通信号灯、道路标记、障碍物等的物体。第三控制器50是处理器。第三控制器50例如是专用于执行特定功能的专用处理器，或者被配置为通过读出特定程序来执行特定功能的处理器。

第三控制器50识别在经过由第二控制器40执行的处理的图像中的诸如行人、移动体、交通标志、交通信号灯、道路标记、障碍物等的物体。第三控制器信号处理电路可以是诸如门阵列之类的信号处理电路。第三控制器50可以是例如被配置为执行与上述处理器等效的特定功能的信号处理电路。

第三控制器50可以输出指示图像中的识别出的物体的位置的信息作为识别结果。第三控制器50可以输出指示识别出的物体的类型的信息作为识别结果。

第四控制器60将指示由第三控制器50识别出的物体的位置的图叠加到经过由第二控制器40执行的处理的图像上。第四控制器60是处理器。第四控制器60例如是专用于执行特定功能的专用微处理器，或者是被配置为通过读出特定程序来执行特定功能的处理器。

第四控制器60将指示由第三控制器50识别的物体的位置的图叠加到经过由第二控制器40执行的处理的图像上。第四控制器60可以是诸如门阵列之类的信号处理电路。第四控制器60可以是例如被配置为执行与上述处理器等效的特定功能的信号处理电路。

存储器70是用于临时存储经过由第二控制器40执行的处理的图像数据的存储设备。存储器70是例如诸如DRAM(动态随机存取存储器)或SDRAM(同步动态随机存取存储器)之类的高速易失性存储器。当第三控制器50执行识别处理时，存储器70可以积累图像。当第一控制器30和第二控制器40顺序地执行不同的处理时，存储器70可以积累图像，直到完成不同的处理为止。

显示器80被配置为显示第四控制器60输出的包括指示叠加有第三控制器50识别的物体的位置的图的图像。显示器80可以是例如液晶显示器(LCD)、有机电致发光(EL)显示器、无机EL显示器或等离子体显示面板(PDP)。显示器80可以是各种平板显示器，例如，场发射显示器(FED)、电泳显示器、扭球显示器等。显示器80可以布置在移动体300的仪表盘、仪表板等上。显示器80可以是平视显示器(HUD)。当显示器80是HUD时，图像可能会投影到挡风玻璃上或投影到安装在驾驶员座椅前面的组合器上。显示器80可以由诸如导航系统的另一系统的显示装置共享。

网络90连接第四控制器60和显示器80，使得诸如从第四控制器60输出的图像信号之类的电信号可以被发送给显示器80。网络90可以使用通信电缆以有线方式连接第四控制器60和显示器80。网络90可以以符合各种标准的无线方式连接第四控制器60和显示器80，这些标准包括例如

(蓝牙是在日本、其他国家或两者中注册的注册商标)或IEEE 802.11。

接下来，将描述由驾驶辅助装置1执行的操作的详细示例。

驾驶辅助装置1在移动体300启动时或响应于移动体300的驾驶员执行的操作而开始操作。在驾驶辅助装置1开始操作时，首先，图像传感器20开始捕获经由光学系统10形成的位于移动体300周围的物体的图像。图像传感器20将物体图像转换为电信号，并将电信号输出到第一控制器30。

作为对图像传感器20输出的图像信号的第一图像处理，第一控制器30执行适于将由第三控制器50执行的识别处理的图像质量调整。例如，第一控制器30可以执行近线性对比度调整，以最小化识别过程期间的数据丢失。

作为不同于对图像传感器20输出的图像信号的第一图像处理的第二图像处理，第一控制器30单独地执行适于在显示器80上观看的图像质量调整。例如，第一控制器30可以增加对比度或增强边缘以生成可以易于观看的清晰图像。

第一控制器30可以执行并行处理，其中第一处理器31和第二处理器32分别并行执行第一图像处理和第二图像处理。通过执行并行处理，获得了减少处理时间并因此实现出色的实时性能的系统。第一控制器30可以执行顺序处理，其中一个处理器顺序地执行第一图像处理和第二图像处理。通过执行顺序处理，获得了减少处理器数量并因此从成本的观点来看是有利的系统。

作为对经过第一控制器30执行的处理的图像的第一校正处理，第二控制器40执行适于将由第三控制器执行的识别处理的图像校正处理。例如，第二控制器40可以通过将图像细分为多个区域并执行适于各个区域的失真校正来校正图像。通过校正图像的失真，可以准确地识别物体的形状，并且可以提高识别精度。

对经过第一控制器30执行的处理的图像，第二控制器40单独地执行与第一校正处理不同并且适于在显示器80上观看的第二校正处理。例如，当显示器80以大约180度的超广角显示图像时，第二控制器40可以仅校正高度方向失真而无需校正横向失真，使得观看者可以看到直立的三维物体。

第二控制器40可以执行并行处理，其中第一校正单元41和第二校正单元42分别执行并行的第一校正处理和第二校正处理。通过执行并行处理，减少了处理时间，因此可以提高实时性能。备选地，第二控制器40可以包括一个处理器，该处理器顺序地执行第一校正处理和第二校正处理。通过顺序执行处理，可以减少处理器的数量，从而可以改善成本效率。

第一控制器30可以顺序地执行第一图像处理和第二图像处理，第二控制器40可以顺序地执行第一校正处理和第二校正处理。在这种情况下，处理顺序可以如下：第一控制器30执行第一图像处理，第二控制器40执行第一校正处理，第一控制器30执行第二图像处理，然后第二控制器40执行第二校正操作。备选地，处理顺序可以如下：第一控制器30执行第二图像处理，第二控制器40执行第二校正处理，第一控制器30执行第一图像处理，然后第二控制器40执行第一校正处理。可以在第一控制器30执行的处理与第二控制器40执行的处理之间将图像临时存储在存储器70中。特别地，第一控制器30顺序地执行第一图像处理和第二图像处理，然后将经过第一图像处理和第二图像处理的图像临时存储在存储器70中。然后，第二控制器40可以顺序地执行第一校正处理和第二校正处理。

可以顺序地执行由第一控制器30执行的第一图像处理和第二图像处理的组合以及由第二控制器40执行的第一校正处理和第二校正处理的组合中的一个。在这种情况下，在由第一控制器30执行的处理与由第二控制器40执行的处理之间将图像临时存储在存储器70中，从而控制将图像数据从第一控制器30传输到第二控制器40的定时。

第三控制器50可以通过对经过由第一控制器30执行的第一图像处理和由第二控制器40执行的第一校正处理的图像执行诸如机器学习之类的识别处理来识别物体。第一图像处理和第一校正处理的内容可以根据识别处理的方法而不同。例如，在执行使用机器学习的图像识别的情况下，近线性对比度适合作为第一图像处理，并且完全失真校正适合作为第一校正处理。但是，这种处理对于某些图像识别方法可能不是必要的。这样，第一控制器30和第二控制器40可以根据图像识别方法分别执行第一图像处理和第一校正处理。

第三控制器50被配置为根据图像识别的结果输出指示图像中检测到的物体的位置的信息。所检测到的物体可以是诸如位于移动体300正行进的道路上或道路附近的行人、移动体、交通标志、交通信号灯、道路标记、障碍物等的物体。例如，当行人被检测为物体时，指示物体的位置的信息可以由单个点表示，例如脚的位置或重心、或者围绕行人的图像的矩形的顶点的坐标。

第四控制器60被配置为将指示由第三控制器50检测到的物体的位置的图叠加到经过由第一控制器执行的第二图像处理和由第二控制器40执行的第二校正处理的图像上。在对用于显示的图像执行第二校正处理的同时，对用于由第三控制器50执行的识别处理的图像执行第一校正处理。这可能会导致在这些图像中同一物体的坐标之间出现位置偏差的风险。因此，第四控制器60考虑到由第一校正处理和第二校正处理引起的差异，并且将指示物体的位置的信息转换为从第一控制器30输出的经过第二图像处理的图像中的对应位置。然后，第四控制器60叠加指示物体的转换位置的图。

这里，将参考图3描述每个处理的定时。在图3中，水平轴表示时间的流逝，而竖直轴表示函数和处理的列表。在图3所示的示例中，并行执行适于识别处理的图像处理和适于显示的图像处理，并且并行执行适于识别处理的校正处理和适于显示的校正处理。

当图像传感器20输出捕获图像(“帧1”)时，第一控制器30并行地执行适于识别处理的第一图像处理和适于观看的第二图像处理。随后，第二控制器40并行执行第一校正处理和第二校距处理。经过第一校正处理的图像被输出到第三控制器50，并且经过第二校正处理的图像被输出到第四控制器60。

在第三控制器50所执行的识别处理在短时间内迅速完成的情况下，第四控制器60可以执行叠加处理。然而，当识别处理花费时间时，可以使用存储器70来同步用于处理的定时。特别地，将完成第二校正处理的图像临时存储在存储器70中，并在第三控制器50完成识别处理的时间处读出，从而可以使第四控制器60执行的处理的定时同步。在对“帧1”执行的处理之后，对“帧2”执行的处理以类似的方式同步。

在顺序执行适于识别处理的图像处理、适于显示的图像处理、适于识别处理的校正处理以及适于显示的校正处理的情况下，将经过由第一控制器30执行的适于识别处理的第一图像处理和由第二控制器40执行的适于识别处理的第一校正处理的图像输出到第三控制器50。在第三控制器50执行识别处理的同时，可以执行适于观看的第二图像处理和适于观看的第二校正处理，以使处理定时同步。备选地，第一控制器30和第二控制器40中的一个执行并行处理以使处理定时同步。在任何一种情况下，当处理定时不同步时，图像可以被临时存储在存储器70中以同步处理定时。

接下来，将参考图4和图5所示的流程图描述由根据一个实施例的驾驶辅助装置1的成像装置100和图像处理装置200执行的示例处理。

图4示出了并行执行适于识别处理的图像处理和适于显示的图像处理以及适于识别处理的校正处理和适于显示的校正处理的示例。

当成像装置100开始操作时，图像传感器20开始捕获图像，并且第一控制器30获取图像(步骤S110)。

第一处理器31和第二处理器32分别并行地执行适于识别处理的第一图像处理(步骤S121)和适于在图像上观看的第二图像处理(步骤S131)。

第二控制器40的第一校正单元41对经过由第一控制器30执行的图像处理的图像执行适于识别处理的第一校正处理(步骤S122)，第二校正单元42并行执行适于观看的第二校正处理(步骤S132)。

经过第一图像处理和第一校正处理的图像被输入到第三控制器50并经过识别处理(步骤S140)。同时，将经过第二图像处理和第二校正处理的图像输入到存储器70，并临时存储在其中(步骤S150)。

当第三控制器50完成识别处理时，第四控制器60获取存储器70中存储的经过第二图像处理和第二校正处理的用于观看的图像，以及从第三控制器50输出的指示识别出的物体的位置的信息。第四控制器60将指示识别出的物体的位置的图叠加到图像中的对应位置上(步骤S160)。

经过第四控制器60执行的叠加处理的图像被输出到显示器80(步骤S170)并显示在显示器80上。

接下来，将参考图5描述顺序执行适于识别处理的图像处理、适于显示的图像处理、适于识别处理的校正处理和适于显示的校正处理的示例。

当成像装置100开始操作时，图像传感器20开始捕获图像，并且第一控制器30获取图像(步骤S210)。

然后，图像经受适于识别处理的第一图像处理(步骤S221)。随后，经过第一图像处理的图像被输入到第二控制器40，并且经受适于识别处理的第一校正处理(步骤S222)。

经过由第二控制器40执行的第一校正处理的图像被输入到第三控制器50，并且第三控制器50开始识别处理(步骤S230)。

当第三控制器50开始识别处理时，第一控制器30执行适于观看的第二图像处理(步骤S241)，然后将经过第二图像处理的图像输入到第二控制器40。然后，控制器40对经过第二图像处理的图像执行适于观看的第二校正处理(步骤S242)。经过第二图像处理和第二校正处理的图像被输入到存储器70并被临时存储在其中(步骤S250)。

存储器70在积累图像的同时等待(步骤S260中为“否”)，直到第三控制器50完成识别处理为止。当第三控制器50完成识别处理时(步骤S260为是)，第四控制器60获取经过第二图像处理和第二校正处理的用于观看的图像，以及从第三控制器50输出的指示识别出的物体的位置的信息。第四控制器60将指示识别出的物体的位置的图叠加在图像中的对应位置上(步骤S270)。

经过第四控制器60执行的叠加处理的图像被输出到显示器80(步骤S280)并显示在显示器80上。

驾驶辅助装置1可以被配置为通过读出记录在非暂时性计算机可读介质上的程序来执行图4和图5所示的处理。非暂时性计算机可读介质包括但不限于磁存储介质、光存储介质、磁光存储介质或半导体存储介质。磁存储介质包括磁盘、硬盘或磁带。光学存储介质包括诸如CD、DVD或BD的光盘。半导体存储介质包括ROM(只读存储器)、EEPROM(电可擦可编程只读存储器)、闪存等。

根据本公开的一个实施例，图像处理装置200可以实现图像识别中的高检测率和具有优异可视性的图像的显示两者。特别地，图像处理装置200对适于识别处理的图像和适于观看的图像单独执行图像处理和图像校正处理，基于识别结果将指示识别出的物体的位置的信息转换为图像中对应的位置以供观看，并将图叠加在对应的位置上。因此，图像处理装置200可以实现图像识别中的高检测率和具有优异可视性的图像的生成两者。即使当使用诸如鱼眼镜头的超广角光学系统时，成像装置100也可以输出具有在图像识别中的高检测率和优异可视性的图像。此外，当将包括本实施例的成像装置100的驾驶辅助装置1安装在车辆上时，驾驶辅助装置1可以向驾驶员提供具有优异的可视性和行人、移动体、障碍物等的高度准确检测结果的图像。

尽管以上实施例已经作为典型示例进行了描述，但是应当理解，本领域技术人员可以在本公开的主旨和范围内以多种方式执行变化或改变。因此，本公开不应被解释为限于以上实施例或示例，并且可以以各种方式变化或改变。例如，可以组合实施例或示例中描述的多个功能块，或者可以细分一个功能块。

例如，尽管上述实施例的驾驶辅助装置1包括安装在成像装置100中的图像处理装置200，但是图像处理装置200不一定需要安装在成像装置100中。图像处理装置200可以安装在成像装置100的外部，并且被配置为获取从图像传感器20输出的图像，并将经过处理并且叠加有指示物体的位置的图的图像输出到显示器80。

附图标记列表：

1 驾驶辅助装置，

10 光学系统，

20 图像传感器，

30 第一控制器，

31 第一处理器，

32 第二处理器，

40 第二控制器，

41 第一校正单元，

42 第二校正单元，

50 第三控制器，

60 第四控制器，

70 存储器，

80 显示器，

90 网络，

100 网络，

200 图像处理装置，

300 移动体。

Claims (8)

1.一种图像处理装置，包括：

输入接口，被配置为获取图像；

第一控制器，被配置为对所述图像执行图像处理；

第二控制器，被配置为执行校正处理以校正由捕获所述图像的光学系统引起的所述图像中的光学失真；

第三控制器，被配置为对已经执行了所述图像处理并且已经校正了所述光学失真的图像执行识别处理；以及

第四控制器，被配置为将所述识别处理的结果叠加到经过所述图像处理和所述校正处理的图像上，并且输出结果图像；

其中所述第一控制器能够执行至少两种类型的图像处理：第一图像处理和第二图像处理，

所述第二控制器能够执行至少两种类型的校正处理：第一校正处理和第二校正处理；

所述第三控制器被配置为接收已经执行了所述第一图像处理和所述第一校正处理的图像的输入，并且输出指示图像中识别出的物体的位置的信息，以及

所述第四控制器被配置为接收已经执行了所述第二图像处理和所述第二校正处理的图像的输入以及指示识别出的物体的位置的信息，并且将指示识别出的物体的位置的图叠加到所述图像中的对应位置上。

2.根据权利要求1所述的图像处理装置，

其中，并行执行所述第一图像处理和所述第二图像处理的组合以及所述第一校正处理和所述第二校正处理的组合中的至少一个。

3.根据权利要求1所述的图像处理装置，

其中，顺序执行所述第一图像处理和所述第二图像处理的组合以及所述第一校正处理和所述第二校正处理的组合中的至少一个。

4.根据权利要求1至3中的任一项所述的图像处理装置，还包括：存储器，用于存储连续获取的已经执行了所述图像处理和所述校正处理的图像；

其中，所述存储器存储所述图像，直到所述第三控制器执行的所述识别处理完成为止。

5.一种成像装置，包括：

成像光学系统；

图像传感器，被配置为对经由所述成像光学系统获取的物体图像进行光电转换并且输出图像信号；

第一控制器，被配置为对所述图像信号执行图像处理；

第二控制器，被配置为执行校正处理以校正由所述成像光学系统引起的图像中的光学失真；

第三控制器，被配置为对已经执行了所述图像处理并且已经校正了所述光学失真的图像执行识别处理；以及

第四控制器，被配置为将所述识别处理的结果叠加到经过所述图像处理和所述校正处理的所述图像上，并且输出结果图像；

其中所述第一控制器能够执行至少两种类型的图像处理：第一图像处理和第二图像处理，

所述第二控制器能够执行至少两种类型的校正处理：第一校正处理和第二校正处理；

所述第三控制器被配置为接收已经执行了所述第一图像处理和所述第一校正处理的图像的输入，并且输出指示所述图像中识别出的物体的位置的信息，以及

第四控制器被配置为接收已经执行了所述第二图像处理和所述第二校正处理的图像的输入以及指示所述识别出的物体的位置的信息，并且将指示所述识别出的物体的位置的图叠加到所述图像中的对应位置上。

6.一种驾驶辅助装置，包括：

成像光学系统；

图像传感器，被配置为对经由所述成像光学系统获取的物体图像进行光电转换并且输出图像信号；

第一控制器，被配置为对所述图像信号执行图像处理；

第二控制器，被配置为执行校正处理以校正由所述成像光学系统引起的图像中的光学失真；

第三控制器，被配置为对已经执行了所述图像处理并且已经校正了所述光学失真的图像执行识别处理；

第四控制器，被配置为将所述识别处理的结果叠加到经过所述图像处理和所述校正处理的所述图像上，并且输出结果图像；以及

显示器，被配置为显示从所述第四控制器输出的图像，

其中所述第一控制器能够执行至少两种类型的图像处理：第一图像处理和第二图像处理，

所述第二控制器能够执行至少两种类型的校正处理：第一校正处理和第二校正处理；

所述第三控制器被配置为接收已经执行了所述第一图像处理和所述第一校正处理的图像的输入，并且输出指示所述图像中识别出的物体的位置的信息，

所述第四控制器被配置为接收已经执行了所述第二图像处理和所述第二校正处理的图像的输入以及指示所述识别出的物体的位置的信息，并且将指示所述识别出的物体的位置的图叠加在所述图像中的对应位置处，以及

所述显示器被配置为在从第四控制器接收到所述图像时显示所述图像。

7.一种移动体，配备有根据权利要求6所述的驾驶辅助装置。

8.一种图像处理方法，包括：

获取图像的步骤；

对图像执行至少两种类型的图像处理：第一图像处理和第二图像处理的步骤；

执行至少两种类型的校正处理：第一校正处理和第二校正处理，以校正由捕获所述图像的光学系统引起的所述图像中的光学失真的步骤；

对已经执行了所述第一图像处理和所述第一校正处理的图像执行识别处理的步骤；以及

将指示识别出的物体的位置的图叠加到经过所述第二图像处理和所述第二校正处理的图像中的对应位置上的步骤。

Images