CN111684455B - 识别装置、识别方法和程序产品 - Google Patents
识别装置、识别方法和程序产品 Download PDFInfo
- Publication number
- CN111684455B CN111684455B CN201880088309.7A CN201880088309A CN111684455B CN 111684455 B CN111684455 B CN 111684455B CN 201880088309 A CN201880088309 A CN 201880088309A CN 111684455 B CN111684455 B CN 111684455B
- Authority
- CN
- China
- Prior art keywords
- unit
- imaging
- recognition
- control unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
在本发明中,识别控制单元40基于来自相机单元20的图像信号、来自相机控制单元30的控制信号等来检测成像区域的光量,并且基于光量的检测结果来生成选择判别信息。识别处理单元50基于由识别控制单元40生成的选择判别信息将由相机单元20生成的成像区域的图像划分为多个区域,并且针对每个区域选择识别器。此外,识别处理单元50通过使用所选择的识别器来执行对相应区域的图像的被摄体识别处理。即使在捕获图像中包括明亮区域和黑暗区域,也能够以高精度容易地识别各区域中的被摄体。
Description
技术领域
本技术涉及识别装置、识别方法和程序,并且使得能够精确地识别包括在捕获图像中的被摄体。
背景技术
传统上,为了在夜间精确地检测被摄体,自动切换成像时的曝光量。例如,在专利文献1中,在能够拍摄点亮的光的轮廓部分的第一拍摄模式和能够检测没有光的对象的第二拍摄模式之间切换拍摄模式。
引文列表
专利文献
专利文献1:日本专利申请特开No.2009-234344
发明内容
本发明要解决的问题
同时,在通过使用识别器来识别包括在捕获图像中的被摄体的情况下,例如,具有大量噪声的捕获图像可能使识别精度劣化。此外,为了获取具有较少噪声的捕获图像,当曝光时间延长并且光量增加时,已经移动的被摄体的图像变得模糊,并且当光圈变宽以增加光量时,景深变浅,并且不能获取具有很少模糊的捕获图像。
因此,本技术的目的是提供一种能够容易且精确地识别包括在捕获图像中的被摄体的识别装置、识别方法和程序。
问题的解决方案
本技术的第一方面是
一种识别装置,包括:
识别控制单元,被配置为基于成像区域的光量检测结果来生成选择判定信息;以及
识别处理单元,被配置为通过使用基于由所述识别控制单元生成的所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理
在本技术中,基于成像区域的光量检测结果来生成选择判定信息。基于用于控制获取捕获图像的成像单元的操作的控制信号和由成像单元生成的图像信号来检测成像区域的光量。控制信号是用于控制光圈、快门速度、模拟增益调整或灰度转换中的至少任何一个的信号。例如,基于用于光圈、快门速度、模拟增益调整和灰度转换的控制信号以及经过模拟增益调整和灰度转换的图像信号来执行检测。此外,可以基于例如用于光圈、快门速度和模拟增益的控制信号以及经过模拟增益调整的图像信号来执行检测。此外,可以基于用于光圈和快门速度的控制信号以及在执行模拟增益调整之前的图像信号来执行检测。此外,可以基于由成像单元生成的图像信号和由检测成像环境照度的照度检测单元检测到的照度来检测光量。
识别控制单元基于光量检测结果执行噪声估计,并且将噪声估计结果用作选择判定信息。识别处理单元基于选择判定信息来选择识别器。例如,识别处理单元在由选择判定信息指示的噪声等于或小于阈值的情况下选择第一识别器,并且在选择判定信息指示的噪声大于阈值的情况下选择选择比第一识别器更抗噪声的第二识别器。注意,识别处理单元基于选择判定信息来执行捕获图像的区域划分,并且针对每个划分区域选择识别器。此外,识别控制单元可以基于由用于控制获取捕获图像的成像单元的操作的控制信号指示的灰度转换的转换函数信息来执行捕获图像的区域划分,并且可以针对每个划分区域生成选择判定信息。
本技术的第二方面是
一种识别方法,包括:
由识别控制单元基于成像区域的光量检测结果来生成选择判定信息;以及
由识别处理单元通过使用基于由所述识别控制单元生成的所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理。
本技术的第三方面是
一种用于使计算机执行识别处理的程序,所述程序使所述计算机执行:
基于成像区域的光量检测结果来生成选择判定信息的过程;以及
通过使用基于所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理的过程。
注意,本技术的程序是可以通过例如以计算机可读格式设置的存储介质或通信介质(例如,诸如光盘、磁盘、半导体存储器的存储介质或诸如网络的通信介质)为可以执行各种程序代码的通用计算机提供的程序。通过以计算机可读格式提供这样的程序,在计算机上实现与该程序相对应的处理。
发明的效果
根据本技术,基于成像区域的光量检测结果生成选择判定信息,并且使用基于选择判定信息选择的识别器对示出成像区域的捕获图像执行被摄体识别处理。因此,可以容易地和准确地识别包括在捕获图像中的被摄体。注意,本说明书中描述的效果仅仅是示例而非限制,并且可以存在附加效果。
附图说明
图1是示出识别装置的配置的图。
图2是示出第一实施例的配置的图。
图3是示出第一实施例的操作的流程图。
图4是示出光量与S/N比之间的关系的图。
图5是用于说明区域分割的图。
图6是示出灰度转换的转换函数的图。
图7是示出第一实施例的操作示例的图。
图8是示出第二实施例的配置的图。
图9是示出第三实施例的配置的图。
图10是示出第四实施例的配置的图。
图11是示出车辆控制系统的示意性配置的示例的框图。
图12是示出车外信息检测器和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中,将描述用于实现本技术的实施例。注意,将按以下顺序给出描述。
1.识别装置的配置
2.第一实施例
3.第二实施例
4.第三实施例
5.第四实施例
6.应用示例
<1.识别装置的配置>
图1示出识别装置的配置。识别装置10包括相机单元20、相机控制单元30、识别控制单元40和识别处理单元50。注意,相机单元20和相机控制单元30可以与识别装置10分离设置。
相机单元20生成示出所希望的成像区域的捕获图像的图像信号,并输出到识别处理单元50。相机控制单元30向相机单元20输出控制信号,并控制相机单元20的快门速度、光圈、模拟增益、灰度转换等。此外,相机控制单元30向识别控制单元40输出控制信号。
识别控制单元40基于来自相机控制单元30的控制信号和由相机单元20生成的图像信号,检测成像区域的光量。此外,识别装置10可以设置有照度检测单元60,并且识别控制单元40可以基于来自照度检测单元60的照度检测信号,检测成像区域的光量。识别控制单元40基于检测出的光量生成选择判定信息,并输出到识别处理部50。例如,识别控制单元40基于光量检测结果执行噪声估计,并将噪声估计结果用作选择判定信息。
识别处理单元50通过使用基于选择判定信息选择的识别器,执行对由相机单元20获取的捕获图像的被摄体识别处理。
<2.第一实施例>
接下来,将描述识别装置的第一实施例。图2示出识别装置的第一实施例的配置。
相机单元20包括光学系统块21、成像单元22、增益调整单元23、模拟/数字(A/D)转换单元24和灰度转换单元25。
光学系统块21具有光学透镜211和光圈机构212。光学透镜211使被摄体光学像成像在成像单元22的成像元件的成像面上。此外,光圈机构212调整在成像面上成像的被摄体光学像的光量。光学系统块21通过基于从相机控制单元30提供的控制信号移动光学透镜211来执行聚焦操作和变焦操作。此外,光学系统块21基于控制信号驱动光圈机构212,以调整被摄体光学像的光量。
成像单元22被配置为使用诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的成像元件。成像单元22执行光电转换以生成对应于被摄体光学像的图像信号,并输出到增益调整单元23。此外,成像单元22基于从相机控制单元30提供的控制信号来控制成像元件的曝光时段,并以期望的快门速度执行成像。注意,可以通过在光学系统块21中设置快门机构并且基于来自相机控制单元30的控制信号驱动该快门机构来改变成像操作中的曝光时段。
增益调整单元23对由成像单元22生成的模拟图像信号进行增益调整(也称为模拟增益调整),并输出到A/D转换单元24。A/D转换单元24将模拟增益调整后的图像信号从模拟信号转换为数字信号,并输出到灰度转换单元25。
灰度转换单元25通过使用基于控制信号的转换函数,压缩从A/D转换单元24提供的图像信号的照度灰度。灰度转换单元25将灰度转换后的图像信号输出到识别控制单元40和识别处理单元50。
相机控制单元30生成控制信号并将其提供给相机单元20,以控制相机单元20中的每个单元的操作。此外,相机控制单元30将控制信号输出到识别控制单元40。
识别控制单元40具有光量检测单元41和噪声估计单元42。光量检测单元41基于从相机单元20提供的图像信号和从相机控制单元30提供的控制信号,检测成像区域的光量。噪声估计单元42基于光量检测单元41的光量检测结果估计噪声,并生成表示估计结果的噪声信息。噪声估计单元42将所生成的噪声信息作为选择判定信息输出到识别处理单元50。
识别处理单元50包括识别器选择单元51和多个识别器52-1至52-n。例如,识别处理单元50包括:能够通过使用具有较少噪声的学习图像执行机器学习等来从具有较少噪声的捕获图像中以高精度识别被摄体的识别器,以及能够通过使用具有较少噪声的学习图像执行机器学习等来从具有较多噪声的捕获图像中以高精度识别被摄体的识别器。识别器选择单元51基于来自识别控制单元40的选择判定信息执行成像区域的区域分割处理,针对每个分割区域选择识别器,并使用所选择的识别器52-1(52-n)基于从相机单元20提供的图像信号执行被摄体识别。
接下来,将描述识别装置的第一实施例的操作。图3是示出第一实施例的操作的流程图。在步骤ST1中,识别装置获取捕获图像。相机单元20执行由成像元件生成的图像信号的模拟增益调整、模拟增益调整后的图像信号从模拟信号到数字信号的A/D转换、A/D转换后的图像信号的灰度转换等,以生成图像信号。识别装置10的识别处理单元50获取由相机单元20生成的捕获图像的图像信号,并且处理进行到步骤ST2。
在步骤ST2中,识别装置获取光量相关信息。光量相关信息是关于引起与成像区域的光量相对应的改变的参数的信息。例如,光圈值、快门速度、模拟增益调整值、用于灰度转换的转换函数f(u,v,l(u,v))是要根据成像区域的光量调整的参数,并且与这些参数相关的控制信号可以用作光量相关信息。注意,在转换函数f(u,v,l(u,v))中,参数u,v表示捕获图像中的位置,并且参数l(u,v)表示该位置(u,v)处的照度。由于信号电平根据光量而改变,因此由相机单元20生成的图像信号可以用作光量相关信息。因此,识别装置10的识别控制单元40获取从相机控制单元30输出的控制信号和由相机单元20生成的图像信号作为光量相关信息,并且处理进行到步骤ST3。
在步骤ST3中,识别装置检测光量。识别控制单元40基于在步骤ST2中输出的光量相关信息检测成像区域的光量。
这里,将描述光量检测处理。基于捕获图像中的位置(u,v)处的被摄体的光量L(u,v)、关于光圈状态的光圈信息F、关于曝光时间的快门速度信息S、以及关于模拟增益调整的增益信息G,捕获图像中的位置(u,v)处的灰度转换之前(A/D转换之后)的图像信号的信号值I(u,v)满足等式(1)的关系。
I(u,v)=L(u,v)=S*F*G......(1)
此外,通过将捕获图像中的位置(u,v)处的灰度转换前的图像信号的信号值I(u,v)输入到灰度转换的转换函数中,如等式(2)所示,获得灰度转换后的位置(u,v)处的图像信号的信号值J(u,v)。
J(u,v)=f(u,v,I(u,v))......(2)
因此,基于等式(3)计算出的光量L'(u,v)表示位置(u,v)处的被摄体的光量。
L'(u,v)=f-1(u,v,J(u,v))/(S*F*G)......(3)
以这种方式,识别控制单元40检测成像区域的光量,并且处理进行到步骤ST4。
在步骤ST4中,识别装置基于光量的检测结果生成选择判定信息。识别装置10的识别控制单元40预先存储例如表示光量和S/N之间的关系的特性信息,并且估计基于光量相关信息检测出的光量中的噪声。图4示出了由特性信息表示的光量和S/N比之间的关系。识别控制单元40将与基于噪声信息检测出的光量相对应的S/N比,即光量相关信息,设置为选择判定信息,并且处理进行到步骤ST5。
在步骤ST5中,识别装置执行区域分割处理。识别装置10的识别处理单元50基于在步骤ST4中生成的选择判定信息,将成像区域分割成例如具有较多噪声的区域和具有较少噪声的区域。图5是用于说明区域分割的图。识别处理单元50将选择判定信息(S/N比)与阈值THsn进行比较,并且在选择判定信息(S/N比)等于或小于阈值THsn的情况下将区域分割为具有较多噪声的区域,并且在选择判定信息(S/N比)大于阈值THsn的情况下将区域分割为具有较少噪声的区域,并且处理进行到步骤ST6。
在步骤ST6中,识别装置针对每个区域选择识别器。识别装置10的识别处理单元50针对在步骤ST5中分割的每个区域选择在识别处理中要使用的识别器。识别处理单元50选择能够在具有较少噪声的区域中从具有较少噪声的捕获图像中以高精度识别被摄体的识别器,并且选择能够在具有较多噪声的区域中从具有较多噪声的捕获图像中以高精度识别被摄体的识别器,并且处理进行到步骤ST7。
在步骤ST7中,识别装置执行识别处理。识别装置10的识别处理单元50通过使用在步骤ST6中选择的识别器来针对每个区域执行被摄体识别,并且处理结束。
此外,在步骤ST2中获取的光量相关信息包括关于区域分割的信息的情况下,在步骤ST3和步骤ST4中可以针对每个区域执行光量检测和噪声估计。例如,存在因为当在整个画面上均匀地执行灰度转换时将发生过度曝光或曝光不足而针对每个区域切换灰度转换函数的情况。图6是示出灰度转换的转换函数的图。图6的(a)示出了灰在发生曝光不足的情况下使用的灰度转换特性,并且在转换前的信号电平小的情况下执行灰度转换以便增加信号电平变化。此外,图6的(b)示出了在没有发生过度曝光或曝光不足的情况下使用的灰度转换特性。以这种方式,在灰度转换中切换转换函数的情况下,识别控制单元40可以根据获取捕获图像的成像单元的灰度转换切换操作来执行成像区域的区域划分,并且可以针对每个划分区域生成选择判定信息。
图7示出了第一实施例的操作示例。识别控制单元40基于光量相关信息检测成像区域的光量,并且基于光量检测结果生成选择判定信息。这里,在选择判定信息指示区域ARa是具有较多噪声的区域并且区域ARb是具有较少噪声的区域的情况下,识别处理单元50选择能够从区域ARa中具有较多噪声的捕获图像中以高精度识别被摄体的识别器。此外,识别处理单元50选择能够从区域ARb中具有较少噪声的捕获图像中以高精度识别被摄体的识别器。此外,识别处理单元50使用所选择的识别器来执行被摄体识别。因此,在通过沿箭头方向顺序移动示出识别区域的识别框TA来执行被摄体识别的情况下,例如,可以容易地和精确地识别光量小的区域ARa中的被摄体和光量大的区域ARb中的被摄体。
以这种方式,根据第一实施例,基于光量相关信息检测成像区域的光量,基于检测出的光量生成的选择判定信息选择识别器,并且对成像区域的捕获图像执行被摄体识别处理。例如,在捕获图像中具有较多噪声的区域中,利用能够从具有较多噪声的捕获图像中以高精度识别被摄体的识别器来执行被摄体识别。此外,在捕获图像中具有较少噪声的区域中,使用能够从具有较少噪声的捕获图像中以高精度识别被摄体的识别器来执行被摄体识别。也就是说,为了获取具有较少噪声的捕获图像,可以在不执行通过增加曝光时间或加宽光圈来增加光量的处理的情况下自动选择最佳识别器来执行识别处理。此外,由于不需要将图像信号存储在存储器中以执行噪声估计处理来估计噪声,因此所需的存储器容量和处理量不会增加。因此,可以容易地且精确地识别包括在捕获图像中的被摄体。
<3.第二实施例>
接下来,将描述第二实施例。在第二实施例中,在灰度转换之前的阶段的控制信号和在执行灰度转换之前的图像信号被用作光量相关信息来检测光量,而不受灰度转换的影响。
图8示出识别装置的第二实施例的配置。相机单元20包括光学系统块21、成像单元22、增益调整单元23、模拟/数字(A/D)转换单元24和灰度转换单元25。
光学系统块21具有光学透镜211和光圈机构212。光学系统块21通过基于从相机控制单元30提供的控制信号移动光学透镜211来执行聚焦操作和变焦操作。此外,光学系统块21基于控制信号驱动光圈机构212,以调整被摄体光学像的光量。
成像单元22生成与被摄体光学像对应的图像信号,并输出到增益调整单元23。此外,成像单元22基于从相机控制单元30提供的控制信号控制成像元件的曝光时段,并且以希望的快门速度执行成像。注意,能够通过驱动光学系统块21中设置的快门机构来改变成像操作中的曝光时段。
增益调整单元23对成像单元22生成的图像信号执行模拟增益调整,并输出到A/D转换单元24。A/D转换单元24将模拟增益调整后的图像信号从模拟信号转换为数字信号,并输出到灰度转换单元25和识别控制单元40。
灰度转换单元25通过使用基于控制信号的转换函数,压缩从A/D转换单元24提供的图像信号的照度灰度。灰度转换单元25将灰度转换后的图像信号输出到识别处理单元50。
相机控制单元30生成控制信号并将其提供给相机单元20,以控制相机单元20中的每个单元的操作。此外,相机控制单元30将控制信号输出到识别控制单元40。
识别控制单元40具有光量检测单元41和噪声估计单元42。光量检测单元41基于从相机单元20提供的灰度转换前的图像信号以及从相机控制单元30提供的与灰度转换前的阶段的处理相关的控制信号,检测成像区域的光量。
噪声估计单元42基于光量检测单元41的光量检测结果来估计噪声,并且生成表示估计结果的噪声信息。噪声估计单元42将所生成的噪声信息作为选择判定信息输出到识别处理单元50。
识别处理单元50包括识别器选择单元51和多个识别器52-1至52-n。例如,识别处理单元50具有能够从具有较少噪声的捕获图像中以高精度识别被摄体的识别器,以及能够从具有较多噪声的捕获图像中以高精度识别被摄体的识别器。识别器选择单元51基于来自识别控制单元40的选择判定信息执行成像区域的区域分割处理,选择针对每个分割区域的识别器,并使用所选择的识别器52-1(52-n)执行基于从相机单元20提供的图像信号的被摄体识别。
在识别装置的第二实施例的操作中,执行与图3所示的第一实施例的操作类似的处理,并且步骤ST2和ST3的处理内容与第一实施例的不同。
在步骤ST2中,识别装置获取光量相关信息。作为光量相关信息,例如,使用光圈值信息F、快门速度信息S和增益信息G。此外,作为光量相关信息,使用灰度转换前的图像信号,其中信号电平根据成像区域的光量而改变,并且其中信息不被灰度转换劣化。识别装置10的识别控制单元40以这种方式获取光量相关信息,并且处理进行到步骤ST3。
在步骤ST3中,识别装置检测光量。识别控制单元40基于在步骤ST2中输出的光量相关信息检测成像区域的光量。
这里,将描述光量检测处理。假定捕获图像中的位置(u,v)处的被摄体是光量L(u,v),并且位置(u,v)处的灰度转换之前的图像信号是信号值I(u,v),则满足上述等式(1)的关系。
因此,基于等式(4)计算的光量L'(u,v)表示位置(u,v)处的被摄体的光量。
L'(u,v)=I(u,v))/(S*F*G)......(4)
以这种方式,识别控制单元40检测成像区域的光量。此后,与第一实施例类似,基于光量检测结果执行噪声估计,并且将表示估计结果的噪声信息用作选择判定信息。此外,识别处理单元50基于选择判定信息执行区域分割处理,并且针对每个区域选择识别器以执行被摄体识别。
如上所述,根据第二实施例,即使当信息量由于灰度转换而劣化时,也可以执行被摄体识别而不受信息量劣化的影响。此外,在第二实施例中,与第一实施例类似,可以容易且精确地识别包括在捕获图像中的被摄体。
<4.第三实施例>
接下来,将描述第三实施例。在第三实施例中,利用在模拟增益调整之前的阶段的控制信号和在执行模拟增益调整之前的图像信号作为光量相关信息来检测光量。
图9示出识别装置的第三实施例的配置。相机单元20包括光学系统块21、成像单元22、增益调整单元23、模拟/数字(A/D)转换单元24和灰度转换单元25。
光学系统块21具有光学透镜211和光圈机构212。光学系统块21通过基于从相机控制单元30提供的控制信号移动光学透镜211来执行聚焦操作和变焦操作。此外,光学系统块21基于控制信号驱动光圈机构212,以调整被摄体光学像的光量。
成像单元22生成与被摄体光学像对应的图像信号,并输出到增益调整单元23和识别控制单元40。此外,成像单元22基于从相机控制单元30提供的控制信号控制成像元件的曝光时段,并且以希望的快门速度执行成像。注意,可以通过驱动光学系统块21中设置的快门机构来改变成像操作中的曝光时段。
增益调整单元23对成像单元22生成的图像信号执行模拟增益调整,并输出到A/D转换单元24。A/D转换单元24将模拟增益调整后的图像信号从模拟信号转换为数字信号,并输出到灰度转换单元25。
灰度转换单元25通过使用基于控制信号的转换函数,压缩从A/D转换单元24提供的图像信号的照度灰度。灰度转换单元25将灰度转换后的图像信号输出到识别处理单元50。
相机控制单元30生成控制信号并将其提供给相机单元20,以控制相机单元20中的每个单元的操作。此外,相机控制单元30将控制信号输出到识别控制单元40。
识别控制单元40具有光量检测单元41和噪声估计单元42。光量检测单元41基于从相机单元20提供的模拟增益调整之前的图像信号以及从相机控制单元30提供的与模拟增益调整之前的阶段中的处理相关是控制信号来检测成像区域的光量。
噪声估计单元42基于光量检测单元41的光量检测结果来估计噪声,并且生成表示估计结果的噪声信息。噪声估计单元42将所生成的噪声信息输出到识别处理单元50作为选择判定信息。
识别处理单元50包括识别器选择单元51和多个识别器52-1至52-n。例如,识别处理单元50具有能够从具有较少噪声的捕获图像中以高精度识别被摄体的识别器,以及能够从具有较多噪声的捕获图像中以高精度识别被摄体的识别器。识别器选择单元51基于来自识别控制单元40的选择判定信息执行成像区域的区域分割处理,针对每个分割区域选择识别器,并使用所选择的识别器52-1(52-n)执行基于从相机单元20提供的图像信号的被摄体识别。
在识别装置的第三实施例的操作中,执行与图3所示的第一实施例的操作类似的处理,并且步骤ST2和ST3的处理内容与第一实施例的不同。
在步骤ST2中,识别装置获取光量相关信息。这里,作为光量相关信息,例如,光圈值信息F和快门速度信息S被用作光量相关信息。此外,作为光量相关信息,使用信号电平根据成像区域的光量而改变的模拟增益调整之前的图像信号。识别装置10的识别控制单元40以这种方式获取光量相关信息,并且处理进行到步骤ST3。
在步骤ST3中,识别装置检测光量。识别控制单元40基于在步骤ST2中输出的光量相关信息检测成像区域的光量。
这里,将描述光量检测处理。假设捕获图像中的位置(u,v)处的被摄体是光量L(u,v),并且位置(u,v)处的模拟增益调整之前的图像信号是信号值A(u,v),则满足等式(5)的关系。
A(u,v)=L(u,v)=S*F......(5)
因此,基于等式(6)计算的光量L'(u,v)表示位置(u,v)处的被摄体的光量。
L'(u,v)=A(u,v))/(S*F)......(6)
以这种方式,识别控制单元40检测成像区域的光量。此后,与第一实施例类似,基于光量检测结果执行噪声估计,并且将表示估计结果的噪声信息用作选择判定信息。此外,识别处理单元50基于选择判定信息执行区域分割处理,并且针对每个区域选择识别器以执行被摄体识别。
以这种方式,根据第三实施例,即使当信息量由于灰度转换或模拟增益调整而劣化时,也能够执行被摄体识别而不受信息量的劣化的影响。此外,在第三实施例中,与第一实施例类似,可以容易且精确地识别包括在捕获图像中的被摄体。
<5.第四实施例>
在上述第一至第三实施例中,已经例示了利用由相机控制单元30生成的控制信号来检测光量的情况,但是根据识别装置的配置,可以不获取控制信号。例如,在相机单元20和相机控制单元30与识别装置分离设置并且控制信号不能在相机控制单元30和识别控制单元40之间通信的情况下,控制信号不能用作光量相关信息。因此,在第四实施例中,将描述在不使用控制信号的情况下检测成像区域的光量的情况。
图10示出识别装置的第四实施例的配置。相机单元20包括光学系统块21、成像单元22、增益调整单元23、模拟/数字(A/D)转换单元24和灰度转换单元25。
光学系统块21具有光学透镜211和光圈机构212。光学系统块21通过基于从相机控制单元30提供的控制信号移动光学透镜211来执行聚焦操作和变焦操作。此外,光学系统块21基于控制信号驱动光圈机构212,以调整被摄体光学像的光量。
成像单元22生成与被摄体光学像对应的图像信号,并输出到增益调整单元23。此外,成像单元22基于从相机控制单元30提供的控制信号控制成像元件的曝光时段,并以希望的快门速度进行成像。注意,能够通过驱动光学系统块21中设置的快门机构来改变成像操作中的曝光时段。
增益调整单元23对成像单元22生成的图像信号进行模拟增益调整,并输出到A/D转换单元24。A/D转换单元24将模拟增益调整后的图像信号从模拟信号转换为数字信号,并输出到灰度转换单元25。
灰度转换单元25通过使用基于控制信号的转换函数,压缩从A/D转换单元24提供的图像信号的照度灰度。灰度转换单元25将灰度转换后的图像信号输出到识别控制单元40和识别处理单元50。
相机控制单元30生成控制信号并将其提供给相机单元20,以控制相机单元20中的每个单元的操作。
照度检测单元60生成表示成像区域的亮度的成像环境照度信息,并输出到识别控制单元40。
识别控制单元40具有光量检测单元41和噪声估计单元42。光量检测单元41基于从相机单元20提供的灰度转换后的图像信号和从照度检测单元60提供的成像环境照度信息,检测成像区域的光量。
噪声估计单元42基于光量检测单元41的光量检测结果来估计噪声,并且生成表示估计结果的噪声信息。噪声估计单元42将所生成的噪声信息作为选择判定信息输出到识别处理单元50。
识别处理单元50包括识别器选择单元51和多个识别器52-1至52-n。例如,识别处理单元50具有能够从具有较少噪声的捕获图像中以高精度识别被摄体的识别器,以及能够从具有较多噪声的捕获图像中以高精度识别被摄体的识别器。识别器选择单元51基于来自识别控制单元40的选择判定信息执行成像区域的区域分割处理,针对每个分割区域选择识别器,并使用所选择的识别器52-1(52-n)执行基于从相机单元20提供的图像信号的被摄体识别。
在识别装置的第四实施例的操作中,执行与图3所示的第一实施例的操作类似的处理,并且步骤ST2和步骤ST3的处理内容与第一实施例的不同。
在步骤ST2中,识别装置获取光量相关信息。这里,作为光量相关信息,例如,成像环境照度β被用作光量相关信息。此外,信号电平根据成像区域的光量而改变的灰度转换之后的图像信号被用作光量相关信息。识别装置10的识别控制单元40以这种方式获取光量相关信息,并且处理进行到步骤ST3。
在步骤ST3中,识别装置检测光量。识别控制单元40基于在步骤ST2中输出的光量相关信息检测成像区域的光量。
这里,将描述光量检测处理。假设捕获图像中的位置(u,v)的灰度转换后的图像信号是信号值J(u,v),则当成像环境照度近似于图像平均照度时,基于等式(7)计算的光量L'(u,v)表示位置(u,v)处的被摄体的光量。
L'(u,v)=J(u,v))*β......(7)
以这种方式,识别控制单元40检测成像区域的光量。此后,与第一实施例类似,基于光量检测结果执行噪声估计,并且将表示估计结果的噪声信息用作选择判定信息。此外,识别处理单元50基于选择判定信息执行区域分割处理,并且针对每个区域选择识别器以执行被摄体识别。
以这种方式,根据第四实施例,即使在不能从相机控制单元30获取控制信号的情况下,也能够基于由照度检测单元60检测出的成像环境照度和从相机单元20输出的图像信号来检测成像区域的光量。此外,与上述第一实施例等类似,能够基于根据检测出的光量生成的选择判定信息来选择识别器,并能够对成像区域的捕获图像进行被摄体识别处理。此外,在第四实施例中,与第一实施例类似,可以容易且精确地识别包括在捕获图像中的被摄体。
<6.应用示例>
根据本公开的技术可以应用于各种产品。例如,根据本公开的技术可以被实现为装备在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船、机器人、建筑机械或农业机械(拖拉机)的任何类型的移动体上的装置。
图11是示出车辆控制系统7000的示意性配置示例的框图,该车辆控制系统7000是可以应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图11所示的示例中,车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接这些多个控制单元的通信网络7010可以是例如符合诸如控制器局域网(CAN)、局域互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)的任何标准的车内通信网络。
每个控制单元包括:微计算机,其被配置为根据各种程序执行算术处理;存储单元,其存储由微计算机执行的程序、各种操作中使用的参数等;以及驱动电路,其被配置为驱动要控制的各种装置。每个控制单元包括用于经由通信网络7010与其他控制单元通信的网络I/F,以及用于通过有线或无线通信与车辆内部和外部的装置、传感器等通信的通信I/F。图11示出了微计算机7610、通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内装备I/F7660、声音/图像输出单元7670、车载网络I/F7680和存储单元7690作为集成控制单元7600的功能配置。其它控制单元类似地包括微计算机、通信I/F、存储单元等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的动作。例如,驱动系统控制单元7100充当:用于生成车辆的驱动力的驱动力生成装置,诸如内燃机或驱动马达;用于将驱动力传递到车轮的驱动力传递机构;用于调节车辆的转向角的转向机构;以及生成车辆的制动力的控制装置,诸如制动装置。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)的控制装置的功能。
驱动系统控制单元7100与车辆状态检测单元7110连接。车辆状态检测单元7110包括例如检测车体的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器或用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角、发动机转速、车轮转速等的传感器中的至少一个。驱动系统控制单元7100通过使用从车辆状态检测单元7110输入的信号执行运算处理,并控制内燃机、驱动马达、电动助力转向装置、制动装置等。
车身系统控制单元7200根据各种程序控制安装在车体上的各种装置的操作。例如,车身系统控制单元7200充当无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、尾灯、刹车灯、转向指示灯或雾灯的各种灯的控制装置。在这种情况下,可以向车身系统控制单元7200输入从代替钥匙的便携式装置发送的无线电波或各种开关的信号。车身系统控制单元7200接收这些无线电波或信号的输入,并且控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如,从包括二次电池7310的电池装置向电池控制单元7300输入诸如电池温度、电池输出电压或电池的剩余容量的信息。电池控制单元7300通过使用这些信号执行运算处理,并且执行二次电池7310的温度控制或设置在电池装置中的冷却装置等的控制。
车外信息检测单元7400检测与装备有车辆控制系统7000的车辆的外部有关的信息。例如,车外信息检测单元7400与成像单元7410或车外信息检测器7420中的至少一个连接。成像单元7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机或其他相机中的至少一个。车外信息检测器7420包括例如用于检测当前天气或气象现象的环境传感器,或用于检测装备有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。
环境传感器可以是例如检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器或检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达装置、或光检测和测距或激光成像检测和测距(LIDAR)装置中的至少一个。成像单元7410和车外信息检测器7420可以作为独立的传感器或装置单独地设置,或者可以作为其中集成了多个传感器或装置的装置来设置。
在此,图12示出成像单元7410和车外信息检测单元7420的安装位置的示例。成像单元7910、7912、7914、7916和7918设置在例如车辆7900的前鼻、侧视镜、后保险杠、后门或车厢内的挡风玻璃的上部的至少一个位置处。设置在前鼻的成像单元7910和设置在车厢内的挡风玻璃的上部的成像单元7918主要获取车辆7900前方的图像。设置在侧视镜的成像单元7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门的成像单元7916主要获取车辆7900后面的图像。在车厢内的挡风玻璃的上部设置的成像单元7918主要用于前行车辆、行人、障碍物、信号灯、交通标识、车道等的检测。
注意,图12示出了成像单元7910、7912、7914和7916中的每一个的成像范围的示例。成像范围A表示设置在前鼻的成像单元7910的成像范围,成像范围B和C表示分别设置在侧视镜的成像单元7912和7914的成像范围,并且成像范围D表示设置在后保险杠或后门的成像单元7916的成像范围。例如,通过将由成像单元7910、7912、7914、7916捕获到的图像数据重叠,能够获得从上方观察到的车辆7900的俯瞰图像。
在车辆7900的前方、后方、侧方、角落以及车厢内的挡风玻璃的上部设置的车外信息检测单元7920、7922、7924、7926、7928、7930例如可以是超声波传感器或雷达装置。在车辆7900的前鼻、后保险杠、后门、车厢内的挡风玻璃的上部设置的车外信息检测单元7920、7926、7930例如可以是LIDAR装置。这些车外信息检测单元7920至7930主要用于前行车辆、行人、障碍物等的检测。
返回图11,将继续描述。车外信息检测单元7400使成像单元7410捕获车辆外部的图像,并接收捕获图像数据。此外,车外信息检测单元7400从所连接的车外信息检测器7420接收检测信息。在车外信息检测单元7420是超声波传感器、雷达装置或LIDAR装置的情况下,车外信息检测单元7400使超声波、电磁波等发射,并接收所接收的反射波的信息。车外信息检测单元7400可以基于接收到的信息,执行针对人、车辆、障碍物、标识、路面上的文字等的物体检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息,执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息,计算与车辆外部的物体之间的距离。
此外,车外信息检测单元7400可以基于接收到的图像数据,执行用于识别人、车辆、障碍物、标识、路面上的文字等的图像识别处理或距离检测处理。车外信息检测单元7400可以对接收到的图像数据执行诸如失真校正或位置调整的处理,并且可以将由不同的成像单元7410捕获到的图像数据合成,以生成俯瞰图像或全景图像。车外信息检测单元7400可以使用由不同的成像单元7410捕获的图像数据来执行视点转换处理。
车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测单元7510连接。驾驶员状态检测单元7510可以包括捕获驾驶员的图像的相机、检测驾驶员的生物信息的生物传感器、收集车厢内的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等上,并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息,计算驾驶员的疲劳度或专注度,或者判定驾驶员是否睡着。车内信息检测单元7500可以对收集到的音频信号进行诸如噪声去除处理的处理。
集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。集成控制单元7600与输入单元7800连接。输入单元7800例如由诸如触摸面板、按钮、麦克风、开关或控制杆的可由乘客操作的装置来实现。可以向集成控制单元7600输入通过对经由麦克风输入的声音进行声音识别而获得的数据。输入单元7800可以是例如使用红外线或其他无线电波的远程控制装置,或者可以是与车辆控制系统7000的操作兼容的外部连接装备,诸如移动电话或个人数字助理(PDA)。输入单元7800可以是例如相机,在这种情况下,乘客可以通过手势输入信息。或者,可以输入通过检测由乘客穿戴的可穿戴装置的移动而获得的数据。此外,输入单元7800可以包括例如输入控制电路等,其被配置为使用上述输入单元7800基于乘客等输入的信息生成输入信号,并输出到集成控制单元7600。通过操作输入单元7800,乘客等将各种数据输入到车辆控制系统7000,并且指示处理操作。
存储单元7690可包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外,存储单元7690可由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等实现。
通用通信I/F7620是作为与存在于外部环境7750中的各种装备进行通信的中介的通用通信I/F。通用通信I/F7620可以实现诸如全球移动通信系统(GSM(注册商标))、WiMAX(注册商标)、长期演进(LTE(注册商标))或LTE-高级(LTE-A)的蜂窝通信协议,或者诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标)的其他无线通信协议。例如,经由基站或接入点,通用通信I/F7620可以连接到存在于外部网络(例如,因特网、云网络或对于运营商唯一的网络)上的装备(例如,应用服务器或控制服务器)。此外,例如,通用通信I/F7620可以使用对等(P2P)技术来连接到存在于车辆附近的终端(例如,驾驶员、行人或商店的终端,或机器类型通信(MTC)终端)。
专用通信I/F7630是支持为了在车辆中使用而建立的通信协议的通信I/F。专用通信I/F7630可以实现标准协议,例如,作为下层IEEE802.11p和上层IEEE1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F7630通常执行V2X通信,其是包括车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信和车辆与行人间通信中的一个或多个的概念。
定位单元7640接收例如来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如,来自GPS卫星的全球定位系统(GPS)信号)以执行定位,并且生成包括车辆的纬度、经度和高度的位置信息。注意,定位单元7640可以通过与无线接入点进行信号交换来指定当前位置,或者可以从诸如移动电话、PHS、智能手机的具有定位功能的终端获取位置信息。
信标接收单元7650接收例如从安装在道路上的无线台等发送的无线电波或电磁波,并且获取诸如当前位置、交通堵塞、交通封闭、所需时间等的信息。注意,信标接收单元7650的功能可以包括在上述专用通信I/F7630中。
车内装备I/F7660是作为微计算机7610和存在于车辆内部的各种车内装备7760之间的连接的中介的通信接口。车内装备I/F7660可以通过使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外,车内装备I/F7660可以经由连接端子(未示出)(以及如果需要的话,经由线缆)与通用串行总线(USB)、高清晰度多媒体接口(HDMI,注册商标)、移动高清晰度链路(MHL)等建立有线连接。车内装备7760可以包括例如乘客所拥有的移动装置或可穿戴装置、或者车辆中携带的或附接到车辆的信息装备中的至少一个。此外,车内装备7760可以包括搜索到任何给定目的地的路线的导航装置。车内装备I/F7660与这些车内装备7760交换控制信号或数据信号。
车载网络I/F7680是作为微计算机7610和通信网络7010之间的通信的中介的接口。车载网络I/F7680根据通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内装备I/F7660或车载网络I/F7680中的至少一个获取的信息,根据各种程序来控制车辆控制系统7000。例如,微计算机7610可以基于所获取的关于车辆内部和外部的信息来操作驱动力生成装置、转向机构或制动装置的控制目标值,并且向驱动系统控制单元7100输出控制命令。例如,微计算机7610可以执行用于实现包括车辆的碰撞回避或冲击减轻、基于车辆之间的距离的跟随行驶、车速保持行驶、车辆碰撞警告、车辆车道偏离警告等的高级驾驶辅助系统(ADAS)的功能的目的的协作控制。此外,微计算机7610可以通过基于所获取的关于车辆周围的信息控制驱动力生成装置、转向机构、制动装置等来执行用于例如自主行驶而不依赖于驾驶员的自动驾驶的目的操作协作控制。
微计算机7610可以基于经由通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内装备I/F7660或车载网络I/F7680中的至少一个获取的信息,生成车辆与诸如构造物和人的周围物体之间的3D距离信息,并且创建包括车辆的当前位置的周边信息的本地地图信息。此外,基于所获取的信息,微计算机7610可以预测诸如车辆碰撞、行人等接近或者进入封闭道路的危险,以生成警告信号。警告信号可以是例如用于生成警告声音或点亮警告灯的信号。
声音/图像输出单元7670将声音或图像中的至少一个的输出信号发送到能够可视地或可听地向车辆的乘客或车辆外部通知信息的输出装置。在图11的示例中,音频扬声器7710、显示单元7720和仪表板7730被示出为输出装置。显示单元7720可以包括例如板上显示器或平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是除了这些装置之外的其他装置,诸如头戴式耳机、诸如由乘客穿戴的眼镜形显示器的可穿戴装置、投影仪、灯等。在输出装置是显示装置的情况下,显示装置以诸如文本、图像、表格和图形的各种格式可视地显示通过由微计算机7610执行的各种处理获得的结果或从其他控制单元接收的信息。此外,在输出装置是声音输出装置的情况下,声音输出装置将由再现的声音数据、声学数据等形成的音频信号转换成模拟信号,并且可听地输出。
注意,在图11所示的示例中,经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。或者,每个控制单元可以由多个控制单元构成。此外,车辆控制系统7000可以包括未示出的其他控制单元。此外,在上述描述中,由控制单元中的任何一个执行的功能中的一些或全部可以被提供给其他控制单元。也就是说,只要经由通信网络7010发送和接收信息,就可以由任何控制单元执行预定的运算处理。类似地,连接到控制单元中的任何一个的传感器或装置可以连接到其他控制单元,并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
在上述车辆控制系统7000中,本技术可以应用于图11所示的车外信息检测单元7400。以这种方式,当本技术应用于车外信息检测单元7400时,例如,能够通过减少被摄体的亮度的影响来容易地识别车辆外部的被摄体,并且减少驾驶员的疲劳等。此外,能够以高精度获取自动驾驶等所需的信息。
此外,当根据本公开的技术被应用于监视系统时,能够精确地执行识别处理而不管被摄体的亮度如何,并且例如可以精确地监视明亮场所中的人或黑暗场所中的人。
说明书中描述的一系列处理可以由硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下,在计算机的专用硬件中所包含的存储器中安装并执行记录有处理序列的程序。或者,程序可以在可以执行各种处理的通用计算机上安装和执行。
例如,可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)上。或者,程序可以临时或永久地存储(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光(注册商标)盘(BD)、磁盘或半导体存储卡的可移除记录介质中。这种可移除记录介质可以作为所谓的软件包来提供。
此外,除了从可移除记录介质安装到计算机上之外,程序还可以经由诸如局域网(LAN)或因特网的网络以有线或无线方式从下载站点传送到计算机。在计算机中,以这种方式传送的程序可以被接收并安装在诸如内置硬盘的记录介质上。
注意,本说明书中描述的效果仅仅是示例而非限制,并且可以存在未描述的附加效果。此外,本技术不应被解释为限于上述技术的实施例。本技术的实施例以示例的形式公开了本技术,并且显然,本领域技术人员可以在本技术的要旨内修改或替换实施例。换句话说,为了确定本技术的要点,应当考虑权利要求。
此外,本技术的识别装置还可以具有以下配置。
(1)一种识别装置,包括:
识别控制单元,被配置为基于成像区域的光量检测结果来生成选择判定信息;以及
识别处理单元,被配置为通过使用基于由所述识别控制单元生成的所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理。
(2)根据(1)所述的识别装置,其中
所述识别控制单元基于所述光量检测结果执行噪声估计,并使用噪声估计结果作为所述选择判定信息。
(3)根据(2)所述的识别装置,其中
所述识别处理单元在基于所述选择判定信息判定噪声等于或小于阈值的情况下选择第一识别器,并且在基于所述选择判定信息判定噪声大于阈值的情况下选择比第一识别器更抗噪声的第二识别器。
(4)根据(1)至(3)中任一项所述的识别装置,其中
所述识别处理单元基于所述选择判定信息对捕获图像执行区域划分,并且针对每个划分区域选择识别器。
(5)根据(1)至(3)中任一项所述的识别装置,其中
所述识别控制单元根据获取捕获图像的成像单元的灰度转换切换操作来执行捕获图像的区域划分,并且针对每个划分区域生成选择判定信息。
(6)根据(1)至(5)中任一项所述的识别装置,其中
所述识别控制单元基于用于控制获取捕获图像的成像单元的操作的控制信号和由成像单元生成的图像信号来检测成像区域的光量。
(7)根据(6)所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度、模拟增益调整或灰度转换中的至少任一个的信号。
(8)根据(7)所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度、模拟增益调整和灰度转换的信号,并且
所述图像信号是经过模拟增益调整和灰度转换的信号。
(9)根据(7)所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度和模拟增益调整的信号,并且
所述图像信号是经过模拟增益调整的信号。
(10)根据(7)所述的识别装置,其中
所述控制信号是用于控制光圈和快门速度的信号,并且
所述图像信号是在执行模拟增益调整之前的信号。
(11)根据(1)所述的识别装置,其中
所述识别控制单元基于由成像单元生成的图像信号和由检测成像环境照度的照度检测单元检测到的照度来检测光量。
工业适用性
根据本技术的识别装置、识别方法和程序,基于成像区域的光量检测结果生成选择判定信息,并且使用基于选择判定信息选择的识别器来执行对示出成像区域的捕获图像的被摄体识别处理。因此,可以容易且精确地识别出捕获图像中包括的被摄体。因此,本技术适用于监视周围状况的监视装置、确定周围状况并执行移动控制的移动体装置等。
附图标记列表
10 识别装置
20 相机单元
21 光学系统块
22 成像单元
23 增益调整单元
24 A/D转换单元
25 灰度转换单元
30 相机控制单元
40 识别控制单元
41 光量检测单元
42 噪声估计单元
50 记录处理单元
51 识别器选择单元
52-1至52-n 识别器
60 照度检测单元
211 光学透镜
212 光圈机构
Claims (11)
1.一种识别装置,包括:
识别控制单元,被配置为基于成像区域的光量检测结果来生成选择判定信息;以及
识别处理单元,被配置为通过使用基于由所述识别控制单元生成的所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理,
其中,所述识别控制单元基于由成像单元生成的图像信号和由检测所述成像区域的环境的照度的照度检测单元检测到的照度来检测所述光量,
其中,所述识别处理单元基于所述选择判定信息对捕获图像执行区域划分,并且针对每个划分区域选择一个识别器。
2.根据权利要求1所述的识别装置,其中
所述识别控制单元基于所述光量检测结果执行噪声估计,并使用噪声估计结果作为所述选择判定信息。
3.根据权利要求2所述的识别装置,其中
所述识别处理单元在基于所述选择判定信息判定噪声等于或小于阈值的情况下选择第一识别器,并且在基于所述选择判定信息判定噪声大于阈值的情况下选择比第一识别器更抗噪声的第二识别器。
4.根据权利要求1所述的识别装置,其中
所述识别控制单元根据获取捕获图像的成像单元的灰度转换切换操作来执行捕获图像的区域划分,并且针对每个划分区域生成选择判定信息。
5.根据权利要求1所述的识别装置,其中
所述识别控制单元基于用于控制获取捕获图像的成像单元的操作的控制信号和由成像单元生成的图像信号来检测成像区域的光量。
6.根据权利要求5所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度、模拟增益调整或灰度转换中的至少任一个的信号。
7.根据权利要求6所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度、模拟增益调整和灰度转换的信号,并且
所述图像信号是经过模拟增益调整和灰度转换的信号。
8.根据权利要求6所述的识别装置,其中
所述控制信号是用于控制光圈、快门速度和模拟增益调整的信号,并且
所述图像信号是经过模拟增益调整的信号。
9.根据权利要求6所述的识别装置,其中
所述控制信号是用于控制光圈和快门速度的信号,并且
所述图像信号是在执行模拟增益调整之前的信号。
10.一种识别方法,包括:
由识别控制单元基于成像区域的光量检测结果来生成选择判定信息;以及
由识别处理单元通过使用基于由所述识别控制单元生成的所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理,
其中,由识别控制单元基于由成像单元生成的图像信号和由检测所述成像区域的环境的照度的照度检测单元检测到的照度来检测所述光量,
其中,由识别处理单元基于所述选择判定信息对捕获图像执行区域划分,并且针对每个划分区域选择一个识别器。
11.一种用于使计算机执行识别处理的程序产品,所述程序产品使所述计算机执行:
基于成像区域的光量检测结果来生成选择判定信息的过程;以及
通过使用基于所述选择判定信息而选择的识别器,执行对示出所述成像区域的捕获图像的被摄体识别处理的过程,
其中,基于由成像单元生成的图像信号和由检测所述成像区域的环境的照度的照度检测单元检测到的照度来检测所述光量,
其中,基于所述选择判定信息对捕获图像执行区域划分,并且针对每个划分区域选择一个识别器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-021493 | 2018-02-09 | ||
| JP2018021493 | 2018-02-09 | ||
| PCT/JP2018/042447 WO2019155718A1 (ja) | 2018-02-09 | 2018-11-16 | 認識装置と認識方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111684455A CN111684455A (zh) | 2020-09-18 |
| CN111684455B true CN111684455B (zh) | 2024-11-08 |
Family
ID=67548849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880088309.7A Active CN111684455B (zh) | 2018-02-09 | 2018-11-16 | 识别装置、识别方法和程序产品 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11438517B2 (zh) |
| EP (1) | EP3751512A4 (zh) |
| JP (1) | JP7173056B2 (zh) |
| KR (1) | KR20200119790A (zh) |
| CN (1) | CN111684455B (zh) |
| WO (1) | WO2019155718A1 (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09282452A (ja) * | 1996-04-12 | 1997-10-31 | Omron Corp | 監視装置 |
| JP2017027220A (ja) * | 2015-07-17 | 2017-02-02 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4980970B2 (ja) | 2008-03-26 | 2012-07-18 | 富士重工業株式会社 | 撮像手段の調整装置および物体検出装置 |
| JP5320331B2 (ja) * | 2010-03-17 | 2013-10-23 | 日立オートモティブシステムズ株式会社 | 車載用環境認識装置及び車載用環境認識システム |
| JP5761601B2 (ja) * | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
| JP6266238B2 (ja) | 2013-07-03 | 2018-01-24 | クラリオン株式会社 | 接近物検出システム、及び車両 |
| JP2015035704A (ja) | 2013-08-08 | 2015-02-19 | 株式会社東芝 | 検出装置、検出方法および検出プログラム |
| JP5946970B2 (ja) * | 2013-09-27 | 2016-07-06 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| US9298993B2 (en) * | 2014-02-27 | 2016-03-29 | Xerox Corporation | On-street vehicle parking occupancy estimation via curb detection |
| KR20160020132A (ko) * | 2014-08-13 | 2016-02-23 | 현대모비스 주식회사 | 차량의 인식 시스템 |
| JP6650691B2 (ja) * | 2015-07-02 | 2020-02-19 | キヤノン株式会社 | 撮像装置 |
| KR20180025591A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치 |
-
2018
- 2018-11-16 KR KR1020207021640A patent/KR20200119790A/ko active Pending
- 2018-11-16 EP EP18904631.1A patent/EP3751512A4/en active Pending
- 2018-11-16 US US16/966,041 patent/US11438517B2/en active Active
- 2018-11-16 WO PCT/JP2018/042447 patent/WO2019155718A1/ja not_active Ceased
- 2018-11-16 JP JP2019570304A patent/JP7173056B2/ja active Active
- 2018-11-16 CN CN201880088309.7A patent/CN111684455B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09282452A (ja) * | 1996-04-12 | 1997-10-31 | Omron Corp | 監視装置 |
| JP2017027220A (ja) * | 2015-07-17 | 2017-02-02 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111684455A (zh) | 2020-09-18 |
| US11438517B2 (en) | 2022-09-06 |
| US20200366825A1 (en) | 2020-11-19 |
| JP7173056B2 (ja) | 2022-11-16 |
| EP3751512A4 (en) | 2021-04-07 |
| EP3751512A1 (en) | 2020-12-16 |
| KR20200119790A (ko) | 2020-10-20 |
| WO2019155718A1 (ja) | 2019-08-15 |
| JPWO2019155718A1 (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10957029B2 (en) | Image processing device and image processing method | |
| US20240075866A1 (en) | Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body | |
| JPWO2018163725A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| WO2019155719A1 (ja) | キャリブレーション装置とキャリブレーション方法およびプログラム | |
| CN113614782B (zh) | 信息处理装置、信息处理方法和程序产品 | |
| WO2019116746A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| US11585898B2 (en) | Signal processing device, signal processing method, and program | |
| CN114788257B (zh) | 信息处理装置、信息处理方法、程序、成像装置和成像系统 | |
| CN111587572A (zh) | 图像处理装置、图像处理方法和程序 | |
| EP3669358A1 (en) | Server, method, non-transitory computer-readable medium, and system | |
| JP7160085B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2019215979A1 (ja) | 画像処理装置、車載装置、画像処理方法及びプログラム | |
| KR20210146891A (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| WO2020085101A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| CN111684455B (zh) | 识别装置、识别方法和程序产品 | |
| JP7559748B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7059185B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
| US20230412923A1 (en) | Signal processing device, imaging device, and signal processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |