CN105009169B - 用于抑制图像中的天空区域的系统和方法 - Google Patents

Abstract

针对处理图像以降低图像中天空占据的可用输出动态范围的系统和方法，提供了各种技术。例如，根据本公开的一个或多个实施方式，可以基于图像中的地平线的位置来识别图像中可对应于天空的区域或范围。可以分析识别的天空区域中的辐射水平的分布以确定归属于天空区域的动态范围。可以生成和应用压缩归属于天空区域的动态范围的变换函数，从而可以抑制图像中的天空，由此有利地为图像中的地面物体和其他感兴趣物体保留更多的动态范围。

Description

用于抑制图像中的天空区域的系统和方法

相关申请的交叉引用

本申请要求2012年12月21日提交的且题为“SYSTEMS AND METHODS OFSUPPRESSING SKY REGIONS IN IMAGES”的美国临时专利申请No.61/745,440的权益，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月9日提交的且题为“LOW POWER AND SMALL FORM FACTORINFRARED IMAGING”的美国专利申请No.14/101,245的部分连续案，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月6日提交的且题为“NON-UNIFORMITY CORRECTIONTECHNIQUES FOR INFRARED IMAGING DEVICES”的美国专利申请No.14/099,818的部分连续案，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月9日提交的且题为“INFRARED CAMERA SYSTEMARCHITECTURES”的美国专利申请No.14/101,258的部分连续案，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月31日提交的且题为“COMPACT MULTI-SPECTRUM IMAGINGWITH FUSION”的美国临时专利申请No.61/748,018的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2013年3月15日提交的且题为“TIME SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2013年3月15日提交的且题为“INFRARED IMAGING ENHANCEMENT WITHFUSION”的美国临时专利申请No.61/793,952的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月26日提交的且题为“TIME SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月26日提交的且题为“INFRARED IMAGING ENHANCEMENTWITH FUSION”的美国临时专利申请No.61/746,074的权益，通过引用将上述申请的全部内容并入本文中。

技术领域

本发明的一种或多种实施方式大体上涉及成像系统和方法，并且更具体地，例如涉及用于处理图像以优化图像中的动态范围的系统和方法。

背景技术

在许多成像应用(例如，监视摄像机应用、热成像应用和/或摄像机和成像系统的其他应用)中，用户可能对观察地面现象和/或物体更感兴趣(例如，道路、人、车辆、建筑物)，而对地面之上的大气或物体(例如，飞鸟、飞机、云、树顶和/或其他物体)不那么感兴趣。然而，对于常规成像系统所捕获的图像(例如，静止图像和/或视频帧)而言，天空(如果有的话)通常占据了可用动态范围中的一大部分。这可能使得用户难以分辨或识别捕获的图像中感兴趣的物体。

尽管存在调整图像动态范围的常规动态范围压缩算法或自动增益控制(AGC)方法，但这些常规方法不能可靠地抑制图像中的天空(例如，降低天空所占的可用动态范围)。例如由于图像中捕获的天空通常是非均匀的(例如，可能包含大量的场景信息)和/或通常根据大气状况、气候、太阳角度和/或其他条件而展现出不同的性质，这些常规方法不成功。

发明内容

为处理图像以降低图像中天空占据的可用输出动态范围的系统和方法提供了各种技术。例如，根据本公开的一个或多个实施方式，可以基于图像中的地平线的位置来识别图像中可对应于天空的区域或范围。可以分析识别的天空区域中的辐射水平的分布以确定归属于天空区域的动态范围。可以生成和应用压缩归属于天空区域的动态范围的变换函数，从而可以抑制图像中的天空，由此有利地为图像中的地面物体和其他感兴趣物体保留更多的动态范围。

在一种实施方式中，系统包括：存储器，其适于存储包括天空区域和地面区域的场景的图像；及处理器，其适于与存储器通信，该处理器适于：识别图像中的天空区域，分析与图像中的天空区域相关的像素水平的分布，基于像素水平的分布，确定归属于天空区域的动态范围，生成压缩归属于天空区域的动态范围的变换函数，及将变换函数应用于图像的至少一部分。

在另一种实施方式中，方法包括：接收包括天空区域和地面区域的场景的图像；识别图像中的天空区域；分析与图像中的天空区域相关的像素水平的分布；基于像素水平的分布，确定归属于天空区域的动态范围；生成压缩归属于天空区域的动态范围的变换函数；及将变换函数应用于图像的至少一部分。

本发明的范围由权利要求限定，通过引用将权利要求合并至本部分中。通过考虑下文中一个或多个实施方式的详细说明，将给本领域技术人员提供对本发明的实施方式的更全面理解及其额外优势的实现。下文将参考附图，首先简要地介绍附图。

附图说明

图1示出了根据本公开实施例的、被配置为在主机装置中实现的红外成像模块。

图2示出了根据本公开实施例的、装配后的红外成像模块。

图3示出了根据本公开的实施例的、并列的置于插座之上的红外成像模块的分解图。

图4示出了根据本公开的实施例的、包括红外传感器阵列的红外传感器组件的框图。

图5示例了根据该公开实施例的确定非均匀校正(NUC)项的各种操作的流程图。

图6示出了根据本公开实施例的、相邻像素之间的差值。

图7示出了根据本公开实施例的平场校正技术。

图8示出了根据本公开实施例的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施例的时域噪声削减步骤。

图10示例了根据该公开实施例的图8的图像处理流水线的几个过程的具体实施细节。

图11示例了根据该公开实施例的像素的邻近区域中的空间相关的固定图形噪声(FPN)。

图12示出了根据本公开实施例的、包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。

图13示出了根据本公开实施例的、图12的红外传感器组件的一部分的电路图。

图14示出了根据本公开实施方式的用于捕获和/或处理图像的成像系统的框图，成像系统例如红外摄像机。

图15示出了根据本公开实施方式的用于抑制图像中的天空的过程的流程图。

图16A-C示出了根据本公开各种实施方式的图像的天空区域中的红外辐射水平的各种示例性直方图。

图17A示出了根据本公开实施方式的示例性伽马曲线，其实施用于压缩图像中归属于天空区域的动态范围的变换函数。

图17B示出了根据本公开实施方式的示例性分段线性函数，其实施用于压缩图像中归属于天空区域的动态范围的变换函数。

图18A示出了根据本公开另一实施方式的伽马曲线的另一实例，其实施用于压缩图像中归属于天空区域的动态范围的变换函数。

图18B示出了根据本公开另一实施方式的分段线性函数的另一实例，其实施用于压缩图像中归属于天空区域的动态范围的变换函数。

图19示出了根据本公开另一实施方式的分段线性函数的另一实例，其实施用于压缩图像中归属于天空区域的动态范围的变换函数。

图20A示出了根据本公开实施方式的在应用用于压缩图像中归属于天空区域的动态范围的变换函数之前的热图像的示例性截屏。

图20B示出了根据本公开实施方式的通过对图20A中的热图像应用用于压缩图像中归属于天空区域的动态范围的变换函数而获得的处理过的热图像的示例性截屏。

通过参考下面的详细说明，将会更好的理解本发明的实施例及其优点。应当理解的是，相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。

具体实施方式

图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成像模块100(例如，红外摄像机或者红外成像装置)。在一个或者多个实施例中，可根据晶圆级封装技术或者其他封装技术，实现小形状因素的红外成像模块100。

在一个实施例中，可以配置红外成像模块100以在小的便携式主机装置102(诸如手机、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放机或者其它任何适当的移动装置)中实现。在这一点上，红外成像模块100可用于将红外成像特征提供给主机装置102。例如，红外成像模块100可以配置成捕获、处理和/或以其它方式管理红外图像(例如，也被称为图像帧)并将这种红外图像提供给主机装置102以用于任何期望形式(例如，用于进一步处理，以存储在存储器中、显示、由运行于主机装置102的各种应用使用、输出到其它装置或者其它用途)。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100在低电压电平下工作，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量较少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。

处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光摄像机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。

在各种实施例中，可大量生产红外成像模块100和插座104，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小形状因素的装置)中。在一个实施例中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。

图3示出了根据本公开的实施例的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分的装入光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。

例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。

红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微测辐射热计，或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中，可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。

基板140可以包括例如在一个实施例中包括具有小于约5.5mm乘5.5mm尺寸的读出集成电路(ROIC)的各种电路。基板140还可以包括接合垫142，当如图3所示装配红外成像模块100时，接合垫142可用于接触位于外壳120内表面上的补充连接。在一个实施例中，ROIC可以用低压差调压器(LDO)实现以执行电压调节，从而减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比(PSRR)。另外，通过用ROIC实现LDO(例如，在晶片级封装范围内)，可以消耗较少的管芯面积且需要更小的分立管芯(或芯片)。

图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中，红外传感器132作为ROIC 402的单位晶格阵列的一部分。ROIC 402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即，热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到，通过引用的方式将其作为整体合并于此。

红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，处理模块160还可与其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。

当将红外成像模块100装配好后，外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接部件126，下面将对其进行详细描述。

当将红外成像模块100装配好时，电连接部件126(例如，导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施例中，可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时，连接部件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。

在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施例中，电连接部件126可有助于对红外成像模块100产生的热量进行散热。

其他连接可用于其他实施例中。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中，基座150可由任何期望的材料制造，例如，可根据特定应用，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。

红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接部件108，其可与红外成像模块100的相应的电连接部件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，电连接部件108可被机械的压扁，以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施例中，电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施例中。

插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如，焊接连接、搭扣式连接或者其他连接)。在各种实施例中，这种电连接部件可置于插座104的侧面和/或底部。

可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因素应用中减少红外成像模块100的整体尺寸。例如，在一个实施例中，可使用倒装芯片连接部件将处理模块160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124，申请日为2010年7月27日的美国专利申请和申请号为61/469,651，申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如公开号为7,470,902、公开日为2008年12月30日的美国专利，公开号为6,028,309、公开日为2000年2月22日的美国专利，公开号为6,812,465、公开日为2004年11月2日的美国专利，公开号为7,034,301、公开日为2006年4月25日的美国专利，公开号为7,679,048、公开日为2010年3月16日的美国专利，公开号为7,470,904、公开日为2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。

在一些实施方式中，主机装置102可以包括其他部件198，例如非热摄像机(例如，可见光摄像机或者其他类型的非热成像仪)。非热成像摄像机可以是小形状因素成像模块或者成像装置，并在一些实施方式中，可以与本文中公开的红外成像模块100的各种实施方式相类似的方式实施，其中一个或多个传感器和/或传感器阵列响应于非热频谱中的辐射(例如，可见光波长、紫外线波长和/或其他非热波长下的辐射)。例如，在一些实施方式中，非热摄像机可以被实施有电荷耦合装置(CCD)传感器、电子乘法CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器或其他滤波器和/或传感器。

在一些实施方式中，非热摄像机可以与红外成像模块100位于同一位置并且定向成使得非热摄像机的视场(FOV)至少部分叠加红外成像模块100的FOV。在一个实例中，红外成像模块100和非热摄像机可以实施成分享公共基板的双传感器模块，其根据在2012年12月31日提交的美国临时专利申请No.61/748,018中描述的各种技术，通过援引将该申请并入本文。

对于具有非热光摄像机的实施方式，各种部件(例如，处理器195、处理模块160和/或其他处理部件)可以被配置成使红外成像模块100捕获的红外图像(例如，包括热图像)和非热摄像机捕获的非热图像(例如，包括可见光图像)叠加、合并、混合或者要不然合成，无论基本上同时捕获或者不同时捕获(例如，时间上相隔数小时、数天、日间:晚上和/或其他)。

在一些实施方式中，热和非热图像可以被处理成产生合成图像(例如，在一些实施方式中，在这种图像上进行的一个或多个处理)。例如，可以执行基于场景的NUC处理(下文进一步描述)，可以执行真彩色处理，和/或可以执行高对比处理。

关于真彩色处理，可以通过例如根据混合参数将热图像的辐射测定分量和非热图像的对应分量混合而将热图像与非热图像混合，在一些实施方式中，混合参数可以由用户和/或机器调节。例如，可以根据混合参数合成热图像和非热图像的亮度或色度分量。在一个实施方式中，这种混合技术可以被称为真彩色红外影像。例如，在日间成像时，混合图像可以包括非热彩色图像，其包括亮度分量和色度分量，其中其亮度值由来自热图像的亮度值替代。来自热图像的亮度数据的使用使得真非热彩色图像基于物体的温度变量或变暗。这样，这些混合技术提供了日间的热成像或者可见光图像。

关于高对比处理，高空间频率含量可以由热和非热图像中的一个或多个获得(例如，通过执行高通滤波、差分成像和/或其他技术)。合成图像可以包括热图像的辐射测定分量和包括场景的红外(例如，热)特性的混合分量，场景的红外特性根据混合参数与高空间频率含量混合，在一些实施方式中，混合参数可以由用户和/或机器调节。在一些实施方式中，来自非热图像的高空间频率含量可以通过将高空间频率含量叠加在热图像上而与热图像混合，其中高空间频率含量替代或重写热图像的与高空间频率含量存在位置对应的那些部分。例如，高空间频率含量可以包括描绘在场景图像中的物体边缘，但是可以不存在于这些物体的内部。在这种实施方式中，混合图像可以只包括高空间频率含量，其随后可以被编码成合成图像的一个或多个分量。

例如，热图像的辐射测定分量可以是热图像的色度分量，并且高空间频率含量可以来源于非热图像的亮度和/或色度分量。在这种实施方式中，合成图像可以包括辐射测定分量(例如，热图像的色度分量)和高空间频率含量，辐射测定分量编码到合成图像的色度分量，高空间频率含量直接编码(例如，混合图像但是没有热图像贡献)到合成图像的亮度分量。如此，可以保持热图像的辐射测定分量的辐射测定校准。在相似实施方式中，混合图像数据可以包括添加到热图像的亮度分量的高空间频率含量和产生的合成数据，该合成数据编码到产生的合成图像的亮度分量。

例如，以下申请中公开的任何技术都可以用于各种实施方式：2009年6月3日提交的美国专利申请No.12/477,828、2010年4月23日提交的美国专利申请No.12/766,739、2011年5月11日提交的美国专利申请No.13/105,765、2012年4月2日提交的美国专利申请No.13/437,645、2011年4月8日提交的美国临时专利申请No.61/473,207、2012年12月26日提交的美国临时专利申请No.61/746,069、2012年12月26日提交的美国临时专利申请No.61/746,074、2012年12月31日提交的美国临时专利申请No.61/748,018、2013年3月15日提交的美国临时专利申请No.61/792,582、2013年3月15日提交的美国临时专利申请No.61/793,952以及2011年4月21日提交的美国专利申请No.PCT/EP2011/056432，所有这些申请整体通过援引并入本文。本文描述的、或者在其他申请中描述的或者在本文涉及的专利中描述的任何技术都可以应用于任何本文描述各种热装置、非热装置和用途。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施例中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。

备选地，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。

可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873，申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879，申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888，申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此，可根据特定实施的需要，通过本地和/或远程部件来执行本公开所提及的各种操作。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，可对捕获的图像帧进行时域滤波(例如，根据块826的步骤对捕获的图像帧进行时域滤波，本文将根据图8对其进一步描述)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。

在块510，检测到NUC步骤的启动事件。在一个实施例中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用于可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“消除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观的操作主机装置102，以模拟对捕获的图像帧的噪声“消除”。

在另一实例中，如果检测到运动超过了阈值(例如，运动大于正常使用的预期)，则可以用主机装置102发起NUC过程。可以预期是，主机装置102的任何期望类型的空间平移都可用于发起NUC过程。

在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。

在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施例中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施例中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。

在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。

现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，合适的运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量，则可以非常肯定的检测到运动，从而流程图转到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些物体可能不够模糊(例如，场景中的物体与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施例中，只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时，运动传感器194才能检测到运动。

在另一个实施例中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。

可以预期的是，检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热时间常数)与场景移动交互而引起的。

在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对系列图像帧进行累加。做为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续的或者不连续的一系列图像帧进行累加。

在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以我们期望图像帧之间实际的场景信息将会不同，从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。

与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施例中，只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。

在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。

因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。

在块505，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。

在一个实施例中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC 402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。

有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的、相邻像素之间的差值。具体地，在图6中，将像素610与它附近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算，并且得到的平均值可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。

申请号为12/396,340，申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术，通过引用的方式将其作为整体合并于此。

再次参考图5，将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。

在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别这些特征。

例如，可计算模糊图像帧中的局部反差值，或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素是显示FPN)。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所示)。在另一个实施例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。

可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的平均加权值。在一个实施例中，这可表示为：NUCNEW＝λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。

尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如公开号为6,028,309，公开日为2000年2月22日的美国专利；公开号为6,812,465，公开日为2004年11月2日的美国专利；以及申请号为12/114,865，申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所详细示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。

在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，其响应不同的辐射度。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而所述全部值可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的、附近像素中的空间相关的FPN。如采样的图像帧1100所示，像素1110附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确的与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110附近的像素的低通值。在一个实施例中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。

再次参考图5，在块571-573，可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN项)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。

在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573进一步地确定更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3×3像素的N×N内核)，并且可减去得到的结果以进行适当的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如，具有大核的高通滤波器)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。

在各种实施例中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施例中，可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来确定执行这种迭代的决定。

在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用该NUC项。

如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。

图8示出了根据本公开实施例的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC 402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240幅图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64×64的红外传感器阵列)，来实现这样高的帧速率。

在一个实施例中，可以以高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为2011年6月10提交的61/495,879的美国临时专利申请中找到。

通过流水线800处理的图像帧802用于确定各种调整项和增益补偿，其中，由各种项、时域滤波来对所述图像帧802进行调整。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施例中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。

在块818到822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。

在块826，根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR步骤。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施例中，相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施例中。

确定相邻像素803a和803b对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如曲线图809所示，在块807确定的权重值可与平均增量值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动而发生的变化)，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施例中。

在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。

例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均值的变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。

然而，如果该差值的和不为0(例如，在一个实施例中，甚至很接近于0)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较大的权重，而对图像帧802b的像素805b施加较小的权重。

其他实施例也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。

图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施例中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供主机装置102可根据需要使用的结果图像帧830。

图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。

在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525所做的决定表示为决定菱形(decision diamond)，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施例中，通过箭头来表示块535)和平均(块540)。

此外，在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式，以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的技术可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。

其他实施例也是可以考虑的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比，和/或与局部反差值(例如，在块560确定的局部反差值)的大小成反比。

在各种实施例中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。

此外，通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声，可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。

如所讨论的，在各种实施例中，红外成像模块100可被配置为在低电压下工作。特别的，可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100，所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如，移动装置及其他装置)中实现。

例如，图12示出了根据本公开实施例的、包括红外传感器132和低压差稳压器(LDO)1220的红外传感器组件128的另一个实现方式的框图。如图所示，图12还示出了各种部件1202、1204、1205、1206、1208和1210，可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图12还示出了偏压校正电路1212，其可用于对提供给红外传感器132的一个或者多个偏压电压进行调整(例如，以补偿温度改变、自热和/或其他因素)。

在一些实施例中，可将LDO 1220设置为红外传感器组件128的一部分(例如，位于相同的芯片上和/或晶片级封装为ROIC)。例如，可将LDO1220设置为具有红外传感器组件128的FPA的一部分。如所讨论的，这种实现可减少引入到红外传感器组件128中的电源噪声，从而提供改进的PSRR。另外，通过利用ROIC来实现LDO，可消耗较少的模片面积，并且需要较少的分离模片(或者芯片)。

LDO 1220通过馈电线1232接收电源1230提供的输入电压。LDO 1220通过馈电线1222向红外传感器组件128的各种部件提供输出电压。就这方面而言，根据在例如2013年12月9日提交的美国专利申请No.14/101,245中描述的各种技术(其整体通过援引并入本文)，LDO 1220可响应于从电源1230接收到的单输入电压，向红外传感器组件128的各个部件提供基本上相同的调节输出电压。

例如，在一些实施例中，电源1230可提供从大约2.8v到大约11v范围的输入电压(例如，在一个实施例中为大约2.8v)，并且LDO 1220可提供从大约1.5v到大约2.8v范围的输出电压(例如，在一个实施例中大约为2.8、2.5、2.4v，和/或在各种实施方式中较低的电压)。就这方面而言，无论电源1230是被实施有大约9v到大约11v的传统电压范围，还是实施有低电压(例如，大约2.8v)，LDO 1220都可用于提供恒定的调节输出电压。因此，尽管为输入和输出电压提供了多种电压范围，但是可以预期的是，不管输入电压如何变化，LDO 1220的输出电压将会保持不变。

与用于FPA的传统电源相比，将LDO 1220实现为红外传感器组件128的一部分具有很多优点。例如，传统的FPA通常依赖于多个电源，所述多个电源中的每一个可分开的向FPA供电，并且分开的分布于FPA的各个部件。通过由LDO 1220对单电源1230进行调节，合适的电压可分别的提供给(例如，以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源1230的输入电压发生改变(例如，如果由于电池或者用于电源1230的其他类型的装置的充电或者放电而使输入电压增加或者降低)，LDO 1220的使用还使得红外传感器组件128仍能以恒定的方式工作。

图12中示出的红外传感器组件128的各种部件也可实现为在比传统装置使用的电压更低的电压下工作。例如，如所讨论的，LDO 1220可实现为提供低电压(例如，大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比，所述多个较高电压例如为：用于为数字电路供电的大约3.3v到大约5v的电压；用于为模拟电路供电的大约3.3v的电压；以及用于为负载供电的大约9v到大约11v的电压。同样的，在一些实施例中，LDO1220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。

参考图13，可进一步地理解红外传感器组件128的低电压操作的其他方面。图13示出了根据本公开实施例的、图12的红外传感器组件128的一部分的电路图。特别的，图13示出了连接到LDO 1220和红外传感器132的偏压校正电路1212的其他部件(例如，部件1326、1330、1332、1334、1336、1338和1341)。例如，根据本公开的实施例，偏压校正电路1212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件，可进一步地理解这些其他附件的操作，通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128，通过引用的方式将其作为整体合并于此。

在各种实施例中，全部或者部分偏压校正电路1212可实现在如图13所示的整体阵列基础上(例如，用于集中在阵列中的所有红外传感器132)。在其他实施例中，可在单个传感器基础上实现全部或者部分偏压校正电路1212(例如，对每个传感器132都全部或者部分地复制)。在一些实施例中，图13的偏压校正电路1212和其他部件可实现为ROIC 1202的一部分。

如图13所示，LDO 1220向沿着馈电线1222中的一个的偏压校正电路1212提供负载电压Vload。如所讨论的，在一些实施例中，Vload可以大约为2.5v，与此形成对比的是，可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。

基于Vload，偏压校正电路1212在节点1360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路1370(例如，由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中，可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路1370。

每个红外传感器132均包括通过开关电路1370接收Vbolo的节点1350以及可接地的另一个节点1352、基底和/或负参考电压。在一些实施例中，节点1360处的电压与节点1350处的Vbolo基本相同。在其他实施例中，可调整在节点1360处的电压，以补偿与开关电路1370和/或其他因素有关的可能的压降。

可利用通常比传统红外传感器偏压所使用的电压较低的电压来实现Vbolo。在一个实施例中，Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施例中，Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施例中，Vbolo大约为0.5v。相比之下，传统红外传感器通常使用的偏置电压大约为1v。

与传统的红外成像装置相比，根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的，每个红外传感器132的功耗以偏置电压的平方减少。因此，电压的降低(例如，从1.0v降到0.5v)提供了显著的功耗的降低，特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。

根据本公开的其他实施例，提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。就这方面而言，当红外传感器组件128以所描述的低电压工作时，如果不对噪声、自热和/或其他现象进行校正，所述噪声、自热和/或其他现象会在红外传感器组件128所提供的图像帧中变得更加明显。

例如，参考图13，当LDO 1220以本文所述的方式保持在低电压Vload时，Vbolo也将保持在它的相应的低电压，并且可降低它的输出信号的相对尺寸。因此，噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响，从而导致输出信号的变化(例如，错误)。如果不进行校正，这些变化可能表现为图像帧中的噪声。此外，尽管低电压工作可以降低某些现象(例如，自热)的总体数量，但是较小的输出信号可使得残留的误差源(例如，残留的自热)在低电压工作期间对输出信号产生不成比例的影响。

为了补偿这种现象，可利用各种阵列尺寸、帧速率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如，如所讨论的，各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施例中，可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。

有利的是，当利用这种相对小的阵列尺寸实现红外传感器组件128时，所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下，以相对高的帧速率来提供图像帧。例如，在一些实施例中，帧速率的范围可以从大约120Hz到大约480Hz。

在一些实施例中，阵列尺寸和帧速率可以相对于彼此之间增减(例如，以成反比例的方式或者其他方式)，以使得较大的阵列实现为具有较低的帧速率，而较小的阵列实现为具有较高的帧速率。例如，在一个例子中，160×120的阵列可提供大约为120Hz的帧速率。在另一个实施例中，80×60的阵列可提供相应的大约为240Hz的较高的帧速率。其他帧速率也是可以考虑的。

通过缩放阵列尺寸和帧速率相对于彼此的比例，FPA的行和/列的具体读取时间可以保持恒定，与实际的FPA尺寸或帧速率无关。在一个实施方式中，读取时间可以是每行或列大约63微秒。

如之前关于图8的讨论，红外传感器132捕获的图像帧可提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有较低帧速率(例如，大约30Hz、大约60Hz或者其他帧速率)和改进的信噪比的图像帧802(例如，处理后的图像帧)。特别地，通过对由相对小的FPA阵列提供的高帧速率图像帧进行平均，可将图像帧802中由于低电压工作而产生的图像噪声有效地平均和/或显著的减少。因此，红外传感器组件128可以工作在由如所讨论的LDO 1220提供的相对低的电压，并且在帧平均器804对产生的图像帧802进行处理之后，红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。

其他实施例也是可以考虑的。例如，尽管示出了红外传感器132的单个阵列，但是可以预期的是，可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如，一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的，每个这样的阵列均可工作在低电压，并且也可为每个这样的阵列配置相关的ROIC电路，以使得每个阵列仍然可以相对高的帧率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧率图像帧进行平均，以减少和/或消除与低电压工作相关的噪声。因此，当工作在低电压时仍然可获得高分辨率红外图像。

在各种实施例中，可将红外传感器组件128实现为合适的尺寸，以使得红外成像模块100能够与小形状因素插座104(例如，用于移动装置的插座)一起使用。例如，在一些实施例中，可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如，在一个实施例中，大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸，以使得能够与实现为各种尺寸的插座104一起使用，所述插座104的尺寸例如为：8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸，例如，如2011年6月10日提交的美国临时专利申请No.61/495,873的表1所示的那些尺寸，该申请通过援引整体并入本文。

图14示出了根据本公开实施方式的用于捕获和/或处理图像(例如，数字静止图像或视频)的成像系统1400(例如红外摄像机)的框图。例如，如下文进一步描述的，成像系统1400的各种实施方式可以适于执行过程的各种操作，从而抑制图像中的天空。在各种实施方式中，成像系统1400可以包括成像传感器装置1402、处理器1406、存储器1408、定向传感器1410、显示器1412和/或网络接口1414。在各种实施方式中，成像系统1400的部件可以以与图1的主机装置102的相应部件相同或类似的方式来实施。此外，成像系统1400的部件可以配置为执行上述的各种NUC过程。

在一些实施方式中，成像系统1400的各种部件可以是分布式的，并且通过网络1420彼此通信。在这方面，网络接口1414可以配置为辅助成像系统1400的各种部件之间的经由网络1420的有线和/或无线通信。在一些实施方式中，成像系统1400的至少一部分可以利用在网络1420上通过网络接口1414与成像系统1400的各种部件通信的远程装置1416(例如，常规数字视频记录器(DVR)、成像处理计算机、网络摄像机主机装置和/或其他装置)的适当部件来实现。即，举例来说，处理器1406的全部或一部分、存储器1408的全部或一部分、显示器1412的全部或一部分和/或网络接口1414的全部或一部分可以在远程装置1416上实施或再现。在一种实施方式中，例如，远程装置1416(例如，网络摄像机主机装置)可以适于接收从远程放置的成像传感器装置1402(例如，监视摄像机)捕获的图像，以在接收的图像上执行各种图像处理操作，从而如下所述地抑制图像中的天空。应该意识到，在不脱离本公开的范围和精神的情况下，成像系统1400的许多其他分布式实施也是可能的。

在各种实施方式中，成像传感器装置1402可以适于捕获场景的图像(例如，数字静止图像或视频帧)。在一些实施方式中，可以利用上述的包括红外传感器组件128(例如，FPA)的红外成像模块100(例如，热成像仪或红外摄像机)或者其他合适的适于捕获热图像的红外成像设备来实施成像传感器装置1402。因此，在一种实施方式中，如上所述，成像传感器装置1402可以包括适于为FPA提供调节电压的LDO 1220以及适于为FPA的红外传感器132提供偏压的偏压电路1212。在一种或多种实施方式中，成像传感器装置1402捕获的热图像可以包括像素，这些像素具有可以表示与场景中的相应位置相关的红外辐射水平的像素值。

在其他实施方式中，成像传感器装置1402可以替代地或额外地利用适于捕获场景的非热(例如，包括可见光波长、近红外(NIR)波长、短波红外(SWIR)波长、紫外线(UV)波长和/或其他非热波长内的电磁辐射)图像的成像传感器阵列或模块来实施。在这些实施方式中，常规的电荷耦合设备(CCD)传感器、互补金属氧化半导体(CMOS)传感器、电子倍增CCD(EMCCD)传感器、科学级CMOS(sCMOS)传感器或其他传感器可以用于额外地或替代地实施成像传感器装置1402。在一种或多种实施方式中，在成像传感器装置1402处捕获的非热图像可以是可见光图像，其包括像素，这些像素具有可以表示可见光光谱中的辐射的辐射水平(例如，照明度、亮度或可见光强度的其他量值)的像素值。

在一些实施方式中，成像传感器装置1402可以包括光学元件1403(例如，透镜、棱镜、纤维光学器件和/或其他元件)，其适于将来自场景的可见光、红外辐射和/或其他光谱中的辐射收集、导向和/或聚集到成像传感器装置1402的成像传感器阵列上。在各种实施方式中，光学元件1403还可以限定成像传感器装置1402的视场(FOV)1404。例如，场景1440中落入FOV 1404内的一部分可以由成像传感器装置1402捕获为图像1442。在一些实施方式中，光学元件1403可以包括可调节光学元件，例如变焦透镜。根据这些实施方式的光学元件1403可以被调节为改变光学元件1403所提供的FOV 1404。在一种实施方式中，光学元件1403可以包括适于提供涉及光学元件1403的调节的反馈信息(例如，设置在变焦镜头上的焦距)的位置传感器(例如，位置编码器、电位计和/或其他适当的部件)。

在一些实施方式中，成像传感器装置1402可以包括红外成像模块(例如，热成像仪)和非热成像模块(例如，可见光摄像机)，它们可以根据本文引用的各种技术中的任意一种来实施和使用。例如，红外和非热成像模块可以实施为大体上共同放置的非热摄像机，其朝向使得非热摄像机的FOV至少部分地叠加相应红外成像模块的FOV。在这些实施方式中，如本文所述，这些设备捕获的图像和/或图像数据可以被叠加、合并、混合或以其他方式合成。还可以设想具有不止两个成像模块的成像传感器装置1402实施。

在一些实施方式中，成像传感器装置1402可以可选地利用可调节底座1405安装或以其他方式安置在一个位置，从而成像传感器装置1402可以摇动或倾斜以朝着期望方向调节FOV 1404。例如，可调节底座1405可以适于将包围成像传感器装置1402和/或成像系统1400的其他部件的壳体固定或以其他方式附接到适当的结构或位置(例如，墙壁)。在一些实施方式中，可调节底座1405可以包括适于探测成像传感器装置1402相对于安装位置的旋转、平移和/或其他方向变化的位置传感器(例如，位置编码器、电位计和/或其他合适的部件)。在一些实施方式中，可调节底座1405可以包括一个或多个驱动机构(例如，致动器、电机和/或其他适当的设备)，其适于响应于命令信号(例如，来自远程装置1416)摇动、倾斜或以其他方式改变附接的成像传感器装置1402或成像系统1400的朝向。

图14中示出的示例性场景1440可以是包括天空和地面的景观。因此，例如，这种场景1440的捕获图像1442可以包括天空区域1444以及地面区域1446，它们可以在图像1442中的地平线1448的大致位置处被划分。在一些实施方式中，天空区域1444可以被识别为地平线1448之上的允许一些边际1450的区域或范围，如本文进一步描述的。如可以认识到的那样，如果成像传感器装置1402的FOV 1404发生变化，则捕获图像1442中的天空区域1444、地面区域1446以及地平线1448的位置可以改变。

如结合图1的处理器195描述的那样，可以利用任何合适的处理设备来实施处理器1406。在一些实施方式中，本文描述的处理器1406的至少一部分或一些操作可以实施为成像传感器装置1402的一部分，例如，在上文中结合图1描述的处理模块160的一部分处。处理器1406可以适于与摄像机系统1400的其他部件交互和通信，以执行本文描述的操作和处理。

在各种实施方式中，处理器1406可以适于接收由成像传感器装置1402捕获的场景1444的图像1442，并且在接收的图像1442上执行各种成像处理操作以抑制图像1442中的天空，如本文进一步描述的。在一些实施方式中，处理器1406可以适于访问存储在存储器1408中的图像1442以接收捕获的图像1442。在其他实施方式中，处理器1406可以适于接收图像1442并且将图像1442存储在存储器1408中。在一些实施方式中，如上所述的，当在接收的图像1442上执行各种成像处理操作之后，处理器1406可以适于将处理过的图像存储在存储器1408中。

如所讨论的那样，对于既有红外成像模块又有非热成像模块的成像系统1400的实施方式而言，处理器1406可以配置为叠加、合并、混合或以其他方式合成红外成像模块捕获的红外图像(例如，包括热图像)和非热成像模块捕获的非热图像(例如，包括可见光图像)，从而获得具有提升的分辨率和/或对比度的增强的红外图像。

在各种实施方式中，如本文进一步描述的，处理器1406可以包括适于执行用于抑制图像1442中的天空的各种成像处理操作的各种硬件和/或软件模块。在一些实施方式中，软件模块的全部或部分可以是存储在机器可读介质193中的机器可执行的软件指令，并且这些软件指令可以被下载或以其他方式从这种机器可读介质193转移到成像系统1400(例如，到存储器1408中)，以由处理器1406执行。例如，机器可执行的软件指令可以由处理器1406来执行以执行下文描述的过程1500的各种操作。在一些实施方式中，处理器1406可以包括硬件逻辑(例如，利用电路和其他电子部件实施的)，其被配置为执行下述的过程1500的各种操作。在一些实施方式中，过程1500的一些操作可以由处理器1406的硬件逻辑来执行，而过程1500的其他操作可以通过执行软件指令来完成。

存储器1408可以包括一个或多个存储装置或电子机械存储装置和相关的逻辑(例如，以硬件、软件或其组合来实施)，用于存储和访问一个或多个存储器或电子机械存储装置中的数据和信息。一个或多个存储器或电子机械存储装置可以包括各种类似的易失性和非易失性存储器和存储设备，例如，硬盘驱动器、闪存、RAM(随机存取存储器)、EEPROM(电可擦除只读存储器)以及用于存储数据信息的其他装置。在各种实施方式中，存储器1408可以适于存储和访问图像(例如，图像1442)以由成像系统1400进行处理，所述图像由成像传感器装置1402捕获、经由网络接口1414接收和/或以其他方式获取。在一些实施方式中，处理器1406可以适于执行存储在存储器1408中的软件模块，从而执行本文所述的各种操作。

定向传感器1410可以相对于成像传感器装置1402固定，以检测成像传感器装置1402的朝向。例如，定向传感器1410可以附接到或以其他方式安装到成像传感器装置1402或成像系统1400的其他适当部分上，从而获得成像传感器装置1402相对于参考点(例如，相对于地球的地平面或地平线)的倾斜、旋转、高度或其他朝向测量值。在各种实施方式中，可以利用陀螺仪、加速度计、测斜仪、高度计、惯性测量单元(IMU)和/或其他适当的传感器来实施定向传感器1410。例如，利用通过定向传感器1410获得的朝向测量值，处理器1406可以适于计算或以其他方式确定图像1442中的地平线1448的大致位置。

在一些实施方式中，定向传感器1410还可以包括全球定位系统(GPS)接收器和/或电子罗盘。可以利用适于整合到小型电子设备中以提供GPS接收器操作、电子罗盘操作或二者的适当的芯片组或的电子模块来实施GPS接收器和/或电子罗盘。GPS接收器和/或电子罗盘可以用于获得与成像系统1400相关的地理位置信息。

在一些实施方式中，成像系统1400可以包括显示器1412，其可以实施为图像显示设备(例如，液晶显示器(LCD))或各种其他类型的公知视频显示器或监视器。在一些实施方式中，处理器1406可以适于将图像数据(例如，捕获的图像和/或处理的图像)和其他信息显示在显示器1412上。在这个方面，显示器1412可以包括显示逻辑(例如，硬件电路和/或软件程序)，其可以由处理器1406用于显示图像数据和信息。在一些实施方式中，显示器1412可以额外地或替代地在远程装置1416上实施，并且适于经由网络接口1414接收图像数据和信息，从而将图像显示给远离成像传感器装置1402和/或处理器1406的用户。

在一些实施方式中，成像系统1400可以包括网络接口1414，其可以适于处理、管理或以其他方式辅助成像系统1400和外部设备之间，以及成像系统1400的各种部件(例如，包括在远程装置1416中实施的部件)之间通过网络1420和/或其他连接的有线和/或无线通信。在这方面，根据一些实施方式的网络接口1414可以适于利用各种无线和/或有线网络接口、协议和标准来通信。在一种实施方式中，网络接口1414可以包括无线通信部件(例如，基于IEEE 802.11WiFi标准、Bluetooth^TM标准、ZigBee^TM标准或其他适当的近距离无线通信标准)、无线宽带部件(例如，基于WiMax技术)、移动蜂窝部件、无线卫星部件或其他适当的无线通信部件。在一种实施方式中，网络接口1414可以适于经由有线通信部件与有线网络交互，有线通信部件例如电力线调制解调器(例如，支持HomePlug^TM标准)、数字用户线路(DSL)调制解调器、公用交换式电话网(PSTN)调制解调器、以太网接口、电缆调制解调器和/或用于有线通信的其他适当的部件。在一种实施方式中，网络接口1412可以配置成用于专用有线通信协议和接口，和/或用于基于射频(RF)、微波频率(MWF)、红外频率(IRF)和/或其他适当的无线传输技术的专有无线通信协议和接口。

在一些实施方式中，网络接口1414还可以适于支持用于监视摄像机和系统的各种接口、协议和/或标准，例如开放网络视频接口论坛(ONVIF)标准和/或其他标准。因此，举例来说，成像系统1400可以经由网络接口1414控制和/或接收来自其他兼容ONVIF的外部摄像机的图像，将捕获的和/或处理的图像发送至兼容ONVIF的中央监视站，和/或从兼容ONVIF的计算机接收命令和配置。

如上所述，成像系统1400的各种部件可以组合、复制和/或省略，如成像系统1400的特定应用所期望的。在一个实例中，处理器1406可以与成像传感器装置1402、存储器1408、显示器1412和/或网络接口1414组合。在另一实例中，处理器1406的一部分可以与成像传感器装置1402组合或在成像传感器装置1402上实施，并且仅处理器1406的某些功能由成像传感器装置1402内的电路(例如：处理器、微处理器、逻辑装置、微控制器等)执行。在另一实例中，在成像系统1400的固定安装的应用或便携式摄像机应用中可以省略可调节底座1405。在另一实例中，在成像系统1400的独立摄像机应用中可以省略网络接口1414和远程装置1416。

图15示出了根据本公开实施方式的用于抑制图像中的天空的过程1500。例如，过程1500的全部或部分可使用图14的成像系统1400的一个或多个实施方式来执行，以抑制捕获图像中的天空(例如，降低图像中的天空消耗的可用输出动态范围)，从而可以为捕获图像中的地面物体以及其他感兴趣的物体保留更大的动态范围。尽管下文中可以相对于成像系统1400将过程1500作为例子来描述，但应该意识到，其他成像系统或摄像机系统(例如，包括可见光摄像机)可以适于被配置成或用于执行过程1500的全部或部分。

在块1502，可以利用成像传感器装置来捕获场景的图像(例如，数字静止图像或数字视频的帧)。例如，场景以及由此捕获的图像可以包括天空的一部分和地面的一部分。通过实例，包括天空区域1444和地面区域1446的图像1442可以是利用成像传感器装置1402捕获的场景1440。在一些实施方式中，图像1442可以是利用成像传感器装置1402捕获的场景1440的非热图像(例如，可见光图像)，该成像传感器装置利用非热成像模块(例如，具有基于CMOS或CCD的传感器的可见光摄像机)来实施。

在一些实施方式中，图像1442可以是利用成像传感器装置1402捕获的热图像，举例来说，该成像传感器装置1402利用包括上述的红外传感器组件128(例如，FPA)的红外成像模块100的一个或多个实施方式来实施。在这方面，在一些实施方式中，在块1502捕获热图像可以涉及通过获得NUC项并且将它们应用到热图像上而在热图像上执行NUC操作，如上文中结合图5-11描述的以及本文其他地方描述的。在一些实施方式中，在块1502捕获热图像可以涉及利用LDO 1220调节提供给FPA的电压和/或利用偏压电路1212偏压FPA的红外传感器132，如上文中结合图12和13所述的偏置电路1212。

在各种实施方式中，举例来说，如通常用在数字成像中的那样，捕获的图像1442可以利用多个像素来表示，这些像素中的每一个均具有可以表示(例如，与之相关但并不一定直接成比例)与场景中的相应位置相关的辐射水平(例如，入射辐射的功率)的像素值。可选地，在一些实施方式中，与场景相关的辐射水平还可以通过各种常规自动增益控制(AGC)方法、常规的动态范围压缩算法、常规的曝光控制方法或其他常规方法而转化为像素值，从而使与场景相关的辐射水平的范围适配到可用像素值的范围。

因此，对于捕获图像1442可以是场景1440的热图像的实施方式而言，像素值可以表示来自场景1440中相应位置的入射红外辐射的辐射水平，其又可以与和相应位置相关的温度相关。对于捕获图像1442可以是场景1440的可见光图像的实施方式而言，像素值可以表示来自场景1440中的相应位置的入射可见光的辐射水平(也被称为强度水平)。对于彩色可见光图像而言，根据一个或多个实施方式，可以有三个或更多个像素值的通道(例如，红、绿和蓝通道或其他适当的彩色通道)。

在一些实施方式中，例如，通过利用红外成像模块和非热成像模块来实施的成像传感器装置1402的实施方式，热图像和非热图像均可以在块1502被捕获。

如果期望这些实施方式的具体应用的话，则块1502还可以包括叠加、合并、混合或以其他方式合成热图像和非热图像以获得所讨论的增强的热图像。这些合成图像可以具有增强的分辨率和/或对比度，同时保留来自捕获的热图像的至少一些热信息(例如，辐射测定温度信息)。在这些实施方式中，在适用时，过程1500的操作可以在合成图像上执行，或者利用合成图像来执行。即，合成图像中的天空区域可以被抑制以进一步增强合成图像。

可选地，在执行过程1500的操作以抑制天空区域之后，捕获的热图像和非热图像可以被合成。例如，过程1500的块1504-1512可以在捕获的热图像和/或捕获的非热图像上执行，或者利用它们来执行，从而在其中的一者或两者中抑制天空区域，图像可以随后被合成以增强分辨率和/或对比度。

在一些实施方式中，块1502的各种操作可以从过程1500略去。例如，如果图像1442是场景1440的可被提供给成像系统1400的先前捕获的和/或存储的图像，则块1502的操作可以涉及接收(例如，通过网络接口1414)该图像1442，而不是捕获它。因此，过程1500的一些实施方式可以用于在已经捕获的图像上执行各种图像处理操作，以抑制这些图像中的天空，而不会利用成像传感器装置1402捕获图像。

在块1504，在捕获的图像(例如，包括先前捕获的存储的图像)中可以对应于天空的区域或范围(例如一组像素)可以被识别。例如，捕获图像1442中的天空区域1444可以被识别。在各种实施方式中，块1504的用于识别天空区域的操作可以包括确定图像中的地平线(例如地平线1448)的位置。基于地平线的位置，捕获的图像可以被分成地平线之上的天空区域(例如，天空区域1444)以及地平线上或之下的地面区域(例如，地面区域1446)。在一些实施方式中，一些边界(例如，边界1450)可以添加到地平线之上以识别天空区域，从而降低延伸到地平线之上的地面对象被认为属于天空的误分类情况。在一些实施方式中，边界1450可以被适应性地调整(例如，基于图像分析)。在其他实施方式中，边界1450可以是指定的(例如，由用户指定)。

捕获图像中的地平线的位置可以以各种方式来确定。在一些实施方式中，图像中的地平线的位置可以利用定向传感器1410(例如，包括陀螺仪、测斜仪、高度计或其他用于确定相对于地平线或其他参考点的朝向的传感器)来确定，定向传感器可以相对于成像传感器装置1410固定和/或被校准，从而检测和提供地平线在成像传感器装置1402的FOV1404中的相对位置。例如，地平线在图像中的位置可以根据由定向传感器1410检测到的成像传感器装置1402相对于地球的地平面的一个或多个倾斜角度计算出或以其他方式确定。

在一些实施方式中，对于成像传感器装置1402或成像系统1400的特定应用，地平线在捕获图像中的位置可以基于地平线的基线位置来确定。例如，在成像传感器装置1402和/或成像系统1400可以安装在或以其他方式安置在一些位置或安装点(例如，用作监视摄像机、车载摄像机或船载摄像机)的应用中，可以指示或以其他方式提供地平线相对于给定安装位置的基线位置(例如，作为用户输入的像素坐标)。

在这方面，例如，对于摄像机角度/位置在安装后大体上不变的固定安装的应用来说，指示的基线位置可以用作地平线在捕获的图像中的位置。在另一示例性应用中，成像传感器装置1402和/或成像系统1400可以利用可调节底座1405(平摇和倾斜底座)来安装，该可调节底座具有位置编码器、电位计或其他适当的适于提供位置反馈信息的部件。例如，这种位置反馈信息可以包括成像传感器装置1402和/或成像系统1400相对于安装位置的旋转、平移和/或其他方向性变化。在这些应用中，针对地平线在图像中相对于基线位置的任何位置变化，位置反馈信息可以用于计算偏移或以其他方式进行调节。

类似地，在另一实例中，成像传感器装置1402可以包括光学元件1403(例如，变焦透镜)，光学元件1403可以是可调节的并且包括适于提供涉及光学元件的调节的反馈信息(例如，设置在变焦镜头上的焦距)的位置传感器(例如，位置编码器、电位计和/或其他适当的部件)。针对由于光学元件1403提供的FOV 1404的变化而引起的地平线在图像中相对于基线位置的任何位置变化，这种反馈信息可以用于进行调节。

在一些实施方式中，可以通过执行用于检测捕获图像中的地平线的图像分析操作来确定地平线在捕获图像中的位置。根据一个或多个实施方式，各种合适的算法可以用于检测捕获图像中的地平线。例如，图像分析操作可以包括边缘检测算法和/或适当改进以检测一个或多个可能对应于捕获图像中的地平线的线条的线条检测算法(例如，利用Hough变换或其他适当的方法)。

在块1506，辐射水平在识别的天空区域(例如天空区域1444)中的分布可以被分析。例如，可以分析与图像的天空区域相关的像素值(例如，表示辐射水平的值)的统计学性质。在根据一些实施方式的特定实例中，可以在块1506获得这些像素值的直方图。在一些实施方式中，可以通过在多个图像帧上收集和聚集而获得这样的直方图，从而构建与天空区域相关的辐射水平的更精确的直方图。例如，对于在天空区域的识别中可能存在大的误差边际(例如，由于地平线的位置的可变性，例如当用于车载或船载摄像机时)的应用中，待聚集的样本(图像帧)的数量可以相应地增加。根据一些实施方式，其他统计学性质，例如平均值、中值、标准偏差和/或其他性质，可以额外地或替代地被收集。

在块1508，归属于天空区域的动态范围可以基于辐射水平分布的分析来确定。在各种实施方式中，归属于天空区域的动态范围可以是辐射水平在天空区域中是主要的或者以其他方式代表天空区域的范围，其中，该范围可以通过块1508的各种操作来识别。参考图16A-16C，可以更好地理解块1508的各种操作，这些图示出了根据本公开各种实施方式的天空区域中的红外辐射水平(例如，由像素值表示)的示例性直方图。例如，可以根据块1506的分布分析操作的一个或多个实施方式来获得图16A-16C的示例性直方图。尽管在下文中可以结合热图像中的红外辐射水平来描述块1508，但应该意识到块1508的各种操作可以适用于辐射水平、亮度水平或与可见光图像中的像素的强度相关的其他特质。

在图16A的示例性直方图中，根据各种实施方式，可以识别在天空区域中占主导地位(例如，频繁观测的)的红外辐射水平的范围1602A。在各种实施方式中，可以在块1508利用各种统计学标准或统计学分组方法来确定范围1602A。例如，在一些实施方式中，发生频率在绝对阈值或相对阈值(例如，一些参考值的百分比)之上的辐射水平的范围可以被选择为范围1602A。在一些实施方式中，地面区域中的辐射水平的分布也可以被分析以确定范围1602A。例如，在一些实施方式中，用于选择范围1602A的绝对或相对阈值可以至少部分地基于频率、频率的平均值、平均辐射水平和/或地面区域中的辐射水平分布的其他统计学性质。

图16A的示例性直方图中的范围1602A对应于较低的红外辐射水平，其可以指示天空区域比地面区域冷得多。尽管在许多情况下天空比地面冷得多，但也可能存在天空比地面暖得多的情形。例如，冬季气候中的阴天可能比地面暖。图16B示出了可以在天空比地面暖的状况下获得的示例性直方图。在该示例性直方图中，天空区域中占主导地位的辐射水平(例如，通过上述的块1508中的一个或多个操作确定的范围1602B)可以对应于较高的红外辐射水平。在这方面，对于一些实施方式而言，也可以在块1508确定天空区域中的辐射水平大体上低于还是高于地面区域的辐射水平(例如，在利用热图像的实施方式中，天空区域大体上更冷还是更暖)。例如，在一种实施方式中，范围1602A或范围1602B可以与地面区域中的辐射水平的分布进行对比，并且基于该对比，可以指示冷天空状况(如果用于可见光图像则是黑天状况)或暖天空状况(如果用于可见光图像则是晴天状况)。在一些实施方式中，冷(暗)或暖(亮)天空状况的指示可以用于生成适当的变换函数，如本文进一步描述的。

在一些情况下，利用上述的用于各种实施方式的块1508的各种操作，可以识别辐射水平的不止一个范围。在图16C的示例性直方图中，可以利用上述的块1508的各种操作识别两个分离的范围1602C和1604C。例如，范围1602C中的辐射水平可以归属于天空的晴朗部分，而范围1604C中的辐射水平可以归属于天空中的云团、太阳和/或其他物体。因此，在一些实施方式中，块1508的操作可以包括仅选择识别范围中的一个或一些作为归属于天空区域的动态范围。

更具体地，在一些实施方式中，仅最低的识别范围(例如，如果在冷天空状况中)或者最高的识别范围(例如，如果在暖天空状况中)可以被选择为归属于天空区域的动态范围。在图16C的示例性直方图中，范围1602C是最低的识别范围(例如，覆盖较低辐射水平的范围)，并且因此范围1602C，而不是范围1604C，可以根据一些实施方式被选择为归属于天空区域的动态范围。在其他实施方式中，识别范围中的一个或多个可以替代地或额外地基于其他标准来选择，例如，识别范围的总频率计数(例如，可以选择具有最高总频率的范围)，地面区域中的辐射水平的相应频率(例如，可以选择在地面区域中具有最低发生总频率的范围)和/或其他合适的标准。

在块1510，可以生成变换函数，其压缩(例如，映射到更窄的范围)归属于天空区域的动态范围。如本领域内技术人员理解的那样，变换函数可以用于将输入信号或水平映射到期望的输出信号或水平。例如，变换函数可以用于将输入像素值(例如，捕获图像中的)映射到输出像素值以生成期望输出图像。

在各种实施方式中，可以在块1510生成的变换函数可以适于将归属于捕获图像中的天空区域的动态范围映射为输出图像中的较窄范围。在一些实施方式中，生成的变换函数可以是适于将归属于天空区域的动态范围映射到较窄的输出动态范围的非线性函数。在一种实施方式中，非线性变换函数可以是具有指数伽马(γ)的伽马曲线(也被称为伽马变换函数)。例如，伽马曲线可以被表达为幂函数：

Output＝Input^γ (等式1),

其中，指数伽马(γ)可以被选择成使得归属于天空区域的动态范围可被映射到较窄的输出动态范围。如可以意识到的那样，具有相同或相似特点的伽马曲线可以利用不同于等式1的等式来表达。从本公开还可以意识到，各种其他非线性函数也可以适于作为变换函数。这些非线性函数的非限制性实例包括正弦曲线函数(例如正弦或余弦函数)、非线性多项式函数、幂函数或其他适当的非线性函数。在其他实施方式中，生成的变换函数可以是具有两个或更多个部分并且适于将归属于天空区域的动态范围映射到较窄的输出动态范围的分段式线性函数。

参考图17A-19，可以更好地理解块1510处的变换函数的生成，这些附图示出了可以根据本公开各种实施方式生成的各种变换函数的实例。在图17A-19中，输入水平和输出水平都被标准化为1，并且分别被分配给x轴和y轴。图17A示出了根据本公开实施方式的示例性伽马曲线1700A，其被生成为用于压缩归属于天空区域的动态范围的变换函数。在该实例中，输入范围1704可以对应于捕获图像中的归属于天空区域的动态范围，而输入范围1706可以对应于捕获图像中的归属于地面区域和/或其他物体的动态范围。图17A示出了覆盖较低输入水平的示例性输入范围1704，其可以指示天空区域可以比地面区域更冷(或者如果捕获图像是可见光图像时，更暗)，如上所讨论的。

在各种实施方式中，伽马曲线1700A可被生成为具有指数γ，以使得输入范围1704映射到比输入范围1704窄的输出范围1708A。例如，在一些实施方式中，指数γ可以被选择成使得输入范围1704至多映射到一些预定百分比(例如，在图17A中为大约20％)的输出动态范围。在一些实施方式中，指数γ可以被选择成使得输出范围1708A与输入范围1704之间的比率不会超出预定比率(例如，由线1712所表示的预定斜率)。在这些实施方式中，可以从根据一种实施方式选择的映射来获得(例如，计算或以其他方式得出)适当的指数γ。例如，如果要为冷(暗)天空状况生成伽马曲线1700A(例如图17A中示出的实例)，则可以获得大于1的指数γ。

在图17A中，例如，根据一个或多个实施方式生成的伽马曲线1700A可以将占据了输入动态范围的大约60％的输入范围1704映射到仅占据了输出动态范围的大约20％的输出范围1708A。相应地，仅占据输入动态范围的大约40％的输入范围1706(例如，在捕获的图像中归属于地面区域和/或其他物体的动态范围)可以扩展到能够跨越输出动态范围的大约80％的范围1710A。因此，例如，伽马曲线1700A可以有利地扩展用于地面物体和其他感兴趣物体的输出动态范围，从而地面物体或其他感兴趣的物体可以由检视输出图像的用户更加轻易地区分和识别，所述输出图像通过将伽马曲线1700A应用到捕获的图像而生成。

图17B示出了根据本公开另一实施方式的示例性分段式线性函数1700B，其被生成为用于压缩归属于天空区域的动态范围的变换函数。在各种实施方式中，分段式线性函数1700B可以包括多个段。例如，分段式线性函数1700B可以包括如图17所示的段1701和1702，其中，段1701可以适于将输入范围1704(例如，归属于天空区域的动态范围)映射到较窄的输出范围1708B，而段1702可以适于将输入范围1706(例如，在捕获图像中归属于地面区域和/或其他物体的动态范围)映射到扩展的输出范围1710B。

如所示，根据各种实施方式，段1701(例如，映射捕获图像中归属于天空区域的动态范围的段)可以被生成用于抑制归属于天空区域的动态范围，而段1702可以生成为用于反复地扩展在捕获图像中归属于地面区域和/或其他物体的动态范围。例如，在一些实施方式中，段1701的斜率可以被选择成使得输入范围1704至多映射到一些预定百分比(例如，在图17B中为大约20％)的输出动态范围。在一些实施方式中，段1701的斜率可以选择成使得其不超出预定斜率(例如，线1712的斜率)。因此，例如，根据一个或多个实施方式生成的分段式线性函数1700B可以将输入范围1704(其跨越输入动态范围的大约60％)抑制到仅占据输出动态范围的大约20％的输出范围1708B，同时将输入范围1706(其跨越输入动态范围的大约40％)反复扩展到可以占据输出动态范围的大约80％的输出范围1710B，如图17B中的实例所示。

图18A示出了根据本公开另一实施方式的另一示例性伽马曲线1800A，其被生成为用于抑制归属于天空区域的动态范围的变换函数。在该实例中，输入范围1804(覆盖较高输入水平)可以对应于捕获图像中的归属于天空区域的动态范围，而输入范围1806可以对应于捕获图像中的归属于地面区域和/或其他物体的动态范围。输入范围1804和1806因此可以对应于暖天空状况(或者如果用于可见光图像时，明亮天空状况)。相应地，各种实施方式中的伽马曲线1800A可以生成为用于压缩归属于比地面暖的天空区域的输入范围1804，而上述的图17A的伽马曲线1700A可以生成为用于压缩归属于比地面冷的天空区域的输入范围1704。

在各种实施方式中，以类似于生成伽马曲线1700A的方式，伽马曲线1800A可被生成为具有指数γ，以使得输入范围1804映射到比输入范围1804窄的输出范围1808A。然而，由于伽马曲线1800A可以生成为用于抑制比地面暖的天空区域，指数γ可以小于1，从而伽马曲线1800A的形状可以适于抑制较高的输入范围(例如，输入范围1804)。在一些实施方式中，指数γ可以被选择成使得输入范围1804至多映射到一些预定百分比(例如，在图18A中为大约20％)的输出动态范围。在一些实施方式中，指数γ可以被选择成使得输出范围1808A与输入范围1804之间的比率不会超出预定比率(例如，由线1812所表示的预定斜率)。在图18A的所示实例中，根据一个或多个实施方式生成的伽马曲线1800A可以将输入范围1804(其跨越输入动态范围的大约60％)映射到仅占据输出动态范围的大约20％的输出范围1808A，同时将输入范围1806(其跨越输入动态范围的大约40％)反复扩展到可以占据输出动态范围的大约80％的输出范围1810A。

图18B示出了根据本公开另一实施方式的另一示例性分段式线性函数1800B，其被生成为用于压缩归属于天空区域的动态范围的变换函数。在各种实施方式中，分段式线性函数1800B可以适于压缩暖天空状况中的归属于天空区域的动态范围，但以类似于图17B的分段式线性函数1700B的方式生成。例如，根据一个或多个实施方式生成的分段式线性函数1800B可以包括段1801，该段1801可以将输入范围1804(例如，跨越输入动态范围的大约60％)抑制到输出范围1808B(例如，占据输出动态范围的大约20％)，并且还包括段1802，该段1802可以将输入范围1806(例如，跨越输入动态范围的大约40％)反复扩展到输出范围1810B(例如，扩展到输出动态范围的大约80％)，如图18B所示。在各种实施方式中，为了压缩输入范围1804，段1801的斜率可以至多被限制为预定斜率(例如，线1812的斜率)和/或限制为将输入范围1804至多映射至一些预定百分比(例如图18B中的大约20％)的输出动态范围。

图19示出了根据本公开另一实施方式的另一示例性分段式线性函数1900，其被生成为用于压缩归属于天空区域的动态范围的变换函数。在各种实施方式中，分段式线性函数1900可以包括段1901、1902和1903，其中，段1901可以适于将输入范围1904(例如，归属于天空区域的动态范围)映射到较窄的输出范围1908。在各种实施方式中，段1902和1903可以适于将输入范围1906和1907(它们一起可以对应于捕获图像中归属于地面区域和/或其他物体的动态范围)分别映射至扩散的输出范围1910和1911。

即，例如，示出的分段式线性函数1900可以适于在两个分离的输入范围(例如，输入范围1906和1907)可一起对应于归属于地面区域动态范围的情况下压缩归属于天空区域的动态范围(例如，输入范围1904)，但可以以类似于分段式线性函数1700B和1800B的方式来生成。因此，根据各种实施方式，为了压缩输入范围1904，段1901的斜率可以至多被限制为预定斜率(例如，线1912的斜率)和/或限制为将输入范围1904至多映射至一些预定百分比(例如图19中的大约20％)的输出动态范围。在这方面，尽管上文中描述了具有两段或三段的分段式线性函数1700B、1800B、1900，但分段式线性函数1700B、1800B或1900可以适当地被修改以包括任意数量的量，从而根据本公开的范围和精神容纳各种其他模式的输入范围分布。

现在转向过程1500的块1512，生成的变换函数可以应用于捕获的图像以产生处理的(例如，天空被抑制的)图像。例如，在各种实施方式中，根据在块1510生成的变换函数的各种实施方式，捕获的图像中的像素的像素值可以映射到或以其他方式转换成处理的图像中的新像素值。如所讨论的，将生成的变换函数应用到捕获的图像可以有利的减少图像中天空所占据的可用输出动态范围，从而在捕获的图像中有更多的动态范围可以用于地面物体或其他感兴趣的物体。

根据本公开的实施方式，将一个或多个实施方式的变换函数应用到捕获的图像的实例在图20A-20B中示出。更具体地，图20A是捕获的热图像的示例性截屏，并且图20B是处理的(例如，天空被抑制的)热图像的示例性截屏，处理的热图像从捕获的图像通过应用根据一个或多个实施方式生成的变换函数转换得到或以其他方式得到。在图20A的捕获的图像中，可能难以识别或区分感兴趣的物体2002(例如，人)，这是由于例如感兴趣的物体2002和其他地面物体或地面之间的对比度不足。在图20B的处理的图像中，天空区域占据的动态范围可以被减少，而可用于地面和地面物体(例如，包括感兴趣的物体2002)的动态范围可以相应地被扩展，这可以允许感兴趣的物体2002被更加容易的区分或识别。

因此，本文公开的方法和系统的各种实施方式可以有利的抑制图像中的天空(例如，降低图像中的天空占据的可用输出动态范围)，以为图像中的地面物体或其他感兴趣的物体保留更多的动态范围，这例如以通过下述手段来实现：识别图像中的天空区域，分析天空区域中的辐射分布，确定归属于天空区域的动态范围并且生成和应用压缩图像中归属于天空区域的动态范围的变换函数。因此，举例来说，本文公开的各种方法和系统可以包括在或实施为各种设备和系统，这些设备或系统捕获和/或处理静止和/或视频图像(例如，包括热图像)以有利地允许用户更加轻易地识别或认出图像中的地面物体。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

以上所描述的实施例仅为了举例说明，而不是限制本发明。还应当理解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的范围仅由下面的权利要求书限定。

Claims (14)

1.一种系统，包括：

存储器，其适于存储包括天空区域和地面区域的场景的图像；及

处理器，其适于与存储器通信，该处理器适于：

基于来自定向传感器的倾斜测量、来自处理图像的边缘检测信息或由用户提供的像素坐标中的一个或多个，检测图像中的地平线的大致位置，

基于检测的地平线的位置，识别图像中的天空区域，

将对应于天空区域的像素分配为天空区域像素，并且将剩余的像素分配为地面区域像素，

从每个分配的天空区域像素接收表示辐射水平的像素值，

确定接收的像素值的每个像素值的发生频率，

基于从天空区域像素接收的像素值的确定的发生频率，选择具有大于预定阈值频率的发生频率的像素值的一个或多个范围以确定一个或多个归属于天空区域的动态范围，

生成应用于包括天空区域和地面区域的整个图像的变换函数，生成的变换函数被配置为压缩一个或多个归属于天空区域的动态范围，及

将变换函数应用于图像。

2.如权利要求1所述的系统，其中：

变换函数是非线性伽马曲线；及

处理器适于确定伽马曲线的指数，以使得伽马曲线压缩归属于天空区域的动态范围。

3.如权利要求1所述的系统，其中：

变换函数是具有多个线性段的分段式线性函数；及

处理器适于确定线性段的斜率，以使得分段式线性函数压缩归属于天空区域的动态范围。

4.如权利要求1所述的系统，还包括成像传感器装置，其适于捕获场景的图像以及将捕获的图像提供给存储器和/或处理器。

5.如权利要求4所述的系统，其中：

图像是场景的热图像；及

成像传感器装置是热成像仪，其包括红外传感器的焦平面阵列(FPA)并且适于捕获热图像。

6.如权利要求5所述的系统，其中，FPA包括：

低压差稳压器(LDO)，其与FPA集成并且适于响应于外部供应电压提供稳定电压；及

偏压电路，其适于响应于来自LDO的稳定电压为红外传感器提供偏压。

7.如权利要求5所述的系统，其中：

热成像仪适于捕获场景的故意模糊的图像，模糊的图像包括由热成像仪引入的噪声；及

处理器还适于：

利用模糊的图像确定多个非均匀校正(NUC)项，以降低噪声的至少一部分，及

将NUC项应用于热图像。

8.一种方法，包括：

接收包括天空区域和地面区域的场景的图像；

基于来自定向传感器的倾斜测量、来自处理图像的边缘检测信息或由用户提供的像素坐标中的一个或多个，检测图像中的地平线的大致位置，

基于检测的地平线的位置，识别图像中的天空区域；

将对应于天空区域的像素分配为天空区域像素，并且将剩余的像素分配为地面区域像素，

从每个分配的天空区域像素接收表示辐射水平的像素值，

确定接收的像素值的每个像素值的发生频率，

基于从天空区域像素接收的像素值的确定的发生频率，选择具有大于预定阈值频率的发生频率的像素值的一个或多个范围以确定一个或多个归属于天空区域的动态范围；

生成应用于包括天空区域和地面区域的整个图像的变换函数，生成的变换函数被配置为压缩一个或多个归属于天空区域的动态范围；及

将变换函数应用于图像。

9.如权利要求8所述的方法，其中：

变换函数是非线性伽马曲线；及

生成变换函数包括确定伽马曲线的指数，以使得伽马曲线压缩归属于天空区域的动态范围。

10.如权利要求8所述的方法，其中：

变换函数是具有多个线性段的分段式线性函数；及

生成变换函数包括确定线性段的斜率，以使得分段式线性函数压缩归属于天空区域的动态范围。

11.如权利要求8所述的方法，还包括利用成像传感器装置捕获场景的图像。

12.如权利要求11所述的方法，其中：

成像传感器装置是热成像仪，其包括红外传感器的焦平面阵列(FPA)；及

捕获图像包括利用热成像仪捕获场景的热图像。

13.如权利要求12所述的方法，还包括：

在FPA接收外部供应电压；

响应于外部供应电压，利用与FPA集成的低压差稳压器(LDO)提供稳定电压；及

将FPA的偏压电路的偏压提供给FPA的红外传感器，所述偏压响应于来自LDO的稳定电压提供。

14.如权利要求12所述的方法，还包括：

捕获场景的故意模糊的图像，模糊的图像包括由热成像仪引入的噪声；

利用模糊的图像确定多个非均匀校正(NUC)项，以降低噪声的至少一部分，及

将NUC项应用于热图像。