CN111629192B

CN111629192B - 影像调整方法以及相关影像处理电路

Info

Publication number: CN111629192B
Application number: CN201910146007.7A
Authority: CN
Inventors: 邱仲毅; 黄文聪
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2019-02-27
Filing date: 2019-02-27
Publication date: 2022-05-03
Anticipated expiration: 2039-02-27
Also published as: CN111629192A

Abstract

一种影像调整方法，包含：接收一影像，并且取得从该影像取得三原色值以及红外光值；对该影像区分为多个区块；针对该些区块中每一区块产生分别对应所述三原色值以及红外光值的初始补偿系数；以及对该些区块中每一区块进行以下操作：根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数，以产生该当前区块的调整后补偿系数；以及使用该当前区块的调整后补偿系数来对该当前区块进行红外光串扰补偿。

Description

影像调整方法以及相关影像处理电路

技术领域

本发明是关于一种影像补偿技术，尤其关于对红外光串扰(infrared crosstalk，简称IR Crosstalk)进行补偿的相关技术，适用于三原色红外光感测器(RGBIR sensor)，能针对感测器及镜头不对称性自动计算合适的红外光干扰补偿参数。

背景技术

当环境光线中有IR成分时，都会透过混合型的RGBIr滤波阵列中的IR像素吸收感光，然而在三原色(R、G、B)以及、红外光(IR)光谱中，就会有串扰(crosstalk)现象发生，可参考图1的理想的光谱以及图2的有串扰现象的光谱，这是因为IR与RGB光之间产生了干扰，而造成了图2所示的重叠现象。现今的感测器制造技术并无法有效地阻隔或吸收非来自颜色讯号，因此在具有高度IR成分的光能量时，物体颜色就会受到红外光串扰影响发生色彩偏移的色彩冲淡(color washout)现象。IR光可能来自于视讯系统的人脸辨识系统，也可能来自于偏黄的灯光，例如卤素灯所发出的灯光。

美国专利US 20100289885 A1揭露一种红外光串扰补偿技术，其对输出的R、G、B讯号值分别扣除一定比例的IR讯号值：

R_new＝R_ori-k1×IR_ori

G_new＝G_ori-k2×IR_ori

B_new＝B_ori-k3×IR_ori

IR_new＝IR_ori

其中R_new、G_new、B_new、IR_new分别为调整后的RGB值以及IR值，R_ori、G_ori、B_ori、IR_ori分别为原来的RGB值以及IR值，而k1、k2、k3为使用者根据红外光串扰影响自行设定的固定比例参数。此先前技术的作法只能粗略地去抵销红外光的影响成份，而并非针对实际影响状况去作调整，更有可能造成过度补偿或是RGB的色偏。

此外，以上先前技术的方法是对整个画面的所有画素进行相同程度的补偿，而通常红外光所造成的效应在整个画面上并非均匀分布，故补偿后的画面会显得非常不自然。因此，实有需要一种新颖且比较没有副作用的方法来改善上述问题。

发明内容

本发明的一实施例提供了一种影像调整方法，包含：接收一影像，并且取得从该影像取得三原色(R、G、B)以及红外光(infrared ray，IR)值；对该影像区分为多个区块；针对该些区块中每一区块产生分别对应该R、G、B、IR值的初始补偿系数；以及对该些区块中每一区块进行以下操作：根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数，以产生该当前区块的调整后补偿系数；以及使用该当前区块的调整后补偿系数来对该当前区块进行红外光串扰补偿。

本发明的一实施例提供了一种影像处理电路，包含一储存单元，用以暂存数据；以及一处理器，用以进行以下操作：接收一影像，并且取得从该影像取得R、G、B、IR值；对该影像区分为多个区块；针对该些区块中每一区块产生分别对应该R、G、B、IR值的初始补偿系数；以及对该些区块中每一区块进行以下操作：根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数，以产生该当前区块的调整后补偿系数；以及使用该当前区块的调整后补偿系数来对该当前区块进行红外光串扰补偿。

附图说明

图1是为理想状态下的光谱的示意图；

图2是为有串扰现象的光谱的示意图；

图3A是为根据本发明一实施例的影像补偿方法的流程图；

图3B是根据本发明一实施例的对应图3A的影像处理电路的示意图；

图4是为本发明对影像进行网格分区的示意图；

图5是为特定区块B1与邻近区块的位置关系图；

图6为对应图5的实施例的示意图；

图7是为补偿系数内插法的示意图。

符号说明:

300方法

301、302、304、306、308、310、312步骤

350影像处理电路

352储存单元

354处理器

具体实施方式

在说明书及后续的申请专利范围当中使用了某些词汇来指称特定的元件。所属领域中具有通常知识者应可理解，硬体制造商可能会用不同的名词来称呼同样的元件。本说明书及后续的申请专利范围并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求当中所提及的“包含”是为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。

当摄影机镜头或影像感测器的质量较差时，会使红外光串扰发生不对称的情况，所谓“不对称”是指红外光串扰并非均匀，而是在画面的左右或上下有不对称的分布，严重时也可能会出现上下、左右都产生红外光串扰不对称的情况，使得习知的红外光串扰补偿系数无法适当且无副作用地补偿所产生的红外光串扰。

有鉴于此，本发明提供一种基于网格(grid)的红外光串扰补偿方法，能基于网格的红外光串扰补偿是根据区域性做补偿，即使在红外光串扰严重不对称的情况下也能对整个画面进行适当地补偿。先前技艺揭露的内容并未考虑此情况，整张扣除一样的IR成份时，会让使整张影像颜色产生不均匀现象，

请参考图3A，图3A是为根据本发明一实施例的影像补偿方法300的流程图，请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图3A所示的执行次序来执行。图3A所示的方法可被图3B所示的影像处理电路350所采用，其中影像处理电路350包含储存单元352以及处理器354，储存单元352用以暂存数据，处理器354用以执行影像补偿方法300以及各种相关运算，影像补偿方法300可简单归纳如下：

步骤301：接收影像；

步骤302：对影像进行网格分区；

步骤304：针对该影像产生一组初始补偿系数；

步骤306：找到对应的邻近区块；

步骤308：内插当前画素的补偿系数；

步骤310：补偿系数动态调整(此步骤可视需求来选择是否执行)；

步骤312：使用最终补偿系数做红外光串扰补偿。

本发明提供一种补偿系数的校正方法，其是经由事先校正得到一适合的红外光串扰补偿系数并用校正好的补偿系数去做红外光串扰补偿。校正部分可先取得能够反射IR光的平整黑色材质图卡，接着再使用IR光进行照射，并且拍摄平整黑色图卡影像，以此同一模块影像作补偿系数校正，其中透过拍摄平整黑色图卡影像，可分别取得受IR影响的IR影像以及受IR影响的RGB影像。此校正方式可套用在步骤304以取得较准确的结果，然而，本发明并不限于以上补偿系数校正方法。

步骤302具体的作法可参见图4，图4是为本发明对影像进行网格分区的示意图，其中影像共分为m×n个区块(其中每个的区块的大小为p×q)。

取得每个区块的补偿系数:计算一区块Block(i,j)的R、G、B、IR值以分别取得对应该区块的平均值Ravg(i,j)、Gavg(i,j)、Bavg(i,j)、IRavg(i,j)，其中i、j为区块Block(i,j)的索引值(代表为第i列第j行的区块)，关于这些值的取得方式可参见步骤302的相关说明。取得R、G、B的红外光串扰补偿系数方程式分别为：

k1(i,j)＝A×Ravg(i,j)/IRavg(i,j)

k2(i,j)＝A×Gavg(i,j)/IRavg(i,j)

k3(i,j)＝A×Bavg(i,j)/IRavg(i,j)

其中k1(i,j)、k2(i,j)、k3(i,j)分别为区块Block(i,j)的R、G、B的红外光串扰补偿系数，A为补偿校正系数(范围为0～1浮点数，可根据不同模块做调整)，可依据使用者需求来定义。

步骤306具体的作法可参考图5至图6，图5是为特定区块B1与邻近区块的位置关系图，对应特定区块B1的左上、右上、左下、右下区块索引分别为(i1,j1),(i2,j2),(i3,j3),(i4,j4)，当前画素影像坐标为(x,y)，区块索引取得方式为下列方式，其中p、q分别为该区块的长、宽。

图6为对应图5的一实施例，蓝色点为邻近区块中心点，红色点为当前像素，此实施例中，i1＝2,j1＝3,i2＝2,j2＝4,i3＝3,j3＝3,i4＝3,j4＝4。在取得邻近区块的之后，即可执行步骤308来对补偿系数进行内插以取得当前画素的补偿系数的最终值。请参考图7，图7是为补偿系数内插法的示意图，当前画素(坐标为(x,y))会与邻近区块所接壤的四个顶点作为参考点进行内插，详细作法如下：

(1)计算当前画素与任意相邻两顶点的垂直距离(亦即法线长度)D1～D4，其中D1～D4定义如下：

D1:当前画素至左上、右上顶点之间连线的法线距离(亦可理解为当前画素至上方区块的最短距离)；

D2:当前画素至左下、右下顶点之间连线的法线距离(亦可理解为当前画素至下方区块的最短距离)；

D3:当前画素至左上、左下顶点之间连线的法线距离(亦可理解为当前画素至左侧区块的最短距离)；

D4:当前画素至右上、右下顶点之间连线的法线距离(亦可理解为当前画素至右侧区块的最短距离)。

(2)根据距离内插当前画素补偿系数，详细方程式如下：

k1_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k1(i1,j1)+(D2/(D1+D2))*(D3/(D3+D4))*k1(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*k1(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k1(i4,j4)；

k2_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k2(i1,j1)+(D2/(D1+D2))*(D3/(D3+D4))*k2(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*k2(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k2(i4,j4)；

k3_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k3(i1,j1)+(D2/(D1+D2))*(D3/(D3+D4))*k3(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*k3(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k3(i4,j4)。

其中k1_intp(i,j)、k2_intp(i,j)、k3_intp(i,j)分别为区块Block(i,j)的R、G、B的红外光串扰的内插后补偿系数，k1、k2、k3分别为对应R、G、B的初始补偿系数，(i1,j1)、(i2,j2)、(i3,j3)、(i4,j4)分别为该些邻近区块中的左上、右上、左下、右下区块的区块索引。然而，对于边缘区块或角落区块中的画素而言，则不会使用到4个顶点去进行内插运算。举例来说，角落区块中的画素的内插运算只会考虑单一顶点，而边缘区块中的画素的内插运算只会考虑2个顶点。

步骤310可使用者需求来选择是否执行，可视为额外地套用用户模式来对补偿系数作进一步的调整，以下范例中，α1、α2、α3系分别为R、G、B的角落调整系数，其是针对当前区块与中央区块的距离远近来对补偿系数作进一步的动态调整；β1、β2、β3是为环境调整系数，用以针对不同场景对取得的补偿系数作进一步的动态调整。当场景以及分布位置都考虑时可推得以下方程序：

k1_final＝(k1_center+(k1_intp–k1_center)*α1)*β1；

k2_final＝(k2_center+(k2_intp–k2_center)*α2)*β2；

k3_final＝(k3_center+(k3_intp–k3_center)*α3)*β3。

其中k1_center,k2_center,k3_center分别为中央区块内R、G、B的红外光串扰补偿系数

最后，步骤312中使用最终补偿系数做红外光串扰补偿以产生要输出的R、G、B值，方程式如下：

R_final(x,y)＝R_ori(x,y)-k1_final*IR(x,y)；

G_final(x,y)＝G_ori(x,y)-k2_final*IR(x,y)；

B_final(x,y)＝B_ori(x,y)-k3_final*IR(x,y)；

其中R_final(x,y)、G_final(x,y)、B_final(x,y)分别为最终输出的R、G、B值，R_ori(x,y)、G_ori(x,y)、B_ori(x,y)、IR(x,y)分别为一开始测到的R、G、B、IR值。

综上所述，本发明提供了基于网格的红外光串扰补偿系数自动更正方法、基于网格的红外光串扰补偿方法、以及红外光串扰系数动态调整方法，透过以上方法，本发明能够有效改善先前技术无法适当补偿红外光串扰的问题。此外，本发明所提供的方法除了可用硬体的方式来实现，亦可用软体的方式来实现。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种影像调整方法，包含：

接收一影像，并且从该影像取得三原色R、G、B以及红外光IR值；

对该影像区分为多个区块；

针对该些区块中每一区块产生分别对应该R、G、B、IR值的初始补偿系数；以及

对该些区块中每一区块进行以下操作：

根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数，以产生该当前区块的调整后补偿系数；以及

使用该当前区块的调整后补偿系数来对该当前区块进行红外光串扰补偿，

其中，该红外光串扰补偿是将原R、G、B值扣除补偿系数与IR值的乘积以得到新R、G、B值。

2.根据权利要求1所述的影像调整方法，其中根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数以产生该当前区块的调整后补偿系数的步骤包含：

对该当前区块中每一画素进行以下操作：

计算当前画素与多个邻近区块之间的多个距离；以及

根据该当前画素与该些邻近区块之间的该些距离来对该当前画素的该初始补偿系数进行调整以产生该调整后补偿系数。

3.根据权利要求2所述的影像调整方法，其中根据该当前画素与多个邻近区块之间的该些距离来对该当前画素的该初始补偿系数进行调整以产生该调整后补偿系数的步骤包含：

根据该当前画素与该些邻近区块中每一区块的索引点画素的距离来对该些邻近区块各自的初始补偿系数进行内插运算以产生该当前画素的该调整后补偿系数。

4.根据权利要求3所述的影像调整方法，其中该内插运算以下列方程式表示：

k1_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k1(i1,j1)+(D2/(D1+D2))*

(D3/(D3+D4))*k1(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*

k1(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k1(i4,j4)；

k2_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k2(i1,j1)+(D2/(D1+D2))*

(D3/(D3+D4))*k2(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*

k2(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k2(i4,j4)；以及

k3_intp＝(D2/(D1+D2))*(D4/(D3+D4))*k3(i1,j1)+(D2/(D1+D2))*

(D3/(D3+D4))*k3(i2,j2)+(D1/(D1+D2))*(D4/(D3+D4))*

k3(i3,j3)+(D1/(D1+D2))*(D3/(D3+D4))*k3(i4,j4)；

其中k1__intp、k2__intp、k3__intp分别为对应R、G、B的调整后补偿系数，k1、k2、k3分别为对应R、G、B的初始补偿系数，(i1,j1)、(i2,j2)、(i3,j3)、(i4,j4)分别为该些邻近区块中的左上、右上、左下、右下区块的区块索引，D1、D2、D3、D4分别为该当前画素至该些邻近区块中的上、下、左、右区块的最短距离。

5.根据权利要求1所述的影像调整方法，其中针对该些区块中每一区块产生分别对应R、G、B、IR值的该初始补偿系数的步骤另包含：

进行色彩校正，以分别取得受红外光影响的红外光影像以及受红外光影响的RGB影像，来产生对应R、G、B、IR值的该初始补偿系数。

6.根据权利要求1所述的影像调整方法，其中根据当前区块周围多个邻近区块各自的初始补偿系数来调整该当前区块的初始补偿系数以产生该当前区块的调整后补偿系数的步骤包含：

对该调整后补偿系数进行补偿系数动态调整。

7.根据权利要求6所述的影像调整方法，其中对该补偿系数进行补偿系数动态调整的步骤另包含：

产生响应于该当前区块与该些区块中的一中央区块的距离远近的角落调整系数，以对该补偿系数进行动态调整。

8.根据权利要求7所述的影像调整方法，其中对该补偿系数进行补偿系数动态调整的步骤另包含：

产生当前环境的环境调整系数，来对该补偿系数进行动态调整。

9.根据权利要求8所述的影像调整方法，其中对该补偿系数进行动态调整的方程式如下：

k1_final＝(k1_center+(k1_intp–k1_center)*α1)*β1；

k2_final＝(k2_center+(k2_intp–k2_center)*α2)*β2；以及

k3_final＝(k3_center+(k3_intp–k3_center)*α3)*β3

其中β1、β2、β3分别为对应R、G、B的环境调整系数，k1_center、k2_center、k3_center分别为对应中央区块内R、G、B的红外光串扰补偿系数，k1_intp、k2_intp、k3_intp分别为区块的R、G、B的红外光串扰的内插后补偿系数，α1、α2、α3分别为R、G、B的角落调整系数，k1_final、k2_final、k3_final为最终补偿系数。

10.一种影像处理电路，包含：

一储存单元，用以暂存数据；

一处理器，用以进行以下操作：

对该影像区分为多个区块；

对该些区块中每一区块进行以下操作：