CN104041006B - 图像生成方法以及图像生成设备 - Google Patents

Abstract

图像生成方法用于根据图像传感器所获取到的输入图像来生成输出图像，其中，图像传感器具有多个像素的阵列，各个像素中设置有多个子像素，各个子像素接收穿过摄像光学系统的不同光瞳子区域的光束。该方法包括以下步骤：生成分别与不同光瞳子区域相对应的多个视差图像的步骤；根据摄像光学系统的虚拟成像面、针对各个视差图像进行不同的移位，来生成多个像素移位图像的步骤；以及通过合成处理，根据像素移位图像来生成具有比视差图像的分辨率高的分辨率的输出图像的步骤。

Description

图像生成方法以及图像生成设备

技术领域

本发明涉及一种图像生成方法以及图像生成设备。

背景技术

已经提出一种摄像设备，其摄像镜头的出射光瞳被分割为多个光瞳区域，并且能够同时拍摄与分割出的光瞳区域相对应的多个视差图像。

美国专利4410804公开了一种使用二维图像传感器的摄像设备，在该二维图像传感器中相对于一个像素形成一个微透镜以及多个分割的光电转换器。分割的光电转换器被配置为以使得经由一个微透镜来接收来自摄像镜头的出射光瞳的不同光瞳子区域的光，并且由此进行光瞳分割。根据由于在分割的光电转换器中的光接收而获得的信号，能够生成与分割的光瞳子区域相对应的多个视差图像。日本特开2001-083407公开了通过将由于在分割的光电转换器中的光接收而获得的全部信号相加到一起来生成拍摄图像。

所拍摄的多个视差图像等同于光场(LF)数据，该LF数据是与光强度的空间分布和角度分布相关的信息。Stanford Tech Report CTSR 2005-02，1(2005)公开了一种再聚焦技术，其中通过使用已获取的LF数据在与摄像面不同的虚拟成像面处合成图像，来在摄像之后修改所拍摄图像的聚焦位置。

然而，尽管由于将摄像镜头的出射光瞳分割为多个区域因而能够在上述传统示例中同时获取多个视差图像，但是存在根据视差图像所生成的拍摄图像的空间分辨率低下的问题。

发明内容

考虑到上述问题而作出本发明，并且本发明根据多个视差图像生成具有高空间分辨率的拍摄图像。

根据本发明的第一方面的图像生成方法是一种用于根据图像传感器所获取到的输入图像来生成输出图像的图像生成方法，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束，所述图像生成方法包括以下步骤：基于所述输入图像生成分别与所述不同光瞳子区域相对应的多个视差图像的步骤；根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的移位，来生成多个像素移位图像的步骤；以及通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像的步骤。

此外，根据本发明的第二方面，一种程序使计算机执行上述的图像生成方法的步骤。

此外，根据本发明的第三方面，一种计算机可读取的存储介质存储用于使计算机执行根据上述的图像生成方法的步骤的程序。

此外，根据本发明的第四方面，一种图像生成设备，包括：图像传感器，用于获取输入图像，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束；第一生成部件，用于基于所述输入图像而生成分别与所述不同光瞳子区域相对应的多个视差图像；第二生成部件，用于根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的移位，来生成多个像素移位图像；以及合成部件，用于通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的实施例的摄像设备的示意结构图。

图2是示出根据本发明的实施例的像素阵列的示意图。

图3A和3B是根据本发明的实施例的像素的示意平面图和示意截面图。

图4是用于说明根据本发明的实施例的像素和光瞳分割的示意图。

图5是用于说明根据本发明的实施例的图像传感器和光瞳分割的示意图。

图6是根据本发明的实施例能够获取的子像素与角度信息之间的关系的示意图。

图7是用于说明根据本发明的实施例的可再聚焦范围的图。

图8是根据本发明的第一实施例的图像生成的流程图。

图9是用于说明根据本发明的实施例的在视差图像中的像素移位的图。

图10示出根据本发明的实施例的在输出图像与像素移位图像之间的关系表达式的示例。

图11是根据本发明的第二实施例的图像生成的流程图。

具体实施方式

以下将参考附图详细来描述本发明的实施例。

第一实施例

图1是根据本发明的第一实施例的作为具有图像传感器的摄像设备的照相机的结构图。在图1中，附图标记101表示被配置在摄像光学系统的前端的第一透镜组，并且该透镜组被保持为以使得能够在光轴方向上向前和向后移动。附图标记102表示光圈/快门，其不仅通过进行开口直径调节来调节摄像时的光量，还作为用于在静止图像拍摄时调整曝光时间的快门。附图标记103表示第二透镜组。第二透镜组103能够与光圈/快门102一起在光轴方向上向前和向后移动，并且通过与第一透镜组101的向前/向后移动连动地移动来实现变倍效果(变焦功能)。

附图标记105表示第三透镜组，其通过在光轴方向上向前和向后移动来调节焦点。附图标记106表示光学低通滤波器，其是用于减少在所拍摄的图像中出现的伪色和摩尔纹的光学元件。附图标记107表示被配置为二维CMOS光传感器和外围电路的图像传感器，并且该图像传感器被配置在摄像光学系统的成像面上。

附图标记111表示变焦致动器，其通过转动凸轮筒(未示出)来在光轴方向上将元件从第一透镜组101驱动至第三透镜组105，以进行变倍操作。附图标记112表示光圈/快门致动器，其通过控制光圈/快门102的开口直径来调节所拍摄的光量，并且控制在静止图像拍摄中的曝光时间。附图标记114表示调焦致动器，其通过在光轴方向上向前和向后驱动第三透镜组105来调节焦点。

附图标记115表示在摄像时用于被摄体照明的电子闪光灯，并且优选为使用氙管的闪光照明设备，但可以是包括连续发光的LED的照明设备。附图标记116表示AF辅助光设备，其经由投影透镜将具有预定的开口图案的掩模图像投影到被摄体区域，以使得提高针对暗被摄体和低对比度被摄体的焦点检测能力。

附图标记121表示照相机中的CPU，其针对照相机本体进行各种类型的控制，具有运算部、ROM、RAM、A/D转换器、D/A转换器、通信接口电路等，并且基于存储在ROM中的预定程序来驱动照相机中的各种电路。该CPU还执行诸如AF、摄像、图像生成和记录等的一系列操作。CPU 121是本发明的图像生成部件、视差图像生成部件、像素移位图像生成部件以及超分辨率处理部件。

附图标记122表示电子闪光灯控制电路，其进行用于与摄像操作同步地点亮电子闪光灯115的控制。附图标记123表示辅助光驱动电路，其进行用于与焦点检测操作同步地点亮AF辅助光设备116的控制。附图标记124表示图像传感器驱动电路，其对图像传感器107的摄像操作进行控制，并且对获取到的图像信号进行A/D转换并且将转换后的图像信号发送至CPU 121。附图标记125表示图像处理电路，其对图像传感器107所获取的图像进行诸如γ转换、颜色插值和JPEG压缩等的处理。

附图标记126表示调焦驱动电路，其通过基于焦点检测结果来对用于驱动调焦致动器114进行控制以使得在光轴方向上向前和向后移动第三透镜组105来调节焦点。附图标记128表示光圈/快门驱动电路，其通过进行用于驱动光圈/快门致动器112的控制来控制光圈/快门102的开口直径。附图标记129表示变焦驱动电路，其根据由拍摄者进行的变焦操作来驱动变焦致动器111。

附图标记131表示诸如LCD等的显示设备，其显示与照相机拍摄模式有关的信息、摄像之前的预览图像、摄像之后的用于确认的图像、焦点检测时表示聚焦状态的图像等。附图标记132表示操作开关组，其被配置为电源开关、释放(拍摄触发)开关、变焦操作开关、拍摄模式选择开关等。附图标记133表示记录所拍摄的图像的可移除的闪速存储器。

图2是在本实施例的图像传感器中的像素阵列和子像素阵列的示意图。

图2示出在本实施例的二维CMOS传感器(图像传感器)中的像素阵列中的4×4像素阵列范围和子像素阵列中的16×16子像素阵列范围。在面上配置有多个图2所示的4×4像素阵列(16×16子像素阵列)以使得能够获取到图像。本实施例说明的图像传感器具有20μm的像素周期ΔX以及大约220万像素(水平1800列×垂直1200行)的有效像素数N_LF，也就是说，5μm的子像素周期Δx以及大约3460万像素(水平7200列×垂直4800行)的有效子像素数N。

在第一实施例中，在图2所示的2×2像素组200中，将具有G(绿)光谱灵敏度的像素200G配置为对角位置的像素，并且将具有R(红)光谱灵敏度的像素200R和具有B(蓝)光谱灵敏度的像素200B配置为其它两个像素。此外，在各像素中以二维阵列的方式配置N_θ×N_θ个(4×4阵列的)子像素201～216。

图3A是从图像传感器的光接收面侧(+z侧)所见的图2所示的图像传感器中的像素200G中的一个的平面图，并且图3B是沿图3A中的a-a截取的、从-y侧所见的同一像素的截面图。

如图3A和3B所示，本实施例的像素200G设置有用于将入射光聚光至像素的光接收侧上的微透镜305，并且设置有在x方向上被分割为N_θ个区域(4个区域)并且在y方向上被分割为N_θ个区域(4个区域)的光电转换器301～316。光电转换器301～316分别与图2中的子像素201～216相对应。

光电转换器301～316可以是本征层夹在p层与n层之间的pin结构光电二极管，或者在必要时，可以是省略了本征层的pn结光电二极管。

在各像素中，在微透镜305与光电转换器301～316之间形成颜色滤波器306。此外，对于各子像素，可以改变颜色滤波器的光谱透过率，或者在必要时，可以省略颜色滤波器。

入射到图3A和图3B所示的像素200G中的光被微透镜305聚光、被颜色滤波器306滤波，然后被光电转换器301～316接收。

在各光电转换器中，根据接收到的光量来生成电子和空穴对，并且电子和空穴对被耗尽层分离，然后负电荷的电子累积在n层(未示出)中，而空穴经由连接至恒定电压源(未示出)的p层排出到图像传感器外部。

下面说明第一实施例的光瞳分割部件。图4是示出在光瞳分割与光电转换器301～316(子像素201～216)之间的对应关系的示意图。图4是图3A所示的沿a-a截取的、从+y侧所见的像素200G的截面图，并且示出摄像光学系统的出射光瞳面。在图4中，为了与出射光瞳面的坐标轴相对应，截面图中的x轴和y轴与图3A和3B中的相反。

图像传感器被配置在摄像镜头(摄像光学系统)的成像面附近，并且来自被摄体的光束穿过摄像光学系统的出射光瞳400并且入射至各像素。配置有图像传感器的面为摄像面。由于微透镜，光瞳子区域501～516与被分割成N_θ×N_θ个区域(4×4个区域)的光电转换器301～316(子像素201～216)的光接收面为近似共轭关系，并且这些光瞳子区域表示光能够被相对应的光电转换器(子像素)接收的光瞳子区域。摄像光学系统的出射光瞳400被分割为N_p(N_p＝N_θ×N_θ)个不同的光瞳子区域，其中N_p是光瞳分割数。令F为摄像光学系统的光圈值，光瞳子区域的有效光圈值近似为N_θF。此外，光瞳区域500是在对被分割为N_θ×N_θ个区域(4×4个区域)的全部光电转换器301～316(子像素201～216)进行合并的情况下整个像素200G能接收到光的光瞳区域。

以下说明本实施例中的视差图像生成。图5是示出在本实施例的光瞳分割与图像传感器之间的对应关系的示意图。在图像传感器的各像素中，被分割为N_θ×N_θ个区域(4×4个区域)的光电转换器301～316(子像素201～216)各自接收穿过光瞳子区域501～516中不同的光瞳子区域的光束。在本实施例中，通过具有多个像素的阵列的图像传感器来获取输入图像，其中该多个像素各自配置有多个子像素，该多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束。

通过针对各像素选择来自子像素201～216(光电转换器301～316)中的特定子像素的信号，能够获得与摄像光学系统的光瞳子区域501～516中的特定光瞳子区域相对应的视差图像。例如，通过针对各像素选择来自子像素209(光电转换器309)的信号，能够获得与摄像光学系统的光瞳子区域509相对应的视差图像。对于其它子像素也是同样的。基于通过本实施例的图像传感器所获取的输入图像，能够生成分别与不同的光瞳子区域相对应并且具有等于有效像素数的分辨率的多个(光瞳分割数N_p)视差图像。

此外，通过针对各像素将来自子像素201～216的全部信号相加到一起，能够生成具有等于有效像素数的分辨率的拍摄图像。

以下说明可再聚焦范围。图6是根据本实施例子像素与能够获取的角度信息之间的关系的示意图。设定子像素周期Δx以及每个像素的子像素区域的数量N_p＝N_θ×N_θ，则通过ΔX＝N_θΔx得到像素周期ΔX。这里，Δθ为角度分辨率，并且令Θ为摄像光学系统的出射光瞳的估计角，则得到Δθ＝Θ/N_θ。使用旁轴近似(paraxial approximation)，其中F是摄像光学系统的光圈值，则关系表达式N_θF≈1/Δθ近似成立。在入射到像素的全部光束中，子像素212～209分别接收到具有入射角度θ₀～θ₃的光束。入射角度具有角度分辨率Δθ的范围的光束入射到子像素。

图7是用于说明本实施例的可再聚焦范围的示意图。在图7中，通过线段示意性地表示配置在摄像面的图像传感器的像素X_i(i＝0～N_LF-1)。在第i个像素X_i中，子像素接收到以角度θ_a(a＝0～N_Θ-1)入射的光束。来自接收到光的子像素的信号以L_i,a(a＝0～N_Θ-1)表示。通过本实施例的图像传感器，能够获取作为关于光强度的空间分布和角度分布的信息的光场(LF)数据，并且LF数据由分别与如上所述的不同的光瞳子区域相对应的多个视差图像构成。

在摄像之后，能够基于LF数据(多个视差图像)在与配置有图像传感器并且获取子像素L_i,a的摄像面不同的虚拟成像面处生成(进行再聚焦处理)图像。通过将全部子像素信号L_i,a沿各个角度θ_a从摄像面平移至虚拟成像面、将信号分配给虚拟成像面中的虚拟像素然后进行加权相加，能够在虚拟成像面处生成再聚焦图像。加权相加中使用的系数被确定为以使得全部值为正并且总和为1。

在保持分辨率等于有效像素数N_LF的情况下，存在对从摄像面到虚拟成像面的能够再聚焦的距离(最大再聚焦量)d_max的限制，并且该最大再聚焦量d_max由式(1)近似确定。

如图7中所示，当沿着各个角度θ_a平移来自像素X_i的子像素信号L_i,a时，在超过最大再聚焦量d_max的情况下子像素信号L_i,a之间的水平间隔变得大于像素周期ΔX。由于这个原因，在传统的光传输的情况下，因为没有子像素信号L_i,a到达，所以存在信息丢失的区域，而不管该区域是否为应当接收到来自像素Xi所传输的光的区域。

在本实施例中，具有光圈值F的摄像光学系统的出射光瞳在被分割为N_θ×N_θ个光瞳区域的区域中变小，并且光瞳子区域的有效光圈值增大至N_θF。随着焦点深度增大，能够获得具有更宽聚焦范围的视差图像，并且根据这些视差图像能够在虚拟成像面处合成图像。式(1)中的第三项示出在光瞳子区域的有效光圈值N_θF增大并且焦点深度增大的范围内能够进行再聚焦。尽管已经说明了从摄像面在后向聚焦方向上的再聚焦处理，但是同样适用于前向聚焦方向上的再聚焦处理。

以下参考图8的流程图说明用于根据本实施例的输入图像来生成输出图像的图像处理方法。注意，图8的流程图中的操作是由CPU 121来执行的，其中CPU 121是本实施例的图像生成部件、视差图像生成部件、像素移位图像生成部件以及超分辨率处理部件。

在步骤S100中，通过具有多个像素的阵列的图像传感器来获取输入图像，其中各像素中设置有多个子像素(子像素201～216)，该多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束。还可以使用预先由具有上述结构的图像传感器所拍摄并且存储在记录介质中的输入图像。

在步骤S200中，通过针对各像素从输入图像中选择来自子像素201～216中的特定子像素的信号，来生成与摄像光学系统的光瞳子区域501～516中的特定光瞳子区域相对应的视差图像。基于输入图像来生成分别与不同的光瞳子区域相对应并且具有等于有效像素数的分辨率的多个视差图像。

在步骤S300中，通过针对步骤S200中生成的各视差图像，根据与配置有图像传感器的摄像面不同的摄像光学系统的虚拟成像面而进行不同的非整数移位来生成多个像素移位图像。

图9是用于说明在视差图像中的像素移位的图。尽管以下为了简单只说明了x方向，但是同样也适用于y方向。子像素接收到穿过第a个光瞳子区域并且以角度θ_a(a＝0～N_θ-1)入射到摄像面上的x方向上的第i个像素X_i(i＝0～N_LF-1)的光束，并且因此获得子像素信号L_i,a。通过针对各像素选择以第a个角度θ_a入射的子像素信号L_i,a来生成图像，并且该图像是与第a个光瞳子区域相对应的视差图像。

由于在摄像面处的视差图像中不存在像素移位，因此在处于这个状态的情况下不能进行像素移位超分辨率处理。考虑到这一点，在本实施例中，通过针对各视差图像沿着角度θ_a进行到与摄像面不同的虚拟成像面的平移，来生成多个像素移位图像。此时，为了能够使用多个像素移位图像来进行像素移位超分辨率处理，将在摄像面与虚拟成像面之间的距离d设置为以使得水平方向上的移位量为非整数。此外，为了防止分辨率降低，期望在摄像面与虚拟成像面之间的距离d大于0并且小于或者等于最大再聚焦量d_max＝N_pFΔx。

在本实施例中，将在摄像面与虚拟成像面之间的距离d设置为d＝d_max/N_θ＝FΔX。如图9所示，如果将在摄像面与虚拟成像面之间的距离d设置为d＝d_max/N_θ，并且针对各视差图像通过沿着角度θ_a平移来进行像素移位，则能够生成多个像素移位图像，其中在x方向上N_θ个视差图像之间的移位量均等地为ΔX/N_θ。由于容许弥散圆δ大于或者等于像素周期ΔX(δ≥ΔX)，因此关系d≤Fδ成立。这使得能够必然在摄像光学系统的焦点深度Fδ内，通过针对各个视差图像进行非整数移位(移位了像素周期ΔX的非整数1/N_θ倍)，来生成多个像素移位图像。

在步骤S400中，进行超分辨率处理以使得根据在步骤S300中生成的多个像素移位图像来生成分辨率比各视差图像的分辨率高的输出图像。

图9示出本实施例中的在超分辨率处理之后在x方向上的位置μ＝N_θi+a(4i+a)的超分辨率像素x_μ＝x_i,a和超分辨率像素信号l_μ＝l_i,a与在超分辨率处理之前在x方向上的第i个位置的像素X_i和子像素信号L_μ＝L_i,a之间的关系。此时，在超分辨率像素信号l_μ与子像素信号L_μ之间，式(2)的关系式成立。行列式M_μ,μ’是稀疏矩阵。在图10中明确地示出了式(2)。

式(2)是以一维方式排列的超分辨率像素信号l_μ与子像素信号L_μ之间的关系式。给定μ＝N_θi+a以及ν＝N_θj+b(i,j＝0～N_LF-1；a,b＝0～N_θ-1)，式(3)的关系式在以二维方式排列的超分辨率像素信号l_μ,ν与子像素信号L_μ,ν之间成立。行列式M_{μ,ν,μ’,ν’}是稀疏矩阵。在本实施例中，式(3)的关系式与在步骤S300中通过对各视差图像进行非整数移位而生成多个像素移位图像相对应。

相应地，使用行列式M_{μ,ν,μ’,ν’}的逆矩阵M^-1 _{μ,ν,μ’,ν’}，式(4)的关系式在超分辨率像素信号l_μ,ν与子像素信号L_μ,ν之间成立。

在步骤S400中，通过用于求得行列式M_{μ,ν,μ’,ν’}的逆矩阵M^-1 _{μ,ν,μ’,ν’}以及使用式(4)的关系式进行合成的超分辨率处理，来生成输出图像(超分辨率像素信号l_μ,ν)。在必要的情况下可以预先求得逆矩阵M^-1 _{μ,ν,μ’,ν’}。

在本实施例中，超分辨率处理之后x方向上的采样周期为ΔX/N_θ＝Δx，其与子像素周期相同。相应地，通过超分辨率处理能够生成分辨率等于有效子像素数(等于有效像素数的分辨率的N_p＝N_θxN_θ倍)的输出图像。

在必要的情况下，以下的配置是可能的，其中，式(3)和(4)中的超分辨率像素信号l_μ,ν、逆矩阵M^-1 _{μ,ν,μ’,ν’}以及子像素信号L_μ,ν分别进行傅里叶变换，在频率空间进行超分辨率处理，然后进行逆傅里叶变换。

在必要的情况下，可以对输入图像、视差图像、像素移位图像以及输出图像中的一个或者几个的组合进行暗校正、阴影校正、去马赛克处理等。

通过显示设备131来显示通过上述图像生成方法所生成的输出图像。

本实施例是具有用于进行上述图像生成方法的图像生成部件的摄像设备的一个示例。此外，本实施例是具有用于进行上述图像生成方法的图像生成部件的显示设备的一个示例。

根据以上结构，能够根据多个视差图像生成具有高空间分辨率的拍摄图像。

第二实施例

以下参考图11的流程图说明根据本发明的第二实施例的用于根据输入图像来生成输出图像的图像处理方法。注意，图11的流程图中的操作通过CPU 121来执行，其中CPU121是本实施例的图像生成部件、视差图像生成部件、像素移位图像生成部件以及超分辨率处理部件。

到步骤S200中的基于输入图像生成分别与不同的光瞳子区域相对应并且具有等于有效像素数的分辨率的多个视差图像为止的处理与第一实施例中的相同。

在本实施例中，首先，进行x方向上的超分辨率处理，然后进行y方向上的超分辨率处理。与第一实施例相同，将在摄像面与虚拟成像面之间的距离d设置为d＝d_max/N_θ。

首先，在步骤S310中，针对各个“仅x方向”的视差图像进行沿角度θ_a的平移，并且通过进行x方向非整数移位(移位了像素周期ΔX的非整数1/N_θ倍)来生成多个x方向像素移位图像。式(5)的关系式与在步骤S310中通过对各视差图像进行x方向非整数移位而生成多个x方向像素移位图像相对应。

在步骤S410中，通过对超分辨率像素信号l_μ,ν求解式(5)的联立方程式来生成多个x方向超分辨率图像。式(5)可以被明确地描述为式(6a)至(6d)中的递推公式。针对超分辨率像素信号l_μ,ν，可以顺次求解式(6a)至(6d)中的递推公式，并且不需要求得行列式M_μ,μ’的逆矩阵M^-1 _μ,μ’，因此使得能够简化运算处理。按照这种方式，通过步骤S310和S410来进行x方向超分辨率处理。

接着，在步骤S320中，针对各个“仅y方向”的x方向像素移位图像进行沿角度θ_b的平移，并且通过进行y方向非整数移位(移位了像素周期ΔX的非整数1/N_θ倍)来生成多个y方向像素移位图像。与式(6a)至(6d)相同的递推公式在y方向像素移位图像与超分辨率像素信号l_μ,ν之间也成立。

在步骤S420中，针对超分辨率像素信号l_μ,ν，顺次求解表示在y方向像素移位图像与超分辨率像素信号l_μ,ν之间的关系的递推公式，由此生成输出图像(超分辨率像素信号l_μ,ν)。

与第一实施例相同，在本实施例中，超分辨率处理之后x方向上的采样周期也是ΔX/N_θ＝Δx，其与子像素周期相同。相应地，通过超分辨率处理能够生成分辨率等于有效子像素数(等于有效像素数的分辨率的N_p＝N_θ×N_θ倍)的输出图像。其它方面与第一实施例中相同。

根据以上结构，能够根据多个视差图像生成具有高空间分辨率的拍摄图像。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以使得包含所有这类修改、等同结构和功能。

本申请要求2012年1月13日提交的日本专利申请2012-005661的优先权，在此通过引用包含其全部内容。

Claims (7)

1.一种图像生成方法，用于根据图像传感器所获取到的输入图像来生成输出图像，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束，所述图像生成方法包括以下步骤：

基于所述输入图像生成分别与所述不同光瞳子区域相对应的多个视差图像的步骤，

其特征在于，所述图像生成方法还包括以下步骤：

根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的非整数移位，来生成多个像素移位图像的步骤；以及

通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像的步骤，

其中，令F为所述摄像光学系统的光圈值，并且δ为容许弥散圆的直径，则所述摄像面和所述虚拟成像面之间的距离小于或等于焦点深度Fδ。

2.根据权利要求1所述的图像生成方法，其中，令N_p为所述摄像光学系统的不同光瞳子区域的数量，并且Δx为所述子像素的周期，则所述摄像面和所述虚拟成像面之间的距离小于或等于N_pFΔx。

3.根据权利要求2所述的图像生成方法，其中，在对所述多个视差图像各自进行移位时的移位量是Δx。

4.一种图像生成设备，包括：

图像传感器，用于获取输入图像，其中，所述图像传感器具有多个像素的阵列，所述多个像素各自设置有多个子像素，所述多个子像素各自接收穿过摄像光学系统的不同光瞳子区域的光束；以及

第一生成部件，用于基于所述输入图像而生成分别与所述不同光瞳子区域相对应的多个视差图像，

其特征在于，所述图像生成设备还包括：

第二生成部件，用于根据与配置有所述图像传感器的摄像面不同的、所述摄像光学系统的虚拟成像面，针对所述多个视差图像各自进行不同的非整数移位，来生成多个像素移位图像；以及

合成部件，用于通过合成处理，根据所述多个像素移位图像来生成具有比所述多个视差图像的分辨率高的分辨率的输出图像，

其中，令F为所述摄像光学系统的光圈值，并且δ为容许弥散圆的直径，则所述摄像面和所述虚拟成像面之间的距离小于或等于焦点深度Fδ。

5.根据权利要求4所述的图像生成设备，其中，令N_p为所述摄像光学系统的不同光瞳子区域的数量，并且Δx为所述子像素的周期，则所述摄像面和所述虚拟成像面之间的距离小于或等于N_pFΔx。

6.根据权利要求5所述的图像生成设备，其中，在对所述多个视差图像各自进行移位时的移位量是Δx。

7.一种计算机可读取的存储介质，其存储用于使计算机执行根据权利要求1～3中任一项所述的图像生成方法的步骤的程序。