CN103384998B - 摄像装置、及摄像方法 - Google Patents

Abstract

提供一种摄像装置、摄像方法及程序，它们能够在进行对焦包围拍摄时，拍摄容易进行对应点检测的图像，能够实现对应点检测精度的提高。摄像装置具有：自动焦点位置判断单元，其对多个被摄体的各合焦位置进行判断；确定单元，其确定主要被摄体；焦点位置平移单元，其在主要被摄体和非主要被摄体的合焦位置的差大于或等于阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移；拍摄单元，其基于主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置依次拍摄图像；检测单元，其将在主要被摄体的合焦位置拍摄到的图像作为基准图像，在基准图像和非基准图像之间进行被摄体的对应点检测；图像变形单元，其对非基准图像进行变形，以使检测到的对应点的位置一致；以及图像生成单元，其基于基准图像和变形后的非基准图像，生成模糊调整图像。

Description

摄像装置、及摄像方法

技术领域

本申请主张2011年3月31日申请的日本申请第2011－080398号的优先权，并且，通过参照将该申请的全文引用在本说明书中。

本发明涉及摄像装置、及摄像方法。

背景技术

近年来，伴随CCD（Charge Coupled Device）面传感器、CMOS（Complementary Metal Oxide Semiconductor）图像传感器等固体摄像元件的高分辨率化，数字电子静物照相机、数字摄像机、移动电话、PDA（Personal Digital Assistant，移动信息终端）等具有拍摄功能的信息设备的需求骤增。此外，将上述具有拍摄功能的信息设备称为“摄像装置”。

目前，通过对焦包围拍摄对焦点位置不同的多个图像进行拍摄，对于拍摄到的多个图像（对焦包围拍摄图像）进行对应点检测或图像变形，并对于变形后的图像进行合成处理，从而生成景深较深的图像或景深较浅的图像（例如，参照日本特开2008－271240号公报、日本特开2008－271241号公报等）。即，可由对焦包围拍摄图像，得到进行模糊控制的图像或使画面整体上合焦的全焦点图像。

发明内容

但是，由于对焦包围拍摄图像彼此之间焦点位置不同，因此对于每个图像而言，模糊的程度不同。因此，图像之间的相关性较低，容易造成对应点检测失败。这一问题在从极近距离拍摄被摄体、即进行“微距拍摄”等的情况下尤其明显。

本发明就是考虑上述情况而提出的，提供一种在进行对焦包围拍摄时能够拍摄容易进行对应点检测的图像、能够提高对应点检测精度的摄像装置、摄像方法、程序、及程序存储介质。

本发明的第一方式是一种摄像装置，该摄像装置具有：自动焦点位置判断单元，其基于图像数据对多个被摄体的各个合焦位置进行判断；主要被摄体确定单元，其基于所述图像数据确定主要被摄体；焦点位置平移单元，其在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；对焦包围拍摄单元，其基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，在所述基准图像和除了所述基准图像以外的非基准图像之间进行被摄体的对应点检测；图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对于除了所述主要被摄体的区域以外的区域的模糊度进行调整的模糊调整图像。

在第一方式的基础上，与所述非主要被摄体对应的焦点位置平移的平移量也可以设定为，使得表示所述差的物理量不超过第1阈值。

在第一方式基础上，表示所述差的物理量可以是所述主要被摄体的合焦位置和非主要被摄体的合焦位置之间的光轴上距离、在由所述图像数据表示的图像内选择的选择区域的锐度差、以及在由所述图像数据表示的图像内选择的选择区域的频率成分的变化中的至少1个。

在第一方式的基础上，所述图像生成单元也可以包含：滤波特性确定单元，其基于所述基准图像和所述变形后的所述非基准图像，针对每个像素，计算用于对所述基准图像进行模糊处理的滤波特性；以及滤波处理单元，其基于针对各个像素计算出的滤波特性，对所述基准图像进行滤波处理。

也可以在第一方式的基础上，还具有图像处理单元，该图像处理单元在进行所述对应点检测之前，对于所述基准图像及所述非基准图像中的至少一个，实施用于使所述基准图像及所述非基准图像彼此之间的模糊度接近的图像处理。

本发明的第二方式是一种摄像方法，其具有：自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个合焦位置进行判断；主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；焦点位置平移工序，在该工序中，在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，在所述基准图像和除了所述基准图像以外的非基准图像之间进行被摄体的对应点检测；图像变形工序，在该工序中，对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像。

本发明的第三方式是用于使计算机作为下述单元起作用的程序：自动焦点位置判断单元，其基于图像数据对多个被摄体的各个合焦位置进行判断；主要被摄体确定单元，其基于所述图像数据确定主要被摄体；焦点位置平移单元，其在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；对焦包围拍摄单元，其基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像设为基准图像，在所述基准图像和除了所述基准图像以外的非基准图像之间进行被摄体的对应点检测；图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对于除了所述主要被摄体的区域以外的区域的模糊度进行调整的模糊调整图像。

本发明的第四方式是一种计算机可读存储介质，其存储有用于使计算机执行摄像处理的程序，所述摄像处理包含：自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个合焦位置进行判断；主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；焦点位置平移工序，在该工序中，在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，在所述基准图像和除了所述基准图像以外的非基准图像之间进行被摄体的对应点检测；图像变形工序，在该工序中，对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像。

本发明的第五方式是一种摄像装置，具有：自动焦点位置判断单元，其基于图像数据对多个被摄体的各个焦点位置进行判断；主要被摄体确定单元，其基于所述图像数据确定主要被摄体；追加拍摄判断单元，其在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置拍摄至少1张追加图像；对焦包围拍摄单元，其基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对于除了所述主要被摄体的区域以外的区域的模糊度进行调整的模糊调整图像。

在第五方式的基础上，也可以还具有焦点位置平移单元，该焦点位置平移单元在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量大于或等于第3阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移，所述对焦包围拍摄单元进一步基于非主要被摄体的平移后的焦点位置拍摄图像。

在第五方式的基础上，与所述非主要被摄体对应的焦点位置平移的平移量也可以设定为，使得表示所述差的物理量不超过第3阈值。

在第五方式的基础上，表示所述差的物理量也可以是所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的光轴上距离、在由所述图像数据表示的图像内选择的选择区域的锐度差、以及在由所述图像数据表示的图像内选择的选择区域的频率成分的变化中的至少1个。

本发明的第六方式是一种摄像方法，其包含：自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个焦点位置进行判断；主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；追加拍摄判断工序，在该工序中，在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置拍摄至少1张追加图像；对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始、且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；图像变形工序，在该工序中，对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像。

本发明的第七方式是一种用于使计算机作为下述单元起作用的程序：自动焦点位置判断单元，其基于图像数据对多个被摄体的各个焦点位置进行判断；主要被摄体确定单元，其基于所述图像数据确定主要被摄体；追加拍摄判断单元，其在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置拍摄至少1张追加图像；对焦包围拍摄单元，其基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像。

本发明的第八方式是一种计算机可读存储介质，其存储有用于使计算机执行摄像处理的程序，所述摄像处理包含：自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个焦点位置进行判断；主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；追加拍摄判断工序，在该工序中，在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置拍摄至少1张追加图像；对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；图像变形工序，在该工序中，对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；以及图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像。

发明的效果

根据本发明，在进行对焦包围拍摄时，能够拍摄容易进行对应点检测的图像，与现有的对焦包围拍摄相比，能够实现对应点检测的精度提高。

附图说明

图1是表示本发明的第1实施方式所涉及的数字照相机的电气系统的要部结构的一个例子的框图。

图2（A）及（B）是用于说明第1实施方式所涉及的对焦包围拍摄的动作的示意图。

图3是用于说明在第1实施方式所涉及的对焦包围拍摄中使对应点检测变得容易的理由的示意图。

图4是表示第1实施方式所涉及的第1拍摄处理程序的处理流程的流程图。

图5是说明第2实施方式所涉及的阈值设定方法的示意图。

图6是表示第2实施方式所涉及的第2拍摄处理程序的处理流程的流程图。

图7是说明第3实施方式所涉及的阈值设定方法的示意图。

图8是表示第3实施方式所涉及的第3拍摄处理程序的处理流程的流程图。

图9是用于说明第4实施方式所涉及的第4拍摄处理程序的处理内容的示意图。

图10是表示第4实施方式所涉及的第4拍摄处理程序的处理流程的流程图。

图11（A）及（B）是用于说明第4实施方式所涉及的数字照相机中的模糊量确定步骤的概略图。

图12是用于说明第5实施方式所涉及的对焦包围拍摄的原理的示意图。

图13是表示第5实施方式所涉及的第5拍摄处理程序的处理流程的流程图。

图14是表示第5实施方式所涉及的第5拍摄处理程序的处理流程的流程图。

图15是表示第5实施方式所涉及的第5拍摄处理程序的处理流程的流程图。

图16是表示第5实施方式所涉及的第5拍摄处理程序的处理流程的流程图。

图17是表示第5实施方式所涉及的第5拍摄处理程序的处理流程的流程图。

具体实施方式

下面，参照附图，对用于实施本发明的方式详细地进行说明。此外，在这里，对于将本发明应用于进行静止图像拍摄的数字电子静物照相机（以下称为“数字照相机”）的情况进行说明。

[第1实施方式]

（数字照相机的要部结构）

首先，参照图1，对本实施方式所涉及的数字照相机10的电气系统的要部结构进行说明。如图1所示，本实施方式所涉及的数字照相机10包含拍摄被摄体的图像的摄像系统20而构成。摄像系统20构成为，包含：光学单元22，其构成为包含用于使被摄体像成像的透镜；固体摄像元件24，其配置在该透镜的光轴后方；以及模拟信号处理部26，其对所输入的模拟信号进行各种模拟信号处理。

另外，摄像系统20构成为，包含：模拟/数字变换器（以下称为“ADC”）28，其将所输入的模拟信号变换为数字信号；以及数字信号处理部30，其对所输入的数字数据进行各种数字信号处理。此外，数字信号处理部30内置有规定容量的行缓冲器，还进行将所输入的数字数据直接存储在后述的存储器48的规定区域中的控制。

固体摄像元件24的输出端与模拟信号处理部26的输入端连接，模拟信号处理部26的输出端与ADC28的输入端连接，ADC28的输出端与数字信号处理部30的输入端连接。因此，表示从固体摄像元件24输出的被摄体像的模拟信号由模拟信号处理部26实施规定的模拟信号处理，并在由ADC28变换为数字图像数据后输入至数字信号处理部30。

此外，摄像系统20包含定时发生器32和电动机驱动部34而构成。定时发生器32主要生成用于使固体摄像元件24驱动的定时信号（脉冲信号），并供给至固体摄像元件24。固体摄像元件24的驱动由后述的CPU40经由定时发生器32进行控制。电动机驱动部34对设置在光学单元22中的未图示的焦点调整电动机、变焦电动机、及光圈驱动电动机进行驱动。上述各电动机的驱动由CPU40经由电动机驱动部34进行控制。

本实施方式所涉及的光学单元22具有多片透镜，作为能够进行焦距的变更（变倍）的变焦镜头系统而构成。变焦镜头系统的各透镜由未图示的透镜驱动机构分别独立地驱动。在该透镜驱动机构中包含上述焦点调整电动机、变焦电动机、及光圈驱动电动机。如上所述，这些电动机分别由驱动信号驱动，使焦点位置平移，所述驱动信号是在CPU40的控制下而从电动机驱动部34供给的。

另外，数字照相机10构成为，包含：液晶显示器（以下称为“LCD”）38，其对拍摄到的被摄体像或菜单画面等进行显示；LCD接口36，其生成用于使LCD38显示该被摄体像或菜单画面等的信号，并供给至LCD38；CPU（中央处理装置）40，其对数字照相机10整体的动作进行管理；存储器48，其对通过拍摄得到的数字图像数据等暂时进行存储；以及存储器接口46，其控制对存储器48的访问。

另外，数字照相机10构成为，包含：外部存储器接口50，其使数字照相机10能够访问可移动型的存储卡52；以及压缩/展开处理电路54，其对数字图像数据进行压缩处理及展开处理。例如，作为存储器48能够使用闪存（Flash Memory），但并不限定于此。另外，作为存储卡52能够使用“xDピクチャ·カード”（注册商标）等，但并不限定于此。

数字信号处理部30、LCD接口36、CPU40、存储器接口46、外部存储器接口50、以及压缩/展开处理电路54，经由系统总线BUS彼此连接。因此，CPU40能够对各个数字信号处理电路30及压缩/展开处理电路54的动作进行控制、经由LCD接口36使LCD38进行各种信息的显示、经由存储器接口46及外部存储器接口50对存储器48及存储卡52进行访问。

此外，在数字照相机10上具有包含各种开关类而构成的操作部56。上述操作部56与CPU40连接。因此，CPU40能够始终掌握对于这些操作部56的操作状态。

作为各种开关，包括：快门按钮（所谓的shutter switch），其在执行拍摄时进行按下操作；电源开关，其在对数字照相机10的电源进行通断切换时操作；模式切换开关，其在设定为拍摄模式及再生模式中的某一种模式时操作，其中，拍摄模式是进行拍摄的模式，再生模式是在LCD38上再生被摄体像的模式；菜单开关，其在使LCD38显示菜单画面时进行按下操作；确定开关，其在确定此前的操作内容时进行按下操作；以及取消按钮等，其在取消前一个操作内容时进行按下操作。

此外，本实施方式所涉及的数字照相机10的快门按钮构成为，能够检测到2个阶段的按压操作，即：按下至中间位置的状态（以下称为“半按状态”）；以及按下至超过该中间位置的最终按下位置的状态（以下称为“全按状态”）。

并且，在数字照相机10中，在通过使快门按钮成为半按状态，使AE（Automatic Exposure，自动曝光）功能起作用而设定了曝光状态（快门速度、光圈的状态）之后，使AF功能起作用而进行合焦控制，然后，如果继续使其成为全按状态，则进行曝光（拍摄）。

另外，在数字照相机10上具有：闪光灯44，其在拍摄时根据需要而发出向被摄体照射的光；以及充电部42，其安装在闪光灯44和CPU40之间，并且，通过CPU40的控制而对闪光灯44进行充电，以使其发光。此外，闪光灯44也与CPU40连接，闪光灯44的发光通过CPU40控制。

在本实施方式所涉及的数字照相机10上，搭载有对焦包围拍摄功能，其通过离散地使焦点位置移动并依次拍摄图像，从而得到至少包含与主要被摄体合焦的图像在内的多个图像，基于该多个图像生成对除了主要被摄体的区域（以下称为“主要被摄体区域”）以外的区域（以下称为“非主要被摄体区域”）的模糊度进行调整后的模糊调整图像，并进行记录。

在这里，在本实施方式所涉及的数字照相机10中，仅在由用户通过操作部56设定了使对焦包围拍摄功能起作用的情况下进行上述对焦包围拍摄，生成上述模糊调整图像并记录在存储卡52中。

（对焦包围拍摄的动作）

下面，参照图2（A）及（B），对本实施方式所涉及的对焦包围拍摄的动作进行说明。在现有的对焦包围拍摄中，由于分别与主要被摄体MO（例如人物等）和非主要被摄体SO（例如背景等）合焦，因此在微距模式等下进行拍摄时，模糊度的差过大，有时会造成对应点检测失败。

如图2（A）及（B）所示，在本实施方式的对焦包围拍摄中，1张是在合焦位置拍摄主要被摄体MO，另1张是使与非主要被摄体SO对应的焦点位置从非主要被摄体SO的合焦位置向主要被摄体侧平移而进行拍摄。即，主要被摄体MO是进行合焦而拍摄的，非主要被摄体SO是使焦点错开而拍摄的。此外，在本实施方式中，使光学单元22的变焦透镜系统的各透镜移动，使与非主要被摄体SO对应的焦点位置平移（参照图2（B））。

在这里，参照图3，对于在上述的对焦包围拍摄中使对应点检测变得容易的理由进行说明。将在主要被摄体MO的合焦位置拍摄到的图像设为基准图像60M。在基准图像60M中，由于与主要被摄体MO合焦，因此，主要被摄体MO的模糊度较小，非主要被摄体SO的模糊度较大。另一方面，将在非主要被摄体SO的合焦位置拍摄到的图像设为对象图像60S。在对象图像60S中，由于与非主要被摄体SO合焦，因此非主要被摄体SO的模糊度较小，主要被摄体MO的模糊度较大。如上所述，如果模糊度的差过大，则有时会造成对应点检测失败。

在本实施方式中，在各个变焦区域内，针对主要被摄体MO的合焦位置和非主要被摄体SO的合焦位置的差设置阈值，在对大于或等于该阈值的场景进行拍摄的情况下，使与非主要被摄体SO对应的焦点位置从合焦位置向主要被摄体MO侧平移。将在非主要被摄体SO平移后的焦点位置拍摄到的图像设为非基准图像60PS。与对象图像60S相比较，非基准图像60PS与基准图像60M的模糊度的差较小，容易进行对应点检测。能够对非基准图像60PS进行变形，以使其与基准图像60M之间的对应点的位置一致，从而容易得到变形图像60A。

另外，在本实施方式中，表示主要被摄体MO的合焦位置和非主要被摄体SO的合焦位置的差的物理量是“光轴上距离”，作为其阈值，可使用“主要被摄体的焦点深度的倍数”。所谓焦点深度，是指从成像面至可容许像的模糊的平面为止的光轴上距离。与主要被摄体MO的合焦位置和非主要被摄体SO的合焦位置之间的光轴上距离相关的阈值，可设为主要被摄体MO的焦点深度的x倍、y倍（例如2倍、3倍等）。与合焦位置之间的光轴上距离相关的阈值，对应于划分对应点检测是成功还是失败的界限距离而设定。是否是界限距离例如可根据经验规律进行判断。另外，使与非主要被摄体SO对应的焦点位置平移的平移量设定为，使得合焦位置之间的光轴上距离不超过阈值。

（第1拍摄处理的处理程序）

下面，参照图4，对于本实施方式所涉及的数字照相机10的作用进行说明。此外，图4是表示在使操作部56的快门按钮经过半按状态而变为全按状态时，由数字照相机10的CPU40执行的第1拍摄处理程序的处理流程的流程图。CPU40通过执行后述的各个步骤而实现数字照相机10的各功能部。该程序预先存储在存储器48的规定区域中。另外，在这里，为了避免复杂，对于由用户设定了使对焦包围拍摄功能起作用的情况进行说明。

首先，在步骤101中，通过对多个被摄体进行自动合焦位置判断（AF），从而确定包含主要被摄体的合焦位置及非主要被摄体的合焦位置在内的各拍摄位置的焦点位置（与自动焦点位置判断部、主要被摄体确定部相对应）。在本实施方式中，在对焦包围拍摄时设定的焦点位置包含主要被摄体的合焦位置和非主要被摄体的平移后的焦点位置。例如，在如后所述的拍摄数量为3张的情况下，可以将主要被摄体的合焦位置F1、第1个的非主要被摄体的平移后的焦点位置F2、及第2个的非主要被摄体的平移后的焦点位置F3共3个点设为对焦包围拍摄时的焦点位置。另外，所设定的焦点位置也可以包含其前后的焦点位置。

然后，在步骤103中，判定拍摄数量是否是预先规定的数量。在本实施方式中，预先规定的拍摄数量是2张，在判定为否的情况下拍摄3张。在步骤103中判定为是的情况下进入步骤105，在判定为否的情况下进入步骤117。在步骤105中，对于主要被摄体的合焦位置和非主要被摄体的合焦位置之间的光轴上距离（以下称为“合焦位置之间的差”）是否小于主要被摄体的焦点深度的x倍进行判定。

在合焦位置之间的差大于或等于焦点深度的x倍的情况下，在步骤105中判定为否而进入步骤107。在步骤107中，使与非主要被摄体对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体的焦点深度的x倍处为止（与焦点位置平移部相对应）。即，确定非主要被摄体的平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在合焦位置之间的差小于焦点深度的x倍的情况下，在步骤105中判定为是而进入步骤109。在步骤109中，如后所述，在所设定的焦点位置处进行对焦包围拍摄（与对焦包围拍摄部相对应）。

在本实施方式中，如果在步骤103中判定为否，则拍摄数量为3张。在拍摄数量为3张的情况下，根据主要被摄体的图像是第几张图像而使焦点位置平移的图像组有所不同。在步骤117中，判定主要被摄体的图像是否是第1张。在步骤117中判定为是的情况下进入步骤119，在判定为否的情况下进入步骤127。在步骤119中，判定主要被摄体（第1张）的合焦位置和非主要被摄体（第2张）的合焦位置的差是否小于主要被摄体（第1张）的焦点深度的x倍。

在合焦位置之间的差大于或等于焦点深度的x倍的情况下，在步骤119中判定为否而进入步骤121。在步骤121中，使与非主要被摄体（第2张）对应的焦点位置，从该非主要被摄体的合焦位置平移至主要被摄体（第1张）的焦点深度的x倍处（与焦点位置平移部相对应）。即，确定非主要被摄体（第2张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在合焦位置之间的差小于焦点深度的x倍的情况下，在步骤119中判定为是而进入步骤123。

在步骤123中，判定主要被摄体（第1张）的合焦位置和非主要被摄体（第3张）的合焦位置的差，是否小于主要被摄体（第1张）的焦点深度的y倍（y>x）。在合焦位置之间的差大于或等于焦点深度的y倍的情况下，在步骤123中判定为否而进入步骤125。在步骤125中，使与非主要被摄体（第3张）对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体（第1张）的焦点深度的y倍处（与焦点位置平移部相对应）。即，确定非主要被摄体（第3张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。

在步骤121的处理之后，执行步骤125的处理，然后进入步骤109。另外，在焦点位置之间的差小于焦点深度的y倍的情况下，在步骤123中判定为是，进入步骤109。在步骤109中，如后所述，在所设定的焦点位置处进行对焦包围拍摄。

在步骤127中判定主要被摄体的图像是否是第2张。在步骤127中判定为是的情况下进入步骤129，在判定为否的情况下，由于主要被摄体的图像是第3张，因此进入步骤137。在步骤129中，判定主要被摄体（第2张）的合焦位置和非主要被摄体（第1张）的合焦位置的差，是否小于主要被摄体（第2张）的焦点深度的x倍。

在合焦位置之间的差大于或等于焦点深度的x倍的情况下，在步骤129中判定为否而进入步骤131。在步骤131中，使与非主要被摄体（第1张）对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体（第2张）的焦点深度的x倍处（与焦点位置平移部相对应）。即，确定非主要被摄体（第1张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在合焦位置之间的差小于焦点深度的x倍的情况下，在步骤129中判定为是而进入步骤133。

在步骤133中，判定主要被摄体（第2张）的合焦位置和非主要被摄体（第3张）的合焦位置的差是否小于主要被摄体（第2张）的焦点深度的y倍。在合焦位置之间的差大于或等于焦点深度的y倍的情况下，在步骤133中判定为否而进入步骤135。在步骤135中，使与非主要被摄体（第3张）对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体（第2张）的焦点深度的y处（与焦点位置平移部相对应）。即，确定非主要被摄体（第3张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。

执行步骤135的处理，然后进入步骤109。另外，在焦点位置之间的差小于焦点深度的y倍的情况下，在步骤133中判定为是而进入步骤109。在步骤109中，如后所述，在所设定的焦点位置处进行对焦包围拍摄。

在步骤137中判定主要被摄体（第3张）的合焦位置和非主要被摄体（第2张）的合焦位置的差，是否小于主要被摄体（第3张）的焦点深度的x倍。在合焦位置之间的差大于或等于焦点深度的x倍的情况下，在步骤137中判定为否而进入步骤139。在步骤139中，使与非主要被摄体（第2张）对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体（第3张）的焦点深度的x倍处（与焦点位置平移部相对应）。即，确定非主要被摄体（第2张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在合焦位置之间的差小于焦点深度的x倍的情况下，在步骤137中判定为是而进入步骤141。

在步骤141中，判定主要被摄体（第3张）的合焦位置和非主要被摄体（第1张）的合焦位置的差是否小于主要被摄体（第3张）的焦点深度的y倍。在合焦位置之间的差大于或等于焦点深度的y倍的情况下，在步骤141中判定为否而进入步骤143。在步骤143中，使与非主要被摄体（第1张）对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体（第3张）的焦点深度的y处（与焦点位置平移部相对应）。即，确定非主要被摄体（第1张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。

在步骤139的处理之后，执行步骤143的处理，然后进入步骤109。另外，在合焦位置之间的差小于焦点深度的y倍的情况下，在步骤141中判定为是而进入步骤109。在步骤109中，如后所述，在所设定的焦点位置处进行对焦包围拍摄。

然后，在步骤109中，在所设定的焦点位置处进行对焦包围拍摄，将由此得到的拍摄图像存储在存储器48的规定区域中。此外，在本实施方式中，光学单元22的变焦透镜系统的各个透镜由未图示的透镜驱动机构驱动。透镜驱动机构中包含的各个电动机由驱动信号驱动，从而控制焦点位置，以在所设定的焦点位置进行拍摄（参照图1），所述驱动信号是在CPU40的控制下从电动机驱动部34供给的。

在后面的步骤111中，将通过上述处理得到的拍摄图像中的与主要被摄体合焦的图像设为基准图像，将除了该基准图像以外的图像设为非基准图像，在基准图像和非基准图像之间进行对应点检测（与对应点检测部相对应）。在本实施方式中，针对主要被摄体的合焦位置和非主要被摄体的合焦位置之间的差设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，因此，基准图像和非基准图像之间的模糊度的差减小，容易进行对应点检测。

此外，在图3中，为便于说明，将在非主要被摄体的平移后的焦点位置处拍摄到的图像设为“非基准图像60PS”而进行说明，但在非主要被摄体的没有平移的焦点位置拍摄到的图像也是非基准图像。

下面，对于该对应点检测的步骤进行说明。对应点检测是求出在多个图像之间对应的点的位置关系。例如，从基准图像中提取特征点，通过追踪该特征点移动至非基准图像（追踪图像）的哪个位置，而进行对应点检测。作为特征点的提取方法，可使用现有公知的多种方法。例如，在以某个点为中心的规定区域内的亮度的标准偏差大于或等于规定值的情况下，可将该点提取作为特征点。特征点越多越能够高精度地进行以后的处理，但由于特征点越多处理负荷越大，因此，特征点的数量可根据硬件性能适当确定。

然后，CPU40将非基准图像中的任1个选择作为追踪图像，在该追踪图像中，选择从基准图像中提取出的1个特征点，追踪该特征点移动至哪个位置。作为追踪的方法，可使用现有公知的多种方法。例如，能够使用搜索以某个点为中心的规定区域内的相关系数最小的坐标的方法（区块匹配法）进行追踪。通过对于全部的非基准图像执行上述基准图像中的特征点追踪，从而结束对应点检测处理。

在后面的步骤113中，对非基准图像进行图像变形，以使得通过上述步骤111的处理得到的对应的非基准图像的对应点位置尽可能与基准图像的对应点位置一致（与图像变形部相对应）。此外，在本实施方式所涉及的数字照相机10中，通过对非基准图像进行平行移动、旋转移动、缩小/放大处理，进行该图像的变形。这些图像变形，只要以使得多组对应点的距离之和最小的方式确定移动矢量即可。此外，上述的平行移动、旋转移动、及放大/缩小处理通过仿射变换进行。

另外，在基准图像和非基准图像之间发生了复杂移动的情况下，为了使全部的对应点更高精度地一致而进行扭曲。扭曲是选择使全部对应点的组完全一致的移动矢量，并通过插补将其周围的点也求出的方法。

在后面的步骤115中，计算模糊量，进行模糊加强处理等模糊处理（与图像生成部相对应）。此外，所得到的模糊调整图像经由外部存储器接口50记录在存储卡52中，然后，结束本第1拍摄处理程序。

下面对模糊量的计算步骤及模糊处理进行说明。首先，CPU40对于各基准图像及非基准图像，计算各像素的锐度（与滤波特性确定部相当）。对于锐度的计算，通过对拉普拉斯滤波处理的输出值的绝对值进行计算而进行。通过进行拉普拉斯滤波处理，能够进行边缘检测，该输出值的绝对值表示锐度。关于图像的模糊和锐度，存在图像的模糊越小的像素锐度越高，模糊越大锐度越低的关系。此外，拉普拉斯滤波的内核并不限定于该例子，另外，也可以使用除了拉普拉斯滤波以外的锐度计算滤波。

然后，CPU40针对每个像素，将计算出的锐度最大值设为n，将基准图像的锐度设为c，通过下面的（8）式计算模糊量k。

k＝u×(n-c)   式（8）

在这里，u是用户指定的模糊加强度，如果u大于1.0，则与基准设定相比，图像的模糊被加强，在u小于1.0的情况下，与基准设定相比，图像的模糊被缓和。此外，模糊加强度u能够通过用户对操作部56进行操作而进行设定。另外，在本实施方式中，c＝3。

然后，使用计算出的模糊量进行模糊处理（相当于滤波处理部）。在本实施方式所涉及的数字照相机10中，在模糊处理中使用高斯滤波。首先，CPU40从所得到的模糊量k中选择与某个像素相对应的模糊量，对模糊量的绝对值|k|和规定的阈值Th进行比较。在规定的阈值Th较大的情况下，将该像素视为合焦区域而输出在被摄体的合焦位置F3拍摄到的像素值。在模糊量的绝对值|k|较大的情况下，将该像素视为应进行模糊加强的区域而确定滤波系数。

如前所述，在本实施方式所涉及的数字照相机10中，在其滤波处理中使用高斯滤波。在模糊量的绝对值|k|大于或等于规定的阈值Th时，求出与模糊量的绝对值|k|存在正比关系的高斯滤波的σ参数，确定与该σ参数相对应的高斯滤波系数f（x）。CPU40基于在存储器48的规定区域中存储的这一关系确定σ参数。

高斯滤波以σ参数越大使周围像素的权重越大的方式进行加权平均。因此，通过对应于模糊量的绝对值|k|的大小使σ参数增大，从而能够使得在模糊量的绝对值|k|越大时，使平滑化的程度越高。根据按照上述方式求出的σ参数而计算滤波系数f（x），以使得计算出的滤波系数的总和为1的方式进行正则化。

通过对全部的像素进行上述的与模糊量相对应的滤波处理，从而能够对除了主要被摄体区域以外的区域的模糊度进行调整，生成模糊调整图像。由此，通过对在主要被摄体的合焦位置拍摄到的基准图像进行滤波处理，而能够实现更自然的模糊加强。此外，该滤波处理中使用的滤波并不限定于高斯滤波，只要是低通滤波，其他滤波也可以。例如，也可以使用具有与光圈或透镜特性相对应的模糊形状的滤波。

如以上说明所述，根据本实施方式，针对主要被摄体的合焦位置和非主要被摄体的合焦位置的差设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，获取非基准图像，因此，基准图像和非基准图像之间的模糊度的差减小。由此，即使是在模糊度的差过大的情况下，与不改变焦点位置而拍摄非基准图像的现有对焦包围拍摄相比，能够拍摄容易进行对应点检测的图像，能够实现对应点检测的精度提高。

特别地，即使是对应点检测失败较多，模糊度的差较大的场景（微距场景或高倍率变焦场景），也能够适当地进行对应点检测，能够发挥模糊效果。

[第2实施方式]

下面，对于本发明的第2实施方式详细地进行说明。第2实施方式除了对判断合焦位置之间的差是否大于或等于阈值的基准进行了变更以外，与第1实施方式所涉及的数字照相机10是相同的，因此，对于相同的部分省略说明。此外，第2实施方式所涉及的数字照相机10的结构与图1所示的上述第1实施方式所涉及的数字照相机10相同，因此，此处的说明省略。

（对焦包围拍摄的动作）

下面，对于本实施方式所涉及的对焦包围拍摄的动作进行说明。在本实施方式的对焦包围拍摄中，与第1实施方式同样地，1张是在主要被摄体MO的合焦位置拍摄，另1张是使与非主要被摄体SO对应的焦点位置从非主要被摄体SO的合焦位置向主要被摄体侧平移而进行拍摄。即，主要被摄体MO是合焦进行拍摄，非主要被摄体SO是使焦点偏移而进行拍摄。另外，与第1实施方式同样地，针对主要被摄体MO的合焦位置和非主要被摄体SO的合焦位置的差设置阈值，在拍摄大于或等于该阈值的场景的情况下，使与非主要被摄体SO对应的焦点位置从合焦位置向主要被摄体MO侧平移。

在这里，参照图5，对于在上述的对焦包围拍摄中使对应点检测变得容易的理由进行说明。将在主要被摄体MO的合焦位置拍摄到的图像设为基准图像60M，在该基准图像60M中，主要被摄体MO的模糊度较小，非主要被摄体SO的模糊度较大。另一方面，将在非主要被摄体SO的合焦位置拍摄到的图像设为对象图像60S，在该对象图像60S中，非主要被摄体SO的模糊度较小，主要被摄体MO的模糊度较大。

在本实施方式中，表示合焦位置之间的差的物理量是“在图像内选择的选择区域的锐度差”，作为其阈值，可使用“基准图像中的主要被摄体的锐度与非基准图像中的主要被摄体的锐度的差（选择区域的锐度差）”。所谓锐度，表示照相机的分辨率。通过对对比度的重现性等进行精密地物理测定，从而能够对锐度进行评价。作为锐度的评价值，可使用例如AF评价值等对比度评价值。

如图5所示，选择对于基准图像60M和非基准图像60S进行锐度分析的区域。这时，例如，将主要被摄体MO的一部分等在基准图像60M内锐度最高的区域选择作为共通的分析区域。以下将所选择的分析区域称为“选择区域”。针对选择区域的锐度差设置阈值，进行锐度分析，在其结果是选择区域的锐度差大于或等于阈值x的情况下，使与非主要被摄体SO对应的焦点位置从合焦位置向主要被摄体MO侧平移。此外，与第1实施方式同样地，在拍摄数量大于或等于3张的情况下，设定多个阈值，如阈值x、阈值y。

与选择区域的锐度差相关的阈值，对应于划分对应点检测是成功还是失败的界限而设定。例如，在使用“AF评价值”作为锐度的评价值的情况下，可按照经验规律设定作为阈值的“AF评价值的差”。另外，与非主要被摄体SO对应的焦点位置平移的平移量设定为，使得选择区域的锐度差不超过阈值。

作为在非主要被摄体SO平移后的焦点位置拍摄到的非基准图像60PS，与对象图像60S相比较，选择区域的锐度差减小。换言之，与对象图像60S相比较，非基准图像60PS与基准图像60M的模糊度的差较小，容易进行对应点检测。因此，对非基准图像60PS进行变形，以使其与基准图像60M的对应点的位置一致，能够容易地得到变形图像。

（第2拍摄处理的处理程序）

下面，参照图6，对于本实施方式所涉及的数字照相机10的作用进行说明。图6是表示在使操作部56的快门按钮经过半按状态而变为全按状态时，由数字照相机10的CPU40执行的第2拍摄处理程序的处理流程的流程图。该程序预先存储在存储器48的规定区域中。另外，与第1实施方式同样地，由用户设定了对焦包围拍摄功能。

此外，取代图4的步骤105、107及109、步骤119、121及109、步骤123、125及109等的“判定主要被摄体的合焦位置和非主要被摄体的合焦位置的差是否小于主要被摄体的焦点深度的x倍（或y倍）的工序”、“在合焦位置之间的差大于或等于焦点深度的x倍（或y倍）的情况下，使与非主要被摄体对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体的焦点深度的x倍（或y倍）处的工序”、“在所设定的焦点位置处进行对焦包围拍摄的工序”，执行图6所示的第2拍摄处理的处理程序。

首先，在步骤201中，作为基准图像和非基准图像（对象图像）共通的分析区域，确定锐度分析区域（选择区域）。然后，在步骤203中，对选择区域内的锐度进行评价，判定“基准图像中的主要被摄体的锐度与非基准图像中的主要被摄体的锐度的差”,即选择区域的锐度差，是否大于或等于阈值x。在选择区域的锐度差大于或等于x的情况下，在步骤203中判定为是而进入步骤205。

在步骤205中，使与非主要被摄体对应的焦点位置从该非主要被摄体的合焦位置平移至选择区域的锐度差为x的位置（与焦点位置平移部相对应）。即，确定非主要被摄体的平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在后面的步骤207中，在所设定的焦点位置处进行对焦包围拍摄，然后结束第2拍摄处理程序。另一方面，在选择区域的锐度差小于阈值x的情况下，在步骤203中判定为否而进入步骤207，在步骤207中进行对焦包围拍摄（与对焦包围拍摄部相对应），然后结束第2拍摄处理程序。

如以上说明所述，根据本实施方式，针对选择区域的锐度差设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，获取非基准图像，因此，选择区域的锐度差即基准图像和非基准图像之间的模糊度的差减小。由此，与现有对焦包围拍摄相比，能够拍摄容易进行对应点检测的图像，能够实现对应点检测的精度提高。特别地，即使是模糊度的差较大的场景，也能够适当地进行对应点检测，能够发挥模糊效果。

另外，通过使用AF评价值等对比度评价值作为锐度的评价值，从而能够不易受到机械误差的影响。

[第3实施方式]

下面，对于本发明的第3实施方式详细地进行说明。第3实施方式除了对判断合焦位置之间的差是否大于或等于阈值的基准进行了变更以外，与第1实施方式所涉及的数字照相机10是相同的，因此，对于相同的部分省略说明。此外，本第3实施方式所涉及的数字照相机10的结构与图1所示的上述第1实施方式所涉及的数字照相机10相同，因此，此处的说明省略。

（对焦包围拍摄的动作）

下面，对于本实施方式所涉及的对焦包围拍摄的动作进行说明。在本实施方式的对焦包围拍摄中，与第1实施方式同样地，1张是在主要被摄体MO的合焦位置拍摄，另1张是使与非主要被摄体SO对应的焦点位置从非主要被摄体SO的合焦位置向主要被摄体侧平移而进行拍摄。即，主要被摄体MO是合焦而进行拍摄，非主要被摄体SO是使焦点偏移而进行拍摄。

在这里，参照图7，对于在上述的对焦包围拍摄中使对应点检测变得容易的理由进行说明。在主要被摄体MO的合焦位置拍摄到的基准图像60M中，主要被摄体MO的模糊度较小，非主要被摄体SO的模糊度较大。另一方面，在非主要被摄体SO的合焦位置拍摄到的对象图像60S中，非主要被摄体SO的模糊度较小，主要被摄体MO的模糊度较大。在使快门按钮为半按状态时，通过AF功能一边进行合焦控制一边进行拍摄的预拍摄图像也相同。

在本实施方式中，表示合焦位置之间的差的物理量是“在图像内选择的选择区域的频率成分的变化”，作为其阈值，可使用“将基准图像的平均频率除以非基准图像的平均频率而得到的商（选择区域的频率变化）”。所谓频率成分（空间频率成分），是表示构成图像的周期性构造的精细度的量。例如，在基准图像60M内的主要被摄体MO部分，高频成分的比例较多，平均频率较高。

如图7所示，进行预拍摄而得到基准图像60M和非基准图像60S。对于所得到的各基准图像60M和非基准图像60S，施加高通滤波而提取出高频成分（轮廓）。将从基准图像60M中提取高频成分得到的图像设为高频基准图像60FM。在高频基准图像60FM中，由于是提取了高频成分，因此，主要被摄体MO部分的平均频率较高，非主要被摄体SO部分的平均频率较低。另一方面，将从对象图像60S中提取高频成分得到的图像设为高频对象图像60FS。在高频对象图像60FS中，主要被摄体MO部分的平均频率较低，非主要被摄体SO部分的平均频率较高。

对于高频基准图像60FM和高频对象图像60FS，选择进行高频成分分析的区域。这时，例如，将主要被摄体MO的一部分等在基准图像60M内最高频率成分所在的区域选为共通的分析区域。以下将所选择的分析区域称为“选择区域”。针对选择区域的频率变化设置阈值，进行频率成分分析（即，频率成分比较），在其结果是选择区域的频率变化低于阈值x的情况下，使与非主要被摄体SO对应的焦点位置从合焦位置向主要被摄体MO侧平移。

与选择区域的频率变化相关的阈值，对应于划分对应点检测是成功还是失败的界限而设定。例如，在将选择区域的频率变化设为“（基准图像的平均频率/非基准图像的平均频率）×100”的情况下，可按照经验规律设定为小于阈值x%（例如，小于50%）。另外，与非主要被摄体SO对应的焦点位置平移的平移量设定为，使得选择区域的频率变化不会超过阈值。

在非主要被摄体SO平移后的焦点位置拍摄到的非基准图像所对应的高频图像，与高频对象图像60FS相比较，选择区域的频率变化减小。换言之，与高频对象图像60FS相比较，非基准图像所对应的高频图像与高频基准图像60FM的模糊度的差较小，容易进行对应点检测。因此，以使得对应点的位置一致的方式，对非基准图像所对应的高频图像进行变形，能够容易地得到变形图像。

（第3拍摄处理的处理程序）

下面，参照图8，对于本实施方式所涉及的数字照相机10的作用进行说明。图8是表示在使操作部56的快门按钮经过半按状态而变为全按状态时，由数字照相机10的CPU40执行的第3拍摄处理程序的处理流程的流程图。该程序预先存储在存储器48的规定区域中。另外，与第1实施方式同样地，由用户设定了对焦包围拍摄功能。

此外，取代图4的步骤105、107及109、步骤119、121及109、步骤123、125及109等的“判定主要被摄体的合焦位置和非主要被摄体的合焦位置的差是否小于主要被摄体的焦点深度的x倍（或y倍）的工序”、“在合焦位置之间的差大于或等于焦点深度的x倍（或y倍）的情况下，使与非主要被摄体对应的焦点位置从该非主要被摄体的合焦位置平移至主要被摄体的焦点深度的x倍（或y倍）处的工序”、“在所设定的焦点位置处进行对焦包围拍摄的工序”，执行图8所示的第3拍摄处理的处理程序。

首先，在步骤301中，对于快门按钮处于半按状态这一情况进行检测。在后面的步骤303中，一边通过AF功能进行合焦控制一边进行预拍摄，并将由此得到的预拍摄图像存储在存储器48的规定区域中。然后，在步骤305中，对预拍摄图像进行滤波处理，提取高频成分。在滤波处理中使用高通滤波。然后，在步骤307中，确定对于进行滤波处理后的预拍摄图像进行频率成分分析的分析区域（选择区域）。

然后，在步骤309中进行频率成分分析。即，对于各基准图像和非基准图像（对象图像），计算选择区域内的平均频率，求出“（基准图像的平均频率/非基准图像的平均频率）×100”的值，作为选择区域的频率变化。然后，在步骤311中，判定选择区域的频率变化是否低于作为阈值的x%。在步骤311中判定为是的情况下，进入步骤313，在判定为否的情况下进入步骤315。

在步骤313中，使与非主要被摄体对应的焦点位置从该非主要被摄体的合焦位置平移至选择区域的频率变化低于x%的位置（与焦点位置平移部相对应）。即，确定非主要被摄体的平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在后面的步骤315中，在所设定的焦点位置处进行对焦包围拍摄（与对焦包围拍摄部相对应），然后结束第3拍摄处理程序。另一方面，在选择区域的频率变化大于或等于x%的情况下，在步骤311中判定为否而进入步骤315，在步骤315中进行对焦包围拍摄，然后结束第3拍摄处理程序。

如以上说明所述，根据本实施方式，针对选择区域的频率变化设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，获取非基准图像，因此，选择区域的频率变化即基准图像和非基准图像之间的模糊度的差减小。由此，与现有的对焦包围拍摄相比，能够拍摄容易进行对应点检测的图像，能够实现对应点检测的精度提高。特别地，即使是模糊度的差较大的场景，也能够适当地进行对应点检测，能够发挥模糊效果。

[第4实施方式]

下面，对于本发明的第4实施方式详细地进行说明。第4实施方式除了在对焦包围拍摄之后且在进行对应点检测之前对基准图像实施图像处理以外，与第1实施方式所涉及的数字照相机10是相同的，因此，对于相同的部分省略说明。此外，本第4实施方式所涉及的数字照相机10的结构与图1所示的上述第1实施方式所涉及的数字照相机10相同，因此，此处的说明省略。

下面，参照图9及图10，对于本实施方式所涉及的数字照相机10的作用进行说明。图9是用于说明第4实施方式所涉及的第4拍摄处理程序的处理内容的示意图。图10是表示在使操作部56的快门按钮经过半按状态而变为全按状态时，由数字照相机10的CPU40执行的第4拍摄处理程序的处理流程的流程图，该程序预先存储在存储器48的规定区域中。另外，与第1实施方式同样地，由用户设定了对焦包围拍摄功能。

首先，在步骤401中，对多个被摄体进行自动合焦位置判断（AF），确定包含主要被摄体的合焦位置及非主要被摄体的合焦位置在内的各拍摄位置的焦点位置（与自动焦点位置判断部、主要被摄体确定部、焦点位置平移部相对应）。在本实施方式中，与第1实施方式同样地，针对主要被摄体的合焦位置和非主要被摄体的合焦位置之间的差设置阈值，在拍摄大于或等于该阈值的场景的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移。因此，在对焦包围拍摄时设定的焦点位置，包含有主要被摄体的合焦位置和非主要被摄体的平移后的焦点位置。另外，所设定的焦点位置也可以包含其前后的焦点位置。

然后，在步骤403中，在所设定的焦点位置处进行对焦包围拍摄，将由此得到的拍摄图像存储在存储器48的规定区域中（与对焦包围拍摄部相对应）。

然后，在步骤405中，将通过上述处理得到的拍摄图像中的与主要被摄体合焦的图像设定作为基准图像。在后面的步骤407中，选择除了基准图像以外的图像，设定作为非基准图像。

然后，在步骤409中，通过对基准图像实施平滑化处理，而进行使基准图像的模糊度与非基准图像的模糊度接近的复原处理（与图像处理部相对应）。复原处理是一种使用复原滤波的滤波处理，其中，该复原滤波对图像中产生的恶化进行复原。复原滤波是在对焦点位置偏差或手抖引起的模糊进行复原时使用的滤波。作为复原滤波，通常已知维纳滤波等。

在本实施方式中，复原处理是基于后述的模糊半径而使用具有滤波特性的复原滤波进行的。此外，独立于通过对焦包围拍摄得到的基准图像而生成实施平滑化处理后的基准图像。在这里，在本实施方式所涉及的数字照相机10中，按照下述方式确定对于基准图像进行平滑化处理的模糊量。

如图11所示，使用焦距为f[mm]、F值为F的透镜，以使得某个基准被摄体合焦的方式配置像平面。在这里，将基准被摄体距离（从基准被摄体至透镜中心H为止的距离）设为d_b[mm]，将基准被摄体的焦点（像平面）与透镜中心H的距离设为b_b[mm]。另外，将位于任意位置处的被摄体的被摄体距离设为d[mm]，将该被摄体的焦点与透镜中心H的距离设为b[mm]。

这时，考虑任意被摄体的被摄体距离d[mm]与模糊半径r[mm]的关系。此外，图11（A）表示任意被摄体与基准被摄体相比位于近处时（NEAR侧：d≦d_b）的关系，图11（B）表示任意被摄体与基准被摄体相比位于远处时（FAR侧：d>d_b）的关系。这时，根据成像公式，以下的（1）式及（2）式成立。

[式1]

$\frac{1}{f}=\frac{1}{d}+\frac{1}{b}---\left(1\right)$

$\frac{1}{f}=\frac{1}{d_b}+\frac{1}{b_b}---\left(2\right)$

另外，根据在像平面侧形成的相似三角形的关系，以下的（3）式及（4）式成立。

[式2]

$r=\frac{f(b-b_b)}{2\mathrm{Fb}}\left[\mathrm{mm}\right]$ (NEAR侧：d≤d_b时)     (3)

$r=\frac{f(b_b-b)}{2\mathrm{Fb}}\left[\mathrm{mm}\right]$ (FAR侧：d＞d_b时)     (4)

其中，将开口的半径设为f/2F，这是基于“F值＝焦距/开口直径”的定义得到的。

另外，将（3）式及（4）式统一用以下的（5）式表示。

[式3]

$r=\frac{f|b-b_b|}{2\mathrm{Fb}}\left[\mathrm{mm}\right]---\left(5\right)$

利用（1）式及（2）式对b、b_b进行求解，如果将结果代入（5）式，则对于任意的被摄体距离d和模糊半径r可得到以下的关系式。

[式4]

$r=\frac{f}{2F}\·\frac{|\frac{1}{d}-\frac{1}{d_b}|}{\frac{1}{f}-\frac{1}{d_b}}\left[\mathrm{mm}\right]---\left(6\right)$

其中，合焦被摄体距离比焦距长，即，d_b>f（1/f>1/d_b）成立。该模糊半径r[mm]成为平滑化程度的目标。

如果将固体摄像元件24的像素间距设为p[μm]，则以像素为单位表示的模糊半径r_p由以下的（7）式表示。

[式5]

最后，基于上述模糊半径确定滤波特性。作为具体的方法，使用日本特开2008－271240号公报的0109至0111段中记载的高斯滤波。在该公报中，基于σ参数确定高斯滤波的系数，但在本实施方式中，基于σ＝k×r_p而确定系数。其中，k是用于调整平滑化程度的常数。

在后面的步骤411中，进行基准图像和非基准图像之间的对应点检测（与对应点检测部相对应），其中，该基准图像是通过上述步骤409的处理而实施平滑化处理得到的。在后面的步骤413中，对于非基准图像进行图像变形，以使得通过实施步骤411的处理而得到的对应的非基准图像的对应点的位置与基准图像的对应点的位置尽可能一致（与图像变形部相对应）。关于对应点检测、图像变形的方法，由于与第1实施方式相同，因此省略说明。

然后，在步骤415中，判定是否已对全部的非基准图像进行了图像变形，在判定为是之前，重复进行步骤407至步骤415的处理。即，在步骤415中判定为是的情况下，进入步骤417，在步骤415中判定为否的情况下，返回步骤407。

然后，在步骤417中进行模糊量计算。此外，还能够使用计算出的模糊量，生成近处为黑、远处为白的距离图像。在该距离图像中，从近（黑）到远（白），模糊量减小。在后面的步骤419中，使用计算出的模糊量进行模糊加强等模糊处理（与图像输出部相对应）。关于模糊量的计算、模糊处理的方法，由于与第1实施方式相同，因此省略说明。所得到的模糊调整图像，经由外部存储器接口50而记录在存储卡52中，然后，结束本第4拍摄处理程序。

如以上说明所述，根据本实施方式，针对主要被摄体的合焦位置和非主要被摄体的合焦位置的差设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，获取非基准图像，因此，基准图像和非基准图像之间的模糊度的差减小。由此，与不改变焦点位置而拍摄非基准图像的现有对焦包围拍摄相比，即使是在模糊度的差过大的情况下，也能够拍摄容易进行对应点检测的图像，能够实现对应点检测的精度提高。

另外，根据本实施方式，在生成距离图像的情况下，由于焦点位置的差必须大于或等于一定量，因此，焦点位置的平移也存在极限，但由于是在对应点检测之前对基准图像使用复原滤波，获取锐度增大的基准图像，在复原处理后的基准图像和非基准图像之间进行对应点检测，因此，能够进一步实现对应点检测的精度提高。

此外，在上述第4实施方式中，对于针对基准图像进行平滑化处理的情况进行了说明，但只要是对基准图像及非基准图像中的至少一个实施图像处理（复原处理）即可。另外，只要是通过进行复原处理能够使基准图像的模糊度与非基准图像的模糊度接近即可，复原处理并不限定于平滑化处理。例如，也可以是对基准图像及非基准图像中的至少一个实施锐化处理。

[第5实施方式]

下面，对于本发明的第5实施方式详细地进行说明。第5实施方式除了对于对焦包围拍摄、对应点检测及图像变形（位置对齐）的方法进行了变更以外，与第1实施方式所涉及的数字照相机10是相同的，因此，对于相同的部分省略说明。此外，本第5实施方式所涉及的数字照相机10的结构与图1所示的上述第1实施方式所涉及的数字照相机10相同，因此，此处的说明省略。

（从对焦包围拍摄至图像变形为止的动作）

下面，参照图12，对本实施方式所涉及的从对焦包围拍摄至图像变形为止的动作进行说明。如图12所示，在本实施方式所涉及的对焦包围拍摄中，1张是在主要被摄体MO的合焦位置拍摄得到的，另1张是在非主要被摄体SO的合焦位置拍摄得到的。即，对于主要被摄体MO及非主要被摄体SO这二者，是合焦而进行拍摄。

由于在主要被摄体MO的合焦位置拍摄到的基准图像60M与主要被摄体MO合焦，因此，主要被摄体MO的模糊度较小，非主要被摄体SO的模糊度较大。另一方面，由于在非主要被摄体SO的合焦位置拍摄到的对象图像60S与非主要被摄体SO合焦，因此非主要被摄体SO的模糊度较小，主要被摄体MO的模糊度较大。如上所述，如果模糊度的差过大，则有时会造成对应点检测失败。

在本实施方式中，在主要被摄体MO的合焦位置和非主要被摄体SO的合焦位置之间的焦点位置，拍摄中间图像60N。基准图像60M与中间图像60N之间的模糊度的差，比基准图像60M与对象图像60S之间的模糊度的差小。另外，中间图像60N与对象图像60S之间的模糊度的差，也比基准图像60M与对象图像60S之间的模糊度的差小。因此，如果是在基准图像60M和中间图像60N、中间图像60N和对象图像60S这样彼此相邻的相邻图像之间进行对应点检测，则模糊度的差较小，容易进行对应点检测。

另外，如果按照基准图像60M与中间图像60N、中间图像60N与对象图像60S的顺序进行对应点检测及图像变形，则其结果，与在基准图像60M和对象图像60S之间进行对应点检测及图像变形相同。即，如果在基准图像60M和对象图像60S之间进行对应点检测及图像变形，则得到对于中间图像60N进行图像变形后的变形中间图像60NA。如果在该变形中间图像60NA和对象图像60S之间进行对应点检测及图像变形，则得到对于对象图像60S进行图像变形后的变形对象图像60SA。变形对象图像60SA是与在基准图像60M和对象图像60S之间进行对应点检测及图像变形而得到的变形图像相同的图像。

（第5拍摄处理的处理程序）

下面，参照图13至图17，对本实施方式所涉及的数字照相机10的作用进行说明。此外，图13至图17是表示在使操作部56的快门按钮经过半按状态而变为全按状态时，由数字照相机10的CPU40执行的第5拍摄处理程序的处理流程的流程图。该程序预先存储在存储器48的规定区域中。另外，与第1实施方式同样地，由用户设定了对焦包围拍摄功能。

首先，在步骤501中，对多个被摄体进行自动合焦位置判断（AF），确定包含主要被摄体的合焦位置及非主要被摄体的合焦位置在内的各拍摄位置的焦点位置（与自动焦点位置判断部、主要被摄体确定部相对应）。在本实施方式中，针对主要被摄体的合焦位置和非主要被摄体的合焦位置之间的差设置阈值，在拍摄大于或等于该阈值的场景的情况下，在位于主要被摄体的合焦位置和非主要被摄体的合焦位置之间的中间焦点位置拍摄至少1张追加图像。因此，在对焦包围拍摄时设定的焦点位置，包含有主要被摄体的合焦位置、非主要被摄体的焦点位置、及中间焦点位置。另外，所设定的焦点位置也可以包含其前后的焦点位置。

然后，在步骤503中，判定拍摄数量是否是预先规定的数量。在本实施方式中，预先规定的拍摄数量是2张，在判定为否的情况下拍摄3张。在步骤503中判定为是的情况下进入步骤505，在判定为否的情况下进入“处理A”。在步骤505中，判定主要被摄体的合焦位置和非主要被摄体的合焦位置的差是否小于主要被摄体的焦点深度的y倍。

在合焦位置之间的差小于焦点深度的y倍的情况下，在步骤505中判定为是而进入步骤507。在后面的步骤507中，判定主要被摄体的合焦位置和非主要被摄体的合焦位置的差是否小于或等于主要被摄体的焦点深度的x倍（与追加拍摄判断部相对应）。其中，x、y为x<y的关系。在合焦位置之间的差小于或等于焦点深度的x倍的情况下，在步骤507中判定为是而进入步骤509。在步骤509中，合焦位置之间的差小于或等于x倍，不需要拍摄中间图像，因此，确定拍摄数量为2张，进入后面的步骤“处理E”。

在合焦位置之间的差大于焦点深度的x倍的情况下，在步骤507中判定为否而进入步骤511。在步骤511中，在主要被摄体的合焦位置和非主要被摄体的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。即，确定中间焦点位置，设定作为对焦包围拍摄时的焦点位置。因此，在步骤513中，用于拍摄中间图像的拍摄数量加1，确定拍摄数量为3张，进入后面的“处理E”。

在合焦位置之间的差大于或等于焦点深度的y倍的情况下，在步骤505中判定为否而进入步骤515。在步骤515中，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。然后，在步骤517中，使非主要被摄体的焦点位置从合焦位置平移至主要被摄体的焦点深度的y倍处（与焦点位置平移部相对应）。此外，使得非主要被摄体的平移后的焦点位置与中间焦点位置不重合。

即，在合焦位置之间的差大于或等于焦点深度的y倍的情况下，进行中间图像的拍摄，并且，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移。在这种情况下，确定非主要被摄体的平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在这种情况下，也在步骤513中确定拍摄数量为3张，进入后面的“处理E”。

在本实施方式中，如果在步骤503中判定为否，则拍摄数量为3张。在拍摄数量为3张的情况下，根据主要被摄体的图像是第几张而设定中间焦点位置的图像组会有所不同。在步骤519中，判定主要被摄体的图像是第几张。在主要被摄体的图像是第1张的情况下，进入步骤521，在主要被摄体的图像是第2张的情况下进入“处理C”，在主要被摄体的图像是第3张的情况下，进入“处理D”。

在步骤521中，判定主要被摄体（第1张）的合焦位置和非主要被摄体（第2张）的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（此处表示为“a倍”）（与追加拍摄判断部相对应）。具体地说，判定合焦位置之间的差是“小于或等于焦点深度的x倍”、“大于焦点深度的x倍且小于y倍”及“大于或等于焦点深度的y倍”中的哪一种情况。

在步骤521中，在合焦位置之间的差小于或等于焦点深度的x倍的情况下，进入步骤523。在后面的步骤523中，判定第2张的合焦位置和第3张的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（与追加拍摄判断部相对应）。在步骤523中合焦位置之间的差小于或等于焦点深度的x倍的情况下，进入步骤525。在步骤525中，合焦位置之间的差较小而小于或等于x倍，不需要追加拍摄中间图像，因此，确定拍摄数量为3张，进入后面的“处理E”。

在步骤523中合焦位置之间的差大于焦点深度的x倍且小于y倍的情况下，进入步骤527。在后面的步骤527中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。即，确定中间焦点位置，设定作为对焦包围拍摄时的焦点位置。由此，在步骤529中，由于追加拍摄中间图像，因此确定拍摄数量为4张，然后进入后面的“处理E”。

在步骤523中合焦位置之间的差大于或等于焦点深度的y倍的情况下，进入步骤531。在后面的步骤531中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。在后面的步骤533中，使非主要被摄体（第3张）的焦点位置从合焦位置平移至主要被摄体的焦点深度的y倍处（与焦点位置平移部相对应）。

即，在合焦位置之间的差大于或等于y倍的情况下，进行中间图像拍摄，并且，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移。在这种情况下，确定非主要被摄体（第3张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在这种情况下，也在步骤529中，因追加拍摄中间图像而确定拍摄数量为4张，然后进入后面的“处理E”。

在步骤521中合焦位置之间的差大于焦点深度的x倍且小于y倍的情况下，进入步骤535。在后面的步骤535中，在主要被摄体（第1张）的合焦位置和第2张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。在这里，由于追加拍摄中间图像，因此，拍摄数量增加至4张。

然后，在步骤537中，判定第2张的合焦位置和第3张的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（与追加拍摄判断部相对应）。在步骤537中合焦位置之间的差小于或等于焦点深度的x倍的情况下，进入步骤539。在步骤539中，合焦位置之间的差较小而小于或等于x倍，不需要再追加拍摄中间图像，因此，确定拍摄数量为4张，然后进入后面的“处理E”。

在步骤537中合焦位置之间的差大于焦点深度的x倍且小于y倍的情况下，进入步骤541。在后面的步骤541中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定为对焦包围拍摄时的焦点位置。在这里，由于进一步追加拍摄中间图像，因此拍摄数量增加至5张。因此，在步骤543中确定拍摄数量为5张，然后进入后面的“处理E”。

在步骤537中合焦位置之间的差大于或等于焦点深度的y倍的情况下，进入步骤545。在后面的步骤545中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。在后面的步骤547中，使非主要被摄体（第3张）的焦点位置从合焦位置平移至主要被摄体的焦点深度的y倍处（与焦点位置平移部相对应）。确定非主要被摄体（第3张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在这种情况，也在步骤543中确定拍摄数量为5张，然后进入后面的“处理E”。

在步骤521中合焦位置之间的差大于或等于焦点深度的y倍的情况下，进入步骤549。在后面的步骤549中，在主要被摄体（第1张）的合焦位置和第2张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。此时，由于追加拍摄中间图像，因此拍摄数量增加至4张。

然后，在步骤551中，判定第2张的合焦位置和第3张的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（与追加拍摄判断部相对应）。在步骤551中合焦位置之间的差小于或等于焦点深度的x倍的情况下，进入步骤553。在步骤553中，由于合焦位置之间的差较小而小于或等于x倍，不需要再追加拍摄中间图像，因此，确定拍摄数量为4张，然后进入后面的“处理E”。

在步骤551中合焦位置之间的差大于焦点深度的x倍且小于y倍的情况下，进入步骤555。在后面的步骤555中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定为对焦包围拍摄时的焦点位置。在这里，由于进一步追加拍摄中间图像，因此拍摄数量增加至5张。因此，在步骤557中确定拍摄数量为5张，然后进入后面的“处理E”。

在步骤551中合焦位置之间的差大于或等于焦点深度的y倍的情况下，进入步骤559。在后面的步骤559中，在第2张的合焦位置和第3张的合焦位置之间，确定用于拍摄中间图像的中间焦点位置。中间焦点位置设定作为对焦包围拍摄时的焦点位置。在后面的步骤561中，使非主要被摄体（第3张）的焦点位置从合焦位置平移至主要被摄体的焦点深度的y倍处（与焦点位置平移部相对应）。确定非主要被摄体（第3张）平移后的焦点位置，设定作为对焦包围拍摄时的焦点位置。在这种情况，也在步骤557中确定拍摄数量为5张，然后进入后面的“处理E”。

如果在步骤519中判定主要被摄体的图像是第2张，则进入“处理C”。图15所示的“处理C”，除了主要被摄体的图像是第2张以外，以与图14的步骤521至步骤561相同的步骤执行处理。“处理C”的步骤563至步骤603分别与图14的步骤521至步骤561相对应。通过“处理C”的步骤563至步骤603的处理，对应于多种情况确定拍摄数量，进入后面的“处理E”。

例如，在“处理C”的步骤563中，判定主要被摄体（第2张）的合焦位置和非主要被摄体（第1张）的合焦位置的差是主要被摄体（第2张）的焦点深度的几倍。该处理与图14的步骤521中，判定主要被摄体（第1张）的合焦位置和非主要被摄体（第2张）的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（此处表示为“a倍”）的处理相对应。

另外，在“处理C”的步骤565、步骤579及步骤593中，判定主要被摄体（第2张）的合焦位置和第3张的合焦位置的差是主要被摄体（第2张）的焦点深度的几倍。这些处理与图14的步骤523、步骤537及步骤551中，判定第2张的合焦位置和第3张的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍的处理相对应。

如果在步骤519中判定主要被摄体的图像是第3张，则进入“处理D”。作为图16所示的“处理D”，除了主要被摄体的图像是第3张以外，以与图14的步骤521至步骤561相同的步骤执行处理。“处理D”的步骤605至步骤645分别与图14的步骤521至步骤561相对应。通过“处理D”的步骤605至步骤645的处理，对应于多种情况确定拍摄数量，进入后面的“处理E”。

例如，在“处理D”的步骤605中，判定主要被摄体（第3张）的合焦位置和非主要被摄体（第2张）的合焦位置的差是主要被摄体（第3张）的焦点深度的几倍。该处理与图14的步骤521中，判定主要被摄体（第1张）的合焦位置和非主要被摄体（第2张）的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍（此处表示为“a倍”）的处理相对应。

另外，在“处理D”的步骤607、步骤621及步骤635中，判定第2张的合焦位置和第1张的合焦位置的差是主要被摄体（第3张）的焦点深度的几倍。这些处理与图14的步骤523、步骤537及步骤551中、判定第2张的合焦位置和第3张的合焦位置的差是主要被摄体（第1张）的焦点深度的几倍的处理相对应。

下面，对于图17所示的“处理E”进行说明。如果确定了对焦包围拍摄的拍摄数量，则进入“处理E”。首先，在步骤701中，在所设定的焦点位置处进行对焦包围拍摄，将由此得到的拍摄图像存储在存储器48的规定区域中（与对焦包围拍摄部相对应）。然后，在步骤703中，将通过上述处理得到的摄像图像中的与主要被摄体合焦的图像设为基准图像，将除了该基准图像以外的图像设为非基准图像，在彼此相邻的相邻图像之间进行对应点检测（与对应点检测部相对应）。如果在彼此相邻的相邻图像之间进行对应点检测，则模糊度的差较小，容易进行对应点检测。

例如，在图12所示的例子中，如果第1张图像是在主要被摄体MO的合焦位置拍摄到的基准图像60M，则与基准图像60M相邻的第2张图像是中间图像60N。另外，与中间图像60N相邻的第3张图像是对象图像60S。因此，如上所述，在基准图像60M和中间图像60N、中间图像60N和对象图像60S这种彼此相邻的相邻图像之间进行对应点检测。此外，对于对应点检测的方法，由于与第1实施方式相同，因此省略说明。

然后，在步骤705中，对于相邻图像中的一个图像进行图像变形，以使得通过上述步骤703的处理得到的相邻图像中的一个图像的对应点位置，与相邻图像的另一个图像的对应点位置尽可能一致（与图像变形部相对应）。在基准图像和非基准图像相邻的情况下，对非基准图像进行图像变形（位置对齐）。由于容易在相邻图像之间进行对应点检测，因此能够容易地得到变形图像。

例如，在图12所示的例子中，如果在基准图像60M和中间图像60N之间进行对应点检测及图像变形，则可得到对中间图像60N进行图像变形后的变形中间图像60NA。如果在该变形中间图像60NA和对象图像60S之间进行对应点检测及图像变形，则可得到对对象图像60S进行图像变形后的变形对象图像60SA。此外，对于图像变形的方法，由于与第1实施方式相同，因此省略说明。

然后，在步骤707中进行模糊量计算。此外，还能够使用计算出的模糊量，生成近处为黑且远处为白的距离图像。在后面的步骤709中，使用计算出的模糊量进行模糊加强等模糊处理（与图像生成部相对应）。关于模糊量的计算、模糊处理的方法，由于与第1实施方式相同，因此省略说明。所得到的模糊调整图像经由外部存储器接口50而记录在存储卡52中，然后，结束本第5拍摄处理程序。

如以上说明所述，根据本实施方式，由于在从对焦包围拍摄到图像变形为止的动作中，在位于主要被摄体的合焦位置和非主要被摄体的合焦位置之间的中间焦点位置处拍摄中间图像，在彼此相邻的相邻图像之间进行对应点检测，因此，模糊度的差较小，容易进行对应点检测。因此，即使是模糊度的差过大的情况下，与不改变拍摄数量而拍摄非基准图像的现有对焦包围拍摄相比，也能够拍摄容易进行对应点检测的图像，能够实现对应点检测的精度提高。

另外，根据本实施方式，由于在彼此相邻的相邻图像之间进行对应点检测及图像变形，因此能够改变进行对应点检测及图像变形的图像的组合，即使是现有对焦包围拍摄中的对应点检测及图像变形失败这种模糊度的差较大的场景（微距场景或高倍率变焦场景），也能够适当地进行对应点检测及图像变形，能够发挥模糊效果。

此外，根据本实施方式，针对与相邻图像相对应的合焦位置之间的差设置阈值，在大于或等于该阈值的情况下，使与非主要被摄体对应的焦点位置从合焦位置向主要被摄体侧平移，获取非基准图像，因此，可使相邻图像之间的模糊度的差进一步减小。由此，对应点检测的精度进一步提高。

以上使用实施方式对本发明进行了说明，但本发明的技术范围并不限定于上述实施方式所记载的范围。能够在不脱离发明主旨的范围内对上述实施方式施加多种变更或改良，施加了该变更或改良的方式也包含在本发明的技术范围内。

另外，上述的实施方式并不是限定权利要求所涉及的发明，另外，并不限定为实施方式中说明的特征的全部组合是发明的解决方案必需的。所述实施方式包含有多个阶段的发明，能够通过公开的多个构成要件的适当组合而提取出多个发明。在即使从实施方式所示的全部构成要件中删除几个构成要件也能够得到效果这一前提下，可将以上几个构成要件删除后的构成提取作为发明。

例如，在上述第5实施方式中，对于同时使用以下两种方法，即，拍摄中间图像并在相邻图像之间进行对应点检测的方法、和在合焦位置之间的差超过阈值的情况下进行焦点位置平移的方法的例子进行了说明，但也可以仅使用拍摄中间图像并在相邻图像之间进行对应点检测的方法。

另外，在上述第5实施方式中，对于同时使用在合焦位置之间的差超过阈值的情况下进行焦点位置平移的例子进行了说明，但如第2实施方式或第3实施方式所示，判断焦点位置之间的差是否大于或等于阈值的基准能够适当变更。

另外，在上述第4实施方式中，对于在进行对应点检测之前进行复原处理等图像处理的例子进行了说明，但在其他实施方式中，也能够在进行对应点检测之前，对基准图像及非基准图像中的至少一个实施复原处理等图像处理。

另外，在上述各实施方式中说明的数字照相机10的结构（参照图1）只是一个例子，当然能够在不脱离本发明主旨的范围内删除不需要的部分、或追加新的部分、或对连接状态进行变更。

此外，在上述各实施方式中说明的各种摄像处理程序的处理流程也只是一个例子，当然能够在不脱离本发明主旨的范围内删除不需要的步骤、或追加新的步骤、或对处理顺序进行调换。

Claims (10)

1.一种摄像装置，其具有：

自动焦点位置判断单元，其基于图像数据对多个被摄体的各个合焦位置进行判断；

主要被摄体确定单元，其基于所述图像数据确定主要被摄体；

焦点位置平移单元，其在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；

对焦包围拍摄单元，其基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；

对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，在所述基准图像和除了所述基准图像以外的非基准图像之间进行被摄体的对应点检测；

图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；

图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像；以及

图像处理单元，该图像处理单元在进行所述对应点检测之前，对于所述基准图像及所述非基准图像中的至少一个，实施用于使所述基准图像及所述非基准图像彼此之间的模糊度接近的图像处理。

2.根据权利要求1所述的摄像装置，其中，

使与所述非主要被摄体对应的焦点位置平移的平移量设定为，使得表示所述差的物理量不超过第1阈值。

3.根据权利要求1或2所述的摄像装置，其中，

表示所述差的物理量是所述主要被摄体的合焦位置和非主要被摄体的合焦位置之间的光轴上距离、在由所述图像数据表示的图像内选择的选择区域的锐度差、以及在由所述图像数据表示的图像内选择的选择区域的频率成分的变化中的至少1个。

4.根据权利要求1所述的摄像装置，其中，

所述图像生成单元包含：

滤波特性确定单元，其基于所述基准图像和所述变形后的所述非基准图像，针对每个像素，计算用于对所述基准图像进行模糊处理的滤波特性；以及

滤波处理单元，其基于针对每个像素计算出的滤波特性，对所述基准图像进行滤波处理。

5.一种摄像方法，其具有下述工序：

自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个合焦位置进行判断；

主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；

焦点位置平移工序，在该工序中，在表示所述主要被摄体的合焦位置和非主要被摄体的合焦位置的差的物理量大于或等于第1阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移；

对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置及非主要被摄体的平移后的焦点位置，依次拍摄图像，从而获取多个图像；

对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，在该基准图像和除了该基准图像以外的非基准图像之间进行被摄体的对应点检测；

图像变形工序，在该工序中，对所述非基准图像进行变形，以使得通过所述对应点检测工序检测到的对应点的位置一致；

图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像；以及

图像处理工序，在该工序中，在进行所述对应点检测之前，对于所述基准图像及所述非基准图像中的至少一个，实施用于使所述基准图像及所述非基准图像彼此之间的模糊度接近的图像处理。

6.一种摄像装置，其具有：

自动焦点位置判断单元，其基于图像数据对多个被摄体的各个焦点位置进行判断；

主要被摄体确定单元，其基于所述图像数据确定主要被摄体；

追加拍摄判断单元，其在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，判断为在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置，拍摄至少1张追加图像；

对焦包围拍摄单元，其基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；

对应点检测单元，其将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始、且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；

图像变形单元，其对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；

图像生成单元，其基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像；以及

图像处理单元，该图像处理单元在进行所述对应点检测之前，对于所述基准图像及所述非基准图像中的至少一个，实施用于使所述基准图像及所述非基准图像彼此之间的模糊度接近的图像处理。

7.根据权利要求6所述的摄像装置，其中，

还具有焦点位置平移单元，该焦点位置平移单元在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量大于或等于第3阈值的情况下，使与所述非主要被摄体对应的焦点位置从所述非主要被摄体的合焦位置向主要被摄体侧平移，

所述对焦包围拍摄单元进一步基于非主要被摄体的平移后的焦点位置拍摄图像。

8.根据权利要求7所述的摄像装置，其中，

使与所述非主要被摄体对应的焦点位置平移的平移量设定为，使得表示所述差的物理量不超过第3阈值。

9.根据权利要求7或权利要求8所述的摄像装置，其中，

表示所述差的物理量是所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的光轴上距离、在由所述图像数据表示的图像内选择的选择区域的锐度差、以及在由所述图像数据表示的图像内选择的选择区域的频率成分的变化中的至少1个。

10.一种摄像方法，其包含下述步骤：

自动焦点位置判断工序，在该工序中，基于图像数据对多个被摄体的各个焦点位置进行判断；

主要被摄体确定工序，在该工序中，基于所述图像数据确定主要被摄体；

追加拍摄判断工序，在该工序中，在表示所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置的差的物理量超过第2阈值的情况下，判断为在处于所述主要被摄体的合焦位置和所述非主要被摄体的合焦位置之间的中间焦点位置，拍摄至少1张追加图像；

对焦包围拍摄工序，在该工序中，基于所述主要被摄体的合焦位置、所述非主要被摄体的合焦位置、及中间焦点位置，依次拍摄图像，从而获取多个图像；

对应点检测工序，在该工序中，将在所述主要被摄体的合焦位置拍摄到的图像作为基准图像，将在所述中间焦点位置拍摄到的图像作为中间图像，将在所述非主要被摄体的合焦位置拍摄到的图像作为非基准图像，以从所述基准图像和与所述基准图像相邻的中间图像开始、且在所述中间图像和与所述中间图像相邻的非基准图像结束的方式，在彼此相邻的图像之间进行被摄体的对应点检测；

图像变形工序，在该工序中，对所述非基准图像进行变形，以使得所述检测到的对应点的位置一致；

图像生成工序，在该工序中，基于所述基准图像和所述变形后的所述非基准图像，生成对除了所述主要被摄体的区域以外的区域的模糊度进行调整后的模糊调整图像；以及

图像处理工序，在该工序中，在进行所述对应点检测之前，对于所述基准图像及所述非基准图像中的至少一个，实施用于使所述基准图像及所述非基准图像彼此之间的模糊度接近的图像处理。