CN109906599B - 一种终端的拍照方法和终端 - Google Patents

Abstract

本发明实施例公开了一种终端的拍照方法和终端，用于实现不同变焦倍率下的变焦效果和大光圈效果。本发明实施例方法包括：获取目标变焦倍率；同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，其中，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

Description

一种终端的拍照方法和终端

本申请要求2016年10月28日递交中国专利局、申请号为“201610964290.0”、申请名称为“一种终端的拍照方法和终端”，和2016年12月1日递交中国专利局、申请号为“PCT/CN2016/108271”、申请名称为“一种终端的拍照方法和终端”的优先权，其内容通过引用的方式，全部结合在本申请中。

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种具有黑白摄像头和彩色摄像头的终端的拍照方法和终端。

背景技术

手机拍照效果一直是影响用户选择不同手机的重要因素，手机手机拍照效果越好越受消费者青睐。焦距大小对手机拍照效果的影响很大，其中，85mm焦距可以给画面带来适当的人物和环境描写，在拍摄人像时使用85mm的焦距，就可以很方便地在半身人像和全身人像之间切换，透视畸变最小，而且人物变形不大；同时，与其他不同焦距对比时，85mm的焦距更容易用大光圈营造出浅景深效果，此外，视场角(英文全称：Fiedangle of view，英文简称：FOV)也是影响手机拍照效果的重要因素，视场角的大小与摄像头的焦距相关。

现有技术中，iPhone7 Plus有两枚1200万像素的后置彩色摄像头，广角摄像头等效焦距为28mm，光圈值为f/1.8，长焦摄像头等效焦距为56mm，光圈值为f/2.8。在肖像模式下，长焦摄像头浅景深效果，广角摄像头获取清晰的前景图像。在双摄像头的共同作用下，iPhone7 Plus可以实现2X的光学变焦后达到56mm焦距的人像拍照效果。

在现有技术中，在肖像模式下，iPhone7 Plus实现了基于56mm焦距的长焦镜头实现2X光学变焦，由于长焦摄像头的等效焦距为广角摄像头的两倍，因此iPhone7 Plus只能实现变焦倍率为2X的光学变焦效果，其变焦倍率2X受到光学镜头焦距的限制无法实现可变变焦倍率的变焦效果。

发明内容

本发明实施例提供了一种终端的拍照方法和终端，用于实现不同变焦倍率下的变焦效果和大光圈效果。

本发明实施例的第一方面提供一种终端的拍照方法，包括：

至少两个摄像头，其中一个为彩色摄像头，另一个为黑白摄像头且所述黑白摄像头和所述彩色摄像头平行设置于所述终端机身的同一侧。根据用户变焦，获取目标变焦倍率，然后分别同时拍摄目标场景的彩色图像和黑白图像，由于彩色摄像头的分辨率低于黑色摄像头，所以黑白图像表达出的所述目标场景，比所述彩色图像具有更多的细节信息；然后根据目标变焦倍率对彩色图像和黑白图像进行相应的裁剪，并保证裁剪后的彩色图像和裁剪后的黑白图像具有相同的视场角，最后，对裁剪后的彩色图像和裁剪后的黑白图像进行融合得到彩色变焦图像。

从以上技术方案中，可以看出本发明实施例方法具有如下优点：

对在目标场景中同时拍摄到的多张黑白图像和多张彩色图像按照目标变焦倍率进行相应的裁剪，然后将裁剪后的黑白图像和裁剪后的彩色图像进行融合得到彩色变焦图像。可以理解的是，一方面，由于裁剪后的黑白图像与裁剪后的彩色图像对应的视场角与变焦倍率为所述目标变焦倍率的光学变焦相同，并且黑白摄像头的分辨率高于彩色摄像头的分辨率，因此，裁剪后的黑白图像与裁剪后的彩色图像相比，裁剪后的黑白图像的分辨率仍然高于彩色图像，可以充分发挥进行融合得到的彩色变焦图像具有更高的细节解析力，可以等效于同等变焦倍率的光学变焦效果。因此本发明实施例可以实现不同变焦倍率下的变焦效果。

结合本发明实施例的第一方面，在本发明实施例的第一方面的第一种实现方式中，上述拍照方法还包括：

根据所述目标场景的深度信息对上述得到的彩色变焦图像进行背景虚化处理。

通过深度信息对彩色变焦图片进行背景虚化处理后，可以使得被拍摄的主体变得清晰，背景变得模糊，从而使得被拍摄的主体显得更加突出。

结合本发明实施例的第一方面的第一种实现方式，本发明实施例的第一方面的第二种实现方式中，上述拍照方法还包括：

陀螺仪传感器信息可以判断拍摄环境是否处于相对静止状态，图像对比度信息与图像的清晰度、细节表现和灰度层次表现相关，黑白图像的对比度信息越大图像的细节表现和灰度层次表现越明显，彩色图像的对比度信息越大，图像越清晰醒目，色彩也越鲜明亮丽；

因此，当所述黑色图像的数量为两张以上时，首先根据陀螺仪传感器信息和黑白图像的对比度信息从裁剪后的黑白图像中确定出一张图像质量高的目标黑白图像，同理，当所述彩色图像的数量为两张以上时，根据陀螺仪传感器信息和彩色图像的对比度信息从裁剪后的彩色图像中确定出一张图像质量高的目标彩色图像；然后对上述目标黑白图像和目标彩色图像进行深度计算将深度信息计算出来。

利用陀螺仪传感器信息，黑白图像的对比度信息和彩色图像的对比度信息选择出图像质量高的目标彩色图像和目标黑白图像，这样利用高质量的图片计算出来的深度信息更加精确。

可选的，本发明实施例的第一方面还提供了一种实现方式，得到所述彩色变焦图像后，所述方法还包括：识别所述彩色变焦图像中的感兴趣区域ROI；对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。通过这种方式，可以实现大光圈虚化效果。

可选的，本发明实施例的第一方面还提供了一种实现方式，所述对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理具体为：根据双目立体视觉原理，计算所述彩色变焦图像的场景深度信息；根据所述彩色变焦图像的前景信息、所述黑白摄像头和所述彩色摄像头各自的光圈值FUM，和所述场景深度信息，对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。

可选的，本发明实施例的第一方面还提供了一种实现方式，当所述黑色图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，所述根据双目立体视觉原理，计算所述彩色变焦图像的场景深度信息具体为：根据所述黑白图像的对比度信息、所述彩色图像的对比度信息，和所述终端的陀螺仪采集的信息，从所述黑白图像和所述彩色图像中，挑选抖动信息最小和/或对比度信息最大的一张黑白图像和一张彩色图像，根据挑选出的黑白图像和彩色图像、和双目立体视觉原理，计算所述彩色变焦图像的场景深度信息。

本发明实施例第二方面提供了一种终端，包括：

至少两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，所述黑白摄像头用于拍摄黑白图像，所述彩色摄像头用于拍摄彩色图像，所述黑白摄像头的分辨率高于所述彩色摄像头的分辨率，所述黑白摄像头的光轴与所述彩色摄像头平行；

拍摄模块，用于同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；

第一确定模块，用于确定目标变焦倍率；

裁剪模块，用于按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

融合模块，用于对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

从以上技术方案中，可以看出本发明实施例方法具有如下优点：

拍摄模块对在目标场景中同时拍摄到的多张黑白图像和多张彩色图像，裁剪模块按照目标变焦倍率进行相应的裁剪，然后融合模块将裁剪后的黑白图像和裁剪后的彩色图像进行融合得到彩色变焦图像。可以理解的是，一方面，由于裁剪后的黑白图像和裁剪后的彩色图像具有相同的视场角，并且黑白摄像头的分辨率高于彩色摄像头的分辨率，因此，裁剪后的黑白图像与裁剪后的彩色图像相比，裁剪后的黑白图像的分辨率仍然高于彩色图像，可以充分发挥进行融合得到的彩色变焦图像具有更高的细节解析力，可以等效于同等变焦倍率的光学变焦效果。因此本发明实施例可以实现不同变焦倍率下的变焦效果。

结合本发明实施例的第二方面，在本发明实施例的第一方面的第一种实现方式中，上述终端还包括：

虚化模块，用于根据所述目标场景的深度信息对所述彩色变焦图像进行背景虚化。

背景虚化模块可以对彩色变焦图像进行背景虚化处理，通过背景虚化处理后的图像越清晰，色彩也越鲜明亮丽。

结合本发明实施例的第二方面的第一种实现方式，本发明实施例的第一方面的第二种实现方式中，上述方法还包括：

第二确定模块，用于当所述黑色图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，根据陀螺仪传感器信息，所述黑白图像的对比度信息和所述彩色图像的对比度信息从裁剪后的黑白图像与裁剪后的彩色图像中，确定图像质量高的目标黑白图像和目标彩色图像各一张；

计算模块，用于对所述目标黑白图像和所述目标彩色图像进行深度计算得到所述深度信息。

使用第二确定模块的高质量目标彩色图像和高质量目标黑白图像进行深度计算能有效地提高深度信息的精确度。

本发明实施例第二方面提供的终端，可以执行第一方面各个实现方式中表述的方法。

本发明实施例的第三方面提供了一种终端，包括：

处理器、存储器和至少两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，所述黑白摄像头用于拍摄黑白图像，所述彩色摄像头用于拍摄彩色图像，所述黑白摄像头的分辨率高于所述彩色摄像头的分辨率，所述黑白摄像头的光轴与所述彩色摄像头平行；

通过调用所述存储器存储的操作指令，所述处理器，用于执行如下步骤：

同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；

确定目标变焦倍率；

按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

本发明实施例第三方面提供的终端，可以执行第一方面的各个实现方式中表述的方法。

从以上技术方案中，可以看出本发明实施例方法具有如下优点：

处理器对在目标场景中同时拍摄到的多张黑白图像和多张彩色图像按照目标变焦倍率进行相应的裁剪，然后将裁剪后的黑白图像和裁剪后的彩色图像进行融合得到彩色变焦图像。可以理解的是，一方面，由于裁剪后的黑白图像和裁剪后的彩色图像具有相同的视场角，并且黑白摄像头的分辨率高于彩色摄像头的分辨率，因此，裁剪后的黑白图像与裁剪后的彩色图像相比，裁剪后的黑白图像的分辨率仍然高于彩色图像，可以充分发挥进行融合得到的彩色变焦图像具有更高的细节解析力，可以等效于同等变焦倍率的光学变焦效果。因此本发明实施例可以实现不同变焦倍率下的变焦效果。

结合本发明实施例的第三方面，在本发明实施例的第三方面的第一种可能的实现方式中，所述处理器还用于执行如下步骤：

根据所述目标场景的深度信息对所述彩色变焦图像进行背景虚化。

处理器对彩色变焦图像进行背景虚化处理，通过背景虚化处理后的图像越清晰，色彩也越鲜明亮丽。

结合本发明实施例的第三方面的第一种可能的实现方式，在本发明实施例的第三方面的第二种可能的实现方式中，所述处理器还用于执行如下步骤：

当所述黑色图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，根据陀螺仪传感器信息，所述黑白图像的对比度信息和所述彩色图像的对比度信息从裁剪后的黑白图像与裁剪后的彩色图像中，确定图像质量高的目标黑白图像和目标彩色图像各一张；

对所述目标黑白图像和所述目标彩色图像进行深度计算得到所述深度信息。

处理器通过陀螺仪传感器信息和对比度信息确定出高质量目标彩色图像和高质量目标黑白图像之后，再进行深度计算能有效地提高深度信息的精确度。

附图说明

图1为本发明实施例中终端的拍照方法的一个实施例示意图；

图2为本发明实施例中黑色摄像头拍摄地一张黑白图像；

图3为本发明实施例中彩色摄像头拍摄的一张彩色图像；

图4为本发明实施例中的图像裁剪示意图；

图5为本发明实施例中一张裁剪后的黑白图像；

图6为本发明实施例中一张裁剪后的彩色图像；

图7为本发明实施例中的图像融合示意图；

图8为本发明实施例中的彩色像素示意图；

图9为本发明实施例中的彩色像素合成过程示意图；

图10为本发明实施例中的黑白像素示意图；

图11为本发明实施例中的背景虚化示意图；

图12为本发明实施例中的景深-距离曲线图；

图13为本发明实施例中的一个双摄像头位置示意图；

图14为本发明实施例中终端的一个实施例示意图；

图15为本发明实施例中终端的另一个实施例示意图；

图16为本发明实施例中终端的另一个实施例示意图；

图17为本发明实施例中获取目标变焦倍率的示意图。

具体实施方式

本发明实施例提供了一种终端的拍照方法和终端，用于实现不同变焦倍率下的变焦效果和大光圈效果。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

手机已成为人们日常生活中必不可少的电子产品，手机的拍照能力备受人们青睐，手机像素越高，拍照效果越佳。在拍照过程中，通常可以调节光圈和焦距来使被拍物体变得更加清晰，光圈决定了进光量的多少同时也是决定景深大小的重要因素，光圈越大对应的光圈值越小，景深较浅；光圈越小对应的光圈值越大，景深较深。焦距决定了被拍物体的成像大小，拍照时可以对焦距进行调节即变焦，变焦方式可分为光学变焦和数码变焦两种，通过变焦可以提高照片的像素，使得被拍物体变得更加清晰。

为了便于理解本发明实施例中终端的拍照方法，下面将对本发明实施例中终端的拍照方法的一个实施例进行说明。

以终端为手机为例，请参阅图1对本发明实施例中拍照方法的一个实施例进行详细说明，包括：

101、手机获取目标变焦倍率。

本实施例中，用户启动相机应用程序，手机呈现相机的预览界面，如图17所示。用户可以通过在该预览界面上双指捏合的方式，调整目标变焦倍率。如图17所示，该目标变焦倍率为2倍。如果用户不进行变焦，则该目标变焦倍率默认为1倍。当用户进行变焦时，相机的预览界面也跟着发生改变，比如预览界面的画面被放大或缩小。

102、手机同时拍摄目标场景的黑白图像和彩色图像。

本实施例中，手机具有两个摄像头，一个为黑白摄像头，另一个为彩色摄像头，黑色摄像头的分辨率为彩色摄像头的1.6倍以上，上述两个摄像头平行放置以使得两摄像头的光轴平行；手机的彩色摄像头拍摄彩色图像，黑白摄像头同时拍摄与彩色图像拍摄场景一致的黑白图像，最终手机获得至少一张彩色图像和至少一张黑白图像如8帧彩色图像和8帧黑白图像。

其中，黑白摄像头拍摄的黑白图像如图2所示，彩色摄像头拍摄的彩色图像如图3所示(由于申请文件中不能使用彩色图像，因此将图3所示的彩色图像显示为灰度)，图2所示的黑白图像分辨率大致为图3所示图像的1.6倍。

103、手机按照目标变焦倍率对黑白图像和彩色图像进行相应的裁剪。

本实施例中，手机对拍摄的多帧彩色图像和黑色图像进行裁剪，具体来说，在目标变焦倍率下，裁剪彩色图像和黑白图像的中央区域，保证中央区域具有相同的视场角；裁剪示意图如图4所示，当目标变焦倍率为n倍时，假设彩色图像分辨率为cH*cW，对应的尺寸大小为C*D，则在彩色图像中央裁剪尺寸大小为

的图像得到裁剪后的彩色图像，同时裁剪后的图像分辨率变为

同理，假设黑白图像分辨率为mH*mW，对应的尺寸大小为M*N，则在黑白图像中央裁剪尺寸大小为

的图像得到裁剪后的彩色图像，同时裁剪后的图像分辨率变为

经过这样裁剪后，裁剪后的图像对应的视场角与变焦倍率为n倍的光学变焦相同，并且裁剪后的黑白图像分辨率和裁剪后的彩色图像之间的倍数仍然与黑色摄像头的分辨率和彩色摄像头之间的倍数相同，如若黑色摄像头的分辨率是彩色摄像头的1.6倍，则裁剪后的黑白图像分辨率也为裁剪后的彩色图像的1.6倍。

其中，当目标变焦倍率n＝3时，按照上述裁剪方法对图2和图3中的黑白图像和彩色图像进行相应的裁剪之后得到如图5所示的黑白图像和图6所示的彩色图像(由于申请文件中不能使用彩色图像，因此将如图6所示的彩色图像显示为灰度)，在上述裁剪之后，图5所示的黑白图像的分辨率仍然是图6所示的彩色图像的1.6倍。

104、手机对裁剪后的黑白图像和裁剪后的彩色图像进行融合得到彩色变焦图像。

本实施例中，彩色图像和黑白图像进过上述步骤103的裁剪操作之后，如图7所示，手机先采用超分辨率模块分别对裁剪后的彩色图像和裁剪后的黑白图像进行超分辨率处理以提高原有图像的分辨率，再采用彩色黑白融合模块对超分辨率处理后的图像进行融合得到彩色变焦图像；其中，所述超分辨率模块是指，通过插值算法，使得裁剪后的彩色图像和裁剪后的黑白图像的分辨率得到提高的模块。其中，彩色摄像头的像素分布如图8所示的拜耳阵列，其中拜耳阵列包括RGBR排列和RGBW排列两种不同的排列方式，在拜耳阵列下，如图9所示，入射光线入射到每个像素点过程中，该入射光线会被每个像素点对应的滤光片过滤掉一部分，每个像素点上只保留该部分颜色的强度，因此，在后期成像过程中，需要以每四个RGBR或RGBW像素点为一组进行反拜耳运算后，通过参考相邻像素点的颜色强度，根据红绿蓝三原色合成原理合成并还原拍摄物体本来的颜色，在如图9所示像素合成过程中，从入射光线到像素时的能量损失近70％，而黑白摄像头的像素分布图如图10所示，每个像素点独立保存拍摄物体的画面的灰度信息，最大程度上的保留了画面的细节信息，因此，裁剪后的黑色图像的细节解析能力远高于剪裁后的彩色图像；综上所述，裁剪后的黑色图像一方面无论是图像分辨率还是图像细节解析能力均高于裁剪后的彩色图像，另一方面按照目标变焦倍率裁剪的图像对应的视场角与相同变焦倍率光学变焦相等，因此，最终融合得到的彩色变焦图像的细节解析能力得以大幅度提升，可以等效于同等变焦倍率的光学变焦效果。

此外，本实施例中，需要说明的是，裁剪后的黑白图像对应的视场角和裁剪后的黑白图像对应的视场角相同可具体为：当上述两个视场角之间的差值在预设误差范围内即等同于上述两个视场角相同。

105、手机根据陀螺仪传感器信息，黑白图像的对比度信息和彩色图像的对比度信息从裁剪后的黑白图像和裁剪后的彩色图像中确定一张图像质量高的目标黑白图像和目标彩色图像各一张。

本实施例中，当黑色图像的数量为两张以上时，手机根据陀螺仪传感器信息和黑白图像的对比度信息选择出在相对静止环境中拍摄到的图像质量高的目标黑白图像，同理，当彩色图像的数量为两张以上时，手机根据陀螺仪传感器信息和黑白图像的对比度信息选择出目标彩色图像。

陀螺仪用于检测用户拍照时的抖动信息。一般来说，抖动信息越小，拍摄得到的照片越清晰。对比度是反映图像清晰度的一个因素。一般来说，图像的对比度越大，图像越清晰。

此外，需要说明的是，当黑色图像的数量为一张时，手机直接将上述黑色图像确定为目标黑白图像；同理，当彩色图像的数量为一张时，手机直接将上述彩色图像确定为目标彩色图像。

106、手机对目标黑白图像和目标彩色图像进行深度计算得到深度信息。

本实施例中，当手机选择出目标黑白图像和目标彩色图像之后，利用双目立体视觉原理计算拍摄场景对应的双目景深图即景深-距离曲线图如图12所示，景深-距离曲线图中包括不同光圈值对应的景深与距离之间的关系曲线即深度信息，在图12中，曲线1的光圈值大于曲线2的光圈值。所谓双目立体视觉，指通过两颗摄像头，模拟人的两颗眼睛看物体的原理，计算目标场景的深度信息。本发明的实施例中，该两颗摄像头一颗为黑白MONO摄像头，一颗为彩色摄像头。

其中，利用双目立体视觉原理进行深度计算得到双目景深图具体为：选择出目标黑白图像和目标彩色图像之后，先采用上述目标图像对应的光流场计算目标彩色图像和目标黑白图像对应的像素视差图，从而得到目标黑白图像和目标彩色图像中各像素点对应的像素视差值；然后，利用双目立体视觉原理得到的计算公式

其中T为黑白摄像头与彩色摄像头之间的距离，c为对应像素点的像素视差值，f为实际相距，当黑色摄像头和彩色摄像头同时对焦同一物体时，根据相机成像原理，对焦之后能使得黑白摄像头的相距和彩色摄像头相等即实际相距f。

另外，当原图像的分辨率为dH*dW时，有效场景深度图的分辨率为

大光圈的有效深度范围为L米；在没有变焦的情况下，当输入为了提高场景深度计算性能，可以直接把输入图像降采样至分辨率为

生成场景计算源图，然后在计算双目景深图；在X倍变焦之后，只要裁剪后的图像分辨率不低于裁剪前的图像分辨率的

倍，对裁剪图像降采样到分辨率为

的场景深度计算源图进行深度计算后得到的双目景深图的深度精度不受影响，此时大光圈的有效深度范围会变为原来的X倍即XL米。具体来说，以目标彩色图像为例，当m＝8时，目标彩色图像的分辨率为3968*2976，在正常大光圈模式下，没有变焦时，对目标彩色图像降采样生成分辨率为496*372的场景深度计算源图，从而计算分辨率为496*372的场景深度计算源图进行深度计算得到分辨率为496*372的双目深度图，此时大光圈有效距离为2米；在进行目标变焦倍率3X变焦并且由步骤103的裁剪后可以确定裁剪后的目标彩色图像的分辨率为496*372，目标彩色图像的分辨率在有效范围内，将目标彩色图像作为分辨率为496*372的场景计算原图进行深度计算后得到的双目深度图与未变焦之前的深度精度不受影响，此时大光圈有效距离为2*3＝6米。其中3为目标变焦倍率3倍。当目标变焦倍率为3倍时，所述黑白摄像头和所述彩色摄像头的等效焦距在75mm和85mm之间。等效焦距是指，当将所述黑白摄像头和所述彩色摄像头作为一个整体等效为一颗摄像头时，所述等效摄像头的焦距。

107、手机根据深度信息对彩色变焦图像进行背景虚化。

本实施例中，基于深度信息的基础上对彩色变焦图像进行背景虚化合成大光圈虚化效果。如图11所示，在获得景深-距离曲线图之后，景深控制模块根据对焦选中的前景位置信息判断前景景深，基于大光圈值对应的景深-距离曲线如曲线1，获取每个像素点对应的场景深度值，利用曲线1获取对应的虚化半径对上述彩色变焦图像进行特定滤波器虚化如高斯虚化，从而得到背景虚化后的彩色变焦图像。

此外，本实施例中，手机摄像头的一种放置方法如图13所示，手机背面的彩色摄像头1和黑白摄像头2平行并列放置，并且位于同一条铅垂线上，手机正面的的彩色摄像头3和黑白摄像头4平行并列放置，并且位于同一条水平线上。需要说明的是，图13所示的放置方法只是放置方法中的一种，对于能达到与上述放置方法相同技术效果的其他放置方法此处不做限定。

本实施例中，一方面融合得到的彩色变焦图像的细节解析能力得以大幅度提升，可以等效于同等变焦倍率的光学变焦效果；另一方面根据对焦选中的前景位置信息判断前景景深，基于大光圈值对应的景深-距离曲线如曲线1，获取每个像素点对应的场景深度值，利用曲线1获取对应的虚化半径对上述彩色变焦图像进行特定滤波器虚化如高斯虚化；从而实现了等同目标变焦倍率的光学变焦效果和大光圈下的背景虚化效果，因此，本发明实施例中手机的拍照方法可以获得更加清晰的图像，提升手机的拍照效果。

在步骤104之后，本发明实施例还可以包括如下步骤：

201：识别所述彩色变焦图像中的感兴趣区域ROI；

202：对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。

在图像处理领域，感兴趣区域(ROI，全称region of interest)是从图像中选择的一个图像区域，这个区域是图像分析时所关注的重点。比如一张图片的前景是一个人，背景是一支狗。如果用户的关注的焦点为图片中的人，那图片中的人便是ROI；如果用户的关注的焦点为图片中的狗，那图片中的狗便是ROI。

通过对感兴趣区域之外的区域进行虚化处理，实现大光圈效果。所述大光圈效果，指模拟单反相机的拍照效果。比如用户关注的焦点是人时，用单反拍照时，图片中的人是清晰的，而图片中的狗是虚化的。本发明实施例所说的大光圈效果，就是模拟单反的这种拍照效果。

上述实施例对本发明实施例中终端的拍照方法进行了详细说明，下面对本发明实施例中终端进行详细描述。

请参阅图14以手机为例对本发明实施例中终端进行详细说明，包括：

两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，该黑白摄像头用于拍摄黑白图像，该彩色摄像头用于拍摄彩色图像，该黑白摄像头的分辨率高于该彩色摄像头的分辨率，该黑白摄像头的光轴与该彩色摄像头平行；

拍摄模块1401，用于同时拍摄目标场景的黑白图像和彩色图像，该黑白图像的分辨率高于该彩色图像，该黑白图像的数量为至少一张，该彩色图像的数量为至少一张；

第一确定模块1402，用于确定目标变焦倍率；

裁剪模块1403，用于按照该目标变焦倍率对该黑白图像和该彩色图像进行相应的裁剪，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

融合模块1404，用于对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

本发明实施例的模块是与方法实施例中的方法相对应的，在此不做赘述。

本实施例中，拍摄模块1401对在目标场景中同时拍摄到的多张黑白图像和多张彩色图像，裁剪模块1403按照第一确定模块1402确定的目标变焦倍率进行相应的裁剪，然后融合模块1404将裁剪后的黑白图像和裁剪后的彩色图像进行融合得到彩色变焦图像。可以理解的是，一方面，由于裁剪后的黑白图像和裁剪后的彩色图像具有相同的视场角，并且黑白摄像头的分辨率高于彩色摄像头的分辨率，因此，裁剪后的黑白图像与裁剪后的彩色图像相比，裁剪后的黑白图像的分辨率仍然高于彩色图像，可以充分发挥进行融合得到的彩色变焦图像具有更高的细节解析力，可以等效于同等变焦倍率的光学变焦效果。因此本发明实施例可以实现不同变焦倍率下的变焦效果。

另外，如图15所示，上述手机还包括：

第二确定模块1505，用于当所述黑色图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，根据陀螺仪传感器信息，该黑白图像的对比度信息和该彩色图像的对比度信息从裁剪后的黑白图像与裁剪后的彩色图像中，确定图像质量高的目标黑白图像和目标彩色图像各一张；

计算模块1506，用于对该目标黑白图像和该目标彩色图像进行深度计算得到该深度信息；

背景虚化模块1507，用于当所述黑色图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，根据该目标场景对应的深度信息对该彩色变焦图像进行背景虚化。

本实施例中，使用第二确定模块1505的高质量目标彩色图像和高质量目标黑白图像进行深度计算能有效地提高深度信息的精确度；背景虚化模块1507可以对彩色变焦图像进行背景虚化处理，通过背景虚化处理后的图像越清晰，色彩也越鲜明亮丽。

请参阅图16对本发明实施例中的终端进行描述，手机16包括：输入设备1610、输出设备1620、处理器1630、存储器1640和总线1650。其中，存储器1640可以包括只读存储器和随机存取存储器，并向处理器1630提供指令和数据。存储器1640的一部分还可以包括非易失性随机存取存储器(英文全称：Non-Volatile Random Access Memory，英文缩写：NVRAM)。

存储器1640存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：

操作指令：包括各种操作指令，用于实现各种操作；

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

另外，输入设备1610可具体为两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，黑白摄像头用于拍摄黑白图像，彩色摄像头用于拍摄彩色图像，黑白摄像头的分辨率高于彩色摄像头的分辨率，黑白摄像头的光轴与彩色摄像头平行。

本发明实施例中处理器1630用于：

同时拍摄目标场景的黑白图像和彩色图像，该黑白图像的分辨率高于该彩色图像，该黑白图像的数量为至少一张，该彩色图像的数量为至少一张；

确定目标变焦倍率；

按照该目标变焦倍率对该黑白图像和该彩色图像进行相应的裁剪，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

处理器1630控制手机终端16的操作，处理器1630还可以称为中央处理单元(英文全称：Central Processing Unit，英文缩写：CPU)。存储器1640可以包括只读存储器和随机存取存储器，并向处理器1630提供指令和数据。存储器1640的一部分还可以包括NVRAM。具体的应用中，第一终端16的各个组件通过总线系统1650耦合在一起，其中总线系统1650除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统1650。

本发明实施例的装置是与方法实施例中的方法相对应的，在此不做赘述。

上述本发明实施例揭示的方法可以应用于处理器1630中，或者由处理器1630实现。处理器1630可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1630中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1630可以是通用处理器、数字信号处理器(英文全称：Digital Signal Processing，英文缩写：DSP)、专用集成电路(英文全称：Application Specific Integrated Circuit，英文缩写：ASIC)、现成可编程门阵列(英文全称：Field－Programmable Gate Array，英文缩写：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1640，处理器1630读取存储器1640中的信息，结合其硬件完成上述方法的步骤。

图16的相关描述可以参阅图1方法部分的相关描述和效果进行理解，此处不做过多赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种终端的拍照方法，所述终端包括至少两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，所述黑白摄像头用于拍摄静态或动态的黑白图像，所述彩色摄像头用于拍摄静态或动态的彩色图像，所述黑白摄像头的分辨率高于所述彩色摄像头的分辨率，所述黑白摄像头的光轴与所述彩色摄像头的平行，其特征在于，所述拍照方法包括：

获取目标变焦倍率；

同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；

按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，其中，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

2.根据权利要求1所述方法，其特征在于，当所述裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同时，所述裁剪后的黑白图像的分辨率是所述裁剪后的彩色图像分辨率的1.6倍以上。

3.根据权利要求1所述方法，其特征在于，所述目标变焦倍率为3倍，所述黑白摄像头和所述彩色摄像头的等效焦距在75mm和85mm之间。

4.根据权利要求1所述方法，其特征在于，得到所述彩色变焦图像后，所述方法还包括：

识别所述彩色变焦图像中的感兴趣区域ROI；

对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。

5.根据权利要求4所述的方法，其特征在于，所述对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理具体为：

根据双目立体视觉原理，计算所述彩色变焦图像的场景深度信息；

根据所述彩色变焦图像的前景信息、所述黑白摄像头和所述彩色摄像头各自的光圈值FUM，和所述场景深度信息，对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。

6.根据权利要求5所述的方法，其特征在于：

当所述黑白图像的数量为两张以上，和/或，所述彩色图像的数量为两张以上时，所述根据双目立体视觉原理，计算所述彩色变焦图像的场景深度信息具体为：

根据所述黑白图像的对比度信息、所述彩色图像的对比度信息，和所述终端的陀螺仪采集的信息，从所述黑白图像和所述彩色图像中，挑选抖动信息最小和/或对比度信息最大的一张黑白图像和一张彩色图像，根据挑选出的黑白图像和彩色图像、和双目立体视觉原理，计算所述彩色变焦图像的场景深度信息。

7.一种终端，其特征在于，包括：

至少两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，所述黑白摄像头用于拍摄静态或动态的黑白图像，所述彩色摄像头用于拍摄静态或动态的彩色图像，所述黑白摄像头的分辨率高于所述彩色摄像头的分辨率，所述黑白摄像头的光轴与所述彩色摄像头平行；

第一确定模块，用于确定目标变焦倍率；

拍摄模块，用于同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；

裁剪模块，用于按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，其中，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

融合模块，用于对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

8.根据权利要求7所述的终端，其特征在于，所述终端还包括：

识别模块，用于识别所述彩色变焦图像中的感兴趣区域ROI；

虚化模块，用于对所述彩色变焦图像中感兴趣区域之外的区域进行虚化处理。

9.一种终端，其特征在于，包括：

处理器、存储器和至少两个摄像头，其中一个为黑白摄像头，另一个为彩色摄像头，所述黑白摄像头用于拍摄静态或动态的黑白图像，所述彩色摄像头用于拍摄静态或动态的彩色图像，所述黑白摄像头的分辨率高于所述彩色摄像头的分辨率，所述黑白摄像头的光轴与所述彩色摄像头平行；

通过调用所述存储器存储的操作指令，所述处理器，用于执行如下步骤：

确定目标变焦倍率；

同时拍摄目标场景的黑白图像和彩色图像，所述黑白图像的分辨率高于所述彩色图像，所述黑白图像的数量为至少一张，所述彩色图像的数量为至少一张；

按照所述目标变焦倍率对所述黑白图像和所述彩色图像进行相应的裁剪，其中，裁剪后的黑白图像对应的视场角与裁剪后的彩色图像对应的视场角相同；

对裁剪后的黑白图像与裁剪后的彩色图像进行融合得到彩色变焦图像。

Images