CN107239203A - 一种图像管理方法和装置 - Google Patents

Abstract

本申请公开了一种图像管理方法和装置。方法包括：检测用户针对图像的操作；基于所述操作及所述图像中的用户兴趣区域，管理所述图像。本发明实施方式基于用户的兴趣管理图像，可以真实把握用户需求，提高图像管理效率。

Description

一种图像管理方法和装置

技术领域

本发明涉及图像处理技术领域，更具体的说，涉及一种图像管理方法和装置。

背景技术

随着智能设备硬件生产能力的提升和成本下降，拍照性能、存储容量都有了大幅提升，这就导致智能设备端存储大量的图像，用户对这些图像进行浏览和检索、分享和管理的需求也逐渐强烈。

在现有技术中，主要基于时间维度浏览图像。在浏览界面中，用户切换图像时，所有图像以时间顺序展现在用户面前。

然而，基于时间维度浏览图像忽视了用户的兴趣点。

发明内容

本申请提出一种图像管理方法和装置。本申请的技术方案如下：

根据本发明实施方式的一个方面，一种图像管理方法，包括：

检测用户针对图像的操作；

基于所述操作及所述图像中的用户兴趣区域，管理所述图像。

根据本发明实施方式的一个方面，一种图像管理装置，包括：

操作检测模块，用于检测用户针对图像的操作；

管理模块，用于基于所述操作及所述图像中的用户兴趣区域，管理所述图像。

采用本发明实施方式，首先检测用户针对图像的操作，再基于操作及图像中的用户兴趣区域，管理图像。可见，本发明实施方式基于用户的兴趣所在管理图像，可以真实把握用户需求，提高图像管理效率。

附图说明

图1为根据本发明实施方式的图像管理方法流程图。

图2A为根据本发明实施方式，获取图像属性列表的流程图。

图2B为根据本发明实施方式，图像的区域列表示意图。

图3为根据本发明实施方式，手动对焦确定用户兴趣区域的示意图。

图4为根据本发明实施方式，基于视点热图和/或显著性热图确定用户兴趣区域的示意图。

图5A-图5D为根据本发明实施方式，基于显著性视图确定用户兴趣区域的示范性示意图。

图6A为根据本发明实施方式，物体检测带有类别标签的示意图。

图6B为根据本发明实施方式，基于物体分类器产生类别标签的示意图。

图6C为根据本发明实施方式，热图检测与图像分类的结合示意图。

图7为根据本发明实施方式，在图像浏览时进行快速浏览的流程图。

图8为根据本发明实施方式，实现个性化的树形结构的流程图。

图9为根据本发明实施方式，实现个性化类别分类的流程图。

图10为根据本发明实施方式，选择不同传输模式的流程图。

图11为根据本发明实施方式，用户主动发起分享图像的流程图。

图12A-图12B为根据本发明实施方式，用户在使用社交软件时进行图像分享的流程图。

图13A-图13G为根据本发明实施方式，在图像浏览界面的快速浏览示意图。

图14A-图14C为根据本发明实施方式，基于多幅图像的快速浏览示意图。

图15A-图15C为根据本发明实施方式，在视频内的快速浏览示意图。

图16为根据本发明实施方式，在相机预览界面下的快速浏览示意图。

图17为根据本发明实施方式，个性化的树形结构的第一示范性结构图。

图18为根据本发明实施方式，个性化的树形结构的第二示范性结构图。

图19为根据本发明实施方式，移动终端上对树形结构的快速浏览示意图。

图20为根据本发明实施方式，小屏幕设备上对树形结构的快速浏览流程图。

图21A-图21B为根据本发明实施方式，小屏幕设备上对树形结构的快速浏览示意图。

图22为根据本发明实施方式，小屏幕设备上对图像的显示示意图。

图23为根据本发明实施方式，不同传输数量情况下的传输模式示意图。

图24为根据本发明实施方式，不同网络环境情况下的传输模式示意图。

图25为根据本发明实施方式，在缩略图界面下分享图像的第一示意图。

图26A-图26C为根据本发明实施方式，在缩略图界面下分享图像的第二示意图。

图27为根据本发明实施方式，在聊天界面下的第一分享方式示意图。

图28为根据本发明实施方式，在聊天界面下的第二分享方式示意图。

图29为根据本发明实施方式，由图像至文字的图像精选方法示意图。

图30为根据本发明实施方式，由文字至图像的图像精选方法示意图。

图31为根据本发明实施方式，基于图像内容的图像转换示意图。

图32为根据本发明实施方式，基于图像内容的智能删除示意图。

图33为根据本发明实施方式的图像管理装置结构图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

本发明实施方式提出一种基于内容的图像管理方法，主要包括基于用户兴趣区域对图像进行快速浏览、检索、自适应传输、个性化文件组织、快速分享和删除等管理操作。

可以将本发明实施方式应用到智能设备的相册管理应用中，或者应用到云端的相册管理应用中，等等。

图1为根据本发明实施方式的图像管理方法流程图。

如图1所示，该方法包括：

步骤101：检测用户针对图像的操作。

步骤102：基于操作及图像中的用户兴趣区域(Region of Interest，ROI)，管理图像。

用户兴趣区域可以是图像中具有特定含义的区域。

在一个实施方式中，可以通过下列至少一种方式确定步骤102中的用户兴趣区域：

方式(1)、检测图像的成像过程中的手动对焦位置，将对应于手动对焦位置的图像区域确定为用户兴趣区域。

在拍照阶段，用户手动对焦的区域高概率地为用户感兴趣的区域，因此可以将对应于手动对焦位置的图像区域确定为用户兴趣区域。

方式(2)、检测图像的成像过程中的自动对焦位置，将对应于自动对焦位置的图像区域确定为用户兴趣区域。

在拍照阶段，照相机自动对焦的区域也较有可能为用户感兴趣的区域，因此可以将对应于手动对焦位置的图像区域确定为用户兴趣区域。

方式(3)、检测图像中的物体区域，将物体区域确定为用户兴趣区域。

在这里，物体区域既可以是人物，也可以是动物、植物、交通工具、风景名胜或建筑物等。相比较图像中的其他像素区域，物体区域较有可能为用户感兴趣的区域，因此可以将物体区域确定为用户兴趣区域。

方式(4)、检测图像中的视点热图区域，将视点热图区域确定为用户兴趣区域。

在这里，视点热图区域为浏览图像时用户经常关注的区域。视点热图区域较有可能为用户感兴趣的区域，因此可以将视点热图区域确定为用户兴趣区域。

方式(5)、检测图像中的显著性热图区域，将显著性热图区域确定为用户兴趣区域。

在这里，显著性热图区域是与其他区域具有明显视觉差异、易于使得观察者产生兴趣的区域，可以将显著性热图区域确定为用户兴趣区域。

在一个实施方式中，可以基于手动对焦、自动对焦、视点热图热图、物体检测、显著性热图检测等多种方式确定出用户兴趣区域集合。然后，依据预定排序因子，对用户兴趣区域集合中的用户兴趣区域进行排序，基于排序结果确定最终的一或多个用户兴趣区域。具体地，预定排序因子包含：来源优先级；位置优先级；类别标签优先级；分类置信度优先级；浏览频率优先级，等等。

在一个实施方式中，在后续向用户显示图像时，图像包含的用户感兴趣区域的排序结果可以影响对应图像的优先级。比如，包含有排序靠前的感兴趣区域的图像可以具有更高的优先级，从而优先显示给用户。

以上示范性描述了确定图像中的用户兴趣区域的具体方式，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

在一个实施方式中，该方法还包括：生成用户兴趣区域的类别标签。类别标签用于指示用户兴趣区域所属的类别。优选地，可以在检测图像中的物体区域时，基于物体区域检测结果生成类别标签。或者，可以将用户兴趣区域输入物体分类器，基于物体分类器的输出结果生成类别标签。

在一个实施方式中，在确定用户兴趣区域之后，该方法还包括：

生成图像的区域列表，区域列表包含对应于用户兴趣区域的区域字段，而且区域字段包含用户兴趣区域的类别标签。图像中的用户兴趣区域可以为一或多个。相应地，区域列表中的区域字段也可以为一或多个。优选地，区域字段还可以包括：来源(比如，区域字段源自哪张图像)；位置(比如，区域字段在图像中的坐标位置)；分类置信度；浏览频率，等等。

以上示范性描述了区域字段所包含的具体信息，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

图2A为根据本发明实施方式，获取图像属性列表的流程图。

在建立图像属性列表时，需要考虑全图属性信息和各个感兴趣区域的属性信息。全图属性信息可以包含全图的分类结果，例如场景类别。如图2A所示，首先输入图像，对全图进行分类，得到分类结果。此外，还需要对图像中的感兴趣区域进行检测，该步骤主要用于提取图像中的感兴趣区域。通过全图分类和感兴趣区域检测这两个步骤，可以建立图像属性列表。其中，图像属性列表包含全图的分类结果和感兴趣区域的列表(以下简称区域列表)。

图2B为根据本发明实施方式，图像的区域列表示意图。

如图2B所示，图像包含两个用户兴趣区域，分别为一个人物区域和一个宠物区域。相对应地，该图像的区域列表包含对应于各自用户兴趣区域的两个区域字段。每个区域字段分别包含用户兴趣区域的图像来源、用户兴趣区域在图像中的位置、用户兴趣区域的类别(如果图像区域包含人应包含人的ID)、用户兴趣区域属于某类别的可信度、浏览频率，等等。

下面对基于手动对焦方式确定用户兴趣区域的过程进行详细说明。

图3为根据本发明实施方式，手动对焦确定用户兴趣区域的示意图。

如图3所示，当设备处于拍摄模式或摄像模式下，检测是否有用户手动对焦动作，如果监测到用户手动对焦动作，记录手动对焦位置，并从图像中截取对应于手动对焦位置的特定面积，将该特定面积确定为用户兴趣区域。

其中：从图像中截取特定面积的策略可以包括：

(1)、根据预定的参数截取。这些参数可以包括长宽比、占图像总面积的比例、固定的边长等。

(2)、根据图像视觉信息自动化截取。例如，首先根据颜色分割图像，再根据焦点的颜色截取近似颜色的被分割区域。

(3)、首先在图像中进行物体检测，判断用户对焦位置落在的物体区域，再将该物体区域作为用户兴趣区域予以截取。

下面对基于视点热图或显著性热图确定用户兴趣区域的过程进行详细说明。

图4为根据本发明实施方式，基于视点热图和/或显著性热图确定用户兴趣区域的示意图。

如图4所示，首先输入图像，然后针对图像逐一生成视点热图和/或显著性热图。接着，在视点热图和/或显著性热图中寻找是否有大于预定阈值的点。如果有，则由该点作为一个点集的起始点，将与该点集相邻且能量大于阈值的热点加入到该点集中，直到该点集附近没有能量大于阈值的热点为止，并将这些热点的能量置零，不断重复以上过程直到视点热图和/或显著性热图中不再存在大于阈值的点为止。每个点集组成一个用户兴趣区域。

图5A-图5C为根据本发明实施方式，基于显著性视图确定用户兴趣区域的示范性示意图。

图5A所示为输入图像。图5B为对应于输入图像的显著性热图。在图5B中，每个点越亮代表其能量越高，越暗则能量越低。在确定用户兴趣区域时，图5B中的点A首先被选取为起始点，由此开始，其周围的亮点都会被加入到以点A为起始点的点集中，这些点被置零，如图5C所示。类似地，重复以上过程，由图5B中的点B开始提取用户兴趣区域。最终的用户兴趣区域结果如图5D所示。

下面对生成用户兴趣区域的类别标签的过程进行详细说明。

图6A为根据本发明实施方式，物体检测带有类别标签的示意图。在图6A中，展示了根据物体检测生成带物体的类别标签的区域列表的流程。

如图6A所示，首先输入图像，然后对输入图像进行物体检测。而且，将检测出的物体设置为用户兴趣区域，并基于物体检测的类别结果为用户兴趣区域生成类别标签。

图6B为根据本发明实施方式，基于物体分类器产生类别标签的示意图。

在图6B中，将用户兴趣区域输入物体分类器。当物体分类器检测出用户兴趣区域的类别时，基于类别结果为用户兴趣区域生成类别标签，并生成包含类别标签的区域列表；当物体分类器没有检测出用户兴趣区域的类别时，生成不包含类别标签的区域列表。

在某些算法中，热图检测(包括视点热图和/或显著性热图)与图像分类可以相互结合。图6C为根据本发明实施方式，热图检测与图像分类的结合示意图。

如图6A-图6C所示，当输入图像时，图像经过共享的卷积神经网络层、用于全图分类的卷积神经网络物体分类分支和用于显著性检测的卷积神经网络检测分支，同时得到全图的分类结果和显著性区域检测结果。然后，检测出的显著性区域被输送到卷积神经验证网络中进行物体分类，最后将分类结果进行融合以得到图像的最终分类结果，并生成经过分类后的用户兴趣区域。

在产生分类后的用户兴趣区域后，可以对这些用户兴趣区域进行排序，排序的基准可以考虑区域的来源、用户兴趣区域属于某种类别的可信度、用户兴趣区域进的浏览频率等等。例如，可以基于手动对焦、视点热图、物体检测和显著性检测的顺序，由高至低的对用户兴趣区域进行排序。最后，基于排序结果，可以最终确定选中的一或多个用户兴趣区域。

经过上述详细描述确定了图像的用户兴趣区域之后，可以基于用户兴趣区域在图像浏览和检索、图像组织结构、用户相册的个性化类别定义和精确分类、图像传输、快速分享、图像精选和图像删除等多个方面，具体实施多种类型的具体应用。

(1)、在图像浏览和检索方面。

在实际情况中，用户对于各个图像的喜好程度和浏览频率是不同的。当一副图像中包含用户感兴趣的目标时，这幅图像会被更多次的浏览。当多个图像都包含用户感兴趣的目标时，这些图像的浏览频率也会由于各方面原因而具有不同的浏览频率。因此，在展示候选图像时有必要考虑用户的个性。而且，有必要给用户提供一种多图像多目标多操作的解决方案，进而提升用户的使用体验。还有，如何在具有更小屏幕的移动设备(例如手表)上显示图像是现有技术没有考虑到的，如果只是按比例将图像缩小，图像的细节将会被忽略。此时需要获取用户在一副图像中更关注的区域并在较小屏幕上展示给用户。另外，在相册中存在大量图像的情况下，基于用户兴趣区域可以使用户快速地对图像进行浏览。

图7为根据本发明实施方式，在图像浏览时进行快速浏览的流程图。

如图7所示，设备首先检测到用户在相册中浏览图像，然后设备根据感兴趣区域列表获取感兴趣区域所在位置，并提示用户与感兴趣区域进行互动。当设备检测到用户在感兴趣区域上的操作后，设备根据用户的不同操作产生相应的图像搜索准则，并在相册中搜索符合搜索准则的图像，显示给用户。在一个实施方式中，步骤101中的操作包括对至少两个用户兴趣区域的选择操作，其中至少两个用户兴趣区域属于同一幅图像或属于不同图像；步骤102中管理图像，包括：

基于对至少两个用户兴趣区域的选择操作，提供对应的图像和/或视频帧。

比如，搜索出的图像，可以包含与至少两个用户兴趣区域具有相同分类的用户兴趣区域，或者包含与至少两个用户兴趣区域中至少一个具有相同分类的用户兴趣区域，或者不包含与至少两个用户兴趣区域具有相同分类的用户兴趣区域的图像，或者不包含与至少两个用户兴趣区域中至少一个具有相同分类的用户兴趣区域，等等。

具体地，搜索准则包含下列中的至少一个：

(A)、当选择操作为第一类选择操作时，提供的对应的图像和/或视频帧中包含：第一类选择操作针对的所有用户兴趣区域对应的用户兴趣区域。比如，第一类选择操作用于确定搜索结果的必选项。

比如，当用户希望搜索同时包含飞机和汽车的图像时，可以找出两张图像，一张图像包含飞机，另一张图像包含汽车。而且，用户从这两张图像中分别选择飞机和汽车，以将飞机和汽车作为搜索结果的必选项，即可以进行快速搜索，获得全部同时包含飞机和汽车的图像。可选地，用户也可以从包含飞机和汽车的同一幅图像中选择搜索结果的必选项。

(B)、当选择操作为第二类选择操作时，提供的对应的图像和/或视频帧中包含：第二类选择操作针对的至少一个用户兴趣区域对应的用户兴趣区域。比如，第二类选择操作用于确定搜索结果的可选项。

比如，当用户希望搜索包含飞机或汽车的图像时，可以找出两张图像，一张图像包含飞机，另一张图像包含汽车。用户选择飞机和汽车，以将飞机和汽车作为搜索结果的可选项，即可以进行快速搜索，获得全部包含飞机或汽车的图像。可选地，用户也可以从包含飞机和汽车的同一幅图像中选择搜索结果的可选项。

(C)、当选择操作为第三类选择操作时，提供的对应的图像和/或视频帧中不包含：第三类选择操作针对的用户兴趣区域对应的用户兴趣区域。比如，第三类选择操作用于确定搜索结果的不选项。

比如，当用户希望搜索既不包含飞机且不包含汽车的图像时，可以找出两张图像，一张图像包含飞机，另一张图像包含汽车。用户分别从这两张图像中选择飞机和汽车，以将飞机和汽车作为搜索结果的不选项，即可以进行快速搜索，获得全部既不包含飞机且不包含汽车的图像。可选地，用户也可以从包含飞机和汽车的同一幅图像中选择搜索结果的不选项。

在一个实施方式中，步骤101中操作包括对用户兴趣区域的选择操作和/或检索内容输入操作；其中检索内容输入操作包括文字输入操作和/或语音输入操作。步骤102中管理图像，包括：基于选择操作和/或检索内容输入操作，提供对应的图像和/或视频帧。

比如，搜索出的图像，可以包含与用户兴趣区域具有相同分类且分类信息与检索内容相匹配的用户兴趣区域，或包含与用户兴趣区域具有相同分类或分类信息与检索内容相匹配的用户兴趣区域，或不包含与用户兴趣区域具有相同分类且分类信息与检索内容相匹配的用户兴趣区域，或不包含与用户兴趣区域具有相同分类或分类信息与检索内容相匹配的用户兴趣区域，等等。

具体地，搜索准则包含下列中的至少一个：

(A)、当检索内容输入操作为第一类检索内容输入操作时，提供的对应的图像和/或视频帧中包含：第一类选择操作针对的所有用户兴趣区域对应的用户兴趣区域。比如，第一类选择操作用于确定搜索结果的必选项。

比如，当用户希望搜索同时包含飞机和汽车的图像时，可以找出一张包含飞机的图像，用户从这张图像中选择飞机，而且用户文字或语音输入“汽车”，以将飞机和汽车作为搜索结果的必选项，即可以进行快速搜索，获得全部同时包含飞机和汽车的图像。

(B)、当检索内容输入操作为第二类检索内容输入操作时，提供的对应的图像和/或视频帧中包含：第二类选择操作针对的至少一个用户兴趣区域对应的用户兴趣区域。比如，第二类选择操作用于确定搜索结果的可选项。

比如，当用户希望搜索包含飞机或汽车的图像时，可以找出一张包含飞机的图像，用户从这张图像中选择飞机，而且用户文字或语音输入“汽车”，以将飞机和汽车作为搜索结果的可选项，即可以进行快速搜索，获得包含飞机或汽车的图像。

(C)、当检索内容输入操作为第三类检索内容输入操作时，提供的对应的图像和/或视频帧中不包含：第三类选择操作针对的用户兴趣区域对应的用户兴趣区域。比如，第三类选择操作用于确定搜索结果的不选项。

比如，当用户希望搜索既不包含飞机且不包含汽车的图像时，可以找出一张包含飞机的图像，用户从这张图像中选择飞机，而且用户文字或语音输入“汽车”，以将飞机和汽车作为搜索结果的不选项，即可以进行快速搜索，获得全部既不包含飞机且不包含汽车的图像。

在一个实施方式中，步骤101中对用户兴趣区域的选择操作是在以下至少一种模式下检测到的：摄像头预览模式；图像浏览模式；缩略图浏览模式，等等。

可见，通过查询与用户兴趣区域相关联的图像，本发明实施方式可以方便用户快速浏览和检索图像。

在显示快速浏览或检索到的图像时，可以先确定待显示的图像的优先级，根据图像的优先级确定图像的显示顺序，使用户优先看到最符合用户浏览和检索意图的图像，提高用户浏览和检索的体验。

具体地，图像优先级的确定可以由以下准则实现：

(A)在全图层面内统计的相关数据，比如拍摄时间、地点、浏览次数、分享次数等，再根据统计的相关数据确定图像优先级。

在一个实施方式中，可以单独考虑上述全图层面内统计的相关数据中的一项数据来确定图像优先级。比如，拍摄时间与当前时间更接近的图像优先级更高，或考虑当前时间的特殊性，例如节日、纪念日等，与当前时间的特殊性相匹配的图像应具有更高的优先级；拍摄地点与当前设备所在地点更接近者优先级更高；用户浏览次数更多的图像优先级更高/低；分享次数更多的图像优先级更高/低，等等。

在一个实施方式中，可以综合考虑其中多项数据来确定图像优先级。比如，可以利用加权得分计算优先级，假设拍摄时间与当前时间的间隔为t，拍摄地点与当前设备所在地点的距离为d，用户浏览次数为v，分享次数为s，为了使得各项数据具有可比性，将这些数据进行归一化处理，得到t′、d′、v′、s′，其中t′,d′,v′,s′∈[0,1]，可以由以下公式得到优先级得分(priority)：

priority＝αt′+βd′+γv′+μs′

其中α、β、γ、μ为各项数据的权重，它们被用于确定各项数据的重要程度，它们的值可以预先设定，也可以由用户自行设定，还可以根据用户关注内容的变化、重要时间点等信息进行自动调整，如当前时间点为节日或用户设定的重要时间点时，可以自动将权重α增大，当统计得到用户浏览宠物类图像的次数远远超过浏览其他类别的图像的次数时，标明用户当前关注的内容为宠物类图像内容，此时可以将宠物类图像的权重γ增大。

(B)在物体层面内统计的相关数据，例如，手动对焦位置、视点热图、物体分类置信度等。根据统计的相关数据确定图像优先级。

在一个实施方式中，利用手动对焦位置确定图像优先级。用户在进行拍摄时，手动进行对焦的焦点一般为用户的感兴趣区域。设备记录用户的手动对焦位置以及该位置上检测到的物体，则包含该物体的图像具有更高的优先级。

在一个实施方式中，利用视点热图确定图像优先级。视点热图是指在一张图像上统计用户的关注度，在每一个像素或物体位置统计用户视线的关注次数和/或停留时间，用户的关注次数越多和/或者视线停留时间越长，包含该位置上的物体的图像应该具有更高的优先级。

在一个实施方式中，利用物体分类置信度确定图像优先级。图像中的各个物体的分类置信度反映了一个感兴趣区域属于某一类别物体的可能性，置信度越高表示该感兴趣区域属于某一类别物体的概率越高，包含有较高置信度物体的图像应具有更高的优先级。

除了单独考虑以上各数据，也可以与全图层面内综合考虑各项数据类似，综合考虑物体层面内的各项数据来确定图像优先级。

(C)除了独立地考察各个物体，还可以考察各个物体之间的关系。根据各个物体之间的关系来确定图像优先级。

在一个实施方式中，利用物体的语义组合确定图像优先级。单个物体的语义含义可以狭义地用来在相册中进行搜索，即用户选择图像中的多个物体，设备返回包含有相同物体的图像。另一方面，多个物体的组合可以抽象为更广义的语义含义，例如“人”和“生日蛋糕”的组合可以抽象为“生日派对”，而“生日派对”不一定包含“生日蛋糕”，由此可以通过物体类别的组合来搜索更抽象的语义概念，也把物体的分类结果与全图的分类结果关联了起来。由多个物体的语义类别到上层抽象类别的转化可以通过预先定义实现，例如将“人”和“生日蛋糕”的组合定义为“生日派对”；也可以通过机器学习的方式实现，将图像包含物体的情况抽象为一个特征向量，例如图像中可以包含N种物体，那么就可以通过一个N维向量来描述一幅图像，然后通过监督学习或非监督学习的方式，将图像分类到不同的类别中。

在一个实施方式中，利用物体相对位置确定图像优先级。除了语义信息，物体的相对位置也可以用于设定图像的优先级。例如，用户在选取感兴趣区域时，物体A与物体B被选中，且物体A位于物体B的左侧，那么在检索结果中，物体A位于物体B左侧的图像应该具有更高的优先级。其次还可以通过更为精确的数值信息提供优先级的排列准则，例如在用户所操作的图像内，物体A到物体B的距离可以用向量表示，那么在搜索到的图像中，物体A与物体B的距离为则可以通过计算两个距离向量的差值来对搜索到的图像进行优先级排序。

(2)、在图像组织结构方面。

在图像组织上，可以根据图像的属性列表对图像进行聚合和分离，建立起树形结构。图8为根据本发明实施方式，实现个性化的树形结构的流程图。设备首先检测到构建树形结构的触发条件，例如图像数量达到阈值、用户手动触发等；然后提取相册中各个图像的属性列表，根据各个图像的属性列表中的类别信息(全图的类别和/或感兴趣区域的类别)和图像数量将图像划分为若干集合，每个集合即为树形结构上的一个节点；如果需要，可以在各个集合内部，进一步划分子集；设备根据用户操作，将属于各个节点上的图像显示给用户。在树形结构上，每一层级上的一个节点代表一个类别，越靠近根节点类别越抽象，越靠近叶子节点类别越具体。叶子节点即为一个具体的用户兴趣区域或图像。

根据不同用户相册中的图像分布，还可以对树形结构进行个性化的调整。比如，一个用户A的相册中包含很多有关交通工具的图像，而另一个用户B的相册中包含比较少的有关交通工具的图像，那么在用户A的相册中有关交通工具的树应该具有更多的层次，而用户B应该具有较少的层次。用户可以自由在各个层级间进行快速切换，以达到快速浏览的目的。

在一个实施方式中，步骤102中基于用户兴趣区域，管理图像，包括：显示具有树形结构的略缩图；和/或，显示具有树形结构的完整图。

在一个实施方式中，树形结构的生成方式包括：基于聚合处理操作，对包含具有相同类别标签的用户兴趣区域的图像进行聚合处理；基于分离处理操作，对包含具有不同类别标签的用户兴趣区域的图像进行分离处理；基于建立树形结构操作，为聚合处理和/或分离处理后的图像建立包含层级关系的树形结构。

在一个实施方式中，该方法还包括下列中的至少一个：

基于类别拆分操作，当位于树形结构相同层的叶子节点数目超过预定阈值时，对相同层进行类别拆分处理；基于对于树形结构中选定层的第一类触发操作，以缩略图形式显示属于选定层的图像；基于对于树形结构中选定层的第二类触发操作，以完整图形式显示属于选定层的图像；基于对于树形结构中选定层的第三类触发操作，显示选定层的下面层级；基于用户对于树形结构中选定层的第四类触发操作，显示选定层的上面层级；基于用户对于树形结构中选定层的第五类触发操作，显示选定层包含的所有图像，等等。

可见，本发明实施方式基于用户兴趣区域对图像组织结构进行优化，在各种界面上，用户可以在各个层级间进行快速切换，达到快速查看图像的目的。

(3)、用户相册的个性化类别定义和精确分类。

用户在进行个性化相册管理时，需要对图像和图像包含的感兴趣区域进行个性化的类别定义，例如将一组图像定义为“我的画作”，又如将一批图像中的包含狗的区域定义为“我的爱犬”。

以下以图像分类为例说明用户相册的个性化类别定义和精确分类，对于感兴趣区域可以利用类似的操作和技术实现个性化类别定义和精确分类。

现有的相册管理产品都是用户被动参与，产品提供什么样的管理策略完全由开发人员确定，为了使产品适应更广泛的用户群体，开发人员设定的管理策略往往是普世化的，因此现有的相册管理功能并不完全满足用户的个性化需求。

另外，现有产品中云端与移动设备对于图像的分类结果相互独立，而两者的结合可以提升相册管理的精确度、智能化和个性化。与移动设备相比，云端服务器具有更强大的计算和存储能力，可以使用更为复杂的算法实现用户的各项需求，因此需要更为合理地利用云端的各项资源，从而给用户提供更好的体验。

图9为根据本发明实施方式，实现个性化类别分类的流程图。首先设备根据用户操作定义个性化类别，实现个性化类别的分类可以由本地和云端两种解决方案实现，从而可以更新本地、云端进行个性化分类的模型，最后通过融合两者更新后的模型的分类结果得到准确的个性化类别分类结果。

为了满足用户对个性化类别的需求，首先需要确定个性化类别的定义。个性化类别定义的方法可以包括下列中的至少一个：

(A)、用户主动明确定义，即告知设备哪些图像应被标为哪一类。例如设备给每张图像分配一个属性列表，用户可以在这个属性列表中添加类别名称，类别的个数可以为一个或者多个。设备为用户添加的类别名称分配一个唯一符，将具有相同唯一符的不同图像归为同一类。

(B)、根据用户对相册的自然操作完成类别定义。例如用户在整理自己相册中的照片时，将一组图像移动到一个文件夹里。此时设备根据用户对相册的操作，判断该组照片为用户个性化的类别，当有后续照片出现时，需要判断该张照片是否与改组照片为同一类别，如果是则自动将该张图像显示到用户建立的文件夹里，或者提示给用户是否将图像显示到用户建立的文件夹里。

(C)、根据用户在设备上的其他自然操作完成类别定义。例如用户在使用社交软件时，设备通过分析用户的分享操作，将用户相册中的图像按照社交关系定义个性化类别。通过分析用户在社交软件上行为，还可以制定更为细致的个性化类别，例如当用户给朋友分享自家宠物的照片时会说：“看，我家的小狗在追蝴蝶”，此时设备可以得知用户相册中的众多宠物狗中那一条是用户的宠物，此时就可以新建一个“我的宠物狗”个性化类别。

(D)、设备还可以自动给用户推荐类别细分。通过分析用户行为推荐用户对相册中的图像进行细分，例如用户在互联网上使用搜索引擎，根据用户的搜索关键词判断用户的感兴趣点，设备询问用户是否对设备中与搜索关键词相关的图像进行细分，用户可以根据自身需求确定细分策略，由此完成个性化类别定义。设备还可以通过分析已有类别的图像来推荐用户对图像进行细分，例如某个类别中的图像数量超过一定数量，过多的图像会给用户在浏览、整理和分享过程中带来不便，因此设备询问用户是否对这一类别进行细分，用户根据自身兴趣确定各个类别，完成个性化类别定义。

当用户定义了个性化类别后，可以根据类别的变化程度判断个性化类别分类的实现方式，其至少包含下列方法中的一个：

(A)、当个性化类别包含在分类模型的预设类别范围内，则在设备端或云端重新组合分类模型中的预设类别，从而符合用户的个性化定义。例如，分类模型中的预设类别为“白色猫”、“黑色猫”、“白色狗”、“黑色狗”、“猫”和“狗”，用户定义的个性化类别为“猫”和“狗”，即将分类模型中的“白色猫”与“黑色猫”合并为“猫”，分类模型中的“白色狗”与“黑色狗”合并为“狗”。再比如，假定用户定义的个性化类别为“白色萌宠”和“黑色萌宠”，则重新组合分类模型中的预设类别，即将“白色猫”与“白色狗”合并为“白色萌宠”，将“黑色猫”与“黑色狗”合并为“黑色萌宠”。

(B)、当个性化类别不包含在分类模型的预设类别范围内，则不能在分类模型中重新组合预设类别，此时可以对分类模型进行更新。可以在设备本地更新分类模型，也可以由云端进行分类模型更新。可以利用由上述方式定义的个性化类别中的图像集合，训练得到可以对图像进行个性化类别分类的初始模型。例如，用户在浏览图像时，将一幅绘画作品的图像的标签由“绘画”改变为“我的画”。设备检测到用户对图像属性的修改，则“我的画”被定义为个性化类别，并将被修改标签的图像作为该个性化类别的训练样本。

由于在个性化类别定义的短时间内，训练样本可能比较少，初始模型的分类表现可能不稳定。因此当一张图片被分为新类目时，可以与用户进行交互，例如询问用户该张图像是否属于个性化类别。通过与用户的交互确定该张图像是否被正确地分类为个性化类别，当分类正确时，将该张图像作为个性化类别的正样本，否则将该张图像作为个性化类别的负样本，由此来进一步收集训练样本集，通过多次迭代训练，提升个性化类别模型的分类性能，并最终得到稳定的分类表现。如果图像的主体为文本，则对图像进行文字识别，根据识别结果进行分类，由此可以将不同主题的文本图像分到各个类别中。如果模型由云端进行训练，则检测新的个性化类别模型与当前模型的差异，选择具有差异的部分并将其通过更新包的形式下发给终端，例如模型新增加了一个分支对个性化类别进行分类，那么只需传输新增加的分支，而没有必要传输整个模型。

为了更准确地对用户相册中的图像进行分类，需要考虑本地分类引擎与云端分类引擎的互动。应考虑如下几种情况：

(A)、当用户没有反馈时。因为云端模型是全尺寸模型，对于同一幅图像，本地与云端可能产生不同的分类结果。一般情况下，云端的全尺寸模型具有更复杂的网络结构，因此在分类精度方面往往优于本地模型。如用户设定分类结果参考云端结果，云端会同步测试需要分类的图像。出现分类结果不同时，需要参考分类结果置信度等指标，例如当云端的分类置信度高于某一阈值时，则认为一幅图像应该被标为云端分类的分类结果，同时本地根据云端的分类结果更新本地图像分类结果，并且将本地分类错误的信息也会上报云端，用于后续对本地模型的改进。上报云端的分类错误信息应包含被错分的图像、终端的错误分类结果、正确的分类结果(云端的分类结果)。云端根据这些信息将图像添加到涉及到的类别的训练集中，例如将其加入到被误分类别的负样本集，将其加入到漏分类别的正样本集，进而训练模型并提升模型性能。

假设终端之前没有和云端连接(如因网络状况)，或用户设定分类结果不参考云端结果，后续与云端建立连接时，或用户重新设定分类结果参考云端结果时，终端可以根据输出类目分数判断标签的置信度，当置信度较低时候，可以在用户登录云端时候批量咨询用户这些图片的正确标签，进而更新模型。也可以设计游戏，使用户在轻松气氛中完成任务。

(B)、用户可以对云端或终端的分类结果进行更正，当用户更正错分图像的标签时，终端将错误分类的结果上传至云端，包括被错分的照片、被错分类别和用户指定的正确类别。当用户反馈图像时，云端可以将大量不同用户反馈的图像收集起来进行训练，如果样本不足则在网络上爬取类似图像，扩大样本数量，标注为用户指定类别，并启动模型训练。上述模型训练过程也可以由终端来完成。

如果收集及爬取到的图像数目特别少，不足以训练新模型，则在本地根据图像的特征，将图像映射到设定维数的空间中，在该空间中对各个图像进行聚类，得到各聚类中心，根据测试图像在该空间中的映射位置与各聚类中心的距离来确定该测试图像所属的类别。如果用户更正的类别与错分类别相近，则将与错分图像特征相近的图像都标识为更高层级的概念。例如，一张“猫”的图像被错分为“狗”，但该张图像在特征空间中的位置距离“猫”的聚类中心更近，无法通过距离判定该张图像属于“狗”，则则将图像的类别提升一个层级，将其标为“宠物”。

当用户反馈了一批图片，可能里面含有误操作图片，例如一张“猫”的图像被正确分类为“猫”，而用户错误地将其标记成“狗”，该种操作就是一种误操作。我们可以对这些反馈进行判断(尤其是对置信度比较高的标签进行错误反馈时候)。可以在后台搭建一个误操作检测模型专门用于这类图片的判断，例如我们通过与用户进行交互的方式获取该模型的训练样本，当一个图像的分类置信度高于某一阈值，而用户又将该样本标记为其他类别时，向用户询问是否需要更改，如果用户选择不更改，则该图像即可作为训练判断误操作模型的训练样本。该模型的速度可以较慢，可以专门用作错误图片修正环节。当误操作检测模型判断出用户误操作时，可以提示用户，或者将误操作的图片排除在训练样本外。

(C)、当本地、云端图像有差异时。本地照片没有上传时，终端会收到云端发出的同步更新需求。照片上传过程中，每传送完毕一张照片都会进行实时的分类操作。为了减少带宽占用率，可以上传部分图像，上传图像可以根据终端的分类置信度进行选择，例如当图像的分类置信度低于某一阈值时，则认为该图像分类结果不可靠，需要上传至云端进行重新分类。分类结果与本地有差异时，同步更新本地的分类结果。

(4)、基于图像用户兴趣区域的图像传输与重点显示。

当设备检测到图像数据传输请求时，判断传输网络类型和传输数量，根据传输网络的类型和传输数量采用不同传输方式。传输方式包括传输全图压缩的图像、传输部分压缩的图像、传输无压缩的图像，等等。

在部分压缩图像模式中，对于用户兴趣区域进行低压缩比的压缩，从而保证该区域的清晰度；对于用户兴趣区域外采用高压缩比的压缩，从而节省传输过程中的电量消耗和带宽资源。图10为根据本发明实施方式，选择不同传输模式的流程图。设备A向设备B请求图像，设备B通过检查各项指标，例如网络带宽、网络质量或用户设置等，确定传输模式。在有些情况下，设备B向设备A请求附加信息，例如设备A的电量情况等，从而帮助确定传输模式。传输模式可以包含三种模式，1)高质量传输模式，例如不对图像做任何压缩处理，2)中等质量传输模式，例如对感兴趣区域进行低压缩比压缩，对背景进行高压缩比压缩，3)低质量传输模式，对全图进行高压缩比的压缩。最后，设备B将图像传输给设备A。在某些情况下，设备B也可以主动发送图像给设备A。

在一个实施方式中，步骤102中管理图像包括：基于图像传输参数和图像中的用户兴趣区域，对图像进行压缩处理并传输压缩后的图；和/或，接收服务器、基站或用户设备发送的图像，所述图像是基于图像传输参数和用户兴趣区域进行压缩处理后的图像。具体地，图像传输参数包括：待传输图像数量、传输网络种类和传输网络质量，等等。

对图像进行压缩处理包括下列中的至少一个：

(A)、当图像传输参数满足用户兴趣区域不压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域进行压缩处理，对待传输图像中的用户兴趣区域不进行压缩处理。

比如，当基于预定的待传输图像数量区间门限值，确定待传输图像数量处于预定的合适区间时，即可判定符合用户兴趣区域不压缩条件。此时，对待传输图像中的用户兴趣区域之外的图像区域进行压缩处理，对待传输图像中的用户兴趣区域不进行压缩处理。

(B)、当图像传输参数满足差别压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域进行具有第一压缩比的压缩处理，对待传输图像中的用户兴趣区域进行具有第二压缩比的压缩处理，其中所述第二压缩比小于第一压缩比。

比如，当确定传输网络种类为无线移动通信网络时，即可判定符合差别压缩条件。此时，对待传输图像中的各个图像区域都进行压缩处理，而且对用户兴趣区域之外的图像区域进行具有第一压缩比的压缩处理，对待传输图像中的用户兴趣区域进行具有第二压缩比的压缩处理，其中第二压缩比小于第一压缩比。

(C)、当图像传输参数满足无差别压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域与待传输图像中的用户兴趣区域，进行相同压缩比的压缩处理。

比如，当基于预定的传输网络质量门限值，确定传输网络质量较差时，即可判定满足无差别压缩条件。此时，针对待传输图像中的用户兴趣区域之外的图像区域与待传输图像中的用户兴趣区域，进行相同压缩比的压缩处理。

(D)、当图像传输参数满足不压缩条件时，对待传输图像不执行压缩处理。

比如，当基于预定的传输网络质量门限值，确定传输网络质量良好时，即可判定满足不压缩条件，此时对待传输图像不执行压缩处理。

(E)、当图像传输参数满足多次压缩条件时，对待传输图像执行压缩处理和一或多次传输处理。

比如，当基于预定的传输网络质量门限值，确定传输网络质量很差时，即可判定满足多次压缩条件。此时，对待传输图像执行压缩处理和一或多次传输处理。

在一个实施方式中，该方法包括下列中的至少一个：

当待传输图像数量小于预定的第一门限值时，判定图像传输参数满足不压缩条件；当待传输图像数量大于等于第一门限值且小于预定的第二门限值时，判定图像传输参数满足用户兴趣区域压缩条件，其中第二门限值大于第一门限值；当待传输图像数量大于等于第二门限值时，判定图像传输参数满足用户兴趣区域无差别压缩条件；当传输网络质量的评估值低于预定的第三门限值时，判定图像传输参数满足多次压缩条件；当传输网络质量的评估值高于等于第三门限值且低于预定的第四门限值时，判定图像传输参数满足差别压缩条件，其中第四门限值大于第三门限值；当传输网络种类为免费网络(如WiFi网络)时，判定图像传输参数满足不压缩条件；当传输网络种类为运营商网络时，根据费率调整压缩方式，费率越高，图像的压缩率越高。

实际上，本发明还可以基于多个图像传输参数的综合加权处理来判断是否满足上述任意的压缩条件，本发明实施方式对此不再赘述。

可见，基于用户兴趣区域对待传输图像进行区别性的压缩处理，本发明实施方式可以节省传输过程中的电量消耗和带宽资源，而且可以保证用户兴趣区域能够被用户清晰查看。

在一个实施方式中，步骤102中管理图像包括下列中的至少一个：

(A)、当显示屏幕小于预定尺寸时，显示用户兴趣区域的类别图像或类别文字。

(B)、当显示屏幕小于预定尺寸且基于用户的选择操作选中用户兴趣区域的类别时，显示该类别的图像，并基于用户的切换操作，切换显示该类别的其他图像。

(C)、当显示屏幕小于预定尺寸时，基于用户兴趣区域的数目显示所述图像。图20为根据本发明实施方式，小屏幕设备上对树形结构的快速浏览流程图。小屏设备请求一张图像，然后查询图像的属性列表。当图像的属性列表中包含有至少一个感兴趣区域时，对感兴趣区域进行排序，排序方式可以参考快速浏览与检索部分的叙述。然后在屏幕上显示排序第一的感兴趣区域，如果设备检测到用户切换显示区域的操作时，显示下一个感兴趣区域。如果图像的属性列表中没有感兴趣区域时，则显示图像的中央部分。

其中，当显示屏幕小于预定尺寸时，基于用户兴趣区域的数目显示图像包括下列中的至少一个：

(C1)、当图像中不包含用户兴趣区域时，以缩略图方式显示图像或将图像缩为与显示屏幕相适应的尺寸进行显示。

(C2)、当图像中包含一个用户兴趣区域时，显示用户兴趣区域。

(C3)、当图像包含多个用户兴趣区域时，交替显示该图像中的每个用户兴趣区域，或者，显示该图像中的第一用户兴趣区域，基于用户切换操作，切换显示该图像中除第一用户兴趣区域之外的用户兴趣区域。

可见，当图像展示设备的尺寸较小时，本发明实施方式通过重点显示用户兴趣区域，可以提高用户兴趣区域的展示效率。

(5)、基于图像用户兴趣区域的快速分享。

设备基于用户兴趣区域的关联性建立各幅图像间的关联性，建立方法包括检测图像中出现的联系人、检测相似语义内容、相同地理位置、特定时间段，等等。图像之间的关联可以是相同联系人、来自同一事件、包含同一语义概念，等等。

在缩略图浏览界面，具有关联的照片可以由某种方式进行标记，并提供给用户一键分享的提示。图11为根据本发明实施方式，用户主动发起分享图像的流程图。设备检测到一个图像集合被用户选中，设备根据用户的分享记录，以及被选中的图像与已分享过的图像的相关度，确定相关的联系人。设备判断用户选择将图像集合分享给个人或分享给群组。当用户选择分享给群组时，设备建立一个设计群组，并将图像集合分享给该群组。当用户选择分享给个人时，设备通过多次发送图像集合，将图像集合分享给个人。图12A-图12B为根据本发明实施方式，用户在使用社交软件时进行图像分享的流程图。当设备检测到用户在使用社交软件时，例如及时通讯软件，设备根据用户在该社交软件中的分享记录，从相册中选取一个由未被分享过的图像组成的图像集合，并提示用户是否分享该图像集合。当设备检测到用户的确认信息后，分享图像集合。另外，设备还可以通过分析用户在社交软件中的文字输入，来确定待分享的图像集合，如图12B所示。

在一些实施方式中，当设备监测到用户分享动作时，根据图像中包含的联系人，将相关图像分享给各个联系人。或者，自动将相关的联系人建立起群组聊天，将图像分享至群组中。在即时通讯软件中，可以自动分析用户的输入，判断用户是否有分享图像的意愿，如果有分享的意愿则分析用户所要分享的内容，自动从图像中截取相关区域提供给用户进行选择分享。

在一个实施方式中，步骤102中管理图像包括：确定待分享对象；向待分享对象分享图像；和/或，基于聊天对象或与聊天对象的聊天内容，确定待分享图像，向聊天对象分享所述待分享图像。本发明实施方式可以检测用户兴趣区域之间的关联性，并基于检测结果建立图像之间的关联性，确定分享对象或待分享图像，再分享具有关联性的图像。优选地，用户兴趣区域之间的关联性包括：用户兴趣区域的分类关联性；用户兴趣区域的时间关联性；用户兴趣区域的位置关联性；用户兴趣区域的人物关联性，等等。

具体地，基于图像的用户兴趣区域分享图像，包括下列中的至少一个：

(1)、基于图像的用户兴趣区域确定待分享的联系人群组；基于用户对图像进行群组分享的操作，将图像通过群组方式分享给所述待分享的联系人群组。

(2)、基于图像的用户兴趣区域确定待分享的联系人；基于用户对图像进行单独分享的操作，将图像分别发送给每个待分享的联系人，其中，分享给每个联系人的图像中包含与该联系人对应的用户兴趣区域。

(3)、当用户与聊天对象的聊天语句与图像的用户兴趣区域相对应时，将图像作为分享候选推荐给用户；

(4)、当聊天对象和图像中的用户兴趣区域相对应时，将图像作为分享候选推荐给用户。

在一个实施方式中，在分享图像后，对已分享的图像按照已分享的联系人进行标注。

可见，本发明实施方式基于图像的用户兴趣区域分享图像，可以方便地从大量图像中定位出要分享的图像，而且可以便利地分享到多种应用环境中。

(6)、基于用户兴趣区域的图像精选方法。

比如，基于用户兴趣区域的图像精选方法包括：从图像到文字的精选方式。

在这种方式中，首先将一个特定时间段内的图像进行聚合和分离，分析图像中的内容，辅助于图像的拍摄位置和时间，将来自同一段时间、同一个事件的图像聚合起来组成一个图像集合，并根据图像集合包含的内容产生一段文字描述，同时自动产生图像拼图。在产生图像拼图的过程中，自动根据图像区域调整图像位置和拼图模板，将重点区域显示在图像拼图中，通过图像拼图可链接回相册中的原图。

在一个实施方式中，步骤102中管理图像包括：基于用户兴趣区域选择精选图像；基于精选图像生成拼图，其中在拼图中突出显示各精选图像的用户兴趣区域。在这种实施方式中，可以由系统自动显示精选图像。

在一个实施方式中，进一步还包括：检测到用户对拼图中用户兴趣区域的选择操作；显示包含选择的用户兴趣区域的精选图像。在这种实施方式中，可以基于用户的选择操作显示精选图像。

再比如，基于用户兴趣区域的图像精选方法包括：从文字到图像的精选方式。

在这种实施方式中，首先由用户输入一段文字，然后系统从这段文字中提取关键词，在图像集中选取相关图像，必要的情况下对图像进行剪裁，将这些相关图像或图像区域作为插图插入用户的文字段落。

在一个实施方式中，步骤102中管理图像包括：

检测用户输入文本；检索包含与文本相关联的用户兴趣区域的图像；将检索出的用户兴趣区域的图像插入到用户输入文本中。

(7)、基于图像内容的图像转换方法。

系统可以对相册中的图像进行分析，根据图像的外观和时间，并对图像中的文字进行自然语言处理。

比如，在缩略图界面，设备将来自同一来源的文字图像通过某种方式标示出来，并给用户提供一个推荐合并按钮。当检测到用户点击该按钮的时候进入图像转换界面，在该界面中用户可以添加或删除图像，最终将调整后的图像产生一个文本文件。

在一个实施方式中，该方法还包括：当判定多个图像源于相同的文档时，自动将所述多个图像聚合为文档，或基于用户触发操作将所述多个图像聚合为文档。

可见，本发明实施方式可以对图像进行聚合并生成文档。

(8)、基于图像内容的智能删除推荐。

比如，基于用户兴趣区域对图像的内容进行分析，依据图像的视觉相似性、内容相似性、图像质量、包含内容等因子，将视觉相似、内容相似、图像质量低以及不包含有意义物体的图像推荐给用户进行删除。图像质量包括美观程度，可以根据用户兴趣区域在图像中的位置，各个用户兴趣区域的关系判断图像的美观度。

在删除界面，将推荐删除的图像按照分组显示给用户，在显示过程中，以某一张图像为基准，可以是第一张图像，质量最好的图像等，在其他图像上显示与基准图像的区别。

在一个实施方式中，步骤102中管理图像包括下列中至少一个：

(A)、基于不同图像中的用户兴趣区域的类别比较结果，自动删除图像或推荐删除图像。

(B)、基于不同图像中的用户兴趣区域确定各自图像的语义信息包含度，基于不同图像语义信息包含度的比较结果自动删除图像或推荐删除图像。

(C)、基于不同图像中各自用户兴趣区域之间的相对位置对各自图像进行评分，并基于评分结果自动删除图像或推荐删除图像。

(D)、基于不同图像中至少一种用户兴趣区域的绝对位置对各自图像进行评分，并基于评分结果自动删除图像或推荐删除图像。

可见，本发明实施方式基于用户兴趣区域实现了智能删除推荐，可以节约存储空间并提高图像管理效率。

以上示范性描述了基于用户兴趣区域对图像的管理方式。本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

下面，结合具体实施方式，对基于用户兴趣区域管理图像的具体范例进行说明。

实施方式1：在图像浏览界面的快速浏览

步骤1：设备提示用户图像中可选区域所在位置

在这里，设备检测用户手指或手写笔在屏幕上的相对位置，并将该位置与图像中用户兴趣区域的位置进行比较。如果两个位置有所重叠，则提醒用户该用户兴趣区域可选。提醒用户的方式可以为在图像上将可选区域高亮、框选或设备震动，等等。

图13A-图13G为根据本发明实施方式，在图像浏览界面的快速浏览示意图。

如图13A所示，当设备检测到用户的手指落在汽车所在位置时，汽车所在区域高亮，提示用户汽车可选。

需要说明的是，步骤1是可选步骤。在实际应用中，可能所有物品所在区域都是可选的，用户可以直接根据物品的类型来选择适当的区域。例如，设备中存储一张汽车的照片，汽车所在区域就是可选的，设备无需提示用户该汽车区域是否可选。

步骤2：设备检测用户在图像中的操作

设备检测用户在各个可选区域上的操作，这些操作的形式可以包括单击、双击、划动、圈选，等等。各个操作形式可以分别对应一个特定的搜索含义，搜索含义可以包含“必选”、“可选”、“不选”、“只选”，等等。

如图13B、图13F和图13G所示，单击对应“可选”；双击对应“必选”；划动对应“不选”；圈选对应“只选”。操作对应的检索含义可以称为搜索准则，这些搜索准则可以是系统预定的，也可以是用户自定义的。

除了可以在屏幕上进行物理操作外，还可以通过语音输入对各个可选区域进行操作。例如，用户希望通过语音选取汽车，则说出“汽车“，用户设备检测到用户语音输入汽车，则确定需要对汽车进行操作。当用户语音输入对应于“必选”时，则设备检测到用户语音输入必选，确定需要给用户返回必须包含汽车的操作。

用户还可以组合物理操作和语音操作，如通过物理操作选取区域，通过语音确定操作形式。例如，当用户希望查看必须包含汽车的图像时，用户在图像上点击汽车区域，然后语音输入必选，设备检测到用户点击汽车区域和语音输入必选，则确定需要给用户返回必须包含汽车的图像。

在设备检测到用户的操作后，同时在屏幕上以某种形式显示出用户所做操作，并方便用户进行其他操作。如图13C所示，应用文字显示被选中的内容，而且可以用不同的颜色表示不同操作，用户还可以通过点击图标上的减号撤销相关操作。

例如，用户如果希望查找只包含汽车的图像，则可以在一张图像中圈选汽车。此时，设备检测到用户在图像中汽车区域的圈选操作，从而确定需要为用户提供只包含汽车的图像。

又如，用户希望查找同时包含汽车和飞机的图像，则可以在一张图像中的汽车区域和飞机区域进行双击操作。此时，设备检测到用户在一张图像中的汽车区域的双击操作以及飞机区域的双击操作，从而确定需要为用户提供同时包含汽车和飞机的图像。

又如，用户希望查找包含汽车或飞机的图像，则可以在一张图像中单击汽车区域和飞机区域。此时，设备检测到用户在图像中对汽车区域和飞机区域的单击操作，从而确定需要为用户提供包含汽车或飞机的图像。

又如，用户希望查找到的图像不包含汽车，则可以在一张图像中在汽车区域做划动操作。此时，设备检测到用户在图像中的汽车区域的划动操作，从而确定需要为用户提供不包含汽车的图像。

除了上述不同方式的选择操作，用户还可以在图像区域进行手写操作。手写操作可以对应于一种特定的搜索含义，如上述的“必选”、“可选”、“不选”、“只选”之一。

例如，如手写对应于“必选”，当用户希望通过一张含有汽车但不含飞机的图像搜索同时包含汽车和飞机的图像时，用户可以在图像的任意区域手写飞机。此时，设备分析用户的手写内容为“飞机”，则确定需要为用户提供包含汽车和飞机的图像。

步骤3：设备搜索与用户选择操作对应的图像

当设备检测到用户的操作后，根据用户操作产生搜索准则，利用该搜索准则在设备中或云端搜索相关图像，并在屏幕上将这些图像的缩略图显示给用户，用户通过点击这些缩略图的图标可以切换到相应的图像进行观看。可选地，也可以在屏幕上将搜索出图像的完整图形显示给用户。

设备在显示搜索结果时，可以基于图像和搜索使用的用户兴趣区域的相似度进行排序。相似度高的图像优选在前面进行显示，相似度低的图像优选在后面显示。

例如，设备检测到用户选中图像中的小汽车作为检索词。设备反馈的搜索结果中，小汽车的图像排在前面显示，包括公交车的图像排在小汽车的图像后面进行显示。

又如，设备检测到用户选中图像中的人物作为检索词。设备反馈的搜索结果中，与用户所选人物ID相同的人物图像排在前面显示，然后显示与用户所选人物外貌或衣着相似的图像，最后显示图像中包含有其他人物的图像。

如图13A所示，设备检测到图像中存在汽车，突出显示汽车所在区域，提示用户该区域可选。如图13B所示，当设备检测到用户同时双击了同一张图像中飞机和汽车后，飞机和汽车为“必选”，则设备确定用户希望浏览同时包含飞机和汽车的图像，因此，设备显示的备选图像中全部含有飞机和汽车，如图13C所示。通过该实施方式，当用户希望搜索同时包含飞机和汽车的图像时，只需要找到一张有飞机和汽车的图像，即可以通过该图像进行快速搜索，获得全部包含飞机和汽车的图像，从而提高了图像的浏览和检索速度。

设备检测到图像中存在汽车，突出显示汽车所在区域，提示用户该区域可选。如图13D所示，当设备检测到用户双击了汽车并手写了飞机后，飞机和汽车为“必选”，则设备确定用户希望浏览同时包含飞机和汽车的图像，因此，设备显示的备选图像中也全部含有飞机和汽车，即双击和手写的作用一致，都为“必选”，该种操作不排斥其他内容，如返回的图像还可以包含人。

当用户希望搜索同时包含飞机和汽车的图像时，可能由于图像量较大，无法找到一张同时包含飞机和汽车的图像。通过该实施方式，只需要找到一张有汽车的图像，即可以通过该图像和用户的手写内容进行快速搜索，获得全部包含飞机和汽车的图像，从而提高了图像的浏览和检索速度。

如图13E所示，当设备检测到飞机被圈选后，确定飞机为“只选”，该种操作排斥其他内容，则设备确定用户希望浏览只包含飞机的图像，因此，设备显示的备选图像只包含飞机。通过本实施方式，当用户希望浏览只包含飞机的图像时，可以通过任一张包含飞机的图像进行快速搜索，从而提高了图像的浏览和检索速度。

如图13F所示，当设备检测到用户单击了飞机和汽车后，飞机和汽车为“可选”，则设备确定用户希望浏览包含飞机或者汽车的图像，因此，设备显示的备选图像中可能包含有飞机或汽车，两者可以同时出现，也可以单独出现，该种操作对其他内容不排斥。通过本实施方式，当用户希望浏览包含飞机或汽车的图像时，可以通过任一张同时包含飞机或汽车的图像进行快速搜索，从而提高了图像的浏览和检索速度。

如图13G所示，当设备检测到用户划掉人时，则人为“不选”，设备显示的备选图像中绝对不包含人。这些操作可以相互组合，例如设备检测到用户单击了飞机，双击了汽车，划掉了人，则飞机为“可选”，汽车为“必选”，人为“不选”，设备显示的备选图像中可能包含飞机，肯定包含汽车，绝对不包含人。通过本实施方式，当用户希望浏览包含某物的图像时，可以通过任一张包含该物的图像进行快速搜索，从而提高了图像的浏览和检索速度。

某些情况下，用户希望的操作和设备识别出的操作可能不一致。例如，用户本来是双击屏幕，设备识别成单击操作。为了避免产生这种不一致的情况，设备在识别出用户的操作之后，可以通过不同的方式显示不同的操作。

如图13A-图13G所示，设备在识别出用户对图像中飞机的双击操作后，在屏幕上方显示飞机，并可以通过预定颜色表示该飞机是必选的。例如，通过红色表示飞机必选。设备在识别出用户对图像中汽车的单击操作后，在屏幕上方显示汽车，并可以通过预定颜色表示该汽车是可选的。例如，通过绿色表示该汽车是可选的。通过该实施方式，用户根据颜色就可以确定设备识别的内容是否准确，如果出现错误，可以及时调整，提高了浏览和搜索的效率。

实施方式2：基于多图像的快速浏览

用户可能希望查找同时包括人和狗的图像。但是，当图像量较大时，用户不容易找到一个同时包含人和狗的图像。因此，本发明实施方式还提供了在不同图像中选择对象进行快速浏览的方法。

图14A-图14C为根据本发明实施方式，基于多幅图像的快速浏览示意图。

步骤1：设备检测用户在第一幅图像中的操作

如实施方式1所述，设备检测用户在第一幅图像中的操作。设备检测用户在第一幅图像中选取一个或多个区域，并检测用户的操作确定检索条件，并将检索到的图像的缩略图显示在设备屏幕上。

如图14A所示，用户想要第一幅图像设定检索到的图像必须包含人，则用户在第一幅图像上双击人的区域，当设备检测到用户在第一幅图像中双击了人的区域，则确定需要给用户返回必须包含人的图像。

步骤2：设备搜索与用户选择操作对应的图像

当设备检测到用户在第一幅图像的操作后，根据用户操作产生搜索准则，利用该搜索准则在设备中或云端搜索相关图像，并在屏幕上将这些图像的缩略图显示给用户。

如图14A所示，当设备检测到用户在第一幅图像中双击了人的区域，则确定需要给用户返回必须包含人的图像。

该步骤2是可选的，也可以直接从步骤1跳到步骤3。

步骤3：用户设备检测用户激活选取第二幅图像的操作

设备检测用户激活选取第二幅图像的操作，开启相册的缩略图模式，供用户选取第二幅图像。用户激活选取第二幅图像的操作可以为手势、手写笔操作或语音操作，等等。

例如，用户按动手写笔上的按钮，设备检测到手写笔的按钮被按下，则弹出菜单，菜单中的其中一项为选取其他图像，设备检测用户点击选取其他图像按钮，或直接打开相册缩略图模式，供用户选取第二幅图像。

如图14A所示，设备检测到手写笔的按钮被按下，则弹出选取其他图像的菜单，并检测到用户点击选取其他图像的按钮，打开相册缩略图模式，供用户选取第二幅图像。

再如，用户长按图像，设备检测到用户的长按操作。设备弹出菜单，菜单中的一项为选取其他图像，设备检测用户点击选取其他图像按钮，或直接打开相册缩略图模式，供用户选取第二幅图像。

再如，设备在图像浏览模式下显示选取第二幅图像的按钮，并检测用户按下该按钮。当检测到用户按下该按钮时，弹出图像缩略图模式，供用户选取第二幅图像。

再如，用户语音输入某种语音命令，如“打开相册”，当设备检测到用户输入该语音命令时，打开相册缩略图模式，供用户选取第二张图像。

步骤4：设备检测用户在第二幅图像上的操作

用户选取想要进行操作的图像，设备检测用户点击想要进行操作的图像，在屏幕上显示这幅图像。

用户在第二幅图像上进行操作，设备检测用户在第二幅图像中的操作，如实施方式1中所述，设备检测用户在第二幅图像中选取一个或多个区域，并检测用户的操作确定检索条件，并将检索到的图像的缩略图显示在设备屏幕上。

如图14B所示，用户点击含有狗的图像，设备检测到用户点击含有狗的图像，则在屏幕上显示该含有狗的图像。用户想要通过第二幅图像设定检索到的图像必须包含狗，则用户在第二幅图像上双击狗的区域。当设备检测到用户在第二幅图像中双击了狗的区域，则确定需要给用户返回必须包含人和狗的图像。

步骤5：设备搜索与用户选择操作对应的图像

当设备检测到用户在第一幅图像和第二幅图像的操作后，根据第一幅图像和第二幅图像的操作的组合产生搜索准则，利用该搜索准则在设备中或云端搜索相关图像，并在屏幕上将这些图像的缩略图显示给用户。

如图14C所示，设备检测到用户在第一幅图像中双击了人，在第二幅图像中双击了狗，则设备确定需要给用户返回必须同时包含人和狗的图像，并在屏幕上显示这些图像的缩略图。

通过本实施方式，用户可以基于多个图像中的用户兴趣区域，快速查找到需要的图像，从而提高了图像的查找速度。

实施方式3：基于图像区域的视频浏览

步骤1：设备检测用户在图像中的操作

设备检测用户在图像中操作的实施方式可以参见实施方式1和实施方式2，在此不再赘述。

设备检测用户在图像中选取一个或多个用户兴趣区域，并检测用户在用户兴趣区域上的操作确定搜索条件，并将搜索到的视频帧的缩略图显示在设备屏幕上。

图15A-图15C为根据本发明实施方式，在视频内的快速浏览示意图。

如图15A-图15C所示，用户想要设定搜索到的图像必须包含汽车，则用户在图像上双击汽车的区域，当设备检测到用户在图像中双击了汽车的区域，则确定需要给用户返回必须包含汽车的视频帧。

除了在图像中对各个可选区域进行操作外，设备还可以对视频帧进行操作。当设备检测到播放中的视频被暂停后，开启由用户兴趣区域进行搜索的模式，使得用户可以在被暂停的视频帧中对各个用户兴趣区域进行操作，当设备检测到用户对视频帧中的用户兴趣区域进行操作后，确定搜索条件。

例如，设备播放视频时，设备检测到用户点击了暂停按钮，并检测到用户双击了视频帧中的汽车，设备确定在返回给用户的图像或视频帧中必须包含汽车。

步骤2：设备搜索与用户选择操作对应的视频帧

当设备检测到用户在图像或视频帧中的操作后，根据用户的操作产生搜索准则，利用该搜索准则在设备中或云端搜索相关图像或视频帧。

对于图像的搜索与实施方式1和实施方式2类似，本发明实施方式在此不再赘述。

下面阐述如何在视频中搜索对应的视频帧。

对于每一个视频，首先对视频进行镜头分割，镜头分割的方法可以通过在视频解码时检测I帧，以I帧作为一个镜头的起始。也可以根据视频中各帧之间的视觉差异，例如利用帧差、颜色直方图的差距、或提取更复杂的视觉特征(手工设计的特征或基于学习的特征)的差异，将视频分割成含有不同场景的镜头。

对于每个镜头，从第一帧图像开始进行物体检测，判断视频帧是否符合搜索准则，若符合则将第一个符合搜索准则的视频帧的缩略图显示在屏幕上。

如图15A所示，设备检测到用户双击了汽车的区域，设备将视频分割为若干镜头，并在各个镜头的视频帧中检测是否有汽车出现，如出现则返回第一个包含汽车的视频帧，如果有多个镜头中都有包含汽车的视频帧，则在显示缩略图时，同时将这些镜头中第一个包含汽车的视频帧的缩略图显示出来。

如图15B所示，在缩略图上通过图标的方式提示用户该缩略图代表一段视频片段。

步骤3：播放符合搜索准则的视频镜头

用户如果想要观看符合搜索准则的视频片段，则点击含有视频图标的缩略图。当设备检测到用户点击了含有视频图标的缩略图时，跳转到视频播放器，并从符合用户搜索条件的视频帧开始播放，播放到不符合用户搜索条件的视频帧出现为止，用户可以选择视频继续播放或返回相册继续浏览其他视频片段或图像。

如图15C所示，用户点击包含有汽车的视频帧缩略图，设备检测到用户点击包含有汽车的视频帧的缩略图后，由此帧开始播放视频。

当用户希望查找视频中的某一帧时，如果用户知道该帧中包含的内容，可以通过本实施方式进行快速查找。

实施方式4：在相机预览模式下进行快速浏览

步骤1：设备检测用户在摄像头预览模式下的操作

用户打开摄像头进入摄像头预览模式，并开启图像搜索功能。设备检测到摄像头被打开且搜索功能被打开，设备开始捕捉由摄像头输入的图像，并在输入的一张或多张图像中检测用户兴趣区域。设备同时检测用户在这些用户兴趣区域上的操作，这些操作的形式与作用于实施方式1、实施方式2和实施方式3类似。

设备检测用户在图像中选取一个或多个用户兴趣区域，并检测用户在用户兴趣区域上的操作确定搜索条件。

图16为根据本发明实施方式，在相机预览界面下的快速浏览示意图。

如图16所示，用户在预览模式下，在第一个场景下双击了第一个人。设备检测到在第一个场景下第一个人被双击，则确定在搜索出的图像中必须包含第一个人。类似的，用户在第二个场景下双击了第二个人，设备检测到第二个场景下第二个人被双击，则确定在搜索的图像中必须包含第一个人和第二个人。用户在第三个场景下双击了第三个人，设备检测到在第三个场景下第三个人被双击，则确定在搜索的图像中必须包含第一个人、第二个人和第三个人。设备可以将搜索到的符合搜索条件的图像的缩略图显示在屏幕上。

可以通过多种方法开启在摄像头预览模式下的搜索功能。

例如，在摄像头预览模式下，在用户界面上设置一个按钮，设备通过检测用户点击该按钮开启摄像头预览模式下的搜索功能。当设备检测到用户对图像中的可选区域进行操作后确定搜索条件。

再如，在摄像头预览模式下，在用户界面上设置一个菜单键，将开启图像搜索功能的按钮设置于菜单中，设备通过检测用户点击该按钮开启摄像头预览模式下的搜索功能。当设备检测到用户对图像中的可选区域进行操作后确定搜索条件。

再如，在摄像头预览模式下，设备检测用户点击了手写笔上的按钮，则弹出菜单，在菜单中设置开启搜索功能的按钮，设备通过检测用户点击该按钮开启摄像头预览模式下的搜索功能。当设备检测到用户对图像中的可选区域进行操作后确定搜索条件。

再如，设备默认搜索功能打开，当设备检测到用户对图像中的可选区域进行操作后，直接确定搜索条件。

步骤2：设备搜索与用户选择操作对应的图像或视频帧

当设备检测到用户在摄像头预览模式下的操作后，产生相应的搜索准则，并根据该准则在设备或云端搜索与准则相对应的图像或视频帧。其中，该搜索准则与实施方式1相同，本发明实施方式不再赘述。

在本实施方式中，用户可以通过预览模式选中检索词，从而快速找到相应的图像或视频帧。

实施方式5：个性化的相册树形结构

步骤1：设备对用户的图像进行聚合和分离

设备根据分类标签的语义和视觉相似度，对用户的图像进行聚合和分离，将语义或视觉相似的图像进行聚合，将语义或视觉差异比较大的图像进行分离。对于有语义的图像，根据语义概念进行聚合分离，例如将风景图像进行聚合，将风景和交通工具的图像进行分离。对于无语义的图像，根据视觉信息对图像进行聚合分离，例如将主色调同为红色的图像进行聚合，将主色调为红色和主色调为蓝色图像进行分离。

对于图像的聚合和分离，可以包括下列方式：

方式(1)、一种方式是对于全图的分析。例如，对整幅图像进行分类，或者统计整幅图像的颜色分布。将分类相同的图像进行聚合，分类不同的图像进行分离。该种方法适用于图像中不包含任何特定物体的情况。

方式(2)、另外一种方式是对图像中的用户兴趣区域进行分析。对于带有类别标签的用户兴趣区域，可以根据类别标签的语义进行聚合和分离，对于相同类别标签的用户兴趣区域进行聚合，对于不同标签的用户兴趣区域进行分离；对于不带有类别标签的用户兴趣区域，主要根据视觉信息进行聚合和分离。例如在用户兴趣区域内提取颜色直方图，将直方图距离相近的用户兴趣区域进行聚合，将直方图距离较远的用户兴趣区域进行分离。该种方式适用于图像中包含有特定物体的情况，且运用该种方式一幅图像可以被聚合到多个类别中去。

方式(1)和方式(2)可以进行组合，例如同为风景图像，将蓝色为主体的海洋图像聚合为一类，将绿色为主体的海洋图像聚合为第二类。再如，同为汽车图像，将不同颜色的汽车聚合为多类。

图17为根据本发明实施方式，个性化的树形结构的第一示范性结构图。如图17所示，小轿车被聚合在一起，巴士被聚合在一起。

步骤2：设备对聚合分离后的图像建立树形结构

对于包含有类别标签的用户兴趣区域或图像，通过类别标签的语义信息建立树形结构。该树形结构可以是线下定义的结构，例如，交通工具包含汽车、自行车、摩托车、飞机、船舶，对于汽车还可以继续细分为轿车、巴士、卡车等。

对于不包含有类别标签的用户兴趣区域或图像，首先计算聚合在一起的图像的平均视觉信息，例如对聚合在一起的每张图像计算颜色直方图，然后对直方图求平均，将其作为该聚合图像的视觉标签。对所有不包含类别标签的聚合集合求视觉标签，然后计算视觉标签的距离，将相近的视觉标签抽象为一个更高层次的视觉标签。如在进行聚合和分离时，主体为蓝色的图像为第一个聚合集合，主体为黄的图像为第二个聚合集合，主体为红色的图像为第三个聚合集合。计算这三个聚合集合的视觉标签的距离，因为黄色包含有蓝色信息，所以黄色视觉标签与蓝色视觉标签被抽象为一类。

步骤3：设备对树形结构进行修正

首先统计各个层次内的图像数量，当图像数量大于一个预设阈值时，则进一步开放下一层级的标签。

例如，假定预设的层次内的图像数量阈值为20。在风景标签下有50张图像，则进一步开放海滩、山峰、沙漠等标签。

设备也可以根据用户的手动设定将某一类别强制进行显示。例如，假定预设的层次内的图像数量阈值为20，在风景标签下有15张图像，设备检测到用户手动设置单独显示海滩的图像，则海滩标签被公开，其他风景标签整体作为一类公开。

对于不同用户，由于各个用户设备中的图像分布不同，则设备公开给用户的树形结构也不同。

图18为根据本发明实施方式，个性化的树形结构的第二示范性结构图。

在图17中，在用户1的交通工具标签下，又细分为自行车、机动车、飞机和船舶四类，其中机动车又分为小汽车、巴士和有轨电车，而且小汽车和巴士又可以按照颜色进行细分。

然而，在图18中，对于用户2的交通工具标签下，只包含不同颜色的小汽车。

实施方式6：个性化图像类别的定义的分类

实施方式6可以根据用户的操作实现相册内图像的个性化类别定义并实现对个性化类别的分类。

步骤1：设备判断图像的标签是否应被更改。

设备判断用户是否手动在图像的属性管理页面进行修改，如果是则建立一个新的类别用于图像的分类。例如，用户在浏览图像时，将一幅绘画作品的图像的标签由“绘画”改变为“我的画”。设备检测到用户对图像属性的修改，确定图像的标签应被更改。

设备判断用户是否在整理图像时发生了特殊操作，如果是则建立一个新的类别用于图像的分类。例如，用户在整理图像时，建立了一个新文件夹，并将该文件夹命名为“我的画”，并将一组图像移动到了该文件夹中。设备检测到新的文件夹被建立，且有图像被移动到该文件夹中，设备确定该组图像的标签应被更改。

设备判断用户在使用社交软件时是否进行了图像分享，在家庭群中会分享与家人相关的照片，在宠物交流群中户分享与宠物相关的照片，在读书群中会分享与书籍相关的照片，设备通过分析用户的该种操作，将用户相册中的图像与社交关系进行关联，确定图像的标签应被更改。

步骤2：个性化类别的生成。

当设备判断图像的标签被更改时，则生成新的类别定义。该类别被赋予一个唯一符，唯一符一致的图像为同一类别的图像。例如，步骤一中的绘画作品的图像被分配到一个唯一符，其名称为“我的画”；分享到家庭群中的图像被分配到一个唯一符，其名称为“家庭群”。类似的，其他被分享到其他群中的图像也被分配到一个唯一符，其名称可能为“宠物”或“读书”。

步骤3：判断个性化类别的变化程度。

设备分析个性化类别的名称，判断其变化程度，从而确定实现个性化类别分类的方式。

例如一个个性化类别的名称为“白色萌宠”，设备分析出该类别由两个元素组成，其一为颜色属性“白色”，其二为物体类别“宠物”。设备的预设子类中包括“白色”类别和“宠物”类别，则设备将该两个子类进行关联，所有被分类为“白色”且为“宠物”的图像都被重新分为“白色萌宠”。由此实现个性化类别的分类。

如果设备的预设子类中不包括“白色”类别和“宠物”类别，则需要重新训练模型。例如，设备将用户整理的“白色萌宠”图像上传至云端，云端服务器在原有模型的基础上新添加一个类别，并利用上传的图像进行训练。训练结束后，更新后的模型被发送回用户的设备。当有新的图像出现在用户的相册中时，利用更新后的模型对图像进行分类，当图像在“白色萌宠”类别的置信度超过一个阈值时，将该图像分为“白色萌宠”类别。

步骤4：判断设备端和云端对图像的分类一致性。

当云端与设备上对同一图像的分类结果不同时，需要对结果进行优化。例如一张“狗”的图像，在设备上的分类结果为“猫”，在云端的分类结果为“狗”。

当设备没有检测到用户的反馈时。如果阈值设定为0.9，当云端的分类置信度高于0.9，设备的分类置信度低于0.9，则认为一幅图像应该被标为“狗”。相反，当云端的分类置信度低于0.9，设备的分类置信度高于0.9，则图像应被标为“猫”。当云端和设备的分类置信度都低于0.9时，则将图像的类别提升一个层级，将其标为“宠物”。

当设备检测到用户的更正反馈时。将错误分类的结果上传至云端，包括被错分的照片、被分类别和用户指定的正确类别，并启动模型训练。训练结束后，将新模型更新至设备。

实施方式7：在设备上的快速浏览

实施方式7可以基于实施方式5的树状结构进行快速浏览。

步骤1：设备显示某一层级的标签类别

用户在浏览某一层级时，设备检测到用户对某一层级的浏览，将该一层级所包含的所有标签类别显示给用户，显示的方式可以为文字或图像缩略图。当显示图像缩略图时，可以显示该类别的预设图标，也可以显示相册中真实存在的图像，可以选择显示最后被修改的图像的缩略图，或者选择显示该类别中置信度最高的图像的缩略图，等等。

步骤2：设备检测用户的操作并反馈

用户可以在每个标签类别上进行操作，从而进入下一层级。

图19为根据本发明实施方式，移动终端上对树形结构的快速浏览示意图。

如图19所示，当用户单击一个标签时，设备检测到一个标签被单击，则显示该标签的下一层级。例如，用户单击风景标签，设备检测到风景标签被单击，则风景标签下的海洋、高山、内陆水景、沙漠的标签被显示给用户。当用户进一步单击内陆水景时，设备检测到内陆水景标签被单击，该标签下的瀑布、河流、湖泊标签被显示给用户。

用户可以在每个标签类别上进行操作，查看某标签类别内包含的所有图像。

如图19所示，当用户长按一个标签时，设备检测到一个标签被长按，则显示该标签的所有图像。当用户长按风景标签时，设备检测到用户长按风景标签，则将所有标签为风景的图像显示给用户，包括海洋、高山、内陆水景和沙漠的图像。当用户长按内陆水景标签时，设备检测到用户长按内陆水景标签，则将所有标签为内陆水景的图像显示给用户，包括瀑布、湖泊和河流的图像。当用户长按瀑布时，设备检测到瀑布标签被长按，将所有标签为瀑布的图像显示给用户。

用户也可以通过语音的方式进行操作。例如用户通过语音输入“进入内陆水景”，设备检测到用户语音输入“进入内陆水景”，通过自然语音处理设备确定用户的操作为“进入”，操作的对象为“内陆水景”，则设备将内陆水景标签下的瀑布、河流、湖泊标签显示给用户。如果用户通过语音输入“查看内陆水景”，设备检测到用户的语音输入“查看内陆水景”，通过自然语音处理设备确定用户的操作为“查看”，操作的对象为“内陆水景”，则将所有标签为内陆水景的图像显示给用户，包括瀑布、湖泊和河流的图像。

在本实施方式中，通过缩略图这种可视化的方式对图像进行分类，用户可以根据分类迅速找到图像，从而提高了浏览和检索的速度。

实施方式8：在较小屏幕上的快速浏览

有些电子设备的屏幕很小，本实施方式8提供如下方案。

实施方式8可以基于实施方式5的树状结构。

步骤1：设备显示某一层级的标签类别

用户在浏览某一层级时，设备检测到用户对某一层级的浏览，将该一层级中的部分标签类别显示给用户，显示的方式可以为文字或图像缩略图。当显示图像缩略图时，可以显示该类别的预设图标，也可以显示相册中真实存在的图像，可以选择显示最后被修改的图像的缩略图，或者选择显示该类别中置信度最高的图像的缩略图，等等。

图21A-图21B为根据本发明实施方式，小屏幕设备上对树形结构的快速浏览示意图。

如图21A所示，当用户浏览由交通工具、宠物和风景组成的层级时，设备检测到该层级被访问，则每一次在屏幕上只显示其中一个类别的缩略图，如交通工具、宠物或风景。

步骤2：设备检测用户的操作并反馈

用户可以在每个标签类别上进行操作，从而在各个标签类别之间进行切换。如图21A所示，设备初始显示了交通工具的类别标签，用户在设备屏幕上划动，设备检测到用户在设备屏幕上的划动动作，则由交通工具类别标签切换至宠物类别标签，当设备再一次检测到用户的划动动作时，由宠物类别标签切换至风景类别标签。

需要说明的是，与切换标签对应的操作也可以采用其他方式，此处仅是举例说明。

用户可以在每个标签类别上进行操作，查看某标签类别内包含的所有图像，具体显示时每次只显示部分图像，用户通过操作显示其他部分图像。

如图21A所示，当用户单击一个标签时，设备检测到一个标签被单击，则显示该标签的所有图像中的其中一张。例如用户单击风景标签，设备检测到风景标签被单击，则风景标签下的一张含有沙滩风景的图像被显示给用户，当设备检测到用户的划动动作时，显示风景标签下的另一张图像。

需要说明的是，与切换图像对应的操作也可以采用其他方式，此处仅是举例说明。

用户可以在各个层级上进行操作，从而在各个层级间进行切换。当设备检测到用户的第一种操作时，进入下一层级；当设备检测到用户的第二种操作时，返回上一层级。

如图21B所示，设备处于风景、交通工具所在层级。在设备显示交通工具的标签时，用户顺时针旋转表盘，设备检测到表盘被顺时针旋转，则由风景、交通工具层级进入到交通工具的下一层级，其中包含自行车、飞机等标签。用户可以通过划动切换标签类别，如从自行车切换到飞机。当用户逆时针旋转表盘时，设备检测到表盘的逆时针旋转，则由自行车、飞机所在的层级切换至上一层级，该上一层级包括风景、交通工具等标签类别。需要说明的是，与切换层级对应的操作也可以采用其他方式，此处仅是举例说明。

类似地，用户也可以通过语音的方式进行操作。例如用户通过语音输入“进入内陆水景”，设备检测到用户的语音输入“进入内陆水景”，通过自然语音处理设备确定用户的操作为“进入”，操作的对象为“内陆水景”，则设备将内陆水景标签下的瀑布、河流、湖泊标签显示给用户。如果用户通过语音输入“查看内陆水景”，设备检测到用户的语音输入“查看内陆水景”，通过自然语音处理设备确定用户的操作为“查看”，操作的对象为“内陆水景”，则将所有标签为内陆水景的图像显示给用户，包括瀑布、湖泊和河流的图像。再如，用户通过语音输入“返回上一层级”，设备检测到用户语音输入“返回上一层级”，则切换至上一层级。

需要说明的是，上述语音输入也可以是其他语音，此处仅是举例说明。

实施方式9：在较小屏幕上显示图像

有些电子设备的屏幕较小，用户有可能通过这些设备查看其他设备或云端的照片。为了能够在这些电子设备上进行快速浏览，本实施方式提供了如下方案。

步骤1：设备判断待显示图像中的用户兴趣区域的个数

设备根据一幅图像的区域列表，查看该图像中包含的用户兴趣区域的个数，根据用户兴趣区域个数的不同选择不同的显示方式。

步骤2：设备根据待显示图像中的用户兴趣区域个数判断显示方式

设备检测到图像中包含的用户兴趣区域的个数，根据用户兴趣区域个数的不同选择不同的显示方式。

图22为根据本发明实施方式，小屏幕设备上对图像的显示示意图。

如图22所示：

当设备检测到一张风景图像中不包含任何用户兴趣区域时，将整图的缩略图显示在屏幕上，根据设备屏幕的不同，在必要时截取原图的一部分，例如当设备屏幕为圆形时，在图像的中心截取最大的内接圆。

当设备检测到一张图像中含有用户兴趣区域时，选取其中的一个用户兴趣区域居中显示在设备屏幕上，选取的准则可以根据用户的视点热图，用户关注度最高的用户兴趣区域被优先显示，选取的准则也可以根据区域中的类别置信度，选取类别置信度最高的用户兴趣区域优先显示。

步骤3：设备检测用户的不同操作并反馈

用户在设备上进行不同的操作，设备检测不同的操作，根据不同的操作，设备给出不同的反馈。这些操作应该使得用户可以放大、缩小图像，当图像中包含有多个用户兴趣区域时，用户可以通过某种操作在各个用户兴趣区域之间进行切换。

例如，当用户在屏幕上两个手指做接近运动时，设备检测到用户的手指做接近运动，则缩小屏幕上显示的图像，直到图像的长边与设备的短边等长为止。

再如，当用户在屏幕上两个手指做远离运动时，设备检测到用户的手指做远离运动，则放大屏幕上显示的图像，直到图像被放大为原图的特定倍数为止，这个倍数可以事先设定。

再如，如图22所示，当用户旋转表盘时，设备检测到表盘被旋转时，不同的用户兴趣区域被居中显示在屏幕上。当用户顺时针旋转表盘时，设备检测到表盘被顺时针旋转，则居中显示下一个用户兴趣区域；当用户逆时针旋转表盘时，设备检测到表盘被顺时针旋转，则居中显示上一个用户兴趣区域。

通过本实施方式，用户可以在屏幕较小的设备顺利查看图片。

实施方式10：基于图像用户兴趣区域的图像传输(一)

目前，人们越来越多的将图像存储在云端，本实施方式提供了一种在设备上查看云端图像的方案。

步骤1：设备根据某种准则确定传输模式

设备通过设备所处的环境或条件判断选择某种传输模式。此处所说的环境或条件可以包括设备向云端或其他设备请求的图像数量。

传输模式主要包括两种，一种为完整传输，另一种为自适应传输。完整传输模式将数据不经压缩地全部传输给设备，自适应传输利用经过压缩的数据和多次传输达到节省带宽和耗电的目的。

图23为根据本发明实施方式，不同传输数量情况下的传输模式示意图。

如图23所示，在传输图像时，首先设定阈值(即门限值)N。N可以为预设值，例如N为10。N的确定也可以根据图像尺寸和被请求的图像数量计算得到，N值是满足一次性完整传输N幅图像所消耗的流量小于自适应传输N幅图像这一条件的最大值。

当设备检测到用户请求的图像数量小于N时，通过完整传输模式传输图像。当设备检测到用户请求的图像数量大于N时，通过自适应传输模式传输图像。

步骤2：通过完整传输模式传输图像

当设备检测到用户请求的图像数量小于N时，通过完整传输模式传输图像。此时对待传输的图像不进行任何压缩或处理，将原始图像通过网络完整传输给请求设备。

步骤3：通过自适应传输模式传输图像

在自适应传输模式下，被请求的N幅图像首先在云端或其他设备上进行全图压缩达到减少传输数据量的目的。例如压缩图像尺寸或选择压缩比更大的压缩算法等。被压缩后的N幅图像通过网络连接被传输给请求设备，供用户预览。

当用户选择进一步浏览N幅图像中的部分或全部图像时，用户设备检测到一副图像A被全屏打开，此时用户设备向云端或其他设备请求部分压缩的图像。云端或其他设备接收到部分压缩的A被请求后，将A的原图进行压缩，压缩的原则是用户兴趣区域所在部分的图像被较低压缩比的算法压缩，用户兴趣区域外的背景部分被较大压缩比的算法压缩。云端或其他设备通过网络将部分压缩的图像传输给用户设备。

如图23所示，用户请求的图像的用户兴趣区域为飞机和汽车，则飞机和汽车所在区域被压缩比较小的算法压缩，从而使用户可以更为清晰的观看飞机和汽车的细节，飞机和汽车区域之外的区域被压缩比较大的算法压缩，从而达到节省流量的目的。

当用户进一步对图像进行操作时，如对图像进行编辑、放大浏览、分享等，或用户直接请求原图时，用户设备向云端或其他设备请求未被压缩的原图。云端或其他设备接收到用户设备的请求时，将未被压缩的原图发送给用户设备。

通过本实施方式，可以将设备的传输数量限制到一定范围内，减少数据传输量。并且，如果传输的图像过多，则降低传输图像的质量，从而使得用户能够快速浏览到需要的图像。

实施方式11：基于图像用户兴趣区域的图像传输(二)

目前，人们越来越多的将图像存储在云端，本实施方式提供了一种在设备上查看云端图像的方案。

步骤1：设备根据某种准则确定传输模式

设备通过设备所处的环境或条件判断选择某种传输模式。此处所说的环境或条件可以为设备所处的网络连接类别，如有线宽带(WIFI)网络、运营商通信网络、有线网络等、设备所处网络的质量(如高速网络、低速网络等)、用户手动设置的请求的图像质量，等等。

传输模式主要包括三种。第一种为完整传输；第二种为部分压缩传输；第三种为完全压缩传输。完整传输模式将数据不经压缩地全部传输给设备；部分压缩传输模式将数据进行部分压缩后传输给设备；完全压缩传输模式将数据进行完全压缩后传输给设备。

图24为根据本发明实施方式，不同网络环境情况下的传输模式示意图。

如图24所示，当设备处于WIFI网络或有线网络环境下，无需考虑数据传输时造成的费用，当设备检测到用户请求图像时，通过完整传输模式传输图像。

如图24所示，当设备处于运营商通信网络环境下，需要考虑数据传输时造成的费用，当设备检测到用户请求图像时，可以通过完整传输模式、部分压缩传输模式或完全压缩传输模式将图像传输给设备，选择的方法可以为实现设定默认的传输模式，或由用户选择传输模式。通过本实施方式，可以减少用户处于运营商网络环境下的数据传输量。

设备还可以通过判断网络质量来决定选取某种传输模式，例如网络质量较好时选取完整传输模式，网络质量一般时选取部分压缩传输模式，网络质量较差时选取完全压缩传输模式。通过本实施方式，可以使用户尽可能快速的浏览需要的图像。

步骤2：通过完整传输模式传输图像

通过完整传输模式传输图像时，云端设备对待传输的图像不进行任何压缩或处理，将原始图像通过网络完整传输给用户设备。

步骤3：通过部分压缩模式传输图像

通过部分压缩模式传输图像时，用户设备向云端或其他设备请求部分压缩的图像。云端或其他设备接收到请求后，将图像进行压缩，压缩的原则是用户兴趣区域所在部分的图像被较低压缩比的算法压缩，用户兴趣区域外的背景部分被较大压缩比的算法压缩。云端或其他设备通过网络将部分压缩的图像传输给用户设备。

如图24所示，用户请求的图像的用户兴趣区域为飞机和汽车，则飞机和汽车所在区域被压缩比较小的算法压缩，从而使用户可以更为清晰的观看飞机和汽车的细节，飞机和汽车区域之外的区域被压缩比较大的算法压缩，从而达到节省流量的目的。

步骤4：通过完全压缩模式传输图像

被请求的图像首先在云端或其他设备上进行全图压缩达到减少传输数据量的目的，例如压缩图像尺寸或选择压缩比更大的压缩算法等。被压缩后图像通过网络连接被传输给请求设备，供用户预览。

其中，基于步骤1确定的传输模式，选择性地执行步骤二、步骤三或步骤四。

实施方式12：在缩略图模式下的快速分享

步骤1：确定分享候选图像

分享候选图像的确定可以由设备自动完成，也可以由用户手动选择完成。

当设备自动确定分享候选图像时，设备通过分析图像内容确定分享候选集，设备检测图像中各个用户兴趣区域内的类别标签，将包含有相同类别标签的图像组成一个候选集合，例如将所有包含宠物的图像组成一个候选集合。

设备通过图像中出现的联系人确定分享候选集，设备检测图像中各个类别标签为人的用户兴趣区域内的身份，将相同联系人或联系人分组的图像确定为一个候选集合。

设备还可以确定一个时间段，将拍摄时间落于该拍摄时间段内的图像作为分享候选，该时间段的设定通过设备对拍摄时间、地理位置等信息进行分析得到。时间段可以为预先设定，例如每24小时为一个时间段，拍摄于每个24小时之内的图像被设定为一个分享候选集。

时间段可以根据地理位置的改变而确定，设备检测到设备在第一个时刻处于第一个地理位置，在第二个时刻处于第二个地理位置，在第三个时刻处于第三个地理位置，第一个地理位置与第三个地理位置可以是同一位置，则设备将时间段设定为第二个时刻至第三个时刻。例如，设备检测到在某月1日设备位于北京，某月2日设备位于南京，某月3日设备位于北京，则设备将时间段设置为2日至3日，拍摄时间处于2日至3日内的图像被设定为一个分享候选集。设备在判断地理位置是否改变时，可以通过检测各个地理位置的距离进行判断。例如，当设备所处位置改变了一定距离后，判定设备位置已改变，这一距离可以预先设定，如20公里。

当用户手动选择确定分享候选图像时，用户在缩略图上进行操作选取要分享图像，例如长按图像，设备检测到用户的操作时，将被操作的图像添加到分享候选图像集合中。

步骤2：设备在缩略图模式下提示用户进行分享

当设备检测到设备处于缩略图模式下，设备通过某种方式将分享候选集合提示给用户。例如，将同一候选集合的图像的缩略图用相同颜色的边框包围。在这些候选集合上显示一个分享按钮，当用户点击这个按钮时，设备检测到分享按钮被点击，开启分享模式。

步骤3：分享候选分享集合

候选分享集合可以单独地分享给其他联系人，设备将包含有某联系人的图像分享给该联系人。设备首先确定分享候选集合中每幅图像中包含有哪些联系人，然后将图像分别发送给该图像中包含的联系人。

图25为根据本发明实施方式，在缩略图界面下分享图像的第一示意图。

如图25所示，设备将图像1和图像2确定为一个候选分享集合，并检测到图像1中包含有联系人1和联系人2，图像2中包含有联系人1和联系人3。

当用户点击分享给各个联系人时，设备将图像1和图像2发送给联系人1，将图像1发给联系人2，将图像2发送给联系人3。从而避免用户将相同图像发送给不同用户时所产生的重复操作。

候选分享集合可以批量地分享给联系人群组，设备将包含有各个联系人的图像分享给包含各个联系人的群组。设备首先确定分享候选集合中每幅图像中包含的联系人，然后在联系人分组中查看是否有一个联系人分组中包含的联系人与分享候选集合包含的联系人完全一致，若是，则自动将分享候选集合包含的图像分享给该联系人分组，或由用户手动修改联系人后分享。如果设备找不到与分享候选集合完全一致的联系人分组，则新建一个联系人分组包含分享候选集合中的联系人，并将该联系人分组作为基础提供给用户，使得用户可以手动修改该分组内的联系人，设备建立新的联系人分组后将分享候选集合包含的图像发送到联系人分组中。

图26A-图26C为根据本发明实施方式，在缩略图界面下分享图像的第二示意图。

如图26A所示，设备将图像1和图像2确定为一个候选分享集合，并检测到图像1中包含有联系人1和联系人2，图像2中包含有联系人1和联系人3。如图26B所示，当用户点击分享给联系人分组时，设备检测到一个联系人分组中的联系人包含且只包含了联系人1、联系人2和联系人3。如图26C所示，设备将图像1、图像2发送至该联系人分组。

步骤4：修改分享候选集合的分享状态

当分享候选集合中的图像被分享后，设备在缩略图模式下通过某种方式提示用户分析候选集合的分享状态，例如通过图标告知用户分析候选集合被分享给联系人个人、联系人分组、分享次数等。

通过本实施方式，提高了图像分享的效率。

实施方式13：在聊天模式下的快速分享

步骤1：设备产生分享候选集合

与实施方式11中类似，设备通过分析图像内容、拍摄时间、地理位置等信息确定分享候选集，本实施方式13对此不再赘述。

步骤2：设备在聊天模式下提示用户进行分享

设备检测到设备处于聊天模式下，则提取用户正在通信的联系人，在各个分享候选集合中对比，如果一个分享候选集合中包含的联系人与用户正在通信的联系人一致，且该分享候选集合没有被分享，则通过某种方式提示用户进行分享。

图27为根据本发明实施方式，在聊天界面下的第一分享方式示意图。

如图27所示，当设备检测到用户与联系人1、联系人2和联系人3组成的联系人群组聊天时，设备查找到设备中现有的一个分享候选集合包含有联系人1、联系人2和联系人3。设备弹出一个提示框，显示分享候选集合中图像的缩略图，当检测到用户点击确认分享按钮时，将该分析候选集合中的图像发送至当前群组聊天。

设备检测到设备处于聊天模式下，自动分析用户的输入，通过自然语言处理，判断用户是否有分享图像的意愿，如果有分享的意愿则分析用户所要分享的内容，设备弹出一个提示框，显示标签类别为用户想要分享的内容的用户兴趣区域，其排列方式可以为时间顺序、用户的浏览频率等。当设备检测到用户选中其中一个或多个图像并点击发送时，将包含有用户兴趣区域的图像或截取出用户兴趣区域发送到群组中。

图28为根据本发明实施方式，在聊天界面下的第二分享方式示意图。如图28所示，用户输入“你喜欢这辆车吗”，设备检测到用户的输入，通过分析判断出用户有分享汽车这一标签类别的意愿。设备弹出一个提示框，显示标签类别为汽车的用户兴趣区域，当设备检测到用户点击其中一个图像时，将截取出的用户兴趣区域发送至群组中。

通过本实施方式，提高了图像分享的效率。

实施方式14：基于用户兴趣区域的图像精选方法

步骤1：设备对一段时间内的用户兴趣区域进行聚合分离

设备确定一个时间段，对于该时间段内的用户兴趣区域进行聚合分离。

时间段可以为预先设定，例如每24小时为一个时间段，拍摄于每个24小时之内的图像被设定为一个聚合分离候选集。

时间段可以根据地理位置的改变而确定，设备检测到设备在第一个时刻处于第一个地理位置，在第二个时刻处于第二个地理位置，在第三个时刻处于第三个地理位置，第一个地理位置与第三个地理位置可以是同一位置，则设备将时间段设定为第二个时刻至第三个时刻，例如设备检测到在某月1日设备位于北京，某月2日设备位于南京，某月3日设备位于北京，则设备将时间段设置为2日至3日，拍摄时间处于2日至3日内的图像被设定为一个聚合分离时间段。设备在判断地理位置是否改变时，可以通过检测各个地理位置的距离进行判断。例如当设备所处位置改变了一定距离后，判定设备位置已改变，这一距离可以预先设定，如20公里。

设备通过分析一个时间段内图像的内容对用户兴趣区域进行聚合分离，设备检测图像中各个用户兴趣区域内的类别标签，将包含有相同类别标签的用户兴趣区域进行聚合，将包含有不同类别标签的用户兴趣区域进行分离，例如将食物、联系人1、联系人2分别进行聚合。

设备通过图像中出现的联系人对用户兴趣区域进行聚合分离，设备检测图像中各个类别标签为人的用户兴趣区域内的身份，将相同联系人进行聚合，不同联系人进行分离。

步骤2：设备产生精选集合

方式(1)：由图像至文字的精选过程。

设备在各个聚合集合中对用户兴趣区域进行精选，选取的条件可以为预先设定，如最后拍摄的时间、最先拍摄的时间。也可以根据图像质量进行排序后，选取图像质量最好的用户兴趣区域。将精选出的用户兴趣区域进行拼接。在拼接的过程中，自动根据用户兴趣区域调整拼接模板中的形状和比例，通过图像拼图可链接回相册中的原图。最后根据用户兴趣区域的内容，产生对拼图的简单描述。

图29为根据本发明实施方式，由图像至文字的图像精选方法示意图。

如图29所示，设备首先选取一天时间内的图像，将这些图像的用户兴趣区域进行聚合分离，产生风景聚合集合、联系人1聚合集合、联系人2聚合集合、食物的聚合集合、花的聚合集合。然后，从中精选出四张图像进行拼接，拼接过程中将用户兴趣区域中的主体显示出来。最后根据用户兴趣区域中的内容产生一段文字。设备检测用户点击拼接后的图像，可以链接回用户兴趣区域所在的原图。

方式(2)：由文字至图像的精选方式。

用户输入一段文字，设备检测到用户输入的文字，在其中提取关键词，关键词的类型包括时间、地理位置、物体名称、联系人身份等。设备根据提取到的时间和地理位置定位至相册中的图像，根据物体名称、联系人身份等，选取符合关键词的用户兴趣区域。将包含有符合关键词的用户兴趣区域或用户兴趣区域所属的图像插入到用户输入的文字之间。

图30为根据本发明实施方式，由文字至图像的图像精选方法示意图。

如图30所示，设备在用户输入的文字中提取了“今天”、“我”、“女朋友”、“风景”、“南京”、“莲花”、“食物”关键词，根据这些关键词确定图像，并选取包含有这些关键词内容的用户兴趣区域，将用户兴趣区域从图像中截取出来插入到用户输入的文字中。

实施方式15：基于图像内容的图像转换方法

图31为根据本发明实施方式，基于图像内容的图像转换示意图。

步骤1：设备检测并聚合文档图像

设备在用户的设备中检测包含有文档标签的图像。利用文档的外观风格、文档的内容判断包含有文档标签的图像是否来源自同一文档，例如包含有同一PPT模板的文档图像来源于同一文档，根据自然语言处理对图像中的文字进行分析，判断各个图像是否来源自同一文档。

实现该步骤的触发条件可以为自动触发，例如设备在后台实时监测相册内图像文件的变化，当监测到相册内的图像文件数量变化时，例如图像文件数量增加，则触发实施该步骤。再如，在即时通讯软件中，设备自动检测用户接收到的图像是否为图像文档，如果是则触发实施该步骤，在即时通讯软件的对话中，检测并聚合文档图像，其中，设备可以是在一个联系人的交互信息中，检测并聚合文档图像，设备也可以在一个群的交互信息中，检测并聚合文档图像。

可选地，实现该步骤的触发条件可以为用户手动触发，例如一个合并文档图像的按钮被设置在相册的菜单中，当设备检测到用户点击该按钮时，触发实施该步骤；再如，在即时通讯软件中，设备检测到用户长按接收到的图像且选择转换文档选项时，触发该步骤。

步骤2：设备提示用户将图像转换为文档

在缩略图模式下，设备将来自同一文档的图像利用某种方式显示出来，例如相同颜色的矩形框，并在其上显示一个按钮，当用户点击该按钮时，设备检测到转换按钮被点击，则进入图像转换文档模式。

在即时通讯软件中，当设备检测到用户接收的图像中包含有文档图像，则通过某种方式给用户提示，例如使用特殊颜色、弹出气泡等方式提示用户该图像可以转换为文档，同时显示按钮。当设备检测到用户点击该按钮时，则进入图像转换文档模式。

步骤3，设备根据用户反馈生成文档

在图像转换文档模式下，用户可以手动添加或删除图像，设备根据用户的操作，添加或删除需要被转换为文档的图像，当设备检测到用户点击“转换”按钮时，设备在图像中进行文字检测并做光学字符识别，将图像中包含的文字转换为文本，并保存为一个文档，供用户后续使用。

实施方式16：基于图像内容的智能删除推荐。

步骤1：根据图像中的用户兴趣区域判断图像相似度

在包含有用户兴趣区域的图像中，截取各个用户兴趣区域，比较来自不同图像的用户兴趣区域，判断各个图像中包含的内容是否相似。

例如，图像1包含有联系人1、联系人2和联系人3，图像2包含有联系人1、联系人2和联系人3，图像3包含有联系人1、联系人2和联系人4，则图像1和图像2具有更高的相似度。

再如，图像4中有一个包含红色花的用户兴趣区域，图像5中有一个包含红色花的用户兴趣区域，图像6中有一个包含黄色花的用户兴趣区域，则图像4和图像5具有更高的相似度。

在本步骤中，当两个图像的用户兴趣区域的相似度和图像的相似度成正比，用户兴趣区域的位置和相似度无关。

步骤2：根据图像包含的用户兴趣区域判断图像是否具有语义信息

设备提取图像包含的用户兴趣区域的区域字段，如果图像包含有带有类别标签的用户兴趣区域，则图像包含有语义信息，例如图像中包含有人、车、宠物。如果图像包含不带有类别标签的用户兴趣区域，则图像包含有较弱语义信息，如几何图形的边界。如果图像中不带有任何用户兴趣区域，则图像不具有语义信息，如纯色图像、曝光过低图像。

步骤3：根据图像中用户兴趣区域的位置关系判断图像的美观程度

设备从图像的区域列表中提取各个用户兴趣区域的类别和位置坐标，根据各个用户兴趣区域的类别和位置坐标判断图像的美观程度。判断方式可以为利用黄金分割规则，例如一个图像包含的各个用户兴趣区域，都坐落在黄金分割点上，则该图像的美观程度更高。再如，包含树的用户兴趣区域位于包含人的用户兴趣区域的正上方，则该图像的美观程度较低。

需要说明的是，步骤1、步骤2和步骤3的先后执行顺序可以互换，也可以同时执行步骤1、步骤2和步骤3中的两到三个，本实施方式对此并无限定。

步骤4：设备推荐删除

设备将相似度高的图像进行聚合推荐删除，设备将类别标签中不包含或包含较弱语义信息的图像推荐删除，设备将美观度低的图像推荐删除。在推荐相似度高的图像进行删除时，以第一幅图像为基准，在各个图像中显示与第一幅图像的区别，方便用户选取保留的图像。

图32为根据本发明实施方式，基于图像内容的智能删除示意图。如图32所示，可以利用色块将各个图像中的区别点高亮。

步骤5：设备检查用户操作删除图像

用户在推荐删除的图像中选择需要被保留的图像，确认后点击删除按钮。设备检测到用户的操作后，保留用户选择保留的图像，将其他图像删除。或者，用户在推荐删除的图像中选择要删除的图像，确认后点击删除按钮。设备检测到用户的操作后，删除用户选择的图像，保留其他图像。

通过本实施方式，可以快速删除不需要的图像。

基于上述详细分析，本发明实施方式还提出了一种图像管理装置。

图33为根据本发明实施方式的图像管理装置结构图。

如图33所示，该装置260包括：

操作检测模块261，用于检测用户针对图像的操作；

管理模块262，用于基于操作及图像中的用户兴趣区域，管理所述图像。

综上所述，本发明实施方式主要包括：(1)；在图像中产生用户兴趣区域的实现方法；(2)、基于用于兴趣区域在图像浏览和检索、快速分享等图像管理方面的具体应用。

具体地，本发明实施方式可以针对图像建立区域列表，其中包含每幅图像的浏览频率、图像中各个区域所包含的物体类别、各个区域的受关注程度，等等。在浏览时，用户可以在图像中选取多个用户兴趣区域，对于每个用户兴趣区域用户可以采取多种操作，例如单击、双击、划动等，不同的操作产生不同的搜索结果作为候选提供给用户，候选图像的顺序按照用户的喜好程度进行排序。另外，用户可以从相册中选取多幅图像中的多个用户兴趣区域进行搜索，用户也可以实时从摄像头捕捉的图像中选取用户兴趣区域进行搜索，以此达到快速浏览的目的。另外，可以根据用户相册中的图像分布建立个性化的树形结构，使得用户的图像被更有组织性，方便用户快速浏览。

在图像传输与分享方面，本发明实施方式通过部分压缩图像，对于用户兴趣区域进行低压缩比的压缩，从而保证该区域的清晰度。对于用户兴趣区域外采用高压缩比的压缩，从而节省传输过程中的电量消耗和带宽资源。另外，通过分析图像内容建立各幅图像间的关联，方便用户快速分享。比如，在即时通讯软件中，自动分析用户的输入，从图像中截取相关区域提供给用户进行选择分享，等等。

本发明实施方式还实现了图像精选方法，包括两种方式：从图像到文字和从文字到图像。

本发明实施方式还实现了将相册中同一来源的文字图像转换为一个文档的功能。

本发明实施方式还实现了智能删除推荐，将视觉相似、内容相似、图像质量低以及不包含有意义物体的图像推荐给用户进行删除。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (26)

1.一种图像管理方法，其特征在于，包括：

检测用户针对图像的操作；

基于所述操作及所述图像中的用户兴趣区域，管理所述图像。

2.根据权利要求1所述的方法，其特征在于，所述操作包括对至少两个用户兴趣区域的选择操作；其中所述至少两个用户兴趣区域属于同一幅图像或属于不同图像；

所述管理图像，包括：

基于所述对至少两个用户兴趣区域的选择操作，提供对应的图像和/或视频帧。

3.根据权利要求1所述的方法，其特征在于，

所述操作包括对用户兴趣区域的选择操作和/或检索内容输入操作；其中所述检索内容输入操作包括文字输入操作和/或语音输入操作；

所述管理图像，包括：

基于所述选择操作和/或检索内容输入操作，提供对应的图像和/或视频帧。

4.根据权利要求2或3所述的方法，其特征在于，基于所述选择操作和/或检索内容输入操作，提供对应的图像和/或视频帧包含下列中的至少一个：

当所述选择操作为第一类选择操作时，提供的对应的图像和/或视频帧中包含：所述第一类选择操作针对的所有用户兴趣区域对应的用户兴趣区域；

当所述选择操作为第二类选择操作时，提供的对应的图像和/或视频帧中包含：所述第二类选择操作针对的至少一个用户兴趣区域对应的用户兴趣区域；

当所述选择操作为第三类选择操作时，提供的对应的图像和/或视频帧中不包含：所述第三类选择操作针对的用户兴趣区域对应的用户兴趣区域；

当所述检索内容输入操作为第一类检索内容输入操作时，提供的对应的图像和/或视频帧中包含：所述第一类检索内容输入操作针对的所有用户兴趣区域对应的用户兴趣区域；

当所述检索内容输入操作为第二类检索内容输入操作时，提供的对应的图像和/或视频帧中包含：所述第二类检索内容输入操作针对的至少一个用户兴趣区域对应的用户兴趣区域；

当所述检索内容输入操作为第三类检索内容输入操作时，提供的对应的图像和/或视频帧中不包含：所述第三类检索内容输入操作针对的用户兴趣区域对应的用户兴趣区域。

5.根据权利要求2或3所述的方法，其特征在于，在提供对应的图像和/或视频帧之后，该方法还包括：

确定所述对应的图像和/或视频帧的优先级；

根据所述对应的图像和/或视频帧的优先级确定显示顺序；

根据显示顺序显示对应的图像和/或视频帧。

6.根据权利要求5所述的方法，其特征在于，所述确定所述对应的图像和/或视频帧的优先级包括下列中的至少一个：

基于全图层面内统计的相关数据中的一项确定所述对应的图像和/或视频帧的优先级；

基于全图层面内统计的相关数据中的至少两项确定所述对应的图像和/或视频帧的优先级；

基于物体层面内统计的相关数据中的一项确定所述对应的图像和/或视频帧的优先级；

基于物体层面内统计的相关数据中的至少两项确定所述对应的图像和/或视频帧的优先级；

基于物体的语义组合确定所述对应的图像和/或视频帧的优先级；

基于物体的相对位置确定所述对应的图像和/或视频帧的优先级。

7.根据权利要求2或3所述的方法，其特征在于，所述对用户兴趣区域的选择操作是在以下至少一种模式下检测到的：

摄像头预览模式；

图像浏览模式；

缩略图浏览模式。

8.根据权利要求1所述的方法，其特征在于，所述管理图像包括：

确定待分享对象；向所述待分享对象分享所述图像；和/或，

基于聊天对象或与聊天对象的聊天内容，确定待分享图像，向所述聊天对象分享所述待分享图像。

9.根据权利要求1所述的方法，其特征在于，所述管理图像，包括下列中的至少一个：

基于所述图像的用户兴趣区域确定待分享的联系人群组；基于用户对图像进行群组分享的操作，将所述图像通过群组方式分享给所述待分享的联系人群组；

基于所述图像的用户兴趣区域确定待分享的联系人；基于用户对图像进行单独分享的操作，将所述图像分别发送给每个待分享的联系人，其中，分享给每个联系人的图像中包含与该联系人对应的用户兴趣区域；

当用户与聊天对象的聊天语句与图像的用户兴趣区域相对应时，将所述图像作为分享候选推荐给用户；

当聊天对象和图像中的用户兴趣区域相对应时，将所述图像作为分享候选推荐给用户。

10.根据权利要求8或9所述的方法，其特征在于，该方法还包括：

在分享图像后，对已分享的图像按照已分享的联系人进行标注。

11.根据权利要求1所述的方法，其特征在于，所述管理图像包括下列中的至少一个：

当显示屏幕小于预定尺寸时，显示用户兴趣区域的类别图像或类别文字，并基于用户的切换操作，切换显示用户兴趣区域的其他类别图像或类别文字；

当显示屏幕小于预定尺寸且基于用户的选择操作选中用户兴趣区域的类别时，显示该类别的图像，并基于用户的切换操作，切换显示该类别的其他图像；

当显示屏幕小于预定尺寸时，基于用户兴趣区域的数目显示所述图像。

12.根据权利要求11所述的方法，其特征在于，所述当显示屏幕小于预定尺寸时，基于用户兴趣区域的数目显示所述图像包括：

当图像中不包含用户兴趣区域时，以缩略图方式显示图像或将所述图像缩为与所述显示屏幕相适应的尺寸进行显示；

当图像中包含一个用户兴趣区域时，显示所述用户兴趣区域；

当图像包含多个用户兴趣区域时，交替显示该图像中的每个用户兴趣区域，或者，显示该图像中的第一用户兴趣区域，基于用户切换操作，切换显示该图像中除所述第一用户兴趣区域之外的用户兴趣区域。

13.根据权利要求1所述的方法，其特征在于，在进行设备间图像传输时，所述管理图像包括：

基于图像传输参数和图像中的用户兴趣区域，对图像进行压缩处理并传输压缩后的图像；和/或

接收服务器、基站或用户设备发送的图像，所述图像是基于图像传输参数和用户兴趣区域进行压缩处理后的图像。

14.根据权利要求13所述的方法，其特征在于，对图像进行压缩处理包括下列中的至少一个：

当图像传输参数满足用户兴趣区域不压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域进行压缩处理，对待传输图像中的用户兴趣区域不进行压缩处理；

当图像传输参数满足差别压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域进行具有第一压缩比的压缩处理，对待传输图像中的用户兴趣区域进行具有第二压缩比的压缩处理，其中所述第二压缩比小于第一压缩比；

当图像传输参数满足无差别压缩条件时，对待传输图像中的用户兴趣区域之外的图像区域与待传输图像中的用户兴趣区域，进行相同压缩比的压缩处理；

当图像传输参数满足不压缩条件时，对待传输图像不执行压缩处理；

当图像传输参数满足多次压缩条件时，对待传输图像执行压缩处理和一或多次传输处理。

15.根据权利要求14所述的方法，其特征在于，所述图像传输参数包括：待传输图像数量、传输网络种类和传输网络质量中的至少一个；

该方法包括下列中的至少一个：

当待传输图像数量小于预定的第一门限值时，判定图像传输参数满足所述不压缩条件；

当待传输图像数量大于等于所述第一门限值且小于预定的第二门限值时，判定图像传输参数满足所述用户兴趣区域压缩条件，其中第二门限值大于第一门限值；

当待传输图像数量大于等于所述第二门限值时，判定图像传输参数满足所述用户兴趣区域无差别压缩条件；

当传输网络质量的评估值低于预定的第三门限值时，判定图像传输参数满足所述多次压缩条件；

当传输网络质量的评估值高于等于所述第三门限值且低于预定的第四门限值时，判定图像传输参数满足所述差别压缩条件，其中第四门限值大于第三门限值；

当传输网络种类为免费网络时，判定图像传输参数满足所述不压缩条件。

16.根据权利要求1所述的方法，其特征在于，所述管理图像包括：

基于所述用户兴趣区域选择精选图像；

基于所述精选图像生成拼图，其中在所述拼图中显示各精选图像的用户兴趣区域。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

检测到用户对所述拼图中用户兴趣区域的选择操作；

显示包含所述选择的用户兴趣区域的精选图像。

18.根据权利要求1所述的方法，其特征在于，所述管理图像包括：

检测用户输入文本；

检索包含与所述文本相关联的用户兴趣区域的图像；

将检索出的用户兴趣区域的图像插入到所述用户输入文本中。

19.根据权利要求1所述的方法，其特征在于，该方法还包括：

当判定多个图像源于相同的文档时，自动将所述多个图像聚合为文档，或基于用户触发操作将所述多个图像聚合为文档。

20.根据权利要求1所述的方法，其特征在于，所述管理图像包括下列中的至少一个：

基于不同图像中的用户兴趣区域的类别比较结果，自动删除图像或推荐删除图像；

基于不同图像中的用户兴趣区域确定各自图像的语义信息包含度，基于不同图像语义信息包含度的比较结果自动删除图像或推荐删除图像；

基于不同图像中各自用户兴趣区域之间的相对位置对各自图像进行评分，并基于评分结果自动删除图像或推荐删除图像；

基于不同图像中至少一种用户兴趣区域的绝对位置对各自图像进行评分，并基于评分结果自动删除图像或推荐删除图像。

21.根据权利要求1所述的方法，其特征在于，所述管理图像包括下列中的至少一个：

确定图像或用户兴趣区域的个性化类型；

调整预设的分类模型，以实现所述分类模型能够按照所述个性化类型进行分类；

利用所述调整后的分类模型，对图像或用户兴趣区域进行个性化分类。

22.根据权利要求21所述的方法，其特征在于，所述调整预设的分类模型包括：

当设备本地端的分类模型的预设类别包含所述个性化类型时，在设备本地端的分类模型中重新组合预设类别；

当设备本地端的分类模型的预设类别不包含所述个性化类型时，在设备本地端的分类模型中增加所述个性化类型；

当云端的分类模型的预设类别包含所述个性化类型时，在云端的分类模型中重新组合预设类别；

当云端的分类模型的预设类别不包含所述个性化类型时，在云端的分类模型中增加所述个性化类型。

23.根据权利要求21所述的方法，其特征在于，对图像或用户兴趣区域进行个性化分类之后，该方法还包括下列中的至少一个：

设备本地端接收用户提供的分类错误反馈信息，利用所述分类错误反馈信息对设备本地端的调整后的分类模型进行训练；

云端接收用户提供的分类错误反馈信息，利用所述分类错误反馈信息对云端的调整后的分类模型进行训练；

当云端的个性化分类结果与设备本地端的个性化分类结果不一致时，利用云端的个性化分类结果更新设备本地端的个性化分类结果，并且将分类错误反馈信息发送到云端。

24.根据权利要求1-23中任一项所述的方法，其特征在于，所述用户兴趣区域包括下列中至少一个：

对应于手动对焦位置的图像区域；

对应于自动对焦位置的图像区域；

物体区域；

视点热图区域；

显著性热图区域。

25.根据权利要求1-24中任一项所述的方法，其特征在于，该方法还包括：

基于物体区域检测结果生成类别标签；和/或

将所述用户兴趣区域输入物体分类器，基于所述物体分类器的输出结果生成类别标签。

26.一种图像管理装置，其特征在于，包括：

操作检测模块，用于检测用户针对图像的操作；

管理模块，用于基于所述操作及所述图像中的用户兴趣区域，管理所述图像。