[go: up one dir, main page]

CN106687902A - 基于内容分析的图像显示、可视化和管理 - Google Patents

基于内容分析的图像显示、可视化和管理 Download PDF

Info

Publication number
CN106687902A
CN106687902A CN201580047238.2A CN201580047238A CN106687902A CN 106687902 A CN106687902 A CN 106687902A CN 201580047238 A CN201580047238 A CN 201580047238A CN 106687902 A CN106687902 A CN 106687902A
Authority
CN
China
Prior art keywords
image
images
representative
group
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580047238.2A
Other languages
English (en)
Other versions
CN106687902B (zh
Inventor
杨恩辉
于翔
孟津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bicdroid Inc
Original Assignee
Bicdroid Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bicdroid Inc filed Critical Bicdroid Inc
Publication of CN106687902A publication Critical patent/CN106687902A/zh
Application granted granted Critical
Publication of CN106687902B publication Critical patent/CN106687902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

所述的实施方案涉及组编多幅图像的方法及产品。具体地,所述方法及产品使用分配准则,可以自动地把多幅图像组编成多个图像组。对于每幅图像,所述分配准则包括该图像与至少另一幅图像之间的相似性距离,所述相似性距离度量该图像与至少另一幅图像的相似程度。基于所述相似性距离,每幅图像会被分配到至少一个相似图像组。所述方法及产品也可用于形象化地显示每个图像组的代表性图像。

Description

基于内容分析的图像显示、可视化和管理
相关申请
本申请要求申请号为62/020152、提交于2014年7月2日、题为“DISPLAY,VISUALIZATION,AND MANAGEMENT OF PHOTOS BASED ON CONTENT ANALYTICS”的美国专利申请的优先权,在此通过引用将该美国专利申请的全部内容纳入在本申请中。
技术领域
本发明的实施方案总体涉及图像管理,并且更具体地涉及用于组编、显示和可视化一组图像的系统和方法。
背景技术
随着成像和传感器装置的广泛可用性,图像/视频数据量已经有了巨大的增长。据估计,全球任何时刻在网上可以从网页、社交媒体、广告照片等获得超过1万亿的照片。根据思科VNI Mobile 2012的预测,到2016年全球移动数据流量将增长到每月10.8艾字节(exabytes),并且超过70%的移动数据将是视频。
类似地,在个人层面,消费者现在倾向于生成大量的个人照片。随着高端智能电话、平板电脑、相机和摄像机的大量涌现,这些个人照片的数量预计会大幅增长。正在拍摄和已生成的照片的数量、速度和多样性使组编和管理所拍摄的图像变得具有挑战性。审查、组编和分类所拍摄的大量图像可能是耗时和枯燥的,因此,用户可能不去组编他们的照片,或者仅按照它们被上传或存储的顺序排列。
类似地,大量的图像使得浏览图像集合从而识别特定图像或图像类型变得困难。同样的,此过程可能是耗时的,并且当图像的集合变大时可能是不可完成的。
发明内容
根据本文所述的第一实施方案,提供了组编多幅图像的计算机实现方法。所述方法可以包括对于所述多幅图像中的每幅图像,操作计算机处理器以确定至少一个图像分配准则,所述至少一个图像分配准则包括至少一个图像特有分配准则,其中所述至少一个图像特有分配准则包括该图像和所述多幅图像中的至少另一幅图像之间的相似性距离,该相似性距离度量该图像和所述至少另一幅图像在外观上的相似程度。所述方法还可以包括将多幅图像分配到多个图像组,从而使用每幅图像的图像分配准则将所述多幅图像中的每幅图像分配给所述多个图像组中的至少一个组,其中所述多个图像组包括多个相似图像组。通过将所述多幅图像中的每幅图像基于针对该图像的所述至少一个图像特有分配准则分配至所述多个相似图像组中的一个组,可以将所述多幅图像分成所述多个相似图像组。
在一些实施方案中,所述方法还可以包括,对于所述多幅图像中的每幅图像,通过比较该图像中至少部分像素的图像特有像素内容和所述多幅图像中的所述至少另一幅图像中至少部分像素的图像特有像素内容,以度量该图像和所述至少另一幅图像在外观上的相似程度,来确定该图像与所述多幅图像中的所述至少另一幅图像之间的相似性距离。
在一些实施方案中,所述方法还可以包括:将多个显示组确定为所述多个图像组中的组子集;通过以下方式确定多幅代表性图像,即针对所述多个显示组的每一个显示组,确定代表该显示组中所有图像的代表性图像;以及在计算机设备显示器上同时显示所述多幅代表性图像。
在一些实施方案中,所述方法还可以包括,对于所述多个显示组中的至少一个显示组,该显示组包括数目多于图像门限值的多幅图像,所述图像门限值是大于1的整数:确定该显示组的多个图像分组,其中该显示组中的每幅图像被分配到所述多个图像分组中的一个分组,以及通过针对该显示组中的每个分组确定代表该分组中的所有图像的分组代表性图像以确定多个分组代表性图像。
在一些实施方案中,所述方法还可以包括,对于所述多个显示组中的至少一个显示组,其中该显示组包括数目多于图像门限值的多幅图像,所述图像门限值是大于1的整数:确定该显示组的多个图像分组,其中该显示组中的每幅图像被分配至所述多个图像分组中的一个分组。通过以下方式来确定该显示组的代表性图像:确定多个分组代表性图像,所述多个图像分组中的每个图像分组具有一个分组代表性图像;并且生成该显示组的代表性图像以包括多个代表性图像部分,每个代表性图像部分包括所述多个图像分组中的一个图像分组的所述分组代表性图像。
在一些实施方案中,对于所述至少一个显示组中的特定显示组,所述多个图像分组可以包括多个相似图像组中的第一相似图像组,所述第一相似图像组包括多幅第一相似图像,其中每幅第一相似图像具有的在该第一相似图像和至少另一幅第一相似图像之间的相似性距离在相似性门限值范围内。通过从所述多幅第一相似图像中选择多幅代表性第一相似图像来确定所述第一相似图像组的分组代表性图像;并且生成所述第一相似图像组的所述分组代表性图像,以包括在所述多幅代表性第一相似图像中每幅代表性第一相似图像的至少一部分。
在一些实施方案中,生成所述第一相似图像组的所述分组代表性图像可包括将每一幅所述代表性第一相似图像部分地重叠起来。
在一些实施方案中,特定显示组的所述多个图像分组还可包括所述多个相似图像组中的至少一个额外相似图像组,每个额外相似图像组包括多幅额外相似图像,并且对于每个额外相似图像组,该额外相似图像组中的每幅额外相似图像可以具有的在该额外相似图像和该额外相似图像组中的至少另一幅额外相似图像之间的相似性距离在该额外类似图像组的相似性门限值范围内。所述多幅第一相似图像和多幅额外相似图像中的每个可以没有交集,并且多幅额外相似图像中每个可以与多幅额外相似图像中的其他每个额外相似图像没有交集。对于每个额外相似图像组,分组代表性图像可以通过以下方式被确定:从所述额外相似图像组中的所述多幅额外相似图像中选择多幅代表性的额外相似图像;并且生成所述额外相似图像组的所述分组代表性图像,以包括所述多幅代表性的额外相似图像中的每幅代表性的额外相似图像的至少一部分。
在一些实施方案中,所述方法还可以包括提供与计算机设备显示器相关联的用于从用户接收输入的用户接口,并包括从所述用户接收所述输入。所述方法可包括基于来自所述用户的所述输入从所述多幅代表性图像中确定所选择的代表性图像,其中所选择的代表性图像是从所述多个显示组中被选择的显示组的代表性图像,并且所选显示组包含数目多于图像门限值的图像,所述图像门限值是大于1的整数。所述方法还可以包括对于所选显示组确定计算机设备显示器上分配的屏幕尺寸,以及确定所分配的计算机设备显示器的屏幕尺寸是否足以同时显示所选显示组中的图像数目。所述方法可以包括,如果所分配的计算机设备显示器的屏幕尺寸是足够的,则在所述计算机设备显示器上显示所选显示组中的图像;并且如果所分配的计算机设备显示器的屏幕尺寸不足,则所述方法可包括确定所选显示组的多个图像分组,其中所选显示组中的每幅图像被分配到所述多个图像分组中的一个分组;通过以下方式确定多个图像分组的多幅代表性图像:对于所选显示组的每个分组,确定该分组的代表该分组中的所有图像的代表性图像;并且在计算机设备显示器上显示所确定的多个图像分组的所述多幅代表性图像。
在一些实施方案中,所述方法还可以包括,对于所述多个显示组中的至少一个显示组,所述至少一个显示组中的每个显示组包括数目多于图像门限值的图像,其中图像门限值是大于1的整数;通过以下方式确定所述至少一个显示组中的每个显示组的代表性图像:选择代表性组图像的子集,所述代表性组图像的子集包括该显示组中的至少两幅图像;并且生成所述代表性图像,以包括所选代表性组图像的子集中的每幅代表性组图像的至少一部分。
在一些实施方案中,所述方法还可以包括,对于至少一个显示组中的每个显示组,基于对于所述多个显示组分配的计算机设备显示器的显示尺寸来确定该显示组的最大代表性图像尺寸;并且生成该显示组的代表性图像,以使得所述代表性图像的总图像尺寸大于该显示组的最大代表性图像尺寸。所述方法还可以包括通过显示所述代表性图像的一部分来显示该显示组的代表性图像,其中所述代表性图像的所述显示部分的尺寸不大于所述最大代表性图像尺寸。
在一些实施方案中,对于所述至少一个显示组中的特定显示组,显示所述特定显示组的所述代表性图像可包括依次显示所述特定显示组的所述代表性图像的每一部分。
在一些实施方案中,所述方法还可以包括通过生成所选择的代表性组图像子集中的每幅代表性组图像的透视投影(perspective projection,立体投影)来生成所述代表性图像,并且生成所述代表性图像以包括所选择的代表性组图像子集中的每幅代表性组图像的透视投影的至少一部分。
在一些实施方案中,所述方法可包括通过将所选择的代表性组图像子集中的每幅代表性组图像的透视投影重叠生成所述代表性图像,以包括所选择的代表性组图像子集中的每幅代表性组图像的透视投影的至少一部分。
在一些实施方案中,所述代表性图像可具有第一周围边界和与所述第一周围边界相对的第二周围边界。所选择的代表性组图像子集中的每幅代表性组图像的所述透视投影可以起初互相重叠,使得所选择的代表性组图像子集中的第一代表性组图像的透视投影与所选择的代表性组图像子集中的至少一个额外的代表性组图像的透视投影重叠。所述第一代表性组图像的所述透视投影可以紧邻所述第一周围边界,并且每个额外代表性组图像的透视投影在朝向所述第二周围边界的第一方向上越来越远离所述第一代表性组图像的透视投影。显示所述代表性图像可以包括,沿着朝向所述第一周围边界的第二方向逐步移动所选择的代表性组图像子集中每幅代表性组图像的透视投影,并且当所选择的代表性组图像中的每幅代表性组图像的透视投影到达接近所述第一周围边界的门限值位置时从所述代表性图像中去除所述透视投影。
在一些实施方案中,所述方法还可包括通过以下方式来显示所述代表性图像:在紧邻所述第二周围边界处,逐步把所选择的代表性组图像子集中每幅代表性组图像的透视投影引入至所述代表性图像,朝向所述第一周围边界移动每幅代表性组图像的所述透视投影,并且当每幅代表性组图像的所述透视投影到达所述门限位置时,把所述透视投影从所述代表性图像中清除。
在一些实施方案中,每幅代表性组图像的所述透视投影当被引入至所述代表性图像中时可以是基本不透明的,而随着它向所述第一周围边界移动所述透视投影会逐渐地变为至少半透明。
在一些实施方案中,可以以第一投影角度产生所选择的代表性组图像子集中的每幅代表性组图像的透视投影。所述方法还可包括提供与计算机设备显示器相关联的用于从用户接收输入的用户接口;从所述用户接收所述输入;并且基于来自所述用户的所述输入,重新生成所述代表性图像以包括所选择的代表性组图像子集中的每幅代表性组图像的第二透视投影中的至少一部分,所述第二透视投影是以第二投影角度生成的,其中所述第二投影角度不同于所述第一投影角度。
在一些实施方案中,所述方法可以进一步包括通过确定分配给所述多个显示组的计算机设备显示器的显示尺寸来确定每个显示组的最大代表性图像尺寸;将所分配的显示尺寸划分为多个显示组部分,其中所述多个显示组中的每个显示组具有一个显示组部分;确定每个显示组的所述最大代表性图像尺寸为该显示组的所述显示组部分的尺寸;并且确定所述多个显示组的每个显示组的所述代表性图像,以使得所述代表性图像的尺寸不大于该显示组的所述最大代表性图像尺寸。
在一些实施方案中,所述方法还可以包括提供与计算机设备显示器相关联的用于从用户接收输入的用户接口,从所述用户接收所述输入,并且基于来自所述用户的所述输入,从多幅代表性图像中确定所选代表性图像,所述所选代表性图像是从所述多个显示组中所选显示组的所述代表性图像,并且所选显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数。所述方法还可包括通过以下步骤确定所选显示组的多个显示分组:确定所选显示组的多个图像分组,其中所选显示组中的每幅图像被分配到所述多个图像分组中的至少一个分组,所述多个图像分组包括多个分组级别,每个分组级别包括多个互不相交的级别特有分组;确定分配给所选显示组的计算机设备显示器的屏幕尺寸;通过以下方式确定显示分组门限值数目:在每幅代表性图像的图像尺寸不大于最大代表性图像尺寸的前提下确认能够同时显示在所分配的屏幕尺寸上的代表性图像的最大个数;通过以下方式从所述多个显示分组级别中确定显示分组级别:确认包括不多于所述显示分组门限值的最大数目级别特有分组的分组级别,其中所选显示组中的每幅图像被分配到所述显示分组级别中的至少一个级别特有分组;以及确认所述多个显示分组为所述显示分组级别中的所述多个级别特有分组。所述方法还可以包括,通过以下方式确定所述多个显示分组的多幅代表性图像:对于所述多个显示分组中的每个显示分组,确定代表所述显示分组中所有图像的且图像尺寸不大于所述代表性图像尺寸的代表性图像;并且在所述计算机设备显示器上同时显示所述多个显示分组的所述多幅代表性图像。
在一些实施方案中,所述方法可能包括通过对所述多幅图像中的每幅图像向该图像分配访问级别来确定至少一个图像分配准则,所述访问级别表示对该图像的图像管理限制;并且可以将每幅图像,通过将该图像分配到具有与该图像的访问级别相对应的图像管理限制的至少一个组,分配给所述多个图像组中的至少一个组。
在一些实施方案中,所述方法可能包括对于所述多幅图像中的每幅图像,通过从与该图像相关联的图像元数据中确定至少一个元数据分配准则来确定该图像的所述至少一个图像分配准则;并且基于该图像的所述至少一个元数据分配准则将该图像分配到所述多个图像组中的一个特定图像组。
根据本文所述的另一示例实施方案,这里提供了一种在计算设备上组编多幅图像的计算机程序产品,所述计算机程序产品可以包括非暂态性记录介质和记录在所述记录介质上的指令。所述指令可以包括用于配置所述计算设备的处理器进行以下操作的指令:为所述多幅图像中的每幅图像确定至少一种图像分配准则,所述至少一种图像分配准则包括至少一种图像特有分配准则,其中所述至少一种图像特有分配准则包括该图像和所述多幅图像中的至少另一幅图像之间的相似性距离,该相似性距离度量该图像和所述至少另一幅图像在外观上的相似程度;并且将所述多幅图像分配至多个图像组,使得对于所述多幅图像中的每幅图像,通过使用每幅图像的所述图像分配准则将该图像分配至所述多个图像组中的至少一个组,其中所述多个图像组包括多个相似图像组,并且所述多幅图像通过以下方式被分成所述多个相似图像组:对于所述多幅图像中的每幅图像,基于该图像的至少一种图像特有分配准则,将该图像分配到所述多个相似图像组中的一组。
在一些实施方案中,所述计算机程序产品可能进一步包括用于配置处理器进行以下操作的指令:对于所述多幅图像中的每幅图像,通过以下方式确定该图像与所述多幅图像中的所述至少另一幅图像间的相似性距离:将该图像中至少部分像素的图像特有像素内容与所述至少另一幅图像中部分像素的图像特有像素内容进行比较,以度量该图像与所述至少另一幅图像的外观相似程度。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:确定多个显示组作为所述多个图像组的组子集;通过以下确定多幅代表性图像:对于所述多个显示组中的每一个显示组,确定代表所述显示组中所有图像的代表性图像;并且在所述计算设备的显示器上同时显示所述多幅代表性图像。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:对于所述多个显示组中的至少一个显示组,其中所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中的每幅图像被分配到所述多个图像分组中一个分组;并且通过以下方式确定多个分组代表性图像:对于所述至少一个显示组中的每一个分组,确定代表所述分组中所有图像的分组代表性图像。
在一些实施方案中,所述计算机程序产品还可包括指令,该指令用于将所述处理器配置为:对于所述多个显示组中的至少一个显示组,其中所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中的每幅图像被分配到所述多个图像分组中的一个分组。所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:通过以下方式确定所述至少一个显示组的所述代表性图像:确定多个分组代表性图像,其中所述多个子图像组中的每个图像分组具有一个分组代表性图像;并且生成所述至少一个显示组的所述代表性图像,以包括多个代表性图像部分,其中每个代表性图像部分包括所述多个图像分组中的所述图像分组中一个图像分组的分组代表性图像。
在一些实施方案中,对于所述至少一个显示组中的特定显示组,所述多个图像分组可以包括所述多个相似图像组的第一相似图像组,所述第一相似图像组包括多幅第一相似图像,其中每幅第一相似图像和至少另一幅第一相似图像之间的相似性距离在相似性门限值范围内。所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:通过以下方式确定所述第一相似图像组的所述分组代表性图像:从所述多幅第一相似图像中选择多幅代表性第一相似图像;并且生成所述第一相似图像组的所述分组代表性图像以包括所述多幅代表性第一相似图像中的每幅代表性第一相似图像的至少一部分。
在一些实施方案中,计算机程序产品还可包括用于配置处理器进行以下操作的指令:通过把所述多幅代表性第一相似图像部分地重叠起来,生成所述第一相似图像组的所述分组代表性图像。
在一些实施方案中,对于所述特定显示组,所述多个图像分组可以进一步包括所述多个相似图像组的至少一个额外相似图像组,每个额外相似图像组包括多幅额外相似图像,对于每个额外相似图像组,该额外相似图像组中的每幅额外相似图像和该额外相似图像组中的至少另一幅额外相似图像之间的相似性距离在该额外相似图像组的所述相似性门限值范围内。所述多幅第一相似图像和每个多幅额外相似图像组可以没有交集,并且每个多幅额外相似图像组与其他任何一个额外相似图像组可以没有交集。所述计算机程序产品还可以包括用于配置处理器进行以下操作的指令:通过以下方式确定每个额外相似图像组的分组代表性图像:从所述额外相似图像组中的所述多幅额外相似图像中选择多幅代表性的额外相似图像;并且生成所述额外相似图像组的分组代表性图像,以包括所述多幅代表性的额外相似图像中的每幅代表性的额外相似图像的至少一部分。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:提供同所述计算设备的所述显示器相关联的用于从用户接收输入的用户界面;从所述用户接收所述输入;基于来自所述用户的所述输入,从所述多幅代表性图像中确定所选代表性图像,该所选代表性图像是从所述多个显示组中选择的显示组的代表性图像,该所选显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数。所述计算机程序产品还可以包括指令,该指令用于将所述处理器配置为:确定分配给所选显示组的所述计算机设备显示器的屏幕尺寸;确定所述计算机设备显示器上分配的屏幕尺寸是否足以同时显示所选显示组中的所有图像;并且如果所述计算机设备显示器上分配的屏幕尺寸是足够的,则在所述计算机设备显示器上显示所选显示组中的所有图像。所述计算机程序产品还可以包括指令,该指令用于将所述处理器配置为:如果所述计算机设备显示器上分配的屏幕尺寸不够,则确定所选显示组的多个图像分组,其中所选显示组中的每幅图像被分配到所述多个图像分组中的一个分组;通过以下方式确定所述多个图像分组的多幅代表性图像:对于所选显示组中的每个分组确定代表该分组中的所有图像的代表性图像;并且在所述计算设备的所述显示器上显示所述多个图像分组的所述多幅代表性图像。
在一些实施方案中,所述计算机程序产品还可以包括用于配置处理器进行以下操作的指令:对于所述多个显示组中的至少一个显示组,所述至少一个显示组中的每个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:通过选择代表性组图像的子集来确定所述至少一个显示组中的每个显示组的所述代表性图像,所述代表性组图像的子集包括所述显示组中的至少两幅图像;并且生成所述代表性图像,以包括所选择的代表性组图像子集中的每幅代表性组图像的至少一部分。
在一些实施方案中,所述计算机程序产品可能进一步包括用于配置处理器进行以下操作的指令,对于所述至少一个显示组中的每个显示组:基于分配给所述多个显示组的所述计算机设备显示器上的显示尺寸,确定所述显示组的最大代表性图像尺寸;生成所述显示组的所述代表性图像,所述代表性图像的总体图像尺寸大于所述显示组的最大代表性图像尺寸;并且通过显示所述代表性图像的一部分来显示所述显示组的所述代表性图像,其中所述代表性图像的所述被显示部分的尺寸不大于所述最大代表性图像尺寸。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:对于所述至少一个显示组中的特定显示组,通过依次显示所述特定显示组的每个部分,来显示所述特定显示组的代表性图像。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作生成所述代表性图像的指令:生成所选择的代表性组图像子集中的每幅代表性组图像的透视投影;并且生成所述代表性图像以包括所选的代表性组图像子集中的每幅代表性组图像的透视投影的至少一部分。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:通过将所选择的代表性组图像子集中的每幅代表性组图像的透视投影的至少一部分重叠,生成所述代表性图像以包括所选择的代表性组图像子集中的每幅代表性组图像的透视投影的至少一部分。
在一些实施方案中,所述代表性图像可以包括第一周围边界和与第一周围边界相对的第二周围边界,并且所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:起初把所选择的代表性组图像子集中的每幅代表性组的所述透视投影图像相互重叠,使得所选择的代表性组图像子集的第一代表性组图像的所述透视投影与所选择的代表性组图像子集中的至少另一幅额外代表性组图像的透视投影重叠,其中所述第一代表性组图像的所述透视投影紧邻所述第一周围边界,并且每幅额外代表性组图像的所述透视投影在朝向所述第二周围边界的第一方向上越来越远离所述第一代表性组图像的所述透视投影;并且通过以下方式显示所述代表性图像:沿着朝向所述第一周围边界的第二方向逐步移动所选择的代表性组图像子集中的每幅代表性组图像的所述透视投影,并且当所选择的代表性组图像子集中的每幅代表性组图像的所述透视投影到达紧邻所述第一周围边界的门限位置时,从所述代表性图像的图像中清除所述透视投影。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作显示所述代表性图像的指令:在紧邻所述第二周围边界处,逐步把所选择的代表性组图像子集中每幅代表性组图像的透视投影引入至所述代表性图像,沿着朝向所述第一周围边界的方向移动所述透视投影,并且当每幅代表性组图像的透视投影到达所述门限位置时,把所述透视投影从所述代表性图像中清除。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:以基本上是不透明的状态把每幅代表性组图像的所述透视投影引入至所述代表性图像,并且随着每幅代表性组图像的所述透视投影朝向所述第一周围边界移动时,逐渐地调整它以变为至少半透明。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:以第一投影角度生成所选择的代表性组图像子集中的每幅代表性组图像的所述透视投影;提供与所述计算设备的所述显示器相关联的用于从用户接收输入的用户界面;从所述用户接收所述输入;并且基于来自所述用户的所述输入,重新生成所述代表性图像,以包括所选择的代表性组图像子集中的每幅代表性组图像的第二透视投影的至少一部分,所述第二透视投影是以第二投影角度生成的,其中所述第二投影角度不同于所述第一投影角度。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:通过以下方式确定每个显示组的最大代表性图像尺寸:确定分配给所述多个显示组的所述显示器上分配的显示尺寸;将所分配的显示尺寸分割为多个显示组部分,其中所述多个显示组的每一个显示组具有一个显示组部分;并确定每个显示组的所述最大代表性图像尺寸为所述显示组的显示组部分的尺寸;并且确定所述多个显示组中的每个显示组的所述代表性图像,所述代表性图像具有的代表性图像尺寸不大于所述显示组的最大代表性图像尺寸。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:提供与所述显示器相关联的用于从用户接收输入的用户界面;从所述用户接收所述输入;基于来自所述用户的所述输入,从所述多幅代表性图像中确定所选代表性图像,所选代表性图像是从所述多个显示组中选择的显示组的所述代表性图像,并且所选显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数。所述计算机程序产品还可能包括用于配置处理器完成以下操作确定所选显示组的多个显示分组的指令:确定所选显示组的多个图像分组,其中所选显示组中的每幅图像被分配到所述多个图像分组中的至少一个分组,所述多个图像分组包括多个分组级别,每个分组级别包括多个互不相交的级别特有分组;确定分配给所选显示组的计算机设备显示器上分配的屏幕尺寸;通过以下方式确定显示分组的门限值:在每幅代表性图像尺寸不大于最大代表性图像尺寸的条件下,确认能够同时显示在所述分配的屏幕尺寸上的代表性图像的最大个数;通过以下方式从所述多个分组级别中确定显示分组级别:确认包括不多于所述显示分组的所述门限值的最大数目级别特有分组的所述分组级别,其中所选显示组中的每幅图像被分配到所述显示分组级别中的至少一个所述级别特有分组;确认所述多个显示分组为所述显示分组级别中的所述多个级别特有分组;通过以下方式确定所述多个显示分组的多幅代表性图像:对于所述多个显示分组的每一个显示分组,确定代表该显示分组中的所有图像的代表性图像,所述代表性图像的图像尺寸不大于所述代表性图像尺寸;并且在所述显示器上同时显示所述多个显示分组中的所述多幅代表性图像。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:通过给所述多幅图像中的每幅图像指定访问级别,确定至少一个图像分配准则,所述访问级别代表对该图像的图像管理限制;并且通过以下方式将每幅图像分配到所述多个图像组中的至少一个组:分配该图像到具有与该图像的访问级别相对应的图像管理限制的至少一个组。
在一些实施方案中,所述计算机程序产品还可能包括用于配置处理器进行以下操作的指令:对所述多幅图像的每幅图像,通过以下方式确定至少一个图像分配准则:从与该图像相关联的图像元数据中确定至少一个元数据分配准则;并且基于该图像的所述至少一个元数据分配准则将该图像分配到所述多个图像组中的一个特定组。
根据本文描述的另一示例实施方案,这里提供了一种用于组编多幅图像的设备。所述设备可以包括处理器,显示器和非易失性设备存储器。所述非易失性设备存储器可以存储用于配置处理器进行以下操作的指令:确定多组图像,所述多个图像组由以下定义:把所述多幅图像中的每幅图像通过使用为该图像确定的至少一种图像分配准则,分配到所述多个图像组中的至少一个组,所述图像分组准则包括至少一种图像特有分配准则,其中所述至少一种图像特有分配准则包括该图像和所述多幅图像中的至少另一幅图像的相似性距离,此距离度量该图像和所述至少另一幅图像的外观的相似性,所述多个图像组包括多个相似图像组,并且通过以下方式将所述多幅图像分成所述多个相似图像组:将所述多幅图像中的每幅图像,基于该图像的至少一种图像特有分配准则,分配到所述相似图像组中的一组;确定多个显示组作为所述多个图像组的组子集;确定多幅代表性图像,其中所述多个显示组中的每个显示组拥有一幅代表性图像,每个显示组的代表性图像代表该显示组中的所有图像;并且在所述显示器上同时显示所述多幅代表性图像。
附图说明
为了更好地理解上述实施方案,并更为清晰地示出如何将它们实施生效,现在将通过示例参考随附附图,附图中:
图1示出了根据一个实施方案的可用于组编图像的系统的框图;
图2示出了用于组编图像的现有技术系统的屏幕截图;
图3示出了根据一个实施方案的用于组编图像的方法的一个示例实施方案的流程图;
图4示出了可以与图3的用于组编图像的方法的实施方案一起使用的用于确定代表性图像的方法的一个示例实施方案的流程图;
图5示出了可以与图3的用于组编图像的方法的实施方案一起使用的用于确定是否显示分组的图像或代表性图像的方法的一个示例实施方案的流程图;
图6示出了可以与图3的用于组编图像的方法的实施方案一起使用的用于确定和显示代表性图像的方法的一个示例实施方案的流程图;
图7示出了可以与图3的用于组编图像的方法的实施方案一起使用的用于确定要显示的分组代表性图像的方法的一个示例实施方案的流程图;
图8示出了根据一个实施方案的可被图1的系统使用以组编图像的一个示例分级结构的框图;
图9A示出了可以在图1的系统的实施方案中向用户显示的用户界面的示例;
图9B示出了可以在图1的系统的实施方案中向用户显示的另一用户界面的示例;
图10A示出了可以在图1的系统的实施方案中向用户显示的用户界面的另一示例;
图10B示出了可以在图1的系统的实施方案中向用户显示的另一用户界面的示例;
图10C示出了可以在图1的系统的实施方案中向用户显示的另一用户界面的示例;
图10D示出了可以向与图1的系统交互的用户显示的又一用户界面的示例;
图11示出了在图1的系统的实施方案中可以向用户显示的具有包括多个分组代表性图像的代表性图像的用户界面的示例;
图12A示出了在图1的系统的实施方案中可以向用户显示的具有包括多个分组代表性图像的代表性图像的另一用户界面的示例;
图12B示出了图12A的用户界面的另一示例;
图12C示出了图12A的用户界面的另一示例;
图12D示出了图12A的用户界面的又一示例;
图13A示出了在图1的系统的实施方案中可以向用户显示的具有多幅代表性图像的又一用户界面的另一示例;
图13B示出了图13A的用户界面的另一示例;
图14A示出了在图1的系统的实施方案中可以向用户显示的具有多个第一透视投影的一个代表性图像的示例;
图14B示出了具有多个第二透视投影的图14A的所述代表性图像的另一示例;
图14C示出了具有不同投影角度的多个透视投影的图14A的所述代表性图像的另一示例;
图15示出了图1的所述系统的实施方案中可向用户显示的代表性图像的另一示例;
图16示出了图1的所述系统的实施方案中使用的示例设备的示意图。
详细说明
以下将描述各种系统或方法,以提供所要求保护的主题的实施方案的示例。以下描述的实施方案没有限制任何要求保护的主题,并且任何要求保护的主题可以涵盖与以下描述的方法或系统不同的方法或系统。要求保护的主题既不限于具有下面描述的任一系统或方法的所有特征的系统或方法,也不限于下面描述的装置或方法的某些或所有共有的特征。以下描述的系统或方法可能不是在任何要求保护的主题中引用到的实施方案。在该文件中没有要求保护的在下面描述的系统或方法中公开的任何主题可以是另一保护性文件(例如继续专利申请)的主题,并且申请人、发明人或拥有人不打算通过在该文献中公开而放弃、否认或者向公众贡献任何这样的主题。
此外,将理解,为了例示的简单明了,在认为适当的情况下,参考数字可以在图中重复以指示对应或相似的元件。另外,阐述了很多具体细节,以便提供对本文所述的实施方案的透彻理解。然而,本领域普通技术人员将理解,可以实践本文所述的实施方案而不用这些具体细节。在其他实例中,没有详细地描述广为人知的方法、过程或部件,以免使本文所述的实施方案模糊。还有,附图和文字描述不应被认为以任何方式限制本文所述的实施方案的范围,而是仅仅描述本文所描述的各种实施方案的实现。
还应该注意,如本文所使用的,措辞“和/或”旨在代表包含性-或者(inclusive-or)。即,例如“X和/或Y”旨在表示X或Y或XY二者。另一示例,“X、Y和/或Z”旨在表示X或Y或Z或它们的任何组合。
本文所描述的系统、过程和方法的实施方案可用硬件或软件或两者的组合实现。或者,这些实施方案还可用在可编程计算机上执行的计算机程序实现,每个可编程计算机包括至少一个处理器(例如微处理器)、数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。例如但不限于,可编程计算机(或计算设备)可以是个人计算机、笔记本电脑、个人数据助理、蜂窝电话、智能电话设备、平板计算机和/或无线设备。对于任何软件组件,程序代码可以应用于输入数据以执行本文所述的功能并生成输出信息。输出信息还可以以已知的方式应用于一个或多个输出设备。
每个软件组件或程序可以用高级过程或面向对象的编程和/或脚本语言来实现以与计算机系统通信。然而,如果需要,所述程序可以用汇编或机器语言实现。在任何情况下,所述语言可以是编译或解释语言。每个这样的计算机程序优选地存储在可由通用或专用可编程计算机读取的存储介质或设备(例如ROM)上,用于当计算机读取所述存储介质或设备以执行本文所描述的过程时配置和操作计算机。题述系统还可以被认为实现为配置有计算机程序的计算机可读存储介质,其中这样配置的存储介质使得计算机以特定和预定义的方式操作以执行本文所述的功能。
此外,所描述的实施方案的过程和方法能够分布在包括承载用于一个或多个处理器的计算机可用指令的计算机可读介质的计算机程序产品中。所述介质可以用各种形式提供,包括一个或多个软盘、光盘、磁带、芯片、有线传输、卫星传输、互联网传输或下载、磁和电子存储介质、数字和模拟信号等。计算机可用指令也可具有各种形式,包括编译和非编译代码。
一般来说,本文所述的系统和方法的实施方案可用于组编多幅图像。本文描述的实施方案可以使用各种技术来管理、显示和可视化一组图像。例如,本文描述的各种实施方案可以使用图像的层级结构、3D可视化技术和像素内容分析来组编、显示和可视化图像和图像组。此外,本文描述的各种实施方案可以允许在具有有限尺寸的显示屏幕的设备(诸如智能电话或平板电脑)上更容易地管理和观看图像。
例如,用户可以使用诸如智能电话、平板电脑和/或数字相机等各种设备来捕获图像。用户可以使用一个或多个存储设备诸如笔记本电脑、台式计算机、平板电脑、云服务器、存储器存储设备(例如U盘)存储这些图像。随着时间的推移,用户可能积累大量的图像。结果,用户可能难以跟踪和管理集合中的所有图像。如果用户不主动地不断地和一致地组编和更新他们存储的图像,则随后的图像检索可能是一个繁琐且耗时的任务。同样,用户常常难以关联在不同时间或使用不同设备捕获的相似图像。
通常,用户可以使用诸如MAC OS X 10.9.3的操作系统提供的文件结构来将文件诸如图像进行组编。这些系统可能采用分级(或树)结构来组编文件。图2显示了在MAC OS X10.9.3的文件管理器软件(称为Finder)中如何组编文件的屏幕截图200。
如截图200所示,分级文件系统可包括文件和文件夹,其中文件夹可包含一个或多个文件夹和文件。文件夹(通常由小图标表示)可能是其包含的所有文件的简明表示。当用户选择、移动或删除文件夹时,用户的输入可能会应用于该文件夹中的所有文件。通常,用户在这样的文件系统中手动地组编个人文件,即用户创建文件夹,并且手动地把文件添加到这些文件夹中。在一些情况下,当用户点击文件夹的图标时(例如,图2中突出显示的“CVS”),仅将该文件夹下的文件夹和文件的图标显示或附加到显示屏幕。
如上所述,组编图像的这个过程可能是耗时的,并且可能需要用户不断维护以更新图像并且将图像重新分配到不同的组。因此,用户可能倾向于将图像留在默认文件夹中,诸如由每个图像捕获设备生成的默认文件夹(通常基于捕获图像的时间)。然后,用户的图像集合可能变得分散成具有在用于每个图像捕获设备或方法的多个不相交的文件夹中的图像。同样,用户需要持续的关注和努力来为图像集合生成用户友好的结构。
在本文所述的实施方案中,为了组编多幅图像,可以为多幅图像中的每幅图像确定图像分配准则。每幅图像的图像分配准则可包括至少一个图像特有分配准则,所述图像特有分配准则包括该图像与多幅图像中的至少另一幅图像之间的相似性距离。第一图像和至少另一幅图像之间的所述相似性距离可以度量所述第一图像和所述至少另一幅图像在外观上的相似程度。
然后可以将所述多幅图像分配到多个图像组中,使得每幅图像被分配到多个组中的至少一个组。在一些情况下,所述多个组可被组编在具有多个组级别或分组级别的分级结构中。所述分级结构中的较高级别的组通常包括在较低级别的至少一个分组中(但是,例如如果一个组仅包括单幅图像,则其可以不包括任何分组)。然后可以将分配给一个级别的组的每幅图像分配给该组的下一个较低级别的分组之一。
每个组可以通过代表分配给该组的图像的代表性图像(也称为代表性图标)向用户显示。在用户选择组之后,所述系统可以显示该组下面的分组的代表性图像。在一些实施方案中,如果一个组包含比其分配的显示屏幕空间可以处理的更多的图像,则计算设备可以自动确定来自该组的哪些图像被选择为用于在分配的显示屏幕空间内显示的组的代表性组图像。计算设备还可以确定如何在分配的显示屏幕空间内显示该组的代表性组图像。
对于太大而不适合容纳在它们相应分配的显示屏幕空间中的那些代表性图标,所述代表性图标可以以动画形式随时间变化,通过以显示时间换取显示空间的方式向用户显示那些代表性图标的每个内的所有代表性图像部分。在一些实施方案中,一旦动画按钮被敲击或点击,则弹出较大的屏幕空间窗口,并且可以在用户的较大屏幕空间窗口内自动播放包含在对应的代表性图标中的代表性图像部分。在一些实施方案中,动画可能适合于对于代表性图标的所分配的显示屏幕空间。
例如,如果基于捕获这些图像的年份将图像分配给一个组,则该组可包括与捕获图像的月份相对应的12个月分组。然后可以将分配给某一年的组的每幅图像分配给对于某一月的分组。然而,应当明了分级结构不限于组和分组的一个特定分级结构。例如,如果用户对来自特定月份的图像感兴趣,则他们可以选择该月份,并且来自月份组的图像可基于年份被分配到分组。然后,如果需要,用户可随后选择一个特定年份来查阅图像。
通常,所述多个组可以包括多个相似图像组。相似图像组可被定义为包括在相似性门限值范围内与该组中的至少另一幅图像相似的图像。基于用于该图像的图像特有分配准则,通过将多个图像中的每幅图像分配给相似图像组中的一个组来将多个图像分成多个相似图像组。
如上所述,所述图像特有分配准则可以包括一幅图像与至少另一幅图像之间的相似性距离。可以通过将所述图像的至少部分像素的图像特有像素内容与所述至少另一幅图像的至少部分像素的图像特有像素内容进行比较,以测量所述图像和所述至少另一幅图像的外观的相似性程度。
一旦所述图像被分配到多个组,则多个显示组可以被选择为所述多个组的图像中的一个组的子集。例如,所述显示组可最初被选择为在分级结构的顶层的所有组。或者,可以基于从用户接收的指示要显示特定组级别的输入来选择显示组。
可以为所述多个显示组中的每个显示组确定多个代表性图像。每个显示组的代表性图像可被确定为代表该显示组中的所有图像。例如,代表性图像可以是从分配给该显示组的图像中选择的单幅图像,或是来自分配给该显示组的多幅图像中的选集或确定的拼合图像。然后在计算机设备显示器上显示每个显示组的所述多个代表性图像。
实际上,用于显示组的所述代表性图像可以像用于该显示组的图标(代表性图标)一样操作,所述图标可以向分配给该显示组的图像的用户提供视觉指示。这允许用户基于分配给该组的图像的表示来容易地确定他们希望选择哪个分组。
现在参考图1,其中显示了可以用于将图像组编、显示和可视化的系统100的一个示例实施方案。系统100包括多个计算设备102A-102C。一般来说,本文所描述的用于将图像组编、显示和可视化的方法的实施方案可以在计算设备102A-102C中的每一个上实现。
在一些实施方案中,所述计算设备102A-102C可能具有减少的或有限的可用显示空间。因此,使用诸如截图200中所示的结构的传统分级文件结构来组编、管理和导航大量图像比较困难。本文所描述的方法的实施方案可以使得能够实现对这些设备上的图像的更简单且更易于访问的组编和导航。
例如,一些实施方案可基于图像的元数据和/或图像特有像素内容来将图像自动分配给多个组。因此,当捕获图像时,用户不需要手动生成分级结构。同样,用户不再需要不断地更新将图像分配到不同文件夹和子文件夹,因为图像可以被自动分配。
本文描述的实施方案可使用代表性图像和可视化技术来允许用户识别特定组内的图像或图像类型。即使当分配给一个组的计算机设备显示器的屏幕尺寸比较小时,也可以确定所述代表性图像代表该组内的所有图像。一些实施方案还可以基于特定计算设备102的分配的屏幕尺寸来确定要显示的特定组或分组,使得向用户显示的信息最大化,同时仍提供易于导航的用户界面。
本文描述的实施方案可以提供在计算设备中显示、可视化和管理一组图像的系统和方法,该计算设备可具有有限大小的显示屏,诸如智能电话、平板电脑、计算机或任何其他类型的智能电子设备。各种不同类型的计算设备102可以与系统100一起使用,诸如一个或多个智能电话102A、平板电脑102B、笔记本计算机102C、台式计算机、PDA或其它可编程计算机。所述可编程计算机可以包括与诸如网络106的网络的连接。网络106可以是到因特网的有线或无线连接。在一些情况下,网络106可能包括其他类型的计算机或电信网络。
在一些实施方案中,每个可编程计算机可包括用于将信息输入到设备中的输入设备。例如,输入设备可以是键盘、小键盘、光标控制设备、触摸屏、相机、扫描仪或传声器。在一些实施方案中,计算设备102可以识别来自用户的某些输入,诸如来自用户的“点击”(也可以称为“敲击”或任何其他名称)和“滚动”输入(也可以称为“手势”或任何其他名称)。在一些实施方案中,输入信息可是通过通信接口经由网络从其他可编程计算机接收到的。
在一些实施方案中,计算设备可包括用于呈现视觉信息的显示设备。例如,显示装置可以是计算机显示器、纯平显示器、投影仪或显示面板。在一些实施方案中,计算机显示设备显示根据本文的方法确定的一个或多个显示组或显示分组的代表性图像。在一些实施方案中,计算设备102可以被配置为显示总显示尺寸大于计算设备显示器的实际显示尺寸的内容。可滚动视图是图形用户界面(GUI)的示例,其可以显示总显示尺寸大于计算设备显示器的实际显示尺寸的内容。所述可滚动视图可在任何时间显示部分内容,并且允许用户向上、向下、向左和向右或任何其他方向上滚动以浏览内容。
在一些实施方案中,计算设备102还可以耦合到服务器计算机诸如服务器104。服务器104可是能够用于存储多幅图像的云服务器。在一些情况下,例如在计算设备102具有有限存储空间的情况下,计算设备102可为一组图像仅存储图像的低质量版本或缩略图。服务器104可以存储高清晰度图像,并且根据需要使用网络106向计算设备102提供更高清晰度的图像。
在一些实施方案中,所述服务器104可为多幅图像中的每幅图像确定所述图像分配准则。然后,所述服务器104可定义多个图像组,并且将每幅图像分配到至少一个图像组中。在一些这样的实施方案中,计算设备102可能对于至少一些图像不确定任何图像分配准则,而是简单地从服务器104接收将所述图像分配到多个组的指示。然后,计算设备102可显示用户界面以允许服务器104定义的组的导航。在替代实施方案中,计算设备102还可以被配置为确定至少一幅图像的图像分配准则,并将图像分配到图像组中。
现在参考图3,其中显示了用于组编多幅图像的示例方法300。方法300可以使用系统100的各种组件——诸如计算设备102——来实现。
在310中,计算设备102的处理器可以为多幅图像中的每幅图像确定至少一个图像分配准则。所述至少一个图像分配准则可以包括至少一个图像特有分配准则。图像特有分配准则可以包括导出像素内容属性(诸如像素内容相似性、面部检测/识别信息和其他像素内容相关信息)。一般来说,导出像素内容属性可以指通过对该图像中的单独像素或像素组的分析来确定的图像的属性。计算设备102的处理器可以通过分析一幅或多幅图像的像素内容、并且将所述像素内容与其他图像的分析的像素内容进行比较来确定所述图像特有分配准则。
对于每幅图像,所述图像特有分配准则可以包括该图像和多幅图像中的至少另一幅图像之间的相似性距离,以测量该图像和至少另一幅图像在外观上的相似程度。通过将特定图像的至少部分像素的图像特有像素内容与多幅图像中的至少另一幅图像的至少部分像素的图像特有像素内容进行比较,计算设备102可以确定该特定图像和所述多幅图像中的所述至少另一幅图像之间的相似性距离来测量该特定图像和所述至少另一幅图像在外观上的相似程度。
在一些实施方案中,用于图像的所述至少一个图像分配准则可以包括根据与该图像相关联的图像元数据确定的至少一个元数据分配准则。所述至少一个元数据分配准则可以包括与图像一起存储的各种元数据属性,诸如时间、位置、事件、标签信息等。
在一些实施方案中,所述多幅图像中的每幅图像的至少一个图像分配准则可以包括分配给该图像的访问级别。访问级别表示该图像的图像管理限制。
例如,图像可以被分配为开放(O)、私有(P)、隔离(Q)或存档(R)的访问级别。所述访问级别可以基于用户输入被分配。为了方便起见,分配给O、P、Q和R访问级别中的每一个的图像可以分别称为O图像、P图像、Q图像和R图像。具有这些不同访问级别的图像可以以不同的方式管理。
例如,包括其原始全分辨率版本和随后的下采样版本的每个O图像可以被本地存储在设备上而不加密。可以允许用户打开、共享和编辑O图像。另一方面,包括其原始全分辨率版本和下采样版本的每个P图像可以在被本地存储在设备的非易失性存储器中时被加密。合法用户可以在他们经系统验证之后访问P图像。一旦用户被验证,他们可以通过系统在O和P访问级别之间移动图像。
分配给P访问级别的图像能够被自动加密(最初在捕获图像时,或基于后续用户输入)。当图像从P访问级别移动到O或R访问级别或用于共享时,图像能够被自动解密。
与P图像相比,对Q图像的访问受到更多的限制。在一些实施方案中,Q图像(包括它们的原始全分辨率版本和下采样版本)不仅在其被本地存储到设备的非易失性存储器中时被加密,而且当它们被从设备移动到另一个设备或服务器上时,也保持加密。在那些实施方案中,每个Q图像的明文图像仅在合法用户已经被系统验证之后才可被查看。在用户验证之后,该Q图像可以被解密并临时存储在该用户的设备的易失性存储器中。在用户关闭明文图像之后,所述系统将从设备易失性存储器中自动擦除所述明文图像。
在一些实施方案中,除了系统之外的任何一方都不知道用于Q图像加密和解密的密钥。因此,当用户被验证时,Q图像可以被认为仅在用户的设备内被隔离和“活着”,只要它们从系统内的设备中被取出,则被认为是“死的”。在内部拍摄或移动到Q组的图像将会被自动加密。在一些实施方案中,不允许将Q图像的访问级别调整为系统内的O、P和R访问级别。用于提供Q图像的加密的系统和方法的示例在申请人于2015年6月12日提交的题为“METHODS,SYSTEMS AND COMPUTER PROGRAM PRODUCT FOR PROVIDING ENCRYPTION ON APLURALITY OF DEVICES”的共同未决的美国专利申请14/737,940中被描述,该美国专利申请的全部内容通过引用方式被纳入本文。
最后,每个R图像可仅具有其元数据记录、下采样版本以及本地存储在设备的非易失性存储器中的导出像素内容属性。原始全分辨率版本可存储在诸如服务器104的服务器上,服务器104可以经由诸如网络106之类的网络连接到所述设备。如果用户请求使用所述设备,所述系统可以提供所述全分辨率图像给所述设备。
在320中,所述计算设备的处理器可以将所述多幅图像分配到多个图像组中,使得使用每幅图像的所述图像分配准则将多幅图像中的每幅图像分配给多个图像组中的至少一个组。
给定一组图像,本文所述的实施方案可以通过将多级分类器应用于该组图像来自动构建结构,例如分级结构,以显示、可视化和管理该组图像。所述分级结构可以具有几个组级别,其中顶部组级别(由级别0表示)可对应于整个图像组,而底部组级别可对应于该图像组内的每个全分辨率图像。在一些实施方案中,所述第二底部组级别可对应于来自该组的以下采样分辨率单独显示的单独图像(例如,比该图像在服务器上通常可用的版本分辨率更低的图像的样本)。
通常,低于顶部组级别的每个组级别也可以被称为分组级别。在一些实施方案中,如果第一组级别的每组图像包括第二组级别的一个或多个图像分组,则第一组或分组级别可被认为高于第二分组级别。通常,每个组级别可能包括分组,其对应于来自整个图像集合的图像子集(或分组)。通常,每个分组被定义为包括具有至少一些共同图像分配准则的图像。分组级别指示用于将图像分配给该分组级别的分组的分配准则。当分组级别被选择时,所述分组能够以基于这些分组自动生成的代表性图像的形式被显示在计算设备的显示器上。
例如,可以基于该图像的至少一个元数据分配准则将每幅图像分配给多个图像组中的特定组。所述元数据分配准则可以包括诸如时间、位置、事件、标签信息等元数据属性。所述图像分配准则还可以包括图像特有的分配准则,诸如导出像素内容属性(例如,像素内容相似性、面部检测/识别信息和其他像素内容相关信息)。
所述多个图像组可以包括多个相似图像组。通过基于该图像的至少一个图像特有分配准则将所述多幅图像中的每幅图像分配给所述多个相似图像组中的一组,所述多个图像组能够被分到所述多个相似图像组中。
在一些实施方案中,所述多幅图像中的图像可以根据它们导出像素内容属性通过建立彩色图并识别彩色图的连接的子图而被连接和分类。每幅图像可以被视为所述彩色图的顶点。如果它们相应的导出像素内容属性满足一些匹配条件,则两幅图像可以以某种颜色连接。对于每个连接颜色,所述彩色图可以分解为一个或多个连接的子图。所述彩色图本身可对应于多幅图像中的所有图像,而每个连接的子图可对应于多幅图像内的共享一些匹配或紧密相关的导出像素内容属性的图像分组。
在一些实施方案中,图像的导出像素内容属性可以与模型化所述图像的统计模型的模型参数相关(参见例如E.-H.Yang,X.Yu,J.Meng and C.Sun,“Transparent compositemodel for DCT coefficients:Design and analysis,”IEEE Trans Image Process.,vol.23,no.3,pp.1303–1316,Mar.2014;and E.-H.Yang,X.Yu,J.Meng and C.Sun,“Systemand method having transparent composite model for transform coefficients,”美国专利申请No.14/272,636,2014年5月9日)。如果两幅图像A和B之间的(像素内容)相似性距离低于第一相似性门限值(即,它们看起来相似),则它们可以用强颜色(例如红色)连接。如果两幅图像A和B之间的像素内容相似性距离高于第一相似性门限值而低于第二相似性门限值(所述第一相似性门限值低于所述第二相似性门限值,所述第一相似性门限值越低意味着两幅图像之间的相似性越高或相似性距离越小),则他们可以用较弱的颜色(例如黄色)相连。在一些实施方案中,当两幅图像通过强色连接时,它们也可以通过较弱的颜色连接。如果A和B之间的像素内容相似性距离高于所述第二相似性门限值,则所述图像不会连接。
在一些实施方案中,两幅图像A和B之间的所述像素内容相似性距离可以使用集映射诱导相似性距离(SMID)或从SMID导出的相似性距离度量来确定(参见例如E.-H.Yang,X.Yu,and J.Meng,“Methods and systems for determining a perceptual similaritybetween images”,美国专利申请No.14/221,948,2014年3月21日)。如果一组图像对应于具有弱颜色的连接子图(即,该组中的每幅图像与该组中的至少另一幅图像之间的相似性距离低于所述第二相似性门限值),则可以说该组图像形成弱相似组(WS组)。同样地,如果一组图像对应于具有强颜色的连接子图(即,该组中的每幅图像和该组中的至少一个其他图像之间的相似距离低于第一相似性门限值),则可以说该组图像形成强相似组(SS组)。每个WS组内的图像可以被认为彼此弱相似。每个SS组内的图像可以被认为彼此强相似。在一些实施方案中,每个WS组可以进一步分解为一个或多个SS组。
在一些实施方案中,通过将图像分配给具有与该图像的访问级别相对应的图像管理限制的至少一个组,来将每幅图像分配给所述多个图像组中的至少一个组。如上所述,每幅图像可以被分配访问级别。所述图像可被分配给对于O、P、Q和R访问级别中的每一个的单独图像组。
在一些实施方案中,可以生成所述分级结构,使得使用所述导出像素内容属性和元数据属性来为不同访问级别中的每一个生成分组。例如,除了它们的导出像素内容属性之外,O、P、Q和R组中的每一组的图像可以根据它们的元数据来分类,所述元数据诸如拍摄时间、位置、标签信息等(拍摄图像的年、月和日可以分别称为该图像的年、月和日属性)。根据它们的元数据属性被分类的类别可以与根据其导出像素内容属性被分类的类别相交。例如,在一些实施方案中,组内的图像可以被分类为年份组并进一步分类为月份组(或每个年份组的月份分组)。分配给相同月份组的图像可以进一步分组为事件分组。在一些情况下,如果图像的拍摄时间之间的差小于事件门限值,则可以将图像分配给相同的事件组。这些类别可以分别称为年份组、月份组和事件组。年份组、月份组和事件组中的每一个可以进一步相交并分解为WS组和SS组。
在一些实施方案中,可以根据上述类别或组来显示所述多幅图像。可以以分级方式显示图像属性之间的交叉,其中每个较低级别的组是它的较高级别的父组的一个分组。通常,组或分组可以由上述图像属性中的任何一个或者两个或更多个图像属性的交集形成。
现在参考图8,其中显示了分级组结构800的示例。除了顶部组级别810(即,整组图像)之外,分级组结构800还包括底部分组级别806(包括全分辨率的单独图像820)和第二底部分组级别804G(每幅图像的下采样图像814),以及其间的六(6)个额外分组级别804:OPQR分组级别804A、年份分组级别804B、月份分组级别804C、事件分组级别804D、弱相似分组级别804E和强相似分组级别804F。
一般来说,分组级别804A-804G的分级次序是可互换的。然而,在一些实施方案中,OPQR分组级别804A可被定位为第二顶部组级别,下面的分组级别804B-804G的分级顺序是可互换的。例如,这可以用于当用户正在导航所述多幅图像时将具有隔离或私密访问级别的图像与其他图像分离。
在330中,可以将多个显示组确定为来自多个图像组的组子集。基于从用户接收的输入来确定所述多个显示组。在一些情况下,可以基于用户与计算设备显示器上的向用户显示的图形用户界面交互过程中接收的输入来确定所述多个显示组。
现在参考图9A,其中显示了一个通过使用下拉菜单来选择O、P、Q和R组之一的图形用户界面900的示例。GUI 900顶部存在的按钮910具有显示为Open(开放)/Private(私密)/Quarantined(隔离)/Archived(存档)之一的文字,表示已经选择了O、P、Q和R组中的哪一组。在GUI 900的示例中,已经选择了开放组。当用户点击或敲击在GUI 900中按钮910时,它展开以显示一个包括开放、私密、隔离和存档组的列表。当用户选择列表上的特定组时,系统可显示该特定组下面的分组的代表性图像。例如,在图8的分级结构中,当选择特定访问级别的组812A时,所选显示组的所有年份分组812B的代表性图像将会被显示。然后,GUI900可以返回到指示当前选择O、P、Q和R组中的哪一个的按钮910。
现在参考图9B,其中显示了一个可向用户显示以允许所述用户查看各个分组级别上的图像的示例GUI 950。GUI 950包括按钮960的列表,其显示四个选项:“按年份组浏览”960A、“按月份组浏览”960B、“按事件组浏览”960C和“按单独浏览”960D。当从所述用户接收到对特定按钮960的选择(例如,通过用户点击或敲击按钮960中的一个)的输入时,在该特定分组级别的所有分组的代表性图像将会被显示。
在一些实施方案中,如果在所选择的分组级别的每个分组仅包括一幅图像,则可以将图像图标分到共享一些共同分配准则(诸如元数据和/或导出像素内容属性)的分组中。然后可以使用分组准则标记通过共同属性来标记每个分组。由于在低组级别,可能存在许多分组,这些分组的图标将显示在可滚动视图中,可以提供导航面板以帮助用户将感兴趣的分组集合定位在该低分组级别。导航面板可以列出一组分配准则(例如,元数据和/或导出像素内容属性),每个分配准则与在该低级别的一组分组图标相关联。一旦选择了低级别和其下面的特定分配准则,系统就可以自动地显示具有期望的分配准则的分组。
现在参考图10A-10D,其中显示了具有示例导航面板1000的GUI。导航面板1000是两级可扩展列表,最初显示“转到年(GoTo Year)”、“转到月(GoTo Month)”和“转到天(GoToDay)”选项(导航面板1000A)。当选择了“转到年”时,可以显示具有分配给其的至少一幅图像的所有年份组以供用户进一步选择(导航面板1000B)。在一些实施方案中,例如使用上述图8中所示的分级结构的实施方案,所述导航面板可能仅显示所选择的特定访问级别的分组。
当选择年份组列表上的年份组时,年份组列表可以折叠,而所选年份组中具有分配给其的至少一幅图像的月份分组列表可以被显示以供用户选择(导航面板1000C)。此外,当选择月份分组时,月份分组的列表可以折叠,而具有分配给其的至少一幅图像的所选年份组的所选月份分组中的日分组的列表可以被显示以供用户选择(导航面板1000D)。
或者,如果直接从所述导航面板1000A选择“转到月”而不选择任何年份组,则可以显示具有分配给其的至少一幅图像的所有月份组的列表供用户选择。同样,如果直接从导航面板选择“转到天”,而不选择任何年份组或月份组,则可以显示具有分配给其的至少一幅图像的日期组列表。此外,对于来自导航面板的每个所选年份组、月份组或日期组,可以在计算设备显示器上显示所选择的年份组、月份组或日期组的代表性图像的集合。另外,在一些实施方案中,导航面板可以在选择日组之后自动消失。
在一些实施方案中,由于除了顶部一个或两个级别之外的所述分级结构的任何级别的组可以自动地形成(在一些情况下,访问级别可能没有被自动定义,则可以在用户尚未指定特定图像的访问级别的情况下使用默认访问级别),则系统还可以使能实现用于组共享和/或组标签的一次点击(或一次敲击)组选择。另外,相同的分级结构和显示过程也可以应用于显示、可视化和管理共享一些共同元数据和/或导出像素内容属性的图像子集,并且可以通过搜索面板来选择。
在一些实施方案中,在用户选择特定组的情况下,可以考虑到计算设备显示器的尺寸来确定要向用户显示的该组的分组。这可便于用户在各种组级别间导航,而不需要用户在每个级别上对大量图像文件夹进行分类、或者不必“点击”仅一个文件夹的多个分组级别。下面将参考图7更详细地描述用于确定多个显示组的实例过程。
在340中,通过对于多个显示组中的每个显示组,确定代表性图像以表示该显示组中的所有图像,从而确定多个代表性图像。可以通过各种方式来确定特定显示组的代表性图像。
在一些实施方案中,可以通过从显示组中选择一幅或多幅图像并且在代表性图像中包括所选择的图像中的每一幅的至少一部分来确定所述代表性图像。这些选择的图像可以被称为代表性组图像。
例如,至少一个显示组可以包括数目多于图像门限值的图像(通常,所述图像门限值可以是大于1的整数)。可以通过选择包括该显示组中的图像中的至少两个的代表性组图像的子集来为这些显示组中的每一个确定代表性图像。然后生成代表性图像以包括所选的代表性组图像子集中的每幅代表性组图像的至少一部分。
所述代表性图像可以采取各种形式,诸如基于分配给该显示组的图像的单幅图像或拼合图像。在一些情况下,透视投影可以用于生成所述代表性图像。下面将参考图6更详细地描述使用透视投影的示例性实施方案。
在一些实施方案中,显示组的代表性图像可以包括多个代表性图像部分,并且每个代表性图像部分可以基于该特定显示组的分组之一来确定。在一些实施方案中,该组的所有代表性图像部分的集合可以反映该组内的所有图像的像素内容。在一些情况下,对于所述组内的相似图像分组(即,对于看起来彼此相似的分配给该组的图像的集合),可以选择其中的少数作为该相似图像分组的代表性分组图像。在一些实施方案中,所述代表性图像部分可以包括具有该组内的每个相似图像分组的分组代表性图像的图像部分。相似图像组的分组代表性图像可以表示该相似图像组内的所有图像,并且可以包括该相似图像组的一个或多个代表性分组图像的至少一部分。
在一些实施方案中,根据组是基于分配给该组的图像的导出像素内容属性还是基于分配给该组的图像的元数据属性来定义的,可以以不同的方式确定所述组的代表性图像。
在一些实施方案中,可以基于正在使用的计算设备的显示尺寸来确定每个显示组的代表性图像。基于为待要显示的所有显示组分配的计算机设备显示器的显示尺寸,为每个显示组确定最大代表性图像尺寸。然后确定每个显示组的代表性图像以使代表性图像尺寸不大于该显示组的最大代表性图像尺寸。
可以通过识别用于多个显示组的所述计算机设备显示器的分配的显示尺寸来确定一个显示组的最大代表性图像尺寸。然后,所述分配的显示尺寸可以被划分为多个显示组部分,其中所述多个显示组中的每个显示组对应于一个显示组部分。每个显示组的最大代表性图像尺寸可以被确定为该显示组的所述显示组部分的尺寸。
在350中,为所述显示组确定的多个代表性图像可以同时显示在所述计算机设备显示器上。下面将参考图13A和13B更详细地描述显示多个代表性图像的用户界面实例。
在一些实施方案中,可以生成一个显示组的所述代表性图像使得其总图像尺寸大于该显示组的最大的代表性图像尺寸。在这种情况下,可以通过在任何一个时间在计算设备显示器上显示代表性图像的一部分来显示该显示组的代表性图像。所述代表性图像的被显示部分可以具有不大于最大代表性图像尺寸的部分尺寸。
在一些实施方案中,对于一个特定显示组的代表性图像可以通过连续显示所述特定显示组的代表性图像的每个部分来显示。在一些实施方案中,所述代表性图像可以显示为随时间显示代表性图像的每个部分的动画式的或滚动的代表性图像。下面参考图12A-12D进一步详细描述了一个动画式代表性图像的示例。
一个动画式代表性图像可以向用户提供关于包含在特定显示组内的图像的进一步信息,即使在代表性图像的分配的屏幕尺寸比较小的情况下也是如此。在一些实施方案中,动画式代表性图像可以是静态的,直到从用户接收到动画输入为止。例如,所述动画输入可以是用户点击或敲击动画标记或使光标在所述代表性图像上方徘徊。
为了简单起见,已经结合通过计算设备102对其的实现描述了方法300。然而,将明了方法300的许多方面可以由系统100的其他组件——例如服务器104——实施。例如,在一些实施方案中,计算设备102可以提供方法300的可视化和用户界面等方面,而服务器104可以分析多幅图像、确定图像分配准则并且将图像分配给多个图像组。
例如,在具有R图像访问级别的图像的一些实施方案中,每幅图像的图像分配准则(例如,图像特有的分配准则,比如说导出像素内容属性和元数据属性)可以通过所述服务器104确定并且提供给所述计算设备102。在一些情况下,所述服务器可以将图像分配到组,而在其他情况下,所述计算设备102可以使用由所述服务器104提供的所述图像分配准则来将图像分配到图像组。
现在参考图4,其中示出了用于确定显示组的代表性图像的示例过程400。在一些实施方案中,过程400可以在方法300的340处用于组编多幅图像。一般来说,过程400可用于多个显示组中的至少一个显示组,其中该显示组包括比图像数量门限值更多的多幅图像,所述图像数量门限值是一个大于1的整数。
在410中,为所述显示组可以确定多个图像分组。所述显示组中的每幅图像可能被分配至一个图像分组。例如,在所述显示组是年份组的情况下,可以将该年份组的图像分组确定为多个月份分组。所述多个月份分组可以对应于拍摄图像的那一年的每个月。或者,所述分组可以被确定为多个相似的图像组,其中图像分组是基于从图像的像素内容导出的图像特有分配准则。
在一些实施方案中,所述多个图像分组可以包括来自多个相似图像组的第一相似图像组。所述第一相似图像组可以包括多个第一相似图像,其中对于每个第一相似图像,在该第一相似图像与至少另一幅第一相似图像间的相似性距离在一个相似性门限值范围之内。所述第一相似图像组可以是如上所述的WS组或SS组的示例。
在一些实施方案中,所述多个图像分组可以进一步包括来自多个相似图像组的至少一个额外的相似图像组。每个额外的相似图像组可以包括多个额外的相似图像。对于每个额外的相似图像组,该额外的相似图像组中的每个额外的相似图像可以具有在该额外的相似图像与该额外的相似图像组中的至少另一个额外的相似图像之间的相似性距离,而该相似性距离在用于该额外的相似图像组的相似性门限值范围内。通常,所述多个第一相似图像和所述多个额外的相似图像中的每个可以是没有交集的,并且所述多个额外的相似图像中的每一个可以与所有其他多个额外的相似图像没有交集。
在420中,对于一个显示组,可以通过为该显示组中的每个分组确定代表该分组的所有图像的分组代表性图像来确定多个分组代表性图像。通常,分组代表性图像可以用与确定一个显示组的代表性图像相同的方式来确定。然后,可以确定多个分组代表性图像,其中一个分组代表性图像用于在410中确定的多个图像分组中的每个图像分组。
在一些实施方案中,可以通过从所述多个第一相似图像中选择多个代表性第一相似图像来为第一相似图像组确定所述分组代表性图像。然后可以为所述第一相似图像组生成所述分组代表性图像,以包括多个代表性第一相似图像中的每个代表性第一相似图像的至少一部分。例如,可以通过部分地重叠每个所述代表性第一相似图像来生成所述分组代表性图像。
类似地,对于每个额外的相似图像组,可以通过从该额外的相似图像组中的所述多个额外的相似图像中选择多个代表性的额外的相似图像来确定所述分组代表性图像。可以为所述额外的相似图像组生成所述分组代表性图像,以包括多个代表性的额外的相似图像中的每个代表性的额外的相似图像的至少一部分。
在430中,可以通过生成多个代表性图像部分来为一个显示组确定所述代表性图像。每个代表性图像部分可以包括对于所述多个图像分组中的图像分组中的一个分组的所述分组代表性图像。下面将参考图11更详细地描述具有多个代表性图像部分的代表性图像的示例。
例如,如果显示组是年份组、月份组或事件组,则所述显示组可以被分解为多个没有交集的相似图像组(即,没有交集的WS组和没有交集的SS组)。每个没有交集的相似图像组可以是所述显示组与根据像素内容相似性距离定义的相似图像组的交集。此外,在所述显示组是弱相似图像组的情况下,该显示组可以进一步分解为多个没有交集的强相似图像组。所述强相似图像组可以有相似性门限值范围,与弱相似图像组的相似性门限值范围比较,所述强相似图像组的相似性门限值范围意味着在这些组内的图像之间的相似性更高。
在一些实施方案中,一个显示组的所述代表性图像可以包括来自相应分解中的每个没有交集的相似图像分组的高达固定数量的代表性分组图像(诸如2幅图像),而不论一个特定的没有交集的相似图像组可能包含多少图像。所述显示组的所述代表性图像可以被确定为包括来自部分重叠的同样没有交集的相似图像组的代表性分组图像(即,该相似图像组的所述分组代表性图像包括该部分重叠的相似图像组的所述代表性分组图像),而来自不同相似图像组的代表性分组图像彼此不重叠。
图11示出了一个显示组的代表性图像1100的示例。所述代表性图像1100被显示在为该显示组确定的分配显示空间1130内。所述分配显示空间1130可以用于为所述代表性图像1100确定一个最大的代表性图像尺寸。在一些情况下,根据设备的所述显示屏幕尺寸和分辨率,所述同一幅代表性图像1100的实际外观可能对于不同的设备会改变。
所述代表性图像1100包括多个分组代表性图像1112。所述分配的显示空间1130被划分为多个代表性图像部分1140,其中每幅分组代表性图像1112具有一个图像部分。在代表性图像1100中,每幅分组代表性图像1112对应于一个相似图像分组。由此,每个分组代表性图像1112中的所述代表性相似图像(例如,分组代表性图像1112A中的代表性分组图像1114A和1114B)部分地重叠。
图11为每幅分组代表性图像1112示出了所述代表性相似图像的透视投影。在图11中,代表性相似图像被一个叠一个放置在3D场景中,使得在被投影到2D屏幕之后,它们看起来部分地重叠。看起来不相似的图像(即,来自不同的相似图像分组的图像)会以彼此不重叠的方式来投影和显示。
所述代表性图像1100还包括一个分配准则标记1160。所述分配准则标记1160指示分配给该显示组的图像共同的分配准则。在这种情况下,所述代表性图像1100表示了具有指示在2014年4月8日拍摄的元数据的图像的显示组。所述代表性图像1100还包括一个指示多少图像被分配给该显示组的图像数量标记1150。
在一些实施方案中,一个显示组的所述代表性图像可以包括来自所述显示组的分解中的每个没有交集的相似图像组中的至少一幅图像。为每个没有交集的相似图像组选择的代表性分组图像的实际数量可以基于没有交集的相似图像组的数量和该没有交集的相似图像组内的图像的数量来动态地确定。算法1示出了用于确定每个没有交集的相似图像组的代表性分组图像的数量的示例过程。
示例算法1–确定代表性分组图像的数量
假设所述显示组包括K个相似图像分组。定义N[i]为相似图像分组i中的图像数量,1≤i≤K。给定用于所述显示组的代表性组图像的数量的门限值T,以下所述算法可以确定对于所述相似图像分组i,1≤i≤K,将被选择为其代表性分组图像的在所述相似图像分组i中的图像数量S[i]。
算法1
这里是将小数数字四舍五入到右边最紧邻的整数的上取整函数。在一些实施方案中,可以使用算法1,其中所述显示组是弱相似图像组,并且所述K个相似图像分组是没有交集的强相似图像分组。
如果所述显示组是强相似的图像组,则所述显示组内的图像看起来彼此非常相似。为了生成所述代表性图像,可以调整所述组中选择的图像的尺寸,并且使得每个被选图像的至少一部分会被显示。如果所述显示组包括单独图像,则可以将所述代表性图像确定为图像本身尺寸调整的形式以适合分配给该组的显示屏幕空间。
如上所述,如果所述代表性图像具有大于针对该显示组的分配的屏幕尺寸的代表性图像尺寸,则可以在任何一个时间显示代表性图像的一部分。在一些情况下,动画式代表性图像可以用于随时间显示该显示组的所有所述分组代表性图像。
再次参考图11,其中所示的代表性图像1100具有大于基于所分配的显示尺寸1130确定的最大代表性图像尺寸的总图像尺寸。因此,所述代表性图像1100包括一个动画按钮1120,其允许用户启动所述代表性图像1100的动画。
图12A至图12D示出了与图11所示的代表性图像1100相对应的一个动画式代表性图像的示例屏幕截图。在这种情况下,当用户选择所述动画按钮1120时,会启动一个更大的弹出窗口来用大于最大代表性图像尺寸1130的尺寸显示所述动画式代表性图像。
随着所述动画开始,由透视投影显示的所述动画式代表性图像1200A开始朝向弹出窗口的底部移动。代表性分组图像的底行1212A(以下可以称为第一底行)在到达弹出窗口的底部时开始消失。在图12C中,代表性分组图像(最初未在代表性图标中示出)的一个新行1212B从顶部移动到弹出窗口中的所述代表性图像1200C的边界。在播放一定时间之后,所述第一底行1212A完全消失,而所述新行1212B完全显示在弹出窗口的顶部。在一些示例中,所述动画可以循环地播放所有行的代表性分组图像;当所述第一底行1212A第一次出现在弹出窗口的顶部时,则已经播放了一个完整周期。
尽管图12A-12C中的所述动画是在弹出窗口的情况中描述的,所述动画也可以出现在与具有最大代表性图像尺寸1130的代表性图像1100相同的显示空间中。同样,所述动画也可以以其他方式启动,例如通过使光标在代表性图像1100上方徘徊。
现在参考图5,其中示出了可以用于确定是否在所述计算设备显示器上显示分组的图像或代表性图像的方法500的一个示例。通常,当向用户显示多个显示组的所述代表性图像时,可以使用方法500。当所述用户选择了一个特定显示组时,方法500可以确定是否应当显示分配给该组的所有图像(或图像的下采样版本),或者是否应该将该显示组的分组的代表性图像显示给用户。
在510中,可以基于从用户接收的输入来确定所选显示组。可以与计算机设备显示器相关联地提供用户接口,用于从用户接收输入。可以从所述用户接收输入,并且可以基于所述输入确定所选代表性图像。例如,所述输入可以是对一个特定代表性图像的点击或敲击。
一般来说,所选代表性图像可以是来自所述多个显示组中的所选显示组的代表性图像。如果所选显示组仅包含单幅图像或者小于门限值数量的图像,则可以显示所有图像,而不需要继续方法500的剩余部分。在所选显示组包括的图像数量大于所述图像的门限值数量(例如,大于1的整数)的情况下,则方法500可以进行到520。
在520中,可以为所选显示组确定所述计算机设备显示器的被分配的屏幕尺寸。对于任何级别的每个显示组,可以将某个显示屏幕空间分配给在该设备上显示的该显示组。分配给特定显示组的所述显示空间可以取决于处于该分组级别的显示组的数量和/或所述设备的显示尺寸。
在530中,所述计算设备可以确定所述计算机设备显示器的所述被分配的屏幕尺寸是否足以同时显示在所选显示组中的图像数量。例如,所述计算设备可以自动确定所述被分配的显示屏幕空间在任何时刻可以显示的图像的最大数量(可以称为并发显示门限值)。然后,所述计算设备可以确定分配给所选显示组的图像的数量是否大于并发显示门限值。
在540中,如果所述计算机设备显示器的所述被分配的屏幕尺寸足够大(即,分配给所选显示组的图像的数量小于或等于所述并发显示门限值),则所选显示组中的所述图像(或其下采样版本)可以同时显示在所述计算机设备显示器上。
在550处,如果所述计算机设备显示器的所述被分配的屏幕尺寸不够大(即,分配给所选显示组的图像的数量大于所述并发显示门限值),则可以显示用于所选显示组的分组的代表性图像。
所述计算设备可以为所选显示组确定多个图像分组,其中,所选显示组中的每幅图像被分配给所述图像分组之一。然后可以通过为所选显示组中的每个分组确定一个代表该分组中的所有图像的该分组的代表性图像,来为所选显示组确定多个代表性图像。然后可以在所述计算机设备显示器上显示针对所选显示组确定的对于所述多个图像分组740的多个代表性图像。
在一些实施方案中,可以调整显示组的代表性组图像的尺寸,然后使用透视投影来显示它们。在一些情况下,所述透视投影可以如下产生,使得看起来相似的代表性组图像(例如来自相似图像分组的图像的集合)部分地重叠,而不相似的代表性组图像(即,来自不相似的相似的图像分组)不彼此重叠。
在一些情况下,即使使用透视投影,分配给所述显示组的所述显示屏幕空间可能仍然不足以一次完全显示全部所述代表性组图像。在这种情况下,可以通过在显示时动画呈现所述代表性组图像,来用显示时间换取显示空间。
现在参考图6,其中示出了用于生成显示组的代表性图像的示例过程600。如上所述,可以通过选择包括该显示组中的至少两个图像的代表性组图像的子集来为一个显示组确定代表性图像。
在610中,可以为所述显示组确定所述代表性组图像。例如,所述代表性组图像可以是分配给该组的图像的一个子集。在一些情况下,如上所述,所述代表性组图像可以包括多个代表性分组图像。
在620中,可以生成每幅代表性组图像的透视投影。可以为所选的代表性组图像子集中的每幅代表性组图像生成透视投影。
所述透视投影可以被生成以在一个被分配的显示尺寸内显示多个代表性组图像的至少一部分,而所述被分配的显示尺寸原本并不够用以同时显示这些代表性组图像。
透视投影可以被认为是从3D空间点到2D空间点的映射,表示为一个4x4矩阵M。具体地,用表示坐标为x,y,和z的3D空间中的一个点。通过一个透射投影M可以将所述点映射到坐标为u和v的一个2D空间上的点其中并且
然后可以通过透视投影将3D场景投影到2D视图中。在所述透视投影中,所述2D视图中的点处的像素可以是所述3D场景中所有点的像素通过所述透视投影被映射到的合成。来自所述3D场景的映射到所述2D场景中的相同点的像素的混合可以取决于如下一个因素,即由所述3D场景中的那些点处的像素表示的对象是不透明的、半透明的还是透明的。
现在参考图13A和13B,其中示出了向用户显示的多个代表性图像1312的示例屏幕截图1300A和1300B。所述代表性图像1312可以是针对与图11中所示的代表性图像1100相对应的所述显示组的下一个显示分组级别处的分组确定的代表性图像。一个显示分组包括仅单幅图像,因此一个图像图标1314被显示作为该显示分组的代表性图像。在选择(例如点击或敲击)所述代表性图像1100之后,所述系统可以在其下一个显示级别显示这些组的所有图标,每个图标是该显示组的一个分组(即,所述系统可以显示为所述显示分组确定的代表性图像)。
在图13A和13B所示的具体示例中,下一个显示级别包括多个相似的图像分组。如图13A和13B中所示的最终显示也占据了超过所述设备的全屏的范围。由此,所述代表性图像1312可以在所述计算设备上以滚动视图方式显示。
每个代表性图像1312的所述代表性组图像通过在所述3D场景中按照一个队列(即,一个在另一个之后)布置被示出,然后通过透视投影被显示。在图13中,已经生成了所述透视投影,使得所述队列中的第一代表性组图像出现在分配给该显示分组的所述显示屏幕空间的左下角附近,并且所述队列朝向分配给该显示分组的所述显示屏幕空间的右上角扩展。与所述代表性图像1100一样,每个代表性图像1312包括一个分配准则标记1360(尽管在这种情况下,每个代表性图像1312具有相同的分配准则标记1360,因为它们已经在基于导出像素内容数据的基础上被分配给了所述分组)。同样,每个代表性图像1312包括一个图像编号标记1350。
一旦选择了用于特定分组的所述代表性图像1312的所述动画按钮1320,则所述队列中的所有代表性组图像(对于该特定分组的所述代表性图像)可以开始朝着所分配的显示屏幕空间的左下角移动。当所述第一代表性组图像越来越靠近所述被分配的显示屏幕空间的左下角时,所述第一代表性组图像可以变得越来越半透明,并且最终在新的代表性组图像(开始未在所分配的显示屏幕空间中示出)能够移动进入到被分配的显示屏幕空间的边界的时候最终消失。再次,在该示例中,所述动画可以循环地播放所述队列中的所有的代表性组图像。
现在将结合图6参考图14A-14C。图14A-14C通过使用多个代表性组图像1402A-1402D的透视投影示出了一个代表性图像1400。所述代表性组图像1402A-1402D是来自一个相似图像组的图像。
在630中,可以为所述显示组生成所述代表性图像1400A。所述计算设备可以生成所述代表性图像,以包括在所选择的代表性组图像子集中每幅代表性组图像1402A-1402C的所述透视投影的至少一部分。例如,所述计算设备可以将用于所选择的代表性组图像子集中的每幅代表性组图像1402A-1402C的所述透视投影重叠。
在一些情况下,将所述图像部分地重叠还可以包括混合来自被重叠的所述代表性组图像1402的像素。例如,在一些情况下,可以生成一个动画式代表性图像,其中每幅代表性组图像1402的不透明度(或透明度)随着其移动通过所述代表性图像1400而改变。每幅代表性组图像1402的相同部分可以重叠,并且两者都在所述代表性图像1400中可见,但是,像素混合可基于重叠的每幅代表性组图像1402的不透明度或透明度而改变。
在一些实施方案中,所述代表性图像1400可以包括一个第一周围边界1404(例如底侧或左下角)和一个与第一周围边界相对的第二周围边界1406(例如顶侧或右上角)。所选的代表性组图像子集中的每幅代表性组图像1402的所述透视投影最初可以重叠,使得来自所选的代表性组图像子集的第一代表性组图像1402A的所述透视投影,与来自所选的代表性组图像子集中的至少一个另外的代表性组图像1402B-1402C的所述透视投影相重叠。所述第一代表性组图像1402A的所述透视投影可以紧邻所述第一周围边界1404,并且每个额外的代表性组图像1402B-1402C的所述透视投影可以在朝向所述第二周围边界1406的第一方向1410上越来越远离所述第一代表性组图像1402A的所述透视投影。
在640中,所述代表性图像1400(即,重叠透视投影)可以被逐步显示。在一些实施方案中,逐步显示所述代表性图像1400可以包括在朝向所述第一周围边界1404的第二方向1412上,逐步地移动在所选择的代表性组图像子集中的每幅代表性组图像1402的所述透视投影。当在所选择的代表性组图像子集中的每幅代表性组图像1402的所述透视投影到达紧邻第一周围边界1404的门限值位置1408的时候,可以从所述代表性图像1400中移除该透视投影。如图14B所示,所述代表性组图像1402A不再存在于所述代表性图像1400B中,因为它作为在1400A和1400B之间的动画的结果到达了所述门限值位置1408。
对所述代表性图像1400的显示可以进一步包括,将所选的代表性组图像的子集中的每幅代表性组图像1402的所述透视投影逐步地引入靠近所述第二周围边界1406的所述代表性图像1400中,将每个代表性组图像1402的所述透视投影朝所述第一周围边界1404移动,然后当该透视投影到达所述门限值位置1404时,从所述代表性图像中去除每幅代表性组图像1402的所述透视投影。如图14B所示,一个新的代表性组图像1402D已经被引入到所述代表性图像1400B的显示中。
在一些实施方案中,每幅代表性组图像1402的所述透视投影在被引入代表性图像1400中时可以是基本上不透明的。每幅代表性组图像1402在朝向所述第一周围边界1404移动时逐渐变为至少半透明的(参见图14A-14B)。如上所述,来自各种代表性组图像1402的像素的混合可因此随着所述代表性图像1400被动画化而改变。当每幅代表性组图像1402移动通过所述代表性图像1400时,该代表性组图像1402可以变得至少部分透明,以方便更清楚地看到后续代表性组图像1402。
在一些实施方案中,可以用第一投影角度产生在所选择的代表性组图像子集中的每幅代表性组图像1402的所述透视投影。然而,在一些实施方案中,可以提供GUI以改变那些透视投影。
可以提供与所述计算机设备显示器相关联的用户界面,用于从用户接收输入。可以从所述用户接收一个输入,该输入指示应当改变一个或多个所述透视投影。基于来自所述用户的所述输入,所述计算设备可以重新生成所述代表性图像1400C,以包括在所选择的代表性组图像子集中的每幅代表性组图像1402的第二透视投影的至少一部分,所述第二透视投影是以一个不同于所述第一投影角度的第二投影角度产生的。图14C示出了对应于图14B所示的所述代表性图像1400B、但是具有不同的透视投影角度的一个代表性图像1400C。同样,由于投影角度的变化,所述动画方向可能发生改变,由此所述第一周围边界1404、第二周围边界1406的位置和门限值位置1408也可能发生改变。
在一些实施方案中,可以提供一个触摸屏用户界面以允许用户改变透视投影。图16示出了配备有触摸屏(具有X和Y轴)的设备1600的示例。所述设备1600是能够检测诸如长按(按住一会儿)和拖动(在手指四处移动时保持按压屏幕)的触摸屏手势的计算设备102的一个示例。在一个示例中,用户可以长按(按住一会儿)一个图标以指示透视投影将被改变。然后,所述用户可以执行拖动手势以改变所述透视投影的所述投影角度。用于显示该图标的所述透视投影可以根据用户的拖动手势的方向和距离而改变。令α和β分别是该用户沿着X和Y轴拖动的距离。然后可以通过将透视投影M乘以以下两个矩阵的乘积,以产生所述第二透射投影:
在一些情况下,单个拖动动作可以用于调整同时显示在所述显示设备上的每个代表性图像的所述透视投影。
如上所述,在一些实施方案中,用于一个显示组的所述代表性图像可以包括多个代表性图像部分。每个代表性图像部分可以包括至少一个与所述显示组的一个分组相对应的分组代表性图像。在一些实施方案中,过程600可以应用于所述代表性图像的每个所述代表性图像部分。也就是说,每个代表性图像部分可以包括一个具有该分组的一个或多个代表性分组图像(其彼此可以重叠)的透视投影的分组代表性图像。同样,在一些实施方案中,每个代表性图像可以是当向用户显示时可以独立地动画呈现的动画代表性图像。
如上所述,在一些实施方案中,可以提供GUI以允许用户经由所述层级结构水平地(即,从较高级到较低级,反之亦然)或垂直地(即,跨越每个级)或两种方式的结合来搜索代表性图像(即,图像组的图标)。除了底部全分辨率级别之外的任何级别的每个代表性图像都可以由所述用户选择,例如,通过点击或敲击。
对于一个单独图像的图标(图像图标),当点击或敲击时,可以以其全分辨率显示该图像。图15示出了一个通过所述图像本身生成的示例图像图标1500。具体地,所述图像在其尺寸被重新适当调整到适合于被分配的显示屏幕空间后,可以以图像倾斜的方式被显示在一个透视投影中。
在一些实施方案中,当选择(例如点击或敲击)一个组(例如Π)的代表性图像(除了图像图标之外的组图标)时,可以显示所述组的低于该组Π的组级别的一个组级别的分组。这一个组级别被称为该组Π的“下一个显示组级别”。在Π的下一个显示级别的所有组是对应于Π的所述显示组的分组。我们可以将Π的一个最低的约束缩放级别(LCZL)定义为低于Π的组级别的最低组级别,并且在此级别下作为与Π对应的所述显示组的分组的每个没有交集的组可以使得其代表性图像显示在小于规定空间门限值的总分配显示屏幕空间中。
在一些实施方案中,如果在Π的所述下一个显示级别处存在着两个或更多个不相交组,则Π的所述下一个显示级别可以是Π的LCZL。在一些实施方案中,所述规定的空间门限值可以不大于所述设备显示器的全显示屏幕尺寸的两倍(不滚动)。下面参照图7描述一个用于确定Π的所述下一个显示级别的示例过程。
现在参考图7,其中示出了一个用于确定显示分组级别的过程700的示例实施方案。当用户选择特定显示组时,过程700可以用于为其代表性图像应当显示给所述用户的所选显示组确定所述多个显示分组。在一些情况下,不是简单地在所述分级结构中向下移动一个组级别,过程700可以通过向下跳过多个组级别到达具有要显示给所述用户的多个分组的那个组级别来实现更快和更有效的图像集合导航。
在710中,可以基于来自用户的输入来确定所选显示组。可以向所述用户显示多个显示组的所述代表性图像,并且所述用户可以选择所显示的代表性图像中的一个。所选代表性图像可以是所选显示组的所述代表性图像。
一般来说,在所选显示组的图像数量小于图像数量门限值的情况下,过程700可能是不必要的。例如,如果为所选显示组分配的屏幕尺寸足以显示所选显示组中的所有图像,则可以不必执行过程700。因此,过程700通常会在所选显示组包括的图像的数量大于图像数量门限值的情况下被执行,其中所述图像数量门限值是一个大于1的整数。所述图像数量门限值可以基于所述计算设备的显示器的所述屏幕尺寸来确定。
在720中,可以通过确认可同时显示的代表性图像的最大数来确定显示分组的门限值数。所述可同时显示的代表性图像的最大数可以基于所述计算机设备显示器为所选显示组分配的屏幕尺寸和针对每个代表性图像的所述最大代表性图像尺寸(即,可以被分配给单个代表性图像的所分配屏幕尺寸大小)来确定。
在730中,可以确定一个显示分组级别。一般来说,所述计算设备可以确定所述所选显示组的多个图像分组。可以将所述所选显示组中的每幅图像分配给所述图像分组中的至少一个,并且所述多个图像分组可以包括跨越多个分组级别的分组。每个分组级别包括多个没有交集的级别特有分组。
可以通过确认具有不大于显示分组的所述门限值数量的最大数量的级别特有分组的分组级别,从所述多个分组级别中确定所述显示分组级别,其中所选显示组的每幅图像会被分配到在该分组级别的所述级别特有分组的至少一个中。
示例算法2–确定显示分组级别
为每个分组级别分配编号,将0设置为单独图像的级别(例如,可以分别指定年份、月份、事件、WS、SS和单独级别的编号数字为5、4、3、2、1和0)。用T[i]表示可以在规定的显示屏幕空间内同时显示的在级别i的最大的代表性图像数目,i=0、1、2、3、4或5。在一些实施方案中,所述规定的显示屏幕空间可以被选择为不大于所述设备的全部显示屏幕尺寸的两倍(不滚动情况下)。给定不是图像图标的在级别L的组A的代表性图像,算法2是确定下一个显示分组级别的示例过程。
算法2:
在740中,所述计算设备可以为所述多个显示分组确定多个代表性图像。在730确认的所述显示分组级别中的所述多个级别特有分组可以被确认为所述显示分组。对于每个显示分组,可以确定一个代表性图像以表示该显示分组中的所有图像。所述代表性图像可以被确定为具有不大于所述代表性图像尺寸的图像尺寸。然后可以在所述计算机设备显示器上同时显示所述多个显示分组的所述多个代表性图像。
例如,考虑图8中所示的分级结构。如果所选显示组是开放组812A,并且分配给开放组的所有图像都被分配给了相同的年、月和事件组,则所述计算设备可以确定所述显示分组级别为弱相似图像组级别804E。然后,在所述开放组812A被选择时,可以向所述用户显示处于所述弱相似图像组级别804E的所述分组的所述代表性图像,而不是要求用户在到达所述弱相似图像组级别804E之前依次选择年份组、月份组和事件组。这有助于更快速地在通过大量图像分配准则组编的大图像集合中导航。
这里已经描述了多个示例性实施方案。然而,本领域技术人员将理解的是,在不脱离随附权利要求书所限定的实施方案的范围的情况下,可以进行其它变化和修改。

Claims (45)

1.一种组编多幅图像的计算机实现的方法,所述方法包括:
对于所述多幅图像中的每幅图像,操作计算机处理器以确定至少一种图像分配准则,所述至少一种图像分配准则包括至少一种图像特有分配准则,其中所述至少一种图像特有分配准则包括在该图像与所述多幅图像中的至少另一幅图像之间的相似性距离,所述相似性距离度量该图像与所述至少另一幅图像的外观相似程度;并且
将所述多幅图像分成多个图像组,使得对于所述多幅图像中的每幅图像,使用用于每幅图像的图像分配准则将该图像分配到所述多个图像组中的至少一组,其中所述多个图像组包括多个相似图像组,并且所述多幅图像通过以下方式被分成所述多个相似图像组:对于所述多幅图像中的每幅图像,基于用于该图像的所述至少一种图像特有分配准则将该图像分配到所述多个相似图像组中的一组。
2.根据权利要求1所述的计算机实现的方法,进一步包括,对于所述多幅图像中的每幅图像,通过以下方式确定该图像与所述多幅图像中的所述至少另一幅图像之间的相似性距离:将该图像中的至少部分像素的图像特有像素内容与所述至少另一幅图像中的至少部分像素的图像特有像素内容进行比较,以度量该图像与所述至少另一幅图像的外观相似程度。
3.根据权利要求1所述的计算机实现的方法,进一步包括:
确定多个显示组作为来自所述多个图像组的组子集;
通过以下方式确定多幅代表性图像:对于所述多个显示组中的每一个显示组,确定代表该显示组中所有图像的代表性图像;并且
在计算机设备显示器上同时显示所述多幅代表性图像。
4.根据权利要求3所述的计算机实现的方法,进一步包括,对于所述多个显示组中的至少一个显示组,其中所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:
确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中的每幅图像被分配到所述多个图像分组中的一个分组;并且
通过以下方式确定多个分组代表性图像:对于所述至少一个显示组中的每一个分组,确定代表所述分组中所有图像的分组代表性图像。
5.根据权利要求3所述的计算机实现的方法,进一步包括,对于所述多个显示组中的至少一个显示组,其中所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:
确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中的每幅图像被分配到所述多个图像分组中的一个分组;并且
通过以下方式确定所述至少一个显示组的代表性图像:
确定多个分组代表性图像,所述多个图像分组中的每一个图像分组具有一个分组代表性图像;并且
生成所述至少一个显示组的代表性图像,以包括多个代表性图像部分,其中每一个代表性图像部分包括用于所述多个图像分组中的一个图像分组的分组代表性图像。
6.根据权利要求5所述的计算机实现的方法,其中,对于所述至少一个显示组中的特定显示组:
所述多个图像分组包括所述多个相似图像组中的第一相似图像组,所述第一相似图像组包括多幅第一相似图像,其中每幅第一相似图像具有的在该第一相似图像与至少另一幅第一相似图像之间的相似性距离在相似性门限值范围之内;并且
通过以下方式确定所述第一相似图像组的分组代表性图像:
从所述多幅第一相似图像中选取多幅代表性第一相似图像;并且
生成所述第一相似图像组的分组代表性图像,以包括所述多幅代表性第一相似图像中的每幅代表性第一相似图像的至少一部分。
7.根据权利要求6所述的计算机实现的方法,其中生成所述第一相似图像组的分组代表性图像包括将所述多幅代表性第一相似图像中的每一个部分地重叠起来。
8.根据权利要求6所述的计算机实现的方法,其中,对于所述特定显示组:
所述多个图像分组进一步包括所述多个相似图像组中的至少一个额外相似图像组,每一额外相似图像组包括多幅额外相似图像,对于每一额外相似图像组,该额外相似图像组中的每幅额外相似图像具有的在该额外相似图像与该额外相似图像组中的至少另一幅额外相似图像之间的相似性距离在用于该额外相似图像组的相似性门限值范围之内,其中所述多幅第一相似图像与多幅额外相似图像中的每一个没有交集,并且多个额外相似图像中的每一个与所有其他多个额外相似图像没有交集;
对于每一额外相似图像组,所述分组代表性图像通过以下方式被确定:
从该额外相似图像组中的多幅额外相似图像中选取多幅代表性的额外相似图像;并且
为该额外相似图像组生成分组代表性图像,以包括所述多幅代表性的额外相似图像中的每幅代表性的额外相似图像的至少一部分。
9.根据权利要求3所述的计算机实现的方法,进一步包括:
提供与所述计算机设备显示器相关联的用于接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,确定所述多幅代表性图像中的选取的代表性图像,所述选取的代表性图像是所述多个显示组中选取的显示组的代表性图像,所述选取的显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数;
对于所述选取的显示组确定计算机设备显示器上分配的屏幕尺寸;
确定所述计算机设备显示器上分配的屏幕尺寸是否足够同时显示所述选取的显示组中的图像数量;
如果所述计算机设备显示器上分配的屏幕尺寸足够,那么在所述计算机设备显示器上显示所述选取的显示组中的图像;以及
如果所述计算机设备显示器上分配的屏幕尺寸不足够,那么:
确定所述选取的显示组的多个图像分组,其中所述选取的显示组中每幅图像被分配到所述多个图像分组中的一个分组;
通过以下方式为已确定的多个图像分组确定多幅代表性图像:对于所述选取的显示组中每一个分组,确定该分组的代表该分组中所有图像的代表性图像;并且
在所述计算机设备显示器上,显示所述已确定的多个图像分组的所述多幅代表性图像。
10.根据权利要求3所述的计算机实现的方法,进一步包括:
对于所述多个显示组中的至少一个显示组,所述至少一个显示组中的每一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数;
通过以下方式确定所述至少一个显示组中的每一个显示组的代表性图像:
选取代表性组图像子集,所述代表性组图像子集包括所述显示组中的至少两幅图像;并且
生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的至少一部分。
11.根据权利要求10所述的计算机实现的方法,进一步包括,对于所述至少一个显示组中的每一个显示组:
基于所述计算机设备显示器的为所述多个显示组分配的显示尺寸,确定该显示组的最大代表性图像尺寸;
生成该显示组的代表性图像,以使得该代表性图像具有的总体图像尺寸大于该显示组的所述最大代表性图像尺寸;并且
通过显示所述代表性图像的一部分来显示该显示组的代表性图像;
其中所述代表性图像中被显示的部分具有的部分尺寸不大于所述最大代表性图像尺寸。
12.根据权利要求11所述的计算机实现的方法,其中对于所述至少一个显示组中的特定显示组,显示所述特定显示组的代表性图像包括依次显示所述特定显示组的代表性图像的每一部分。
13.根据权利要求10所述的计算机实现的方法,其中生成所述代表性图像包括:
生成所述选取的代表性组图像子集中每幅代表性组图像的透视投影;并且
生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的透视投影的至少一部分。
14.根据权利要求13所述的计算机实现的方法,其中生成所述代表性图像以包括所述选取的代表性组图像子集中每幅代表性组图像的透视投影的至少一部分包括:
把所述选取的代表性组图像子集中的每个代表性组图像的透视投影进行重叠。
15.根据权利要求14所述的计算机实现的方法,其中:
所述代表性图像包括第一周围边界和与第一周围边界相对的第二周围边界;
所述选取的代表性组图像子集中的每个代表性组图像的透视投影被初始重叠,使得所述选取的代表性组图像子集中的第一代表性组图像的透视投影与所述选取的代表性组图像子集中的至少另一代表性组图像的透视投影重叠,其中所述第一代表性组图像的透视投影紧邻所述第一周围边界,以及每一个额外代表性组图像的透视投影沿着朝向所述第二周围边界的第一方向越来越远离所述第一代表性组图像的透视投影;并且
显示所述代表性图像包括:沿着朝向所述第一周围边界的第二方向逐步移动所述选取的代表性组图像子集中的每幅代表性组图像的透视投影,并且当所述选取的代表性组图像子集中的每幅代表性组图像的所述透视投影到达紧邻所述第一周围边界的门限位置时,把该透视投影从所述代表性图像中清除。
16.根据权利要求15所述的计算机实现的方法,其中显示所述代表性图像进一步包括:在紧邻所述第二周围边界处,逐步把所述选取的代表性组图像子集中每幅代表性组图像的透视投影引入至所述代表性图像,朝向所述第一周围边界移动每幅代表性组图像的所述透视投影,并且当每幅代表性组图像的所述透视投影到达所述门限位置时,把所述透视投影从所述代表性图像中清除。
17.根据权利要求16所述的计算机实现的方法,其中每幅代表性组图像的所述透视投影当被引入至所述代表性图像时基本上是不透明的,并且随着它向所述第一周围边界移动,所述透视投影会逐渐地变成至少半透明。
18.根据权利要求13所述的计算机实现的方法,其中所述选取的代表性组图像子集中的每幅代表性组图像的透视投影是以第一透视角度生成的,且所述方法进一步包括:
提供与所述计算机设备显示器相关联的接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,重新生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的第二透视投影中的至少一部分,所述第二透视投影是以第二透视角度生成的,其中所述第二透视角度与所述第一透视角度不同。
19.根据权利要求3所述的计算机实现的方法,进一步包括:
通过以下方式确定每一显示组的最大代表性图像尺寸:
确认所述计算机设备显示器为所述多个显示组分配的显示尺寸;
把所述分配的显示尺寸分成多个显示组部分,其中所述多个显示组中每一显示组具有一个显示组部分;
确定每一显示组的最大代表性图像尺寸为该显示组的所述显示组部分的尺寸;并且
确定所述多个显示组中每一显示组的代表性图像,以使该代表性图像具有的代表性图像尺寸不大于该显示组的最大代表性图像尺寸。
20.根据权利要求3所述的计算机实现的方法,进一步包括:
提供与所述计算机设备显示器相关联的用于接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,从所述多个代表性图像中确定选取的代表性图像,所述选取的代表性图像是从所述多个显示组中选取的显示组的代表性图像,且所述选取的显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数;
通过以下方式确定所述选取的显示组的多个显示分组:
确定所述选取的显示组的多个图像分组,其中所述选取的显示组中每幅图像被分配到所述多个图像分组中的至少一个分组,所述多个图像分组包括多个分组级别,每个分组级别包括多个互不相交的级别特有分组;
对于所述选取的显示组确定计算机设备显示器的分配的屏幕尺寸;
通过以下方式确定显示分组的门限值:在每幅分组代表性图像具有的图像尺寸不大于最大代表性图像尺寸的条件下,确认能够同时显示在所述分配的屏幕尺寸上的代表性图像的最大数目;
通过以下方式从所述多个分组级别中确认显示分组级别:确认包括不多于所述显示分组门限值的最大数目的级别特有分组的分组级别,其中所述选取的显示组中每幅图像被分配到在该分组级别中的至少一个级别特有分组;
确认所述多个显示分组为所述显示分组级别中的多个级别特有分组;
通过以下方式确定所述多个显示分组的多个代表性图像:对于所述多个显示分组中每一个显示分组,确定代表该显示分组中所有图像的代表性图像,所述代表性图像具有的图像尺寸不大于所述代表性图像尺寸;并且
在所述计算机设备显示器上同时显示所述多个显示分组的多个代表性图像。
21.根据权利要求1所述的计算机实现的方法,其中:
确定所述多幅图像中每幅图像的至少一个图像分配准则包括,给该图像指定访问级别,所述访问级别代表对该图像的图像管理限制;并且
通过以下方式将每幅图像分配到所述多个图像组中的至少一组:分配该图像到具有与该图像的访问级别相对应的图像管理限制的至少一个组。
22.根据权利要求1所述的计算机实现的方法,其中:
确定所述多幅图像中每幅图像的至少一个图像分配准则包括:
从与该图像相关联的图像元数据中确定至少一个元数据分配准则;并且
基于该图像的至少一个元数据分配准则,将该图像分配到所述多个图像组中的一个特定组。
23.一种用于在计算设备上组编多幅图像的计算机程序产品,所述计算机程序产品包括:
非暂态记录介质;和
记录在所述记录介质上的指令,所述指令用于将所述计算设备的处理器配置为:
对于所述多幅图像中的每幅图像,确定至少一种图像分配准则,所述至少一种图像分配准则包括至少一种图像特有分配准则,其中所述至少一种图像特有分配准则包括在该图像和所述多幅图像中的至少另一幅图像之间的相似性距离,该相似性距离度量该图像与所述至少另一幅图像的外观相似程度;并且
将所述多幅图像分配到多个图像组,使得对于所述多幅图像中的每幅图像,使用用于每幅图像的图像分配准则将该图像分配到所述多个图像组中的至少一组,其中所述多个图像组包括多个相似图像组,并且所述多幅图像通过以下方式被分成所述多个相似图像组:对于所述多幅图像中的每幅图像,基于用于该图像的至少一种图像特有分配准则,将该图像分配到所述多个相似图像组中的一组。
24.根据权利要求23所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
对于所述多幅图像中的每幅图像,通过以下方式确定该图像与所述多幅图像中的所述至少另一幅图像之间的相似性距离:将该图像中的至少部分像素的图像特有像素内容与所述至少另一幅图像中的至少部分像素的图像特有像素内容进行比较,以度量该图像与所述至少另一幅图像的外观相似程度。
25.根据权利要求23所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
确定多个显示组作为所述多个图像组的组子集;
通过以下方式确定多幅代表性图像:对于所述多个显示组中的每一个显示组,确定代表所述显示组中所有图像的代表性图像;并且
在所述计算设备的显示器上同时显示所述多幅代表性图像。
26.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:对于所述多个显示组中的至少一个显示组,所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:
确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中的每幅图像被分配到所述多个图像分组中一个分组;并且
通过以下方式确定多个分组代表性图像:对于所述至少一个显示组中的每一个分组,确定代表该分组中所有图像的分组代表性图像。
27.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:对于所述多个显示组中的至少一个显示组,所述至少一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:
确定所述至少一个显示组的多个图像分组,其中所述至少一个显示组中每幅图像被分配到所述多个图像分组中的一个分组;并且
通过以下方式确定所述至少一个显示组的代表性图像:
确定多个分组代表性图像,其中所述多个图像分组中的每一个图像分组具有一个分组代表性图像;并且
生成所述至少一个显示组的代表性图像,以包括多个代表性图像部分,其中每一个代表性图像部分包括所述多个图像分组中一个图像分组的分组代表性图像。
28.根据权利要求27所述的计算机程序产品,其中对于所述至少一个显示组中的特定显示组,所述多个图像分组包括所述多个相似图像组中的第一相似图像组,所述第一相似图像组包括多幅第一相似图像,其中每幅第一相似图像具有的在该第一相似图像与至少另一幅第一相似图像之间的相似性距离在相似性门限值范围之内;并且所述计算机程序产品进一步包括指令,该指令用于将所述处理器配置为:
通过以下方式确定所述第一相似图像组的分组代表性图像:
从所述多幅第一相似图像中选取多幅代表性第一相似图像;并且
生成所述第一相似图像组的分组代表性图像,以包括所述多幅代表性第一相似图像中每幅代表性第一相似图像的至少一部分。
29.根据权利要求28所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:通过把所述多幅代表性第一相似图像中的每一个部分地部分地重叠起来,生成所述第一相似图像组的分组代表性图像。
30.根据权利要求28所述的计算机程序产品,其中对于所述特定显示组,所述多个图像分组进一步包括所述多个相似图像组中的至少一个额外相似图像组,每一额外相似图像组包括多幅额外相似图像,对于每一额外相似图像组,该额外相似图像组中的每幅额外相似图像具有的在该额外相似图像与所述额外相似图像组中的至少另一幅额外相似图像之间的相似性距离在用于所述额外相似图像组的相似性门限值范围之内,其中所述多幅第一相似图像与多幅额外相似图像中的每一个没有交集,且多幅额外相似图像中的每一个与所有其他多幅额外相似图像组没有交集,并且所述计算机程序产品进一步包括指令,该指令用于将所述处理器配置为:
通过以下方式确定每一额外相似图像组的分组代表性图像:
从该额外相似图像组中的多幅额外相似图像中选取多幅代表性的额外相似图像;并且
生成所述额外相似图像组的分组代表性图像,以包括所述多幅代表性的额外相似图像中每幅代表性的额外相似图像的至少一部分。
31.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
提供与所述计算设备的显示器相关联的用于接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,从所述多幅代表性图像中确定选取的代表性图像,所述选取的代表性图像是从所述多个显示组中选取的显示组的代表性图像,所述选取的显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数;
对于所述选取的显示组确定计算机设备显示器上分配的屏幕尺寸;
确定所述计算机设备显示器上分配的屏幕尺寸是否足够同时显示所述选取的显示组中的图像数目;
如果所述计算机设备显示器上分配的屏幕尺寸足够,那么在所述计算机设备显示器上显示所述选取的显示组中的图像;
如果所述计算机设备显示器上分配的屏幕尺寸不足够,那么
确定所述选取的显示组的多个图像分组,其中所述选取的显示组中每幅图像被分配到所述多个图像分组中的一个分组;
通过以下方式对于所确定的多个图像分组确定多幅代表性图像:对于所述选取的显示组中每一个分组,确定该分组的代表该分组中所有图像的代表性图像;并且
在所述计算设备的显示器上,显示所确定的多个图像分组的多幅代表性图像。
32.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:对于所述多个显示组中的至少一个显示组,所述至少一个显示组中的每一个显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数:
通过以下方式确定所述至少一个显示组中的每一个显示组的代表性图像:
选取代表性组图像子集,所述代表性组图像子集包括所述显示组中的至少两幅图像;并且
生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的至少一部分。
33.根据权利要求32所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为,对于所述至少一个显示组中的每一个显示组:
基于对于所述多个显示组的计算机设备显示器上分配的显示尺寸,确定该显示组的最大代表性图像尺寸;
生成该显示组的代表性图像,以使所述代表性图像具有的总体图像尺寸大于该显示组的最大代表性图像尺寸;并且
通过显示所述代表性图像的一部分来显示该显示组的代表性图像;
其中所述代表性图像中被显示的部分具有的部分尺寸不大于所述最大代表性图像尺寸。
34.根据权利要求33所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:对于所述至少一个显示组中的特定显示组,通过依次显示所述特定显示组的代表性图像的每一部分,来显示所述特定显示组的代表性图像。
35.根据权利要求32所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为通过以下方式生成所述代表性图像:
生成所述选取的代表性组图像子集中每幅代表性组图像的透视投影;并且
生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的透视投影的至少一部分。
36.根据权利要求35所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为,通过以下方式生成所述代表性图像以包括所述选取的代表性组图像子集中每幅代表性组图像的透视投影的至少一部分:
把所述选取的代表性组图像子集中每个代表性组图像的透视投影进行重叠。
37.根据权利要求36所述的计算机程序产品,其中所述代表性图像包括第一周围边界和与第一周围边界相对的第二周围边界,并且所述计算机程序产品进一步包括指令,该指令用于将所述处理器配置为:
初始把所述选取的代表性组图像子集中每个代表性组图像的透视投影重叠,使得所述选取的代表性组图像子集中的第一代表性组图像的透视投影与所述选取的代表性组图像子集中的至少一个额外的代表性组图像的透视投影重叠,其中所述第一代表性组图像的透视投影紧邻所述第一周围边界,以及每个额外的代表性组图像的透视投影沿着朝向所述第二周围边界的第一方向越来越远离所述第一代表性组图像的透视投影;并且
通过以下方式显示所述代表性图像:沿着朝向所述第一周围边界的第二方向逐步移动所述选取的代表性组图像子集中每幅代表性组图像的透视投影,并且当所述选取的代表性组图像子集中每幅代表性组图像的所述透视投影到达紧邻所述第一周围边界的门限位置时,把所述透视投影从所述代表性图像中清除。
38.根据权利要求37所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为通过以下方式显示所述代表性图像:在紧邻所述第二周围边界处,逐步把所述选取的代表性组图像子集中每幅代表性组图像的透视投影引入至所述代表性图像;朝向所述第一周围边界移动每幅代表性组图像的所述透视投影;然后当每幅代表性组图像的所述透视投影到达所述门限位置时,把所述透视投影从所述代表性图像中清除。
39.根据权利要求38所述的计算机程序产品,进一步包括指令,该指令将所述处理器配置为:以基本上是不透明的状态把每幅代表性组图像的所述透视投影引入至所述代表性图像,并且随着每幅代表性组图像的所述透视投影向所述第一周围边界移动,逐渐地调节所述透视投影以使其变成至少半透明。
40.根据权利要求35所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
以第一透视角度生成所述选取的代表性组图像子集中每幅代表性组图像的透视投影;
提供与所述计算设备的显示器相关联的用于接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,重新生成所述代表性图像,以包括所述选取的代表性组图像子集中每幅代表性组图像的第二透视投影的至少一部分,所述第二透视投影是以第二透视角度生成的,其中所述第二透视角度与所述第一透视角度不同。
41.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
通过以下方式确定每一显示组的最大代表性图像尺寸:
对于所述多个显示组确认显示器上分配的显示尺寸;
把所述分配的显示尺寸分成多个显示组部分,其中所述多个显示组中每一显示组具有一个显示组部分;并且
确定每一显示组的最大代表性图像尺寸为所述显示组的显示组部分的尺寸;并且
确定所述多个显示组中每一显示组的代表性图像,以使得所述代表性图像具有的代表性图像尺寸不大于所述显示组的最大代表性图像尺寸。
42.根据权利要求25所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
提供与所述显示器相关联的用于接收用户输入的用户界面;
接收用户输入;
基于所述用户输入,从所述多个代表性图像中确定选取的代表性图像,所述选取的代表性图像是从所述多个显示组中选取的显示组的代表性图像,且所述选取的显示组包括数目多于图像门限值的图像,所述图像门限值是大于1的整数;
通过以下方式确定所述选取的显示组的多个显示分组:
确定所述选取的显示组的多个图像分组,其中所述选取的显示组中每幅图像被分配到所述多个图像分组中的至少一个分组,所述多个图像分组包括多个分组级别,每个分组级别包括多个互不相交的级别特有分组;
对于所述选取的显示组确定计算机设备显示器上分配的屏幕尺寸;
通过以下方式确定显示分组的门限值:在每幅代表性图像具有的图像尺寸不大于最大代表性图像尺寸的条件下,确认能够同时显示在所述分配的屏幕尺寸上的代表性图像的最大个数;
通过以下方式从所述多个分组级别中确认显示分组级别:确认包括不多于所述显示分组门限值的最大数目的级别特有分组的分组级别,其中所述选取的显示组中每幅图像被分配到该分组级别中的至少一个级别特有分组;
确认所述多个显示分组为所述显示分组级别中的多个级别特有分组;
通过以下方式确定所述多个显示分组的多个代表性图像:对于所述多个显示分组中每一个显示分组,确定代表该显示分组中所有图像的代表性图像,所述代表性图像的图像尺寸不大于所述代表性图像尺寸;并且
在所述显示器上同时显示所述多个显示分组的多个代表性图像。
43.根据权利要求23所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
通过给所述多幅图像中每幅图像指定访问级别,确定该图像的至少一个图像分配准则,所述访问级别代表对该图像的图像管理限制;并且
通过以下方式把每幅图像分配到所述多个图像组中的至少一组:分配该图像到具有与该图像的访问级别相对应的图像管理限制的至少一个组。
44.根据权利要求23所述的计算机程序产品,进一步包括指令,该指令用于将所述处理器配置为:
通过以下方式确定所述多幅图像中每幅图像的至少一个图像分配准则:
根据与该图像相关联的图像元数据确定至少一个元数据分配准则;并且
基于该图像的至少一个元数据分配准则,分配该图像到所述多个图像组中的一个特定组。
45.一种组编多幅图像的设备,所述设备包括:
处理器;
显示器;以及
存储着指令的非易失性设备存储器,所述指令用于将所述处理器配置为:
确定多个图像组,所述多个图像组通过以下方式定义:使用为每幅图像确定的至少一种图像分配准则把所述多幅图像中的每幅图像分配到所述多个图像组中的至少一组,用于每幅图像的图像分配准则包括至少一种图像特有分配准则,其中所述至少一种图像特有分配准则包括在该图像与所述多幅图像中的至少另一幅图像之间的相似性距离,该相似性距离度量该图像与所述至少另一幅图像的外观相似程度,所述多个图像组包括多个相似图像组,其中所述多幅图像通过以下方式被分成所述多个相似图像组:把所述多幅图像中的每幅图像基于该图像的至少一种图像特有分配准则分配到所述多个相似图像组中的一组;
确定多个显示组作为所述多个图像组的组子集;
确定多幅代表性图像,其中所述多个显示组中每一显示组具有一幅代表性图像,每一显示组的代表性图像代表所述显示组中的所有图像;并且
在所述显示器上同时显示所述多幅代表性图像。
CN201580047238.2A 2014-07-02 2015-07-02 基于内容分析的图像显示、可视化和管理 Active CN106687902B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462020152P 2014-07-02 2014-07-02
US62/020,152 2014-07-02
PCT/CA2015/050617 WO2016000079A1 (en) 2014-07-02 2015-07-02 Display, visualization, and management of images based on content analytics

Publications (2)

Publication Number Publication Date
CN106687902A true CN106687902A (zh) 2017-05-17
CN106687902B CN106687902B (zh) 2020-03-17

Family

ID=55017122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047238.2A Active CN106687902B (zh) 2014-07-02 2015-07-02 基于内容分析的图像显示、可视化和管理

Country Status (3)

Country Link
US (2) US10031928B2 (zh)
CN (1) CN106687902B (zh)
WO (1) WO2016000079A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977247A (zh) * 2019-03-27 2019-07-05 联想(北京)有限公司 图像处理方法和图像处理装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467279B2 (en) 2013-12-02 2019-11-05 Gopro, Inc. Selecting digital content for inclusion in media presentations
USD867390S1 (en) * 2014-01-03 2019-11-19 Oath Inc. Display screen with transitional graphical user interface for a content digest
CN106687902B (zh) * 2014-07-02 2020-03-17 百可德罗德公司 基于内容分析的图像显示、可视化和管理
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
JP6533713B2 (ja) * 2015-07-31 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10606884B1 (en) * 2015-12-17 2020-03-31 Amazon Technologies, Inc. Techniques for generating representative images
CN106648372A (zh) * 2016-12-29 2017-05-10 北京小米移动软件有限公司 图像管理方法及装置
JP6902108B2 (ja) 2017-03-23 2021-07-14 スノー コーポレーション ストーリー映像制作方法およびストーリー映像制作システム
JP7021544B2 (ja) * 2018-01-31 2022-02-17 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
CN110889057B (zh) * 2018-08-16 2023-04-28 阿里巴巴集团控股有限公司 业务数据可视化方法和业务对象可视化装置
JP7053422B2 (ja) * 2018-09-19 2022-04-12 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
US11507252B2 (en) * 2020-08-19 2022-11-22 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for monitoring objects for labelling
JP7692334B2 (ja) * 2021-11-08 2025-06-13 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US12488050B2 (en) 2023-10-20 2025-12-02 Dropbox, Inc. Using generative AI models for content searching and generation of confabulated search results

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074771A1 (en) * 2004-10-04 2006-04-06 Samsung Electronics Co., Ltd. Method and apparatus for category-based photo clustering in digital photo album
US7441186B2 (en) * 2004-01-23 2008-10-21 Microsoft Corporation System and method for automatically grouping items
CN101361052A (zh) * 2005-12-05 2009-02-04 微软公司 数字图像传送
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
US7711211B2 (en) * 2005-06-08 2010-05-04 Xerox Corporation Method for assembling a collection of digital images
US20110106734A1 (en) * 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
CN103488756A (zh) * 2013-09-25 2014-01-01 深圳市金立通信设备有限公司 一种图片分类的方法及终端
CN103559504A (zh) * 2013-11-04 2014-02-05 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
CN103703437A (zh) * 2012-03-06 2014-04-02 苹果公司 用于查看图像的应用

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289132B1 (en) * 2003-12-19 2007-10-30 Apple Inc. Method and apparatus for image acquisition, organization, manipulation, and publication
US20040001107A1 (en) * 2002-06-27 2004-01-01 Russon Virgil Kay Image management system and method
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US8233708B2 (en) * 2005-08-17 2012-07-31 Panasonic Corporation Video scene classification device and video scene classification method
JP4762731B2 (ja) 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
US8151204B2 (en) * 2006-11-29 2012-04-03 Siemens Medical Solutions Usa, Inc. Document viewing and management system
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
US8542950B2 (en) * 2009-06-02 2013-09-24 Yahoo! Inc. Finding iconic images
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
JP4998630B2 (ja) 2010-03-30 2012-08-15 株式会社ニコン 画像処理装置、および画像評価プログラム
US8774528B2 (en) 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
US9760803B2 (en) * 2013-05-15 2017-09-12 Google Inc. Associating classifications with images
CN106687902B (zh) * 2014-07-02 2020-03-17 百可德罗德公司 基于内容分析的图像显示、可视化和管理

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7441186B2 (en) * 2004-01-23 2008-10-21 Microsoft Corporation System and method for automatically grouping items
US20060074771A1 (en) * 2004-10-04 2006-04-06 Samsung Electronics Co., Ltd. Method and apparatus for category-based photo clustering in digital photo album
US7711211B2 (en) * 2005-06-08 2010-05-04 Xerox Corporation Method for assembling a collection of digital images
CN101361052A (zh) * 2005-12-05 2009-02-04 微软公司 数字图像传送
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
US20110106734A1 (en) * 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
CN103703437A (zh) * 2012-03-06 2014-04-02 苹果公司 用于查看图像的应用
CN103488756A (zh) * 2013-09-25 2014-01-01 深圳市金立通信设备有限公司 一种图片分类的方法及终端
CN103559504A (zh) * 2013-11-04 2014-02-05 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977247A (zh) * 2019-03-27 2019-07-05 联想(北京)有限公司 图像处理方法和图像处理装置

Also Published As

Publication number Publication date
US20180300327A1 (en) 2018-10-18
WO2016000079A1 (en) 2016-01-07
US10031928B2 (en) 2018-07-24
CN106687902B (zh) 2020-03-17
US20160004695A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
CN106687902B (zh) 基于内容分析的图像显示、可视化和管理
US10579187B2 (en) Display control apparatus, display control method and display control program
US10928972B2 (en) Hierarchical, zoomable presentations of media sets
JP6298522B2 (ja) 画像を閲覧するためのアプリケーション
US6990637B2 (en) Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US9942486B2 (en) Identifying dominant and non-dominant images in a burst mode capture
US9699351B2 (en) Displaying image thumbnails in re-used screen real estate
TWI540488B (zh) 內容觀看之藝廊應用程式
US7719548B2 (en) Viewing digital images using a floating controller
US20090307618A1 (en) Annotate at multiple levels
US20130067412A1 (en) Grouping selectable tiles
CN109844816A (zh) 用于显示代表性图像的系统和方法
US9141186B2 (en) Systems and methods for providing access to media content
US10901612B2 (en) Alternate video summarization
CN113273167B (zh) 数据处理设备、方法和存储介质
US20150277705A1 (en) Graphical user interface user input technique for choosing and combining digital images as video
US20130254661A1 (en) Systems and methods for providing access to media content
CN104951477B (zh) 用于过滤数据的方法和装置
US20180293455A1 (en) Methods and systems for managing images
WO2014081420A1 (en) Arbitrary dimensional user interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200326

Address after: Ontario, Canada

Co-patentee after: BICDROID Inc.

Patentee after: BICDROID Inc.

Address before: Ontario, Canada

Patentee before: BICDROID Inc.