[go: up one dir, main page]

CN119987601A - 一种识屏方法及电子设备 - Google Patents

一种识屏方法及电子设备 Download PDF

Info

Publication number
CN119987601A
CN119987601A CN202311821050.1A CN202311821050A CN119987601A CN 119987601 A CN119987601 A CN 119987601A CN 202311821050 A CN202311821050 A CN 202311821050A CN 119987601 A CN119987601 A CN 119987601A
Authority
CN
China
Prior art keywords
interface
entity
text
item
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311821050.1A
Other languages
English (en)
Inventor
丁一晏
黄丽薇
钱凯
徐超劲
韩佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to PCT/CN2024/112875 priority Critical patent/WO2025092139A1/zh
Publication of CN119987601A publication Critical patent/CN119987601A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

一种识屏方法及电子设备,涉及终端技术领域,可以基于用户界面中包括的物品实体标记相匹配的文本实体,从而为用户提供从用户界面中快速获取信息的标记,有利于提高人机交互效率。其中,方法包括:显示第一界面,第一界面中包括第一物品实体、第一文本实体和第二文本实体。响应于对第一界面的第一触发操作,为第一文本实体添加第一文本标记,不为第二文本实体添加标记。显示第二界面,第二界面中包括第二物品实体、第三文本实体和第四文本实体。响应于对第二界面的第二触发操作,为第三文本实体添加第二文本标记,不为第四文本实体添加标记。

Description

一种识屏方法及电子设备
本申请要求于2023年11月3日提交国家知识产权局、申请号为202311461131.5、发明名称为“一种智能识别的方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及终端技术领域,尤其涉及一种识屏方法及电子设备。
背景技术
在日常使用手机、平板等电子设备的过程中,可能需要手机识别用户界面中的内容,如识别用户界面中的商品、文本等。
现有技术中,虽然存在一些识别用户界面中的内容的方案,如通过光学字符识别(Optical Character Recognition,OCR)技术识别出用户界面中的文本,但是却不能很好的呈现识别结果,从而不能为用户高效的获取信息提供帮助。
发明内容
本申请提供一种识屏方法及电子设备,可以通过识别用户界面中的内容,基于识别结果推荐与界面匹配的功能,以便用户对用户界面中的内容执行相应的处理,提高人机交互效率。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请提供一种识屏方法,应用于电子设备。其中,显示第一界面,第一界面中包括第一物品实体、第一文本实体和第二文本实体。响应于对第一界面的第一触发操作,为第一文本实体添加第一文本标记,不为第二文本实体添加标记。显示第二界面,第二界面中包括第二物品实体、第三文本实体和第四文本实体。响应于对第二界面的第二触发操作,为第三文本实体添加第二文本标记,不为第四文本实体添加标记。
其中,第一物品实体和第二物品实体的实体类别不同,如第一物品实体为建筑,第二物品实体为动物。也就是说,第一界面和第二界面中包括不同实体类别的物品实体。第一文本实体和第四文本实体的实体类别相同,如都为电话号码,第二文本实体和第三文本实体的实体类别相同,如都为地址。第一文本实体和第二文本实体的实体类别不同。即,并不是所有实体类别的文本实体都会标记。并且,相同实体类别的文本实体,并未在第一界面和第二界面中都被标记。
综上所述,采用本申请,电子设备可以在具有某类(第一物品实体的实体类别)物品实体的界面中标记第一类别(第一文本实体、第四文本实体的实体类别)文本实体,但不标记第二类别(第二文本实体、第三文本实体的实体类别)文本实体;以及,电子设备可以在具有另一类(第二物品实体的实体类别)物品实体的界面中标记第二类别的文本实体,但不标记第一类别的文本实体。由此可见,电子设备可以基于用户界面中包括的物品实体标记相匹配的文本实体,从而为用户提供从用户界面中快速获取信息的标记,有利于提高人机交互效率。
在第一方面的一种可能的设计方式中,文本实体的实体类别包括以下至少两项:地址、电话、航班信息、快递单号、邮箱、网址链接、用于身份识别的证件号码和图形码。物品实体的实体类别包括以下至少两项:动物、植物、建筑和食品。
也就是说,电子设备可以标记出与用户界面中的动物、植物、建筑和食品相匹配的上述文本实体。
在第一方面的一种可能的设计方式中,第一文本标记指示第一文本实体的实体类别,如第一文本标记为实体类别的类别图标。例如,第一文本实体为电话号码,则第一标记可以为电话图标。
或者,第一文本实体关联多项服务。以第一文本实体为电话号码为例,电话号码可以关联打电话、添加到联系人等多种服务。第一文本标记可以指示多种服务中用户最感兴趣的第一服务,如第一文本标记为第一服务的服务图标。其中,电子设备可以将用户在第一类别的文本实体下选择次数最多的服务视为最感兴趣的第一服务,第一类别为第一文本实体的实体类别。这样,电子设备可以以用户感兴趣的服务对应的标记(如服务图标)来标记文本实体。
应理解,第二文本标记的具体内容也可以参照第一文本实体,此处不再赘述。
在第一方面的一种可能的设计方式中,在响应于对第一界面的第一触发操作,为第一文本实体添加第一文本标记之后,上述方法还包括:响应于对第一文本实体或者第一文本标记的第三触发操作,显示第三界面,第三界面中包括多个服务选项,多个服务选项与多项服务一一对应。在多个服务选项中,第一服务的服务选项显示在第一位。
也就是说,电子设备将用户最感兴趣的第一服务的选项排在多个服务选项的第一位,以便用户通过第一服务的选项使用第一服务。当然,对于其他未标记的第一类别的文本实体,电子设备也可以同样响应,即:将第一服务的服务选项显示在第一位。
应理解,响应于对第三文本实体或者第二文本标记的第三触发操作,电子设备的响应也同理,此处不再赘述。
在第一方面的一种可能的设计方式中,第一界面中还包括第五文本实体。上述方法还包括:响应于对第一界面的第一触发操作,且第五文本实体与第一文本实体的实体类别不相同,为第五文本实体添加第三文本标记。其中,如果第五文本实体与第一文本实体的实体类别相同,不为第五文本添加标记。
也就是说,对于相同实体类别的文本实体,电子设备则仅针对其中一个文本实体显示标记,避免同一实体类别的文本实体重复标记。
在第一方面的一种可能的设计方式中,第一界面中还包括第六文本实体。上述方法还包括:响应于对第一界面的第一触发操作,且第六文本实体的第四实体标记与第一文本标记不存在遮挡,为第六文本实体添加第四文本标记。其中,如果第四文本标记与第一文本标记存在遮挡,不为第六文本添加标记。
也就是说,只有在标记互不遮挡的情况下,电子设备才会显示全部的标记。
在第一方面的一种可能的设计方式中,第一界面中还包括第三物品实体。上述方法还包括:响应于对第一界面的第一触发操作,突出显示第一物品实体,在第一物品实体的周围显示第一快捷入口。响应于对第三物品实体的第四触发操作,突出显示第三物品实体,在第一物品实体的周围显示第二快捷入口。其中,突出显示的物品实体可以理解为焦点物品实体。
也就是说,响应于用户的触发操作,电子设备可以切换焦点物品实体,并显示焦点物品实体对应的快捷入口,以便用户获得焦点物品实体的信息。
在第一方面的一种可能的设计方式中,上述响应于对第一界面的第一触发操作,突出显示第一物品实体,在第一物品实体的周围显示第一快捷入口,包括:响应于对第一界面的第一触发操作,且第一物品实体满足第一条件,突出显示第一物品实体,在第一物品实体的周围显示第一快捷入口。
其中,第一条件包括以下至少一项:
条件1,第一物品实体的面积大于第三物品实体的面积。例如,第一物品实体的面积是第一界面中面积最大的物品实体。也就是说,电子设备可以优先将面积更大的物品实体作为焦点物品实体。
条件2,第一物品实体被遮挡的区域小于第三物品实体被遮挡的区域。可以理解的是,第一物品实体被遮挡的区域更小,则表明第一物品实体的完整度更高,显示的更全面。这样,电子设备可以优先将可以完整显示的物品实体作为焦点物品实体。
条件3,第一物品实体的边缘线的清晰度高于第三物品实体的边缘线的清晰度。其中,第一物品实体的边缘的清晰度越高,则电子设备可以更准确的抠出第一物品实体。也就是说,电子设备可以优先将抠图更准确的物品实体作为焦点物品实体。
至此,需要说明的是:上述条件1、条件2和条件3组合,即第一物品实体的面积大于第三物品实体的面积,第一物品实体被遮挡的区域小于第三物品实体被遮挡的区域,且第一物品实体的边缘线的清晰度高于第三物品实体的边缘线的清晰度,则表明第一物品实体的面积更大、完整度更高、边界更清晰。也就是说,电子设备可以优先将面积大且抠图更准确且完整的物品实体作为焦点物品实体。
在第一方面的一种可能的设计方式中,上述方法还包括:响应于对第一界面的第一触发操作,在第三物品实体上显示第一物品标记,如第一物品标记为圆圈图案。其中,第四触发操作包括对第一物品标记的触发操作。即,电子设备可以通过第一物品标记作为明确的触发点。
在第一方面的一种可能的设计方式中,在第一物品实体为焦点物品实体时,电子设备则标记第一文本实体。上述方法还包括:响应于对第三物品实体的第四触发操作,为第二文本实体添加第三文本标记。
也就是说,随着焦点物品实体的切换,电子设备标记的文本实体也会发生切换,如从第一文本实体切换为第二文本实体。如此,电子设备可以始终保证标记与当前的焦点物品实体相匹配的文本实体。
在第一方面的一种可能的设计方式中,上述方法还包括:响应于对突出显示的物品实体的移动操作,显示第四界面,第四界面中包括多个关联入口,每个关联入口对应一个应用或者一项服务,多个关联入口中包括第一关联入口,第一关联入口对应第一应用或者第二服务。也就是说,对于焦点物品实体,电子设备可以快捷的提供关联入口。响应于将突出显示的物品实体移动至第一关联入口,电子设备显示第五界面,第五界面是第一应用或者第二服务的界面,第五界面中包括突出显示的物品实体的关联信息。也就是说,用户仅需将焦点物品实体移动到第一关联,电子设备即可呈现第一应用或者第二服务中该焦点物品实体的关联信息。
这样,可以简化用户的操作,无需用户先从当前的用户界面,如第一界面,退出并进入到桌面,然后进入第一应用或者第二服务的界面,最后在第一应用或者第二服务的界面中搜索焦点物品实体,从而提高了人机交互的效率。
在第一方面的一种可能的设计方式中,上述响应于对突出显示的物品实体的移动操作,显示第四界面,包括:响应于对突出显示的物品实体的移动操作,移动突出显示的物品实体在第一界面中的位置。响应于突出显示的物品实体的位置移动至第一界面中的目标区域,显示第四界面。
也就是说,在焦点物品实体移动到目标区域后,电子设备才确定有提供关联入口的需求,从而可以提高提供关联入口的时机的准确性。
在第一方面的一种可能的设计方式中,突出显示的物品实体为第一物品实体,多个关联入口包括第二关联入口。突出显示的物品实体为第三物品实体,多个关联入口包括第三关联入口。其中,第二关联入口与第三关联入口不同。
也就是说,焦点物品实体不同,电子设备提供的关联入口可以不同,以提高提供的关联入口的针对性。
在第一方面的一种可能的设计方式中,第一界面为相机的取景界面,第一触发操作包括拍摄操作。也就是说,通过拍摄操作则可以触发电子设备识别并标记界面中的文本实体。
在第一方面的一种可能的设计方式中,在响应于对第一界面的第一触发操作,为第一文本实体添加第一文本标记之前,上述方法还包括:在第一界面满足第二条件的情况下,在第一界面中显示识别控件。其中,第二条件包括:第一界面为非空白界面、第一界面中包括文本实体和/或物品实体,第一触发操作包括对识别控件的触发操作。也就是说,在第一界面中包括文本、物品等有用的信息的情况下,电子设备则会主动推送识别控件,用于识别并标记第一界面中的文本实体。这样,电子设备可以实现智能推送识别并标记文本实体的功能(如下文中的智能识别功能)。
在第一方面的一种可能的设计方式中,在第一界面满足第二条件的情况下,在第一界面中显示识别控件,包括:在第一界面满足第二条件的情况下,响应于用户对第一界面的第五触发操作(如双指按压操作),在第一界面中显示识别控件。其中,用户对第一界面执行第五操作,则表明用户想要识别并标记文本实体。
也就是说,电子设备可以在第一界面中包括文本、物品等有用的信息,且用户想要识别并标记文本实体的情况下,才推送识别并标记文本实体的功能,以准确满足用户的需求。
在第一方面的一种可能的设计方式中,上述方法还包括:
响应于用户对第一界面的第五触发操作,第五触发操作用于触发电子设备分析第一界面的内容以确定第一界面所需推荐的功能,几种典型的内容及其相匹配的功能如下所示:
在第一界面中外文数量超过第一数量的情况下,在第一界面中显示翻译控件;其中,在第一界面中外文数量未超过第一数量的情况下,不显示翻译控件,翻译控件用于触发电子设备翻译第一界面中的外文。这样,电子设备可以针对外文多的界面,推荐翻译功能,以便对界面中外文翻译。
在第一界面中包括隐私信息的情况下,在第一界面中显示隐私保护控件;其中,在第一界面中不包括隐私信息的情况下,不显示隐私保护控件,隐私保护控件用于触发电子设备遮挡第一界面中的隐私信息。这样,电子设备可以针对包括隐私的界面,推荐隐私保护功能,以保护界面中的隐私信息。
在第一界面中包括文本、但不包括实体的情况下,在第一界面中显示选择控件;其中,在第一界面中不包括文本、或者包括实体的情况下,不显示选择控件,选择控件用于触发电子设备选中第一界面中的文本。这样,电子设备可以针对包括普通文本的界面,推荐文本选中功能,以便针对界面中的文本执行复制、剪切等操作。
上述所有关于第一方面的可能设计方式中的说明中,主要以第一界面进行了说明。可以理解的是,在各种可能的设计方式中,第二方面的具体实现与第一界面类似,本文对此不多赘述。
第二方面,本申请还提供一种电子设备,电子设备包括显示屏、存储器和一个或多个处理器。显示屏、存储器和处理器耦合。存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行第一方面及其任一种可能的设计中的方法。
第三方面,本申请提供一种芯片系统,该芯片系统应用于包括显示屏和存储器的电子设备;芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,电子设备执行如第一方面及其任一种可能的设计方式的方法。
第四方面,本申请提供一种计算机存储介质,该计算机存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式的方法。
第五方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面及其任一种可能的设计方式的方法。
可以理解地,上述提供的第二方面的电子设备,第三方面的芯片系统,第四方面的计算机存储介质,第五方面的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构图;
图2为本申请实施例提供的手机界面图之一;
图3为本申请实施例提供的手机界面图之二;
图4为本申请实施例提供的手机界面图之三;
图5为本申请实施例提供的手机界面图之四;
图6为本申请实施例提供的手机界面图之五;
图7为本申请实施例提供的手机界面图之六;
图8为本申请实施例提供的手机界面图之七;
图9A为本申请实施例提供的手机界面图之八;
图9B为本申请实施例提供的手机界面图之九;
图10为本申请实施例提供的手机界面图之十;
图11为本申请实施例提供的手机界面图之十一;
图12为本申请实施例提供的手机界面图之十二;
图13A-图13B为本申请实施例提供的手机界面图之十三;
图14为本申请实施例提供的手机界面图之十四;
图15为本申请实施例提供的手机界面图之十五;
图16为本申请实施例提供的手机界面图之十六;
图17为本申请实施例提供的手机界面图之十七;
图18为本申请实施例提供的手机界面图之十八。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供的识屏方法,电子设备可以识别用户界面中的内容,如文本、物品、图形码(包括条形码、二维码等),并基于识别结果标记用户界面中的部分内容,从而为用户提供从用户界面中快速获取信息的标记,有利于提高人机交互效率。
以用户界面中显示的是一张图片为例,电子设备可以识别出图片中包括的文本、物品和图形码,并基于识别到的物品,标记图片中的部分文本和图形码,如标记出与物品的关联性大的文本和图形码。
示例性的,上述电子设备可以是手机、平板、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等具有摄像头的设备。本申请实施例对电子设备的具体形态不作特殊限制。
参见图1,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(app lication processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-networ k processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,电子设备可以通过处理器110完成识别方法,得到识别结果。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。在一些实施例中,电子设备可以通过显示屏194显示识别结果。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。在一些实施例中,电子设备可以通过摄像头193采集图像,以用于识别。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键190可以包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机可以接收按键输入,产生与手机的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机的接触和分离。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例对此不作具体限定。
本申请实施例提供的识屏方法可以在上述电子设备中完成。下面以电子设备是手机为例,说明本申请实施例提供的识屏方法。
手机中提供有专门用于识别用户界面中的内容的应用程序(Application,APP),本文中称为智慧视觉APP,智慧视觉APP可以是系统级的APP。其中,用户界面包括各个应用的应用界面,如锁屏界面、桌面、图库界面、聊天界面、视频播放界面等。
特别的,应用界面还包括相机应用的取景界面。也就是说,智慧视觉APP还可以用于取景内容识别。
手机可以通过多种方式开启智慧视觉APP,如下方式一-方式四所示。
方式一:手机界面提供智慧视觉APP的开启入口。
手机中提供有智慧视觉APP的开启入口。响应于对开启入口的触发操作,如点击操作,手机可以开启智慧视觉APP以用于识别。本申请实施例对开启入口的形态与位置不作具体限定。本文中仅列举如下图2所示的几种位置示例:
示例一,开启入口位于锁屏界面。
在手机的锁屏界面,响应于用户从锁屏界面底部向上的上拉操作,手机可以在锁屏界面中显示手机提供的多种功能的入口。例如,响应于上拉操作,手机可以显示图2所示的锁屏界面201。锁屏界面201中包括录音机、计算器、指南针等快捷功能的入口。除此之外,锁屏界面201中还包括智慧视觉APP的开启入口200。
示例二,开启入口位于下拉控制中心。
在手机亮屏的情况下,响应于用户从显示屏顶部向下的下拉操作,手机可以显示图2所示的下拉控制中心界面202。下拉控制中心界面202中也包括手机提供的多种快捷功能的入口,其中包括智慧视觉APP的开启入口200。
示例三,开启入口位于全局搜索界面。
在手机显示桌面(包括主屏、负一屏)的情况下,响应于用户从桌面的中间区域向下的下滑操作,手机可以显示图2所示的全局搜索界面203。全局搜索界面203可用于在手机中搜索信息。例如,全局搜索界面203中包括搜索框2031,响应于用户在搜索框中输入搜索文本的操作,手机可以在手机中搜索包括所搜文本的信息,如聊天、文件、短信、应用等。搜搜框2031中包括智慧视觉APP的开启入口200。
示例四,开启入口位于负一屏。
手机可以显示图2所示的负一屏204,负一屏204中包括搜索框2041,搜索框2041中包括智慧视觉APP的开启入口200。
示例五,开启入口位于相机应用的应用界面。
在手机开启相机应用后,手机可以显示图2所示相机应用的应用界面205。应用界面205中包括智慧视觉APP的开启入口200。
方式二:响应于语音唤醒,手机开启智慧视觉APP。
用户也可以通过语音唤醒的方式,触发手机开启智慧视觉APP。具体的,在手机的语音助手被唤醒之后,响应于用户输入开启智慧视觉APP的语音,手机可以开启智慧视觉APP以用于识别。
以开启智慧觉APP的语音为“使用智慧视觉”为例,在用户输入语音“使用智慧视觉”之后,手机可以识别出“使用智慧视觉”并显示图3所示的界面301,界面301中包括语音结果“使用智慧视觉”3011。后续,手机则可以开启智慧视觉APP。
在通过上述方式一或者方式二触发开启智慧视觉APP之后,手机可以显示智慧视觉APP的应用界面。例如,手机可以显示图4所示的界面401,界面401为智慧视觉APP的应用界面。界面401中包括取景区域4010,用于显示摄像头的取景画面。
进一步的,智慧视觉APP中提供有多种识别功能。示例性的,图4所示界面401中包括多种识别功能的功能选项,如“文字提取”选项4011、“智能识别”选项4012、“扫码”选项4013(通常为默认选中的选项)、“抠图”选项4014。响应于用户从功能选项区域4015(图中虚线框所示,实际中虚线框并不存在)从右向左的滑动操作,还可以在界面401中呈现“翻译”选项4016、“扫描文件”选项4017、“扫描卡证”选项4018、“试卷/作业”选项4019等。
响应于用户对任一功能选项的选择操作,电子设备可以切换到对应的识别功能,以实现识别。示例性的,响应于用户对图4所示界面401中“智能识别”选项4012的点击操作,手机可以从默认选中的扫码功能切换到智能识别功能,如显示图4所示的界面402,界面402中当前选中的是“智能识别”4012。
文字提取功能用于识别并提取用户界面中的文本,还可用于标记文本实体。其中,文本实体包括:用于身份识别的证件号码(如身份证号码、护照号码等)、地址、电话号码、航班信息、快递单号、邮箱、链接等。例如,当识别出图片中有电话号码时,则为电话号码加上电话标记。
智能识别功能:一方面,智能识别功能可以集成上述文字提取功能;另一方面,智能识别功能还可用于识别用户界面中的物品并标记其中的物品实体。其中,物品实体包括:动物、植物、建筑、食品等。例如,当识别出图片中有动物时,则在对应区域加上动物标记。也就是说,智能识别功能可以实现对文本的识别与标记,以及对物品的识别、抠图与标注。
另外,智能识别功能还可以识别并标记图形码。图形码包括条形码、二维码等。
翻译功能可用于识别用户界面中的文本而后翻译。
在通过上述方式一或者方式二触发开启智慧视觉APP之后,采用相应的识别功能识别的对象包括:相应的识别功能下拍摄得到的图片,或者从图库中选择的图片,本申请实施例对此不作具体限定。
示例性的,响应于用户对图4所示界面402中拍摄按钮4020的点击操作(也可以称为第一触发操作或者第二触发操作),手机可以拍摄图片并对拍摄的图片采用当前选中的识别功能(即智能识别功能)识别,得到识别结果。
又示例性的,响应于用户对界面402中图库入口4021的点击操作,手机可以提供图库中的图片供用户选择,如显示图4所示的界面403,界面403中包括图库中多张图片的缩略图,响应于用户对任一缩略图,如缩略图4031的选择操作,手机可以采用当前选中的识别功能,对选择的缩略图对应的图片识别,得到识别结果。
以及,在通过上述方式一或者方式二触发开启智慧视觉APP之后,采用相应的识别功能识别的对象还包括:相应的识别功能下,手机取景的、但暂未拍摄的内容,即取景界面的内容。例如,识别的对象可以是图4所示取景界面402中显示的取景画面4022对应的内容。这种情况下,手机通过增强现实(Augmented Reality,AR)识别技术,可以识别取景界面的内容,得到识别结果。
方式三:在启动图库应用或者显示图库应用中的图片后,手机自动启动智慧视觉APP。
手机也可以在启动图库应用或者显示图库应用中的图片后,自动启动智慧视觉APP对图库应用中的图片解析,并基于解析结果推荐智慧视觉APP中的智能识别功能。
在一些实施例中,在启动图库应用后,手机可以启动智慧视觉APP,采用智慧视觉APP解析图库中的图片,确定出目标图片。其中,目标图片可以包括以下至少一种图片:非空白图片、有物品的图片、有文本的图片和有图形码的图片。也就是说,目标图片中通常具有文本、物品、图形码等有用的信息。不是目标图片的图片中不包括上述有用的信息。
响应于用户对目标图片的查看操作,如对目标图片对应的缩略图的点击操作,手机可以显示目标图片,并提供智能识别功能的入口。智能识别功能的入口可用于触发手机识别目标图片中的文本、物品、图形码等内容并标记。这样,响应于查看操作,手机可以快速的推荐智能识别功能,为用户提供识别图片中的内容并标记的入口。
示例性的,在启动图库应用后,手机可以显示图5所示的界面501,界面501是图库应用的应用界面。界面501中包括图库中多张图片的缩略图,如缩略图5011。以目标图片是缩略图5011对应的图片为例,响应于用户对缩略图5011的点击操作,手机可以显示图5所示的界面502。界面502中包括缩略图5011对应的图片5021,还包括“智慧视觉”5022,“智慧视觉”5022是智能识别功能的入口。即,手机识别出图片5021为目标图片。
在每次启动图库之后,手机可以仅解析两次启动图库之间、手机中新增的图片,而其它图片则可以参照历史的识别结果。这样,在每次启动图库之后,手机可以仅解析少量的图片,从而减少手机的功耗。
在另一些实施例中,在接收到用户对图库应用中图片的查看操作后,手机可以启动智慧视觉APP,采用智慧视觉APP解析当前查看的图片,确定是否为目标图片。这样,手机可以仅解析当前查看的图片,从而减少每次解析的功耗。
当然,上述方式三中触发手机自动启动智慧视觉APP的时机也仅为几种典型的情况,实际并不以此为限。示例性的,手机也可以在充电时或者预设时间(如凌晨)自动启动智慧视觉APP解析图库中的图片,确定出目标图标。在此基础上,在启动图库应用后,手机可以启动智慧视觉APP解析没有解析过的图片,即上一次解析举例本次启动图库应用之间新增的图片;或者,在此基础上,手机仅在接收到用户对图库应用中没有解析过的图片的查看操作后,才启动智慧视觉APP解析当前查看的图片。
如果当前查看的图片为目标图片,手机可以提供智能识别功能的入口。如果当前查看的图片不是目标图片,手机则不提供智能识别功能的入口。以图5所示界面501中的缩略图5012为第二缩略图为例,响应于对缩略图5012的点击操作,手机可以显示图5所示的界面504。界面504中包括缩略图5012对应的图片5041。但界面504中不包括智能识别功能的入口。即,界面504为第四界面。
在采用上述方式三自动启动智慧视觉APP并提供智能识别功能的入口之后,如果智能识别功能的入口的显示时长达到时长1,手机可以将智能识别功能的入口收起至用户界面的边缘,从而避免影响用户查看图片。以时长1是5s为例,在图5所示界面502中“智慧视觉”5022的显示时长达到5s之后,手机可以显示图5所示的界面503。界面503中同样也包括“智慧视觉”5022。但是,与界面502不同的是:界面503中的“智慧视觉”5022显示在界面503的边缘位置。需要说明的是,收起后的智能识别功能的入口,与展开的智能识别功能的入口的作用相同,都可以触发手机采用智能识别功能对目标图片进行识别,此处不再赘述。
进一步的,在启动图库进程至关闭图库进程的一次使用过程中,在接收到用户对推荐的智能识别功能的入口的触发操作之后,即使再次响应于用户对目标图片的查看操作,手机也可以不再显示展开的智能识别功能的入口,而直接显示收起后的智能识别功能的入口。
在采用上述方式三自动启动智慧视觉APP并提供智能识别功能的入口之后,响应于用户对智能识别功能的入口的触发操作(可以称为第一触发操作或者第二触发操作),如点击操作,手机可以采用智能识别功能对目标图片进行识别,得到识别结果。示例性的,响应于用户对图5所示界面502中“智慧视觉”5022的点击操作,手机可以采用智慧视觉APP提供的智能识别功能,对图片5021进行识别,得到识别结果。
方式四:响应于用户的操作1(也可以称为第五触发操作),手机启动智慧视觉APP。
手机也可以在接收到用户在当前界面(可以称为第一界面或者第二界面)的操作1之后,启动智慧视觉APP解析当前界面的内容,基于解析结果推荐处理功能。也就是说,在方式四中,可以由操作1触发手机启动智慧视觉APP解析出相应的需求并推荐。
其中,操作1可以是长按操作、滑动操作、双指按压操作等。本申请实施例对此也不做具体限定。下文主要以操作1是双指按压操作为例来说明。
其中,当前界面可以是手机使用过程中显示的任一用户界面。例如,当前界面可以是社交应用(如聊天类应用、生活分享类应用等)的应用界面、图片的查看界面等。本申请实施例对此不做具体限定。也就是说,在方式四中,手机不仅可以针对图库应用中的图片智能的推荐处理功能,也可以针对其他界面推荐处理功能。
至此,需要说明的是:当前界面是图片的查看界面,手机则可以直接将图片作为当前界面的内容用于智慧视觉APP解析。然而,如果当前界面不是图片的查看界面,手机通常难以直接获取到当前界面的内容。基于此,在一种具体的实现方式中,响应于用户在当前界面的操作双指按压操作,手机可以对当前界面截屏并启动智慧视觉APP解析截屏图片。即,手机可以通过截屏的方式获得当前界面的内容用户智慧视觉APP解析。相应的,智慧视觉APP解析截屏图片,则相当于解析当前界面的内容。
在另一种具体的实现方式中,响应于用户在当前界面的双指按压操作,且在当前界面是图片的查看界面的情况下,手机可以启动智慧视觉APP解析当前查看的图片。响应于用户在当前界面的双指按压操作,且在当前界面不是图片的查看界面的情况下,手机可以对当前界面截屏并启动智慧视觉APP解析截屏图片。这样,手机可以有针对性的截屏以供智慧视觉APP解析。
下文中,主要以响应于对当前界面的双指按压操作,手机则对当前界面截屏并启动智慧视觉APP解析截屏图片为例说明,本申请下述内容也可以是采用方式一至方式三启动智慧视觉APP后,解析图片或者界面内容后的技术方案。
其中,处理功能可以是智慧视觉APP提供的识别功能,如翻译功能、智能识别功能、文字提取功能。或者,处理功能也可以是其他功能,如隐私保护功能。隐私保护功能用于识别隐私信息并遮挡,以实现对隐私信息的保护。
在一些实施例中,在采用智慧视觉APP解析出当前界面中的外文数量达到数量阈值(也可以称为第一数量)后,手机可以提供翻译功能的入口(也可以称为翻译控件)。这样,手机可以针对有翻译需求的场景推荐智慧视觉APP中的翻译功能。
其中,数量阈值可以是固定的数量,或者是当前界面包括的文本数量(即界面中全是外文),或者是当前界面包括的文本数量的固定比例(如90%、80%等)的数量。本申请实施例对此不作具体限定。
以数量阈值是当前界面包括的文本数量为例,手机可以显示图6所示的界面601,界面601中全部是英文。响应于用户对界面601的双指按压操作,手机可以对界面601截屏并启动智慧视觉APP解析截屏图片,在解析出截屏图片中包括的文本全是外文(与系统设置的语言不同)后,手机可以显示图6所示的界面602。与界面601中不同的是:界面602中包括“翻译”6021。“翻译”6021是翻译功能的入口。
相反,如果采用智慧视觉APP解析出当前界面中的外文数量未达到数量阈值,手机则不会提供翻译功能的入口。也就是说,并不是针对每个界面执行双指按压的操作,手机都会推荐翻译功能,而是会基于外文数量动态的推荐。
在另一些实施例中,在采用智慧视觉APP解析出当前界面包括隐私信息后,手机可以提供隐私保护功能的入口(也可以称为隐私保护控件)。这样,手机可以针对有隐私保护需求的场景推荐隐私保护功能。
其中,隐私信息包括地址、电话、邮箱、用于身份识别的证件号码/图片等。
示例性的,手机可以显示图7所示的界面701,界面701是聊天应用的应用界面。响应于用户对界面701的双指按压操作,手机可以对界面701截屏并启动智慧视觉APP解析截屏图片,在解析出截屏图片中包括地址、邮箱等隐私信息后,手机可以显示图7所示的界面702。与界面701中不同的是:界面702中包括“隐私打码”7021。“隐私打码”7021是隐私保护功能的入口。
相反,如果采用智慧视觉APP解析出当前界面不包括隐私信息,手机则不会提供隐私保护功能的入口。也就是说,并不是针对每个界面执行双指按压的操作,手机都会推荐隐私保护功能,而是会基于当前界面是否包括隐私信息动态的推荐。
在另一些实施例中,在采用智慧视觉APP解析出当前界面包括文本,但是不包括实体(包括文本实体和物品实体)后,手机可以提供选择功能的入口(也可以称为选择控件)。应注意,在提取文本之后,手机才能选择文本,因此,选择功能可以理解为前述文字提取功能的子功能。
可以理解的是:如果当前界面中没有实体,则表明用户没有针对实体执行操作的需求,手机可以直接提供选择功能的入口。这样,手机可以快捷的对当前界面中的文本执行选中操作,以便后续进一步复制、剪切或者分享文本。
示例性的,手机可以显示图8所示的界面801,界面801中包括图片8011。图片8011中包括文本,但是不包括实体。响应于用户对界面801的双指按压操作,手机可以对界面801截屏并启动智慧视觉APP解析截屏图片,在解析出截屏图片中包括文本、但不包括实体后,手机可以显示图8所示的界面802。与界面801中不同的是:界面802中包括“选中全部”8021。“选中全部”8021是选择功能的入口。
相反,如果采用智慧视觉APP解析出当前界面不包括文本,或者包括文本、且包括实体,手机则不会提供选择功能的入口。也就是说,并不是针对每个界面执行双指按压的操作,手机都会推荐选择功能,而是会基于当前界面中是否包括文本和/或实体动态的推荐。
上述推荐选择功能的方案,尤其适用于一些无法执行复制操作的界面,如上述界面801,或者一些限制用户复制的应用界面等,使得用户可以在这些界面中,完成对文本的操作。
由此可见,采用方式四,针对不同的界面,同样都是响应用户对界面的双指按压操作,手机可以采用智慧视觉APP解析用户界面并推荐不同的识别功能。示例性的,当前界面为界面2,响应于用户对界面2的双指按压操作,手机可以推荐处理功能1;当前界面为界面3,响应于用户对界面3的双指按压操作,手机可以推荐处理功能2。其中,处理功能1和处理功能2是不同的处理功能。
进一步的,同一界面可能满足不同处理功能的推荐条件,如同时满足翻译功能和选择功能的推荐条件。针对这种情况,手机可以同时推荐所有满足条件的处理功能;或者,手机中可以配置不同(类型)界面与处理功能的匹配顺序,手机可以仅推荐一种与当前界面的匹配度最高的处理功能。本申请实施例对此不作具体限定。
示例性的,针对不允许长按复制的用户界面,手机中可以配置选择功能的匹配度最高,以便在该用户界面对文本操作;针对聊天应用的应用界面,手机中可以配置隐私保护功能的匹配度最高,以便对聊天内容中涉及的隐私信息打码后发送;以及,针对外文网站,手机中可以配置翻译功能的匹配度最高,以便对外文翻译。
在采用前述方式四自动启动智慧视觉APP并提供相应的处理功能的入口之后,响应于用户对处理功能的入口的触发操作(可以称为第一触发操作或者第二触发操作),如点击操作,手机可以采用推荐的处理功能对当前界面处理。
至此,需要说明的是:上述方式三和方式四中触发启动智慧视觉APP的条件也可以互换。即,方式三中启动图库或者接收到对图库中图片的查看操作,可以与方式四中双指按压操作互换。示例性的,响应于启动图库或者接收到对图库中图片的查看操作,手机可以启动智慧视觉APP解析是否满足上述方式四中推荐各种处理功能的条件,如果满足,则推荐相应的处理功能。又示例性的,响应于双指按压操作,手机可以启动智慧视觉APP并解析是否满足上述方式三中推荐智能识别功能的条件,如果满足,则推荐智能识别功能。
在经过前述方式一-方式四之后,手机则可以采用相应的功能(如方式一、方式二中选择的智慧视觉APP提供的各种识别功能,或者方式三中推荐的智慧视觉APP提供的智能识别功能,方式四中推荐的各种处理功能)执行处理。
需要在此说明的是,手机在采用相应的功能执行处理时,需要识别当前界面中的文本、物品、图形码等,并标记、选择、翻译等各种操作,这就使得会改变当前界面中的信息。基于此,在一种具体的实现方式中,响应于用户触发采用相应的功能执行处理的操作,如方式一和方式二中对拍摄按钮4020的点击操作、对缩略图4031的选择操作,方式三中对“智慧视觉”5022的点击操作,方式四中对推荐的各种处理功能的入口的触发操作,手机可以先对当前界面截屏并显示截屏图片,并识别截屏图片,然后执行标记、选择、翻译等各种操作。这样,手机可以在截图图片上执行操作,不会对当前界面造成影响。需要说明的是,对于在图库中浏览大图,并对图片内容进行识别和处理的过程中,手机可以不进行截屏处理。
下面针对智能识别功能、文字提取功能、翻译功能和隐私保护功能分别说明。应注意,在下文中,对响应于用户触发采用相应的功能执行处理的操作,手机先截屏并在截屏图片上执行操作的过程不再一一赘述。
第一,智能识别功能。
手机采用智能识别功能,可以识别并标记物品实体。
以通过前述方式一触发采用智能识别功能执行处理为例,在选择智能识别功能的功能选项之后,手机可以显示图9A所示的界面901。响应于用户对界面901中拍摄按钮9011的点击操作,手机可以显示图9A所示的界面902,界面902为识别结果页(也可以称为第一界面),在本申请的实施例中,手机响应于用户在智能识别功能对应的界面901中点击拍摄按钮的操作,可以进行拍照,但不保存拍照的结果,界面902显示的内容是缓存的拍摄结果,如果用户点击界面902中的返回控件,并且不保存拍照的结果,那么,手机不会存储拍照的结果;或者,用户继续对界面902的内容进行编辑并选择保存,手机也可以保存对应的结果。界面902中使用圆圈、动物图标等标识标记了各种物品实体。例如,狗9021用动物图标90211标记,建筑9022用圆圈90221标记,植物9023用圆圈90231标记。
在识别结果中,手机可以将面积最大和/或识别最准确的物品实体作为焦点物品实体高亮显示(本文中以加粗的线条表示高亮的效果,实际并不以此为限),并且用类别图标标记焦点物品实体。例如,界面902中狗9021的识别结果最准确,因此,在界面902中,狗9021是高亮显示的;并且,狗9021的左上角标记有动物图标90211,明确指示当前的焦点物品实体为动物,即动物图标90211为类别图标。
而识别结果中的其他物品实体不会高亮显示,并且都是用通用符号标记。例如,界面902中的建筑9022和植物9023都没有高亮显示,且都是用圆圈标记的,圆圈90221标记建筑9022,圆圈90231标记植物9023。
在显示识别结果后,响应于切换焦点的操作(可以称为第四触发操作),手机可以切换焦点物品实体。即,将焦点从当前的焦点物品实体(可以称为第一物品实体)切换为另一个物品实体(可以称为第三物品实体)。同样,切换后的焦点物品实体高亮显示,并且用类别图标标记切换后的焦点物品实体。
在一些实施例中,切换焦点的操作可以是对当前的焦点物品实体之外的目标物品实体对应的标记(如第三物品实体的第一物品标记)的触发操作,如点击操作。
以当前的焦点物品实体是图9A所示界面902中的狗9021,目标物品实体是图9A所示界面902中的建筑9022为例,响应于用户对界面902中圆圈90221的点击操作,手机可以显示图9A所示的界面903。与界面902中不同的是:界面903中高亮显示的是建筑9022,且建筑9022的左上角标记有建筑图标9031,明确指示切换后的焦点物品实体为建筑,即建筑图标9031为类别图标;同时,在界面903中,狗9021不再高亮显示,且同样使用圆圈,如圆圈9032标记狗9021。即,焦点物品实体从狗9021切换为建筑9022。
在另一些实施例中,切换焦点的操作包括对当前的焦点物品实体之外的目标物品实体对应的标记的点击操作,以及对当前的焦点物品实体的点击操作。
以当前的焦点物品实体是图9B所示界面902中的狗9021,目标物品实体是图9B所示界面902中的建筑9022为例,响应于用户对界面902中圆圈90221的点击操作,手机可以显示图9B所示的界面905。与界面902中不同的是:界面905中高亮显示的不仅有狗9021,还有建筑9022。后续,响应于用户对界面905中狗9021的点击操作,手机可以显示图9B所示的界面903。与界面905不同的是:界面903中不再高亮显示狗9021,而仅高亮显示建筑9022。这样,也可以实现将焦点从狗9021切换到建筑9022。
进一步的,本实施例中,响应于用户对图9B所示界面903中建筑9022的点击操作,手机可以显示图9B所示的界面906,即进一步取消建筑9022的高亮显示。也就是说,响应于用户对焦点物品实体的点击操作,则可以取消焦点物品实体的高亮显示,即将焦点物品实体切换为非焦点。
响应于用户对焦点物品实体的类别图标的触发操作,如点击操作,手机可以显示焦点物品实体的介绍信息,以辅助用户了解焦点物品实体。示例性的,响应于用户对图9A所示界面903中建筑图标9031的点击操作,手机可以显示图9A所示的界面904。与界面903不同的是:界面904中包括弹窗9041,弹窗9041中包括建筑9022的介绍信息。
手机还可以在焦点物品实体的周围显示快捷入口,以实现对焦点物品实体的快捷操作。为了便于说明,可以将第一物品实体的快捷入口称为第一快捷入口,将第三物品实体的快捷入口称为第二快捷入口。
其中,快捷入口可以是固定的,如搜索入口、购买入口、复制入口、保存入口、分享入口等。
或者,对应不同的焦点物品实体,快捷入口可以是不同的。例如,对于建筑,手机可以提供搜索入口;对于商品,手机可以提供购买入口、比价入口。这样,手机可以实现有针对性的提供快捷入口,以精准满足用户的需求。
以焦点物品实体是图9A所示界面903中的建筑9022为例,建筑9022的下边缘处显示有如下快捷入口:“搜索”9033、“保存”9034和“分享”9035。
响应于用户对快捷入口的触发操作,如点击操作,手机可以针对焦点物品实体完成相应的快捷操作。其中,响应于用户对搜索入口的点击操作,手机可以在网络中搜索焦点物品实体相关的信息并显示。示例性的,响应于用户对界面903中“搜索”9033的点击操作,手机可以搜索建筑9022的相关信息,例如,在搜索完成后,手机可以显示图9A所示的界面904。界面904的弹窗9041中的介绍信息即是搜索得到的。
进一步的,响应于用户对焦点物品实体的移动操作,如长按后拖动的操作,手机可以移动焦点物品实体的显示位置。应注意,在移动焦点物品实体的显示位置之后,手机依然可以在焦点物品实体的初始位置显示焦点物品实体。当然,手机也可以不在初始位置显示焦点物品实体,本申请实施例对此不作具体限定。
以焦点物品实体是图9A所示界面902中狗9021为例,响应于用户对狗9021的长按后拖动的操作,手机可以显示图10所示的界面1001。与界面902不同的是:界面1001中狗9021的位置发生了变化。
响应于焦点物品实体移动后的显示位置达到用户界面中的目标区域,手机显示多个关联应用/功能/服务的快捷图标(也可以称为关联入口),以便于针对焦点物品实体快捷的执行关联应用/功能相关的处理。为了便于说明,可以将显示快捷图标的界面称为第四界面。下文主要以关联应用为例说明,相应的,快捷图标则是应用图标。
其中,目标区域可以是用户界面的边缘区域,如左边缘或者右边缘。
其中,关联应用可以为固定的,如聊天应用、搜索应用、购物应用、比价应用、分享应用、收藏应用、打印应用、菜谱应用、萌宠应用等。或者,对应不同的焦点物品实体,关联应用可以不完全相同,即可以包括不同的快捷图标。示例性的,对于商品,关联应用可以包括购买应用、比价应用;对于食物,关联应用可以包括菜谱应用;对于动物,关联应用可以包括萌宠应用。关联的功能或者服务也可以采用相似的方式显示,不再赘述。
继续参见图10,随着用户继续对界面1001中狗9021的移动操作,狗9021可以被移动到图10所示界面1002中的区域10021(图中用虚线框示意,实际中虚线框并不存在)内,区域10021为目标区域。界面1002中还包括收藏应用的快捷图标10022、搜索应用的快捷图标10023、萌宠应用的快捷图标10024、分享服务的快捷图标10025、聊天应用的快捷图标10026等关联应用的快捷图标。
在一种具体的实现方式中,手机在移动焦点物品实体的显示位置的过程中,还可以显示动效。例如,手机可以显示从图10所示界面1001中图片占据整个用户界面,到界面1002中图片形成“一扇门”的动效。
在一种具体的实现方式中,焦点物品实体被移动到目标区域内之后,手机可以将焦点物品实体缩小。例如,界面1002的狗9021远比界面1001中的狗9021要小。
在显示关联应用的快捷图标之后,响应于焦点物品实体被移动至目标快捷图标(也可以称为第一关联入口)的位置,手机可以显示目标关联应用(也可以称为第一应用)的界面1(也可以称为第五界面),目标关联应用为多个关联应用中与目标快捷图标对应的关联应用,界面1中包括焦点物品实体的信息。
以目标快捷图标是图10所示界面1002中的快捷图标10024为例,即目标关联应用为萌宠应用,界面1为萌宠应用的应用图标,随着用户继续对界面1001中狗9021的移动操作,手机可以显示图10所示的界面1003,界面1003中狗9021被移动到快捷图标10024的位置。响应于狗9021被移动到快捷图标10024的位置,手机可以显示图10所示的界面1004,界面1004中包括悬浮窗10041,悬浮窗10041中显示有萌宠应用的应用界面,萌宠应用的应用界面中包括狗9021相关的信息。
至此,需要说明的是:上述关于推荐快捷图标的具体实现方式中,用户需要先将焦点物品实体拖动至目标区域,才能触发快捷图标的显示。实际中,并不以此为限。示例性的,响应于用户对焦点物品实体的移动操作,并且移动距离超过距离阈值,手机可以显示快捷图标。又示例性的,响应于用户对焦点物品实体的移动操作,手机则可以显示快捷图标。
上述关于智能识别功能的介绍中,主要说明了对物品实体,如狗9021、建筑9022和植物9023的识别以及基于识别结果的后续处理。而基于前文关于智能识别功能的介绍可知:智能识别功能也可以用于文字的识别,关于智能识别功能对文字识别的相关特性,具体可以参见下述关于文字提取功能的介绍。此处暂不做过多说明。
第二,文字提取功能。
手机采用文字提取功能,可以识别并提取文本,还可以标记文本实体。
以通过前述方式一触发采用文字提取功能执行处理为例,在选择文字提取功能的功能选项之后,手机可以显示图11所示的界面1101。响应于用户对界面1101中拍摄按钮11011的点击操作,手机可以显示图11所示的界面1102,界面1102为识别结果页。界面1102中用位置图标11021标记了地址1,用网络图标11022标记了网址1,用电话图标11023标记了电话2。
在识别结果中,手机可以标记出所有的文本实体。或者,手机也可以仅标记部分文本实体,避免标记混乱。
在一种具体的实现方式中,对于同类别的文本实体,手机可以仅标记首次出现的该类别的文本。其中,手机按照界面从上到下,从左到右的顺序标记,则首次出现是指从上到下、从左到右首次出现。
示例性的,手机执行文字提取功能,识别当前界面后,可以显示图12所示的界面1201。界面1201是识别结果页。界面1201中用位置图标12011标记了首次出现的地址,即地址1,用电话图标12012标记了首次出现的电话号码,即电话1,用网络图标12013标记了首次出现的网址链接,即网址1。
也就是说,如果两个文本实体(可称为第一文本实体和第五文本实体)的实体类别相同,则可以仅标记其中一个文本实体(如第一文本实体)。如果两个文本实体的实体类别不相同,则可以分别标记两个文本实体。为了便于说明,可以将第一文本实体的标记称为第一文本标记,将第五文本实体的标记称为第三文本标记。
在另一种具体的实现方式中,如果两个文本实体(可以称为第一文本实体和第六文本实体)的实体图标之间有遮挡,手机可以省略其中一个文本实体的实体图标,如省略第六文本实体的实体图标(可以称为第四文本标记),以避免实体图标被遮挡。示例性的,在界面1102中,在位置图标11021标记的地址1和网络图标11022标记的网址1之间,还包括电话1。如果使用电话图标(如界面1102中的虚线所示,实际并不会显示)标记电话号码1,则会导致标记之间有遮挡,因此,手机可以不对电话1进行标记。从而可以避免标记之间的遮挡。
具体的,手机可以按照从上到下、从左到右的顺序标记文本实体,如果当前的实体图标与已标记的实体图标之间有遮挡,手机可以取消当前的实体图标的标记。
在另一种具体的实现方式中,手机可以仅标记出用户的兴趣度由高至低的数量1的文本实体类别。
具体的,手机或者其他设备可以分析大量用户(或者也可以只分析本机用户)对多类文本实体的兴趣度。其中,用户对文本实体的兴趣度与用户对文本实体的触发次数呈正相关。用户在使用手机的过程中,对某类文本实体执行触发操作(如点击、长按等操作)的次数越多,则表明用户对该类文本实体的兴趣度越高。
在另一种具体的实现方式中,在采用智能识别功能识别文本时,手机还可以基于当前界面包括的物品实体,确定出与物品实体相匹配的文本实体并标记。其中,物品实体的类别不同,则标记的文本实体的类别也不同。
具体的,如果第一界面中包括多个文本实体(包括第一文本实体和第二文本实体),那么当前界面包括物品实体1(记为第一物品实体),则从多个文本实体中标记与物品实体1匹配的第一文本实体,而不标记不匹配的第二文本实体;如果第二界面中包括多个文本实体(包括第三文本实体和第四文本实体),那么当前界面包括物品实体2(记为第二物品实体),则从多个文本实体中标记与物品实体1匹配的第三文本实体,而不标记不匹配的第四文本实体,第三文本实体的标记可以称为第二文本标记。
也就是说,电子设备可以在具有某类(第一物品实体的实体类别)物品实体的界面中标记第一类别(第一文本实体、第四文本实体的实体类别)文本实体,但不标记第二类别(第二文本实体、第三文本实体的实体类别)文本实体;以及,电子设备可以在具有另一类(第二物品实体的实体类别)物品实体的界面中标记第二类别的文本实体,但不标记第一类别的文本实体。由此可见,电子设备可以基于用户界面中包括的物品实体标记相匹配的文本实体,从而为用户提供从用户界面中快速获取信息的标记,有利于提高人机交互效率。
以采用前述方式三推荐翻译功能为例,在推荐智能识别功能之后,手机可以显示图13A所示的界面1301(可视为一个具体的第一界面),界面1301中包括图片13011和智能识别功能的入口13012。响应于对智能识别功能的入口13012的点击操作,手机采用智能识别功能识别图片13011,可以识别到商品13013(可视为一种具体的第一物品实体)。基于此,手机可以预测用户可能想要查看商家地址和购买商品,则可以确定与图片13011相匹配的文本实体为地址和网址链接(可视为两种具体的第一文本实体)。因此,手机在采用智能识别功能对图片13011识别之后,可以显示图13A所示的界面1302。界面1302为识别结果页。在界面1302中,手机标记出了物品实体,如使用物品标记13021标记了商品13013;以及,在界面1302中,手机还用位置图标13022(可以视为一种具体的第一文本标记)标记了地址,以便用户查看商家地址,用扫码图标13023(可以视为另一种具体的第一文本标记)标记了二维码,以便用户扫码购买商品。
应注意,图形码,如二维码,其本质也是实现页面跳转,作用与网址链接相同。因此,手机也可以将图形码视为一种特殊的文本实体,手机可以采用文字提取功能或者智能识别功能等识别出图形码。
进一步的,手机可以标记出与当前的焦点物品实体相匹配的文本实体。并且,随着焦点物品实体的切换,标记的文本实体也会随之变化,如从第一物品实体切换为第三物品实体之后,标记也从第一文本实体切换为第二文本实体,其中,第二文本实体的标记可以称为第三文本标记。示例性的,当前的焦点物品实体是物品实体3,手机可以从多个文本实体中标记与物品实体3匹配的文本实体;在焦点物品实体切换为物品实体4之后,手机可以切换到标记与物品实体4匹配的文本实体。这样,随着焦点物品实体的切换,手机可以动态调整标记出的文本实体,从而使得标记的文本实体始终与焦点物品实体相匹配。其中,关于焦点物品实体的切换,可参见前文关于“第一,智能识别功能”的相关介绍,此处不再赘述。
本申请中,对每类文本实体的标记(即第一文本标记或者第二文本标记)内容不作具体限定。
在一些实施例中,手机可以使用文本实体的类别图标标记文本实体。例如,电话号码则标记电话图标,网址则标记网络图标,地址则标记位置图标。这样,通过标记可以明确指示文本实体的类别。
在另一些实施例中,手机可以使用文本实体关联的服务中,用户兴趣度最高的服务(可以称为第一服务)的服务图标标记文本实体。其中,每类文本实体可以关联一种或多种服务。电话号码可以关联打电话、添加联系人、复制号码等多种服务。网址可以关联访问网址、收藏网址、分享网址等多种服务。地址可以关联在地图中打开、导航、收藏地址、分享地址等多种服务。图形码可以关联识别图形码、收藏图形码、分享图形码等多种服务。
具体的,手机或者其他设备可以分析本机用户对多种服务的兴趣度。其中,用户对服务的兴趣度与使用服务的次数呈正相关。用户在使用手机的过程中,选择某项服务的次数越多,则表明用户对该项服务的兴趣度越高。
以地址关联的服务包括在地图中打开、导航、收藏地址、分享地址共4种服务为例:
如果用户对导航服务的兴趣度最高,则手机在对前文图13A所示的界面1301识别之后,可以显示图13B所示的界面1311。在界面1311中,使用导航服务的服务图标13111标记了地址。
如果用户对在地图中打开服务的兴趣度最高,则手机在对前文图13A所示的界面1301识别之后,可以显示图13B所示的界面1312。在界面1312中,使用在地图中打开服务的服务图标13121标记了地址。
如果用户对收藏地址的兴趣度最高,则手机在对前文图13A所示的界面1301识别之后,可以显示图13B所示的界面1313。在界面1313中,使用在收藏服务的服务图标13131标记了地址。
如果用户对分享地址的兴趣度最高,则手机在对前文图13A所示的界面1301识别之后,可以显示图13B所示的界面1314。在界面1314中,使用在分享服务的服务图标13141标记了地址。
在识别结果中,手机还会突出显示文本实体。其中,手机可以通过高亮、下划线、投影等形式突出显示文本实体。示例性的,在界面1102和界面1302中,地址、电话、网址都是有下划线和投影。
在得到识别结果后,响应于用户对文本实体或文本实体的标记的触发操作(也可以称为第三触发操作),如点击操作,手机可以展开文本实体关联的服务的服务选项。为了便于说明,可以将显示文本实体的服务选项的界面称为第三界面。
以识别结果页为图14所示的界面1401(与前文界面1102相同,此处不再介绍)为例,响应于用户对界面1401中地址1的点击操作,手机可以显示图14所示的界面1402。界面1402中包括弹窗14021和弹窗14022。其中,弹窗14021中包括在地图中打开服务的服务选项“在地图中打开”140212,导航服务的服务选项“导航前往”140213,收藏地址服务的服务选项“收藏至笔记”140214和分享地址服务的服务选项“分享”140215。以及,弹窗14022中包括前往地址1的路线。
本申请中,对服务选项的显示顺序不做具体限定。
在一些实施例中,服务选项的显示顺序始终是固定顺序。例如,地址关联的多个服务的服务选项中,显示顺序由前到后始终为:在地图中打开服务的服务选项,导航服务的服务选项,收藏地址服务的服务选项和分享地址服务的服务选项,即如图14中的界面1402所示。
在另一些实施例中,服务选项的显示顺序与用户对服务的兴趣度相匹配,从而可以将用户兴趣度高的服务的服务选项显示在前,便于用户迅速查看到并操作。
在一种具体的实现方式中,手机可以按照用户对服务的兴趣度由高至低的顺序,依次显示服务选项。
在另一种具体的实现方式中,手机可以将用户的兴趣度最高的服务的服务选项显示在第一位,其他服务的服务选项则按照固定顺序显示。
将本实现方式与前文“使用用户兴趣度最高的服务的服务图标标记文本实体”的实施例结合,在使用用户兴趣度最高的服务的服务图标标记文本实体后,响应于用户对文本实体的触发操作,手机可以将服务图标指示的服务的服务选项显示在第一位,即显示在第一位的服务选项与识别结果中文本实体标记的服务图标是匹配的。从而可以实现将用户的兴趣度最高的服务的服务选项显示在第一位。
上述关于显示服务选项的说明,主要针对有标记的地址14011进行了说明。应注意,实际中,所有的文本实体都可以关联一种或多种服务,而不只是有标记的文本实体才关联。
示例性的,上述界面1401中的地址2虽然未被标记,但是也可以关联打电话、添加联系人、复制号码等多种服务。响应于用户对地址2的点击操作,手机也可以提供在地图中打开,导航,收藏地址和分享地址等服务的服务选项。
针对未被标记的文本实体,服务选项的显示顺序也可以始终是固定的,或者也可以与用户对服务的兴趣度相匹配。
在识别结果中,响应于对非实体的文本的触发操作,如长按操作,手机可以选中文本,并提供快捷入口,以便对非实体的文本执行快捷操作。关于快捷入口,可参见前文说明,此处不再赘述。
示例性的,响应于用户对图14所示界面1401中文本“商家列表”14011的长按操作,手机可以显示图14所示的界面1403。与界面1401不同的是:界面1403中文本“商家列表”14011被选中,且界面1403中包括“复制”入口14031、“全选”入口14032、“翻译”入口14033、“分享”入口14034、“搜索”入口14035。
至此,需要说明的是:在对文本实体和物品实体执行操作的过程中,手机可以隐藏界面中的实体标记。这样,可以避免标记的干扰。示例性的,在上述界面904、界面1001-界面1004、界面1402-界面1403中,实体标记都被隐藏了。
第三,翻译功能。
手机采用翻译功能,可以翻译当前界面中的文本。
以采用前述方式三或者方式四推荐翻译功能为例,在推荐翻译功能后,手机可以显示图15所示的界面1501(与前文界面602相同,此处不再介绍)。界面1501中包括“翻译”15011。“翻译”15011为翻译功能的入口。响应于用户对“翻译”15011的点击操作,手机可以显示图15所示的界面1502。界面1502为翻译结果页。与界面1501不同的是:界面1502中的文本都是中文,即所有的外文都被翻译成中文。
进一步的,翻译结果页中还包括语言选择项,用于选择原文和译文的语言。以图15中界面1502所示的翻译结果页为例,界面1502中包括语言选择项15021。在语言选择项15021中,左边选择的为原文,右边选择的为译文。
在得到翻译结果后,手机还可以在结果页中显示滚屏翻译的控件。响应于用户对滚屏翻译的控件的触发操作,如点击操作,手机可以滚动显示界面内容并截屏。即,滚动截屏。后续,响应于结束滚动截屏的事件,手机可以显示滚动截屏的翻译结果。其中,结束滚动截屏的事件包括滚动时长达到时长2的事件,滚动到底部的事件或者接收到用户的点击操作的事件。下文以用户的点击操作为例说明。这样,在手机对当前界面当前显示的界面内容翻译之后,可以继续便捷的对滚动显示的界面内容翻译。
以图15中界面1502所示的翻译结果页为例,界面1502中还包括“滚屏翻译”15022。“滚屏翻译”15022是滚屏翻译的控件。响应于用户对界面中“滚屏翻译”15022的点击操作,手机可以显示图15所示的界面1503。界面1503中正在滚动截屏。例如,界面内容正在按照界面1503中箭头所指从下到上的方向滚动。响应于用户在界面1503中的点击操作,手机可以显示图15所示的界面1504,界面1504是滚动截屏的截屏结果的翻译结果页。
在得到滚动截屏的内容的翻译结果后,手机还可以继续提供滚屏翻译的控件,以便继续滚动截屏并翻译。例如,界面1504中包括“继续滚屏”15041,“继续滚屏”15041是滚屏翻译的控件。
进一步的,在得到滚动截屏的翻译结果后,响应于用户的返回操作,手机可以退回到推荐翻译功能的界面。示例性的,响应于用户对图15所示界面1504中返回控件15042的点击操作,手机可以退回到图15所示的界面1501。这样,手机可以快捷的退回到翻译前初始的界面,以便用户针对初始的界面操作。
在一些实施例中,手机可以识别当前界面是否为可上下滑动的界面。如果是可上下滑动的界面,手机则在翻译结果页中提供滚屏翻译的控件;如果不是可上下滑动的界面,手机则不在翻译结果页中提供滚屏翻译的控件。其中,桌面、锁屏界面、图片的查看界面通常都不是可以上下滑动的界面。这样,手机可以针对不同的界面,在得到翻译结果后,动态的提供滚屏翻译的控件,从而保证显示的控件的有效性。
在得到翻译结果后,响应于原译文切换操作,如在当前界面的点击操作,手机可以切换到原文,从而可以实现翻译结果到原文的快捷切换。示例性的,响应于用户在图15所示界面1502中的点击操作,手机可以将界面1502中的中文(除语言选择项之外)切换为英文。又示例性的,响应于用户在图15所示界面1504中的点击操作,手机将界面1504中的中文(除语言选择项之外)切换为英文。
上述关于翻译功能的介绍中,主要说明了手机对当前界面的文本统一翻译的实现。实际中,在提供翻译功能的入口之后,手机还可以对当前界面中的部分文本翻译。
具体的,在提供翻译功能后,响应于用户对原文文本或者译文文本的长按操作,手机可以选中文本并提供选中文本的翻译入口。响应于对选中文本的翻译入口的触发操作,如点击操作,手机可以显示选中文本的翻译结果。这样,在提供翻译功能的入口之后,手机不仅可以对整个当前界面翻译,还可以针对选中文本翻译。
以图16中界面1601所示的翻译结果页为例,响应于用户对图16所示界面1601中文本“have to”的长按操作,手机可以显示图16所示的界面1602。与界面1601不同的是:界面1602中文本“have to”为选中状态(即“have to”为选中文本),且界面1602中包括“翻译”16021。“翻译”16021为“have to”的翻译入口。响应于用户对“翻译”16021的点击操作,手机可以显示图16所示的界面1603。界面1603中包括弹窗16031。弹窗16031中包括“have to”的翻译结果。
另外,手机在提供选中文本的翻译入口的同时,还可以提供其他文本操作的快捷入口,如图16所示界面1601中的“复制”16022、“全选”16023、“分享”16024和“搜索”16025,以便对选中文本执行其他快捷处理。
第四,隐私保护功能。
手机采用隐私保护功能,可以遮挡当前界面中的隐私信息。
以采用前述方式三或者方式四推荐隐私保护功能为例,在推荐隐私保护功能后,手机可以显示图17所示的界面1701(与前文界面702相同,此处不再介绍)。界面1701中包括“隐私打码”17011。“隐私打码”17011为隐私保护功能的入口。响应于用户对“隐私打码”17011的点击操作,手机可以显示图17所示的界面1702。与界面1701不同的是:界面1702中的邮箱、身份证号码、身份证图片、地址以及头像都被打码了。即,隐私信息被遮挡了。
在对隐私信息遮挡之后,响应于用户对任一被遮挡的隐私信息的点击操作,手机可以取消对该隐私信息的遮挡。响应于用户再次对该隐私信息的点击操作,手机可以再次对该隐私信息遮挡。这样,手机可以灵活的遮挡或者取消遮挡隐私信息。
以图17所示的界面1702为例,界面1702中身份证号码17021被遮挡了。响应于用户对界面1702中身份证号码17021的点击操作,手机可以显示图17所示的界面1703。与界面1702不同的是:界面1703中的身份证号码17021未被遮挡。后续,响应于用户对界面1703中身份证号码17021的点击操作,手机可以再次显示图17所示的界面1702,即恢复遮挡身份证号码17021。
在完成隐私遮挡后,响应于用户对遮挡效果的保存操作,手机还可以将遮挡后的图片保存至图库。示例性的,响应于用户对图17所示界面1703中“保存”17031的点击操作,手机可以保存界面1703中显示的图片17032。
进一步的,在保存完成之后,手机可以提供图片的查看入口。响应于用户对查看入口的触发操作,如点击操作,手机可以显示图库中该保存的图片。示例性的,在保存完成后,手机显示图17所示的界面1704,界面1704中包括提示“图片已保存至图库”17041和“查看”17042。“查看”17042是图片的查看入口。响应于用户对“查看”17042的点击操作,手机可以显示图17所示的界面1705,界面1705为图库应用中图片的查看界面。界面1705中包括保存的图片17051,图片17051中的隐私信息被遮挡了。
也就是说,采用隐私保护功能,用户仅需执行一次对隐私保护功能的入口的触发操作和保存操作,即可实现对当前界面中的隐私信息的遮挡并截屏保存。从而提高了人机交互效率。
第五,选择功能。
手机采用选择功能,可以方便处理当前界面中的文本。
以采用前述方式三或者方式四推荐选择功能为例,在推荐选择功能之后,手机可以显示图18所示的界面1801(与前文界面802相同,此处不再介绍)。界面1801中包括“选中全部”18011。“选中全部”18011为选择功能的控件。响应于用户对“选中全部”18011的点击操作,手机可以选中当前界面中的全部文本,如显示图18所示的界面1802。与界面1802不同的是:界面1802中文本全处于选中状态。
进一步的,在选中全部文本之后,响应于用户调节选中框的操作,手机可以调节选中的文本的范围。从而可以灵活选择文本。以及,在选中全部文本或者调节选中文本的范围之后,手机还可以提供各种文本操作的快捷入口,如图18所示界面1802中的“复制”18021、“收藏”18022、“翻译”18023、“分享”18024和“搜索”18025,以便对选中文本执行快捷处理。
本申请实施例还提供一种电子设备,该电子设备可以包括:显示屏、存储器和一个或多个处理器(如CPU、GPU、NPU等)。显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中设备执行的各个功能或者步骤。
本申请实施例还提供一种芯片系统,该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如,接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路可用于向其它装置(例如处理器)发送信号。示例性的,接口电路可读取存储器中存储的指令,并将该指令发送给处理器。当所述指令被处理器执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图像处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的图像处理方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。

Claims (19)

1.一种识屏方法,其特征在于,应用于电子设备,所述方法包括:
显示第一界面,所述第一界面中包括第一物品实体、第一文本实体和第二文本实体;
响应于对所述第一界面的第一触发操作,为所述第一文本实体添加第一文本标记,不为所述第二文本实体添加标记;
显示第二界面,所述第二界面中包括第二物品实体、第三文本实体和第四文本实体;
响应于对所述第二界面的第二触发操作,为所述第三文本实体添加第二文本标记,不为所述第四文本实体添加标记;
其中,所述第一物品实体和所述第二物品实体的实体类别不同,所述第一文本实体和所述第四文本实体的实体类别相同,所述第二文本实体和所述第三文本实体的实体类别相同,所述第一文本实体和所述第二文本实体的实体类别不同。
2.根据权利要求1所述的方法,其特征在于,文本实体的实体类别包括以下至少两项:地址、电话、航班信息、快递单号、邮箱、网址链接、用于身份识别的证件号码和图形码;
物品实体的实体类别包括以下至少两项:动物、植物、建筑和食品。
3.根据权利要求1或2所述的方法,其特征在于,所述第一文本标记指示所述第一文本实体的实体类别;或者,
所述第一文本实体关联多项服务,所述多项服务中包括第一服务,所述第一文本标记指示第一服务,所述第一服务为用户在第一类别的文本实体下选择次数最多的服务,所述第一类别为所述第一文本实体的实体类别。
4.根据权利要求3所述的方法,其特征在于,在所述响应于对所述第一界面的第一触发操作,为所述第一文本实体添加第一文本标记之后,所述方法还包括:
响应于对所述第一文本实体或者所述第一文本标记的第三触发操作,显示第三界面,所述第三界面中包括多个服务选项,所述多个服务选项与所述多项服务一一对应;在所述多个服务选项中,所述第一服务的服务选项显示在第一位。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一界面中还包括第五文本实体;
所述方法还包括:
响应于对所述第一界面的所述第一触发操作,且所述第五文本实体与所述第一文本实体的实体类别不相同,为所述第五文本实体添加第三文本标记;
其中,如果所述第五文本实体与所述第一文本实体的实体类别相同,不为所述第五文本添加标记。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述第一界面中还包括第六文本实体;
所述方法还包括:
响应于对所述第一界面的所述第一触发操作,且所述第六文本实体的第四实体标记与所述第一文本标记不存在遮挡,为所述第六文本实体添加所述第四文本标记;
其中,如果所述第四文本标记与所述第一文本标记存在遮挡,不为所述第六文本添加标记。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述第一界面中还包括第三物品实体;
所述方法还包括:
响应于对所述第一界面的所述第一触发操作,突出显示所述第一物品实体,在所述第一物品实体的周围显示第一快捷入口;
响应于对所述第三物品实体的第四触发操作,突出显示所述第三物品实体,在所述第一物品实体的周围显示第二快捷入口。
8.根据权利要求7所述的方法,其特征在于,所述响应于对所述第一界面的所述第一触发操作,突出显示所述第一物品实体,在所述第一物品实体的周围显示第一快捷入口,包括:
响应于对所述第一界面的所述第一触发操作,且所述第一物品实体满足第一条件,突出显示所述第一物品实体,在所述第一物品实体的周围显示第一快捷入口;
其中,所述第一条件包括以下至少一项:所述第一物品实体的面积大于所述第三物品实体的面积,所述第一物品实体被遮挡的区域小于所述第三物品实体被遮挡的区域,以及所述第一物品实体的边缘线的清晰度高于所述第三物品实体的边缘线的清晰度。
9.根据权利要求7或8所述的方法,其特征在于,所述方法还包括:
响应于对所述第一界面的所述第一触发操作,在所述第三物品实体上显示第一物品标记;
其中,所述第四触发操作包括对所述第一物品标记的触发操作。
10.根据权利要求7-9中任一项所述的方法,其特征在于,所述方法还包括:
响应于对所述第三物品实体的所述第四触发操作,为所述第二文本实体添加第三文本标记。
11.根据权利要求7-10中任一项所述的方法,其特征在于,所述方法还包括:
响应于对突出显示的物品实体的移动操作,显示第四界面,所述第四界面中包括多个关联入口,每个关联入口对应一个应用或者一项服务,所述多个关联入口中包括第一关联入口,所述第一关联入口对应第一应用或者第二服务;
响应于将所述突出显示的物品实体移动至第一关联入口,所述电子设备显示第五界面,所述第五界面是所述第一应用或者所述第二服务的界面,所述第五界面中包括所述突出显示的物品实体的关联信息。
12.根据权利要求11所述的方法,其特征在于,所述响应于对突出显示的物品实体的移动操作,显示第四界面,包括:
响应于对所述突出显示的物品实体的移动操作,移动所述突出显示的物品实体在所述第一界面中的位置;
响应于所述突出显示的物品实体的位置移动至所述第一界面中的目标区域,显示所述第四界面。
13.根据权利要求11或12所述的方法,其特征在于,
所述突出显示的物品实体为所述第一物品实体,所述多个关联入口包括第二关联入口;
所述突出显示的物品实体为所述第三物品实体,所述多个关联入口包括第三关联入口;
其中,所述第二关联入口与所述第三关联入口不同。
14.根据权利要求1-13中任一项所述的方法,其特征在于,所述第一界面为相机的取景界面,所述第一触发操作包括拍摄操作。
15.根据权利要求1-13中任一项所述的方法,其特征在于,在所述响应于对所述第一界面的第一触发操作,为所述第一文本实体添加第一文本标记之前,所述方法还包括:
在所述第一界面满足第二条件的情况下,在所述第一界面中显示识别控件;
其中,所述第二条件包括:所述第一界面为非空白界面、所述第一界面中包括文本实体和/或物品实体,所述第一触发操作包括对所述识别控件的触发操作。
16.根据权利要求15所述的方法,其特征在于,在所述第一界面满足第二条件的情况下,在所述第一界面中显示识别控件,包括:
在所述第一界面满足第二条件的情况下,响应于用户对所述第一界面的第五触发操作,在所述第一界面中显示所述识别控件。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
响应于用户对所述第一界面的第五触发操作:
在所述第一界面中外文数量超过第一数量的情况下,在所述第一界面中显示翻译控件;其中,在所述第一界面中外文数量未超过所述第一数量的情况下,不显示所述翻译控件,所述翻译控件用于触发所述电子设备翻译所述第一界面中的外文;
在所述第一界面中包括隐私信息的情况下,在所述第一界面中显示隐私保护控件;其中,在所述第一界面中不包括隐私信息的情况下,不显示所述隐私保护控件,所述隐私保护控件用于触发所述电子设备遮挡所述第一界面中的隐私信息;
在所述第一界面中包括文本、但不包括实体的情况下,在所述第一界面中显示选择控件;其中,在所述第一界面中不包括文本、或者包括实体的情况下,不显示所述选择控件,所述选择控件用于触发所述电子设备选中所述第一界面中的文本。
18.一种电子设备,其特征在于,包括:显示屏,一个或多个处理器,以及一个或多个存储器;所述一个或多个处理器与所述显示屏,以及所述一个或多个存储器耦合;所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-17中的任一项所述的方法。
19.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-17中任一项所述的方法。
CN202311821050.1A 2023-11-03 2023-12-26 一种识屏方法及电子设备 Pending CN119987601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2024/112875 WO2025092139A1 (zh) 2023-11-03 2024-08-16 一种识屏方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2023114611315 2023-11-03
CN202311461131 2023-11-03

Publications (1)

Publication Number Publication Date
CN119987601A true CN119987601A (zh) 2025-05-13

Family

ID=95626913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311821050.1A Pending CN119987601A (zh) 2023-11-03 2023-12-26 一种识屏方法及电子设备

Country Status (1)

Country Link
CN (1) CN119987601A (zh)

Similar Documents

Publication Publication Date Title
CN110781688B (zh) 机器翻译的方法和电子设备
JP5947131B2 (ja) 領域選択方式による検索の入力方法及びそのシステム
CN111866392B (zh) 拍摄提示方法、装置、存储介质及电子设备
US9129177B2 (en) Image cache
CN111465918B (zh) 在预览界面中显示业务信息的方法及电子设备
US10893137B2 (en) Photography guiding method, device, and system
CN110019675B (zh) 一种关键词提取的方法及装置
CN108829686B (zh) 翻译信息显示方法、装置、设备及存储介质
CN108351880A (zh) 图片处理方法、装置、电子设备及图形用户界面
CN109408652B (zh) 一种图片搜索方法、装置及设备
CN115033153B (zh) 应用程序推荐方法及电子设备
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN110391966B (zh) 一种消息处理方法、装置和用于消息处理的装置
WO2017107855A1 (zh) 一种图片搜索方法及装置
CN112887615B (zh) 拍摄的方法及装置
CN104615348B (zh) 信息处理方法及电子设备
CN105528428A (zh) 一种图像显示方法及终端
US20200236295A1 (en) Imaging apparatus
CN118447286B (zh) 目标检测的方法及电子设备
CN119987601A (zh) 一种识屏方法及电子设备
CN112307294A (zh) 一种数据处理方法及装置
CN117437424A (zh) 运动物体实例分割方法、装置、设备和计算机程序产品
WO2025092139A1 (zh) 一种识屏方法及电子设备
CN112183149B (zh) 图形码处理方法及装置
CN117010325A (zh) 媒体预览方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication