CN111135557B - 用于多屏的交互方法和装置 - Google Patents

Abstract

本公开实施例公开了用于多屏的交互方法和装置。方法包括：响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；呈现选择输入装置的选项；接收对选择输入装置的选项的选择操作；响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。该方法可以实现信息共享，降低了本地屏幕所在的电子设备的发热和能耗，提高了本地操作界面输入信息的准确性。

Description

用于多屏的交互方法和装置

技术领域

本公开涉及计算机技术领域，具体涉及终端共享技术领域，尤其涉及用于多屏的交互方法和装置。

背景技术

现有技术中，用户在玩游戏、播放音视频以及进行其它与终端的交互操作的时候，可以通过WIFI-P2P的技术将智能终端设备的屏幕画面传输到大屏设备上，大屏设备端对画面或音视频进行解码后呈现。

然而，现有技术中在人机交互操作的同时通过多屏共享技术将手机上的人机交互画面传输到大屏设备，手机终端设备和大屏设备同时播放人机交互画面，并且手机的虚拟输入选项不能产生实体触摸感，如果人机交互人员将目光停留在大屏设备上，将导致采用手机的虚拟输入选项进行操作时误操作较多，手机终端容易发热、功耗高。

发明内容

本公开实施例提供了用于多屏的交互方法和装置。

第一方面，本公开实施例提供了一种用于多屏的交互方法，包括：响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；呈现选择输入装置的选项；接收对选择输入装置的选项的选择操作；响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。

在一些实施例中，响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕包括：响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

在一些实施例中，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面包括：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像，生成包括至少一个虚拟输入选项的操作界面。

在一些实施例中，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面包括：基于投射至目标屏幕的当前显示界面，生成包括预设背景、至少一个虚拟输入选项的操作界面，其中，预设背景包括默认背景或用户基于背景设定选项设定的背景。

在一些实施例中，虚拟输入选项包括：虚拟交互手柄。

在一些实施例中，交互方法还包括：响应于用户对虚拟输入选项的选取操作，呈现震动频率与被选取的虚拟输入选项相对应的震动。

在一些实施例中，交互方法还包括：响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；响应于用户对具有可移动标识的虚拟输入选项的移动操作，将移动操作所指示的虚拟输入选项移动至移动操作所指示的目标位置；响应于用户输入对选定操作的退出操作，解除对虚拟输入选项的选定。

在一些实施例中，交互方法还包括：响应于选择操作指示采用实体输入装置，基于预设的本地实体输入装置与当前显示界面的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏。

在一些实施例中，启动采用本地实体输入装置包括：弹出实体交互手柄。

在一些实施例中，目标屏幕的尺寸大于本地屏幕。

在一些实施例中，响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕包括：响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

第二方面，本公开实施例提供了一种用于多屏的交互装置，包括：显示界面投射单元，被配置成响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；选择选项呈现单元，被配置成呈现选择输入装置的选项；选择操作接收单元，被配置成接收对选择输入装置的选项的选择操作；操作界面显示单元，被配置成响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。

在一些实施例中，显示界面投射单元进一步被配置成：响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

在一些实施例中，操作界面显示单元进一步被配置成：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像，生成包括至少一个虚拟输入选项的操作界面。

在一些实施例中，操作界面显示单元进一步被配置成：基于投射至目标屏幕的当前显示界面，生成包括预设背景、至少一个虚拟输入选项的操作界面，其中，预设背景包括默认背景或用户基于背景设定选项设定的背景。

在一些实施例中，操作界面显示单元中的虚拟输入选项包括：虚拟交互手柄。

在一些实施例中，交互装置还包括：选项震动呈现单元，被配置成响应于用户对虚拟输入选项的选取操作，呈现震动频率与被选取的虚拟输入选项相对应的震动。

在一些实施例中，交互装置还包括：移动标识呈现单元，被配置成响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；输入选项移动单元，被配置成响应于用户对具有可移动标识的虚拟输入选项的移动操作，将移动操作所指示的虚拟输入选项移动至移动操作所指示的目标位置；选项选定解除单元，被配置成响应于用户输入对选定操作的退出操作，解除对虚拟输入选项的选定。

在一些实施例中，交互装置还包括：输入装置启动单元，被配置成响应于选择操作指示采用实体输入装置，基于预设的本地实体输入装置与当前显示界面的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏。

在一些实施例中，输入装置启动单元进一步被配置成：弹出实体交互手柄。

在一些实施例中，显示界面投射单元中的目标屏幕的尺寸大于本地屏幕。

在一些实施例中，显示界面投射单元进一步被配置成：响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

第三方面，本公开实施例提供了一种电子设备/终端/服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任一所述的用于多屏的交互方法。

第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的用于多屏的交互方法。

本公开实施例提供的用于多屏的交互方法和装置，首先响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；呈现选择输入装置的选项；接收对选择输入装置的选项的选择操作；响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。在这一过程中，可以将本地的当前显示界面投射至目标屏幕，实现信息共享，并采用本地屏幕显示包括至少一个虚拟输入选项的操作界面、不显示已投射的当前显示界面，降低了本地屏幕所在的电子设备的发热和能耗，提高了本地操作界面输入信息的准确性。

在部分实施例中，电子设备可以根据被选择的虚拟按钮的不同，发出不同频率的震感来提醒用户，从而增强用户操作的准确性。

在部分实施例中，采用AI大数据预测用户在当前显示界面的用户画像，基于用户画像生成操作界面，提高了操作界面的针对性，使其更为符合用户的操作习惯。

在部分实施例中，采用本地实体交互手柄操作投射至目标屏幕的当前显示界面，提高了输入信息的准确率和效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构图；

图2a是根据本公开实施例的用于多屏的交互方法的一个实施例的流程示意图；

图2b示例性地示出了接收单个用户对多屏交互选项的选中操作并将当前显示界面投射至电视屏幕的示意图；

图2c示例性地示出了接收单个用户对多屏交互选项的选中操作并将与多个用户交互的当前显示界面投射至电视屏幕的示意图；

图2d示例性地示出了当前显示界面所属的应用为第一应用时所生成的操作界面的示意图；

图2e示例性地示出了当前显示界面所属的应用为第二应用时所生成的具有背景的操作界面的示意图；

图2f示例性地示出了当前显示界面所属的应用为第三应用时所生成的操作界面的示意图；

图2g示例性地示出了针对图2d中的操作界面呈现不同的震动频率的示意图；

图2h示例性地示出了针对图2f中的操作界面呈现不同的震动频率的示意图；

图3是根据本公开实施例的用于多屏的交互方法的一个示例性应用场景；

图4a是根据本公开实施例的用于多屏的交互方法的又一个实施例的流程示意图；

图4b示例性地示出了实际交互手柄中实际输入选项为凸起模式的示意图；

图4c示例性地示出了实际交互手柄中实际输入选项为凹陷模式的示意图；

图4d示例性地示出了实际交互手柄中实际输入选项为平面感应模式的示意图；

图5是本公开的用于多屏的交互装置的一个实施例的示例性结构图；

图6是适于用来实现本公开实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的用于多屏的交互方法或用于多屏的交互装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如游戏类应用、浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持浏览器应用的各种电子设备，包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上进行的应用提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

在实践中，本公开实施例所提供的用于多屏的交互方法可以由终端设备101、102、103执行，用于多屏的交互装置也可以设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2a，图2a示出了根据本公开的用于多屏的交互方法的一个实施例的流程200。该用于多屏的交互方法包括以下步骤：

在步骤201中，响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕。

在本实施例中，用于多屏的交互方法的执行主体(例如图1所示的终端设备)可以通过输入装置接收用户对多屏交互选项的选中操作。

其中，多屏交互选项是指将本地屏幕正在运行的软件的当前显示界面投射至其它屏幕上显示的选项。

选中操作，可以为预先设定的、可以被识别为选中动作的操作。

例如，终端设备可以采集用户的点击操作，若该点击操作的操作位置对应多屏交互选项，则将该点击操作识别为对多屏交互选项的选中操作。

又例如，终端设备可以采集用户的操作轨迹，并识别采集的操作轨迹与预设操作轨迹是否相符，若相符，则将采集的操作轨迹作为多屏交互选项的选中操作。其中，预设操作轨迹为预先设置的与多屏交互选项相对应的选中操作。

目标屏幕，为多屏交互选项指示的、与本地屏幕建立投射关系的屏幕，目标屏幕的尺寸，可以大于、等于或小于本地屏幕的尺寸，本申请对此不作限定。

上述执行主体在将当前显示界面投射至目标屏幕时，与当前显示界面发生交互的用户终端，可以为单个用户终端，也可以为多个用户终端。

在本实施例的一些可选实现方式中，响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕包括：响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

在本实现方式中，若与当前显示界面所显示的发生交互的用户终端为多个，那么上述执行主体可以作为向目标屏幕传输当前显示界面的终端设备，并且作为与当前显示界面进行交互的终端设备之一，而其它终端设备则可以作为与当前显示界面进行交互的其它终端设备，从而提高对于多个用户同时交互的适应性。

具体地，在用户选中多屏交互选项时，上述执行主体可以判断当前操作界面是否支持多台终端同时交互，若支持，可以提供多对一的控制模式，允许当前选中多屏交互选项的终端设备作为画面输出以及控制端输出，其它终端设备作为控制端输出。

在一些可选实现方式中，上述响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕可以包括：响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

在本实现方式中，通过采用电视屏幕作为目标屏幕，可以提高当前显示界面的显示清晰度，从而提升交互效率。

如图2b所示，图2b示例性地示出了接收单个用户对多屏交互选项的选中操作并将当前显示界面投射至电视屏幕的情形。其中，操作者210将当前显示界面投射至电视屏幕，并在终端设备上显示包括虚拟输入选项的操作界面，围观者211、212围观操作者210在电视屏幕上的交互操作。

如图2c所示，图2c示例性地示出了接收单个用户对多屏交互选项的选中操作并将与多个用户交互的当前显示界面投射至电视屏幕的情形。其中，操作者220将当前显示界面投射至电视屏幕，并在终端设备上显示包括虚拟输入选项的操作界面，其它操作者221、222与当前交互界面的交互操作也在电视屏幕上当前交互界面上显示。

返回图2a，在步骤202中，呈现选择输入装置的选项。

在本实施例中，当上述执行主体将当前显示界面投射至目标屏幕时，可以在本地屏幕和/或目标屏幕呈现选择输入装置的选项。例如，呈现选择虚拟输入装置的选项和选择实体输入装置的选项。

在步骤203中，接收对选择输入装置的选项的选择操作。

在本实施例中，当上述执行主体呈现输入装置的选项时，可以接收用户对输入装置的选项的选择操作。

在步骤204中，响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。

在本实施例中，若选择操作指示采用虚拟输入装置，那么上述执行主体可以生成与投射至目标屏幕的当前显示界面相符的操作界面。该操作界面可以包括一个、两个或多个虚拟输入选项。该虚拟输入选项的形式可以为虚拟交互按键，也可以为一些特殊的虚拟输入选项，例如虚拟交互手柄等。

在生成操作界面时，上述执行主体可以根据不同的当前显示界面，可以生成不同的操作界面。或者，根据当前显示界面所属的不同的应用或同一应用不同的交互阶段，生成不同的操作界面。具体地，上述执行主体生成操作界面的方式，可以为现有技术中或未来发展的技术中的生成界面的方式来确定，本申请对此不作限定。例如，可以根据预设的操作界面与当前显示界面的关联关系来生成操作界面。

上述执行主体在生成操作界面之后，在本地屏幕显示操作界面，且不在本地屏幕显示投射至目标屏幕的当前显示界面。此时的本地屏幕作为虚拟输入装置，为用户提供输入信息的操作界面。例如，当当前交互界面为游戏界面时，上述执行主体可以根据不同的游戏产生不同的按键布局。

示例性地，图2d、图2e和图2f分别示出了虚拟交互装置中针对当前显示界面所属的不同应用生成不同的操作界面的情形。其中，图2d示出了当前显示界面所属的应用为第一应用(例如王国的游戏GOK)时所生成的操作界面的情形。图2e示出了当前显示界面所属的应用为第二应用(例如火影忍者Naruto)时所生成的具有背景的操作界面的情形。图2f示出了当前显示界面所属的应用为第三应用(例如QQ飞车QQspeed)时所生成的操作界面的情形。

在本实施例的一些可选实现方式中，上述基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面可以包括：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像，生成包括至少一个虚拟输入选项的操作界面。

在本实现方式中，上述执行主体可以在用户使用虚拟输入装置时，在本地或云端采用人工智能AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像。这里的用户画像，用于刻画目标用户、联系用户诉求与设计方向的有效工具。例如，用户画像可以包括当前用户的年龄、性别、兴趣、爱好、专业度、性格特征等，还可以包括当前用户所属的用户类别在当前交互界面对应的虚拟输入装置中的虚拟输入选项的布局、当前用户在不同交互界面对应的虚拟输入装置中的虚拟输入选项的布局。

在预测出用户画像之后，上述执行主体可以基于预测的用户画像，生成符合用户画像、符合当前显示界面且包括至少一个虚拟输入选项的操作界面。

本实现方式中，基于预测的用户画像生成包括至少一个虚拟输入选项的操作界面，可以提高所生成的操作界面的针对性，使其更为符合用户的需求。

在本实施例的一些可选实现方式中，上述基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面可以包括：基于投射至目标屏幕的当前显示界面，生成包括预设背景、至少一个虚拟输入选项的操作界面，其中，预设背景包括默认背景或用户基于背景设定选项设定的背景。

在本实现方式中，通过在操作界面中引入默认背景或用户基于背景设定选项设定的背景，可以提高操作界面的针对性，使虚拟输入选项更为清晰、明确或更为符合用户需求。

在本实施例的一些可选实现方式中，交互方法还包括：响应于用户对虚拟输入选项的选取操作，呈现震动频率与被选取的虚拟输入选项相对应的震动。

在本实现方式中，当用户选取虚拟输入选项的一个选项或一个以上选项时，上述执行主体可以针对不同的选项，呈现不同的震动频率，以提示用户与震动频率相对应的选项被选中，从而提高虚拟输入选项的可识别性。

请参考图2g和图2h，图2g示例性地示出了针对图2d中的操作界面呈现不同的震动频率231、232的情形。图2h示例性地示出了针对图2f中的操作界面呈现不同的震动频率233、234的情形。

在本实施例的一些可选实现方式中，交互方法还包括：响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；响应于用户对具有可移动标识的虚拟输入选项的移动操作，将移动操作所指示的虚拟输入选项移动至移动操作所指示的目标位置。

在本实现方式中，选定操作为预先定义的、用于选定虚拟输入选项的操作；移动操作为预先定义的、用于移动具有可移动标识的虚拟输入选项的操作。

当用户选定虚拟输入选项时，上述执行主体的本地屏幕可以呈现一个或所有虚拟输入选项的可移动标识，此时具有可移动标识的虚拟输入选项处于可移动状态。当用户对具有可移动标志的虚拟输入选项进行移动操作时，可以将移动操作所指示的虚拟输入选项移动至移动操作所指示的目标位置。

本实现方式中的交互方法，可以根据用户需要将虚拟输入选项移动至目标位置，从而提高了虚拟输入装置中虚拟输入选项布局的灵活性。

在本实施例的一些可选实现方式中，交互方法还包括：响应于用户输入对选定操作的退出操作，解除对虚拟输入选项的选定。

在本实现方式中，若用户由于误操作选定虚拟输入选项、呈现一个或所有虚拟输入选项的可移动标识，则可以输入对选定操作的退出操作，解除对虚拟输入选项的选定。这里的退出操作，为预先定义的、用于解除对虚拟输入选项的选定的操作。

本公开的上述实施例的用于多屏的交互方法，可以将本地的当前显示界面投射至目标屏幕，实现信息共享，并采用本地屏幕显示包括至少一个虚拟输入选项的操作界面、不显示已投射的当前显示界面，降低了本地屏幕所在的电子设备的发热和能耗，提高了本地操作界面输入信息的准确性。

以下结合图3，描述本公开的用于多屏的交互方法的示例性应用场景。

如图3所示，图3示出了根据本公开的用于多屏的交互方法的一个示例性应用场景。

如图3所示，用于多屏的交互方法300运行于电子设备320中，可以包括：

首先，响应于接收用户对多屏交互选项301的选中操作302，将当前显示界面303投射至目标屏幕304；

之后，呈现选择输入装置的选项305；

之后，接收对选择输入装置的选项305的选择操作306；

之后，响应于选择操作306指示采用虚拟输入装置307，基于投射至目标屏幕304的当前显示界面303，生成包括至少一个虚拟输入选项308的操作界面309，并在本地屏幕310显示操作界面309、不显示投射至目标屏幕304的当前显示界面303。

应当理解，上述图3中所示出的用于多屏的交互方法的应用场景，仅为对于用于多屏的交互方法的示例性描述，并不代表对该方法的限定。例如，上述图3中示出的各个步骤，可以进一步采用更为细节的实现方法。也可以在上述图3的基础上，进一步增加用于多屏的交互步骤。

进一步参考图4a，图4a示出了根据本公开的用于多屏的交互方法中上传文件的方法的一个实施例的示意性流程图。

如图4a所示，本实施例的用于多屏的交互方法中上传文件的方法400，可以包括以下步骤：

步骤401，响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕。

在本实施例中，用于多屏的交互方法的执行主体(例如图1所示的终端)可以通过输入装置接收用户对多屏交互选项的选中操作。

其中，多屏交互选项是指将本地屏幕的当前显示界面投射至其它屏幕上显示的选项。选中操作可以为预先设定的、可以被识别为选中动作的操作。目标屏幕为多屏交互选项指示的、与本地屏幕建立投射关系的屏幕。

步骤402，呈现选择输入装置的选项。

在本实施例中，当上述执行主体将当前显示界面投射至目标屏幕时，可以在本地屏幕和/或目标屏幕呈现选择输入装置的选项。例如，呈现选择虚拟输入装置的选项和选择实体输入装置的选项。

步骤403，接收对选择输入装置的选项的选择操作。

在本实施例中，当上述执行主体呈现输入装置的选项时，可以接收用户对输入装置的选项的选择操作。

步骤404，响应于选择操作指示采用实体输入装置，基于预设的本地实体输入装置与当前显示界面所属的应用软件或系统软件的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏。

在本实施例中，实体输入装置可以为设于电子设备的屏幕或外壳的实体按钮。当实体按钮打开时，电子设备就完全作为一个实体交互手柄使用，同时实体交互手柄的设计可以有凹、凸或者平面感应等模式。

示例性地，图4b、图4c和图4d分别示出了实际交互手柄中实际输入选项分别为凸起模式、凹陷模式和平面感应模式的情形。

若选择操作指示采用实体输入装置，那么上述执行主体可以根据预设的本地实体输入装置与当前显示界面的对应关系，启动采用本地实体输入装置，以便提高输入的准确性和精度。进一步地，上述执行主体还可以将本地屏幕黑屏，以降低上述执行主体的能耗。

在本实施例的一些可选实现方式中，上述启动采用本地实体输入装置包括：弹出实体交互手柄。

在本实现方式中，若启动采用本地实体输入装置，可以弹出实体交互手柄，以提升用户与投射至目标屏幕的当前显示界面的交互效率。

本公开图4a所示的实施例中的用于多屏的交互方法，与图2a采用虚拟输入装置不同的是，图4a中采用了实体输入装置，从而可以提高用户的操作效率。

本领域技术人员可以理解，上述图4a中所属的步骤401、402和403，分别与步骤201、202和203相对应，因此，上述图2a中针对步骤201、202和203所描述的操作和特征，同样适用于步骤401、402和步骤403，在此不再赘述。

作为对上述各图所示方法的实现，本公开实施例提供了一种用于多屏的交互装置的一个实施例，该装置实施例与图2a-图4d中所示的方法实施例相对应，该装置具体可以应用于上述图1所示的终端或服务器中。

如图5所示，本实施例的用于多屏的交互装置500可以包括：显示界面投射单元510，被配置成响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；选择选项呈现单元520，被配置成呈现选择输入装置的选项；选择操作接收单元530，被配置成接收对选择输入装置的选项的选择操作；操作界面显示单元540，被配置成响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。

在一些实施例中，显示界面投射单元进一步被配置成：响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

在一些实施例中，操作界面显示单元进一步被配置成：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像，生成包括至少一个虚拟输入选项的操作界面。

在一些实施例中，操作界面显示单元进一步被配置成：基于投射至目标屏幕的当前显示界面，生成包括预设背景、至少一个虚拟输入选项的操作界面，其中，预设背景包括默认背景或用户基于背景设定选项设定的背景。

在一些实施例中，操作界面显示单元中的虚拟输入选项包括：虚拟交互手柄。

在一些实施例中，交互装置还包括(图中未示出)：选项震动呈现单元，被配置成响应于用户对虚拟输入选项的选取操作，呈现震动频率与被选取的虚拟输入选项相对应的震动。

在一些实施例中，交互装置还包括(图中未示出)：移动标识呈现单元，被配置成响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；输入选项移动单元，被配置成响应于用户对具有可移动标识的虚拟输入选项的移动操作，将移动操作所指示的虚拟输入选项移动至移动操作所指示的目标位置；选项选定解除单元，被配置成响应于用户输入对选定操作的退出操作，解除对虚拟输入选项的选定。

在一些实施例中，交互装置还包括(图中未示出)：输入装置启动单元，被配置成响应于选择操作指示采用实体输入装置，基于预设的本地实体输入装置与当前显示界面的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏。

在一些实施例中，输入装置启动单元进一步被配置成：弹出实体交互手柄。

在一些实施例中，显示界面投射单元中的目标屏幕的尺寸大于本地屏幕。

在一些实施例中，显示界面投射单元进一步被配置成：响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

应当理解，装置500中记载的各个单元与参考图2a-图4d描述的方法中记载的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的各个单元，在此不再赘述。

下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如笔记本电脑、台式计算机等。图6示出的终端设备/服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；呈现选择输入装置的选项；接收对选择输入装置的选项的选择操作；响应于选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少一个虚拟输入选项的操作界面，并在本地屏幕显示操作界面、不显示投射至目标屏幕的当前显示界面。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括显示界面投射单元、选择选项呈现单元、选择操作接收单元、操作界面显示单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，显示界面投射单元还可以被描述为“响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于多屏的交互方法，包括：

响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；

呈现选择输入装置的选项，包括：呈现选择虚拟输入装置的选项和选择实体输入装置的选项；

接收对选择输入装置的选项的选择操作；

响应于所述选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少两个虚拟输入选项的操作界面，包括：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像、所述当前显示界面，生成包括预设背景、至少两个虚拟输入选项的操作界面，所述用户画像包括：当前用户所属的用户类别在当前交互界面对应的虚拟输入装置中的虚拟输入选项的布局，所述预设背景包括用户基于背景设定选项设定的背景，并在本地屏幕显示所述操作界面、不显示投射至目标屏幕的当前显示界面；

响应于所述选择操作指示采用实体输入装置，基于预设的本地实体输入装置与所述当前显示界面的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏，所述本地实体输入装置具备凸起模式、凹陷模式和平面感应模式。

2.根据权利要求1所述的交互方法，其中，所述响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕包括：

响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

3.根据权利要求1-2任意一项所述的交互方法，其中，所述虚拟输入选项包括：虚拟交互手柄。

4.根据权利要求1所述的交互方法，其中，所述交互方法还包括：

响应于用户对虚拟输入选项的选取操作，呈现震动频率与被选取的虚拟输入选项相对应的震动。

5.根据权利要求1所述的交互方法，其中，所述交互方法还包括：

响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；

响应于用户对具有可移动标识的虚拟输入选项的移动操作，将所述移动操作所指示的虚拟输入选项移动至所述移动操作所指示的目标位置；

响应于用户输入对所述选定操作的退出操作，解除对所述虚拟输入选项的选定。

6.根据权利要求1所述的交互方法，其中，所述启动采用本地实体输入装置包括：弹出实体交互手柄。

7.根据权利要求1所述的交互方法，其中，所述目标屏幕的尺寸大于本地屏幕。

8.根据权利要求1所述的交互方法，其中，所述响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕包括：

响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

9.一种用于多屏的交互装置，包括：

显示界面投射单元，被配置成响应于接收用户对多屏交互选项的选中操作，将当前显示界面投射至目标屏幕；

选择选项呈现单元，被配置成呈现选择输入装置的选项，包括：呈现选择虚拟输入装置的选项和选择实体输入装置的选项；

选择操作接收单元，被配置成接收对选择输入装置的选项的选择操作；

操作界面显示单元，被配置成响应于所述选择操作指示采用虚拟输入装置，基于投射至目标屏幕的当前显示界面，生成包括至少两个虚拟输入选项的操作界面，包括：采用AI大数据，预测用户在投射至目标屏幕的当前显示界面的用户画像；基于预测的用户画像、所述当前显示界面，生成包括预设背景、至少两个虚拟输入选项的操作界面，所述用户画像包括：当前用户所属的用户类别在当前交互界面对应的虚拟输入装置中的虚拟输入选项的布局，所述预设背景包括用户基于背景设定选项设定的背景，并在本地屏幕显示所述操作界面、不显示投射至目标屏幕的当前显示界面；

输入装置启动单元，被配置成响应于所述选择操作指示采用实体输入装置，基于预设的本地实体输入装置与所述当前显示界面的对应关系，启动采用本地实体输入装置、并将本地屏幕黑屏，所述本地实体输入装置具备凸起模式、凹陷模式和平面感应模式。

10.根据权利要求9所述的交互装置，其中，所述显示界面投射单元进一步被配置成：

响应于接收本地用户对多屏交互选项的选中操作，将包括本地用户的交互操作和远程用户的交互操作的当前显示界面投射至目标屏幕。

11.根据权利要求9所述的交互装置，其中，所述交互装置还包括：

移动标识呈现单元，被配置成响应于用户对生成的虚拟输入选项的选定操作，呈现虚拟输入选项的可移动标识；

输入选项移动单元，被配置成响应于用户对具有可移动标识的虚拟输入选项的移动操作，将所述移动操作所指示的虚拟输入选项移动至所述移动操作所指示的目标位置；

选项选定解除单元，被配置成响应于用户输入对所述选定操作的退出操作，解除对所述虚拟输入选项的选定。

12.根据权利要求9所述的交互装置，其中，所述显示界面投射单元进一步被配置成：

响应于接收用户对多屏交互选项的选中操作，经由电视中外接设备的适配器将当前显示界面投射至电视屏幕。

13.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。