CN117812417A - 多媒体交互方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种多媒体交互方法、装置、电子设备及存储介质，涉及多媒体交互技术领域。该多媒体交互方法包括：获取当前播放多媒体的多媒体信息；获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据。解决了相关技术中用户在观看多媒体时无人交互，导致用户体验较差的问题，能够对用户发出的交互数据生成自然语言的回应，从而模拟出与人互动的体验，提高了用户体验。

Description

多媒体交互方法、装置、电子设备及存储介质

技术领域

本公开涉及多媒体交互技术领域，尤其涉及一种多媒体交互方法、装置、电子设备及存储介质。

背景技术

用户在观看多媒体时，存在社交交互的需求。用户在观看时产生的感想、评论等，期望能够得到回应，如果无人交互，用户无法得到社交反馈，观看体验较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种多媒体交互方法、装置、电子设备及存储介质，至少在一定程度上克服相关技术中用户在观看多媒体时无人交互，导致用户体验较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种多媒体交互方法，包括：获取当前播放多媒体的多媒体信息；获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据。

在一些实施例中，多媒体为电视节目；获取当前播放多媒体的多媒体信息，包括：通过机顶盒获取播放的电视节目的节目信息。

在一些实施例中，通过机顶盒获取播放的数字电视节目的节目信息，包括：通过机顶盒确定目标用户的播放模式；在播放模式为点播的情况下，通过机顶盒获取目标用户点播的电视节目的节目信息；在播放模式为组播的情况下，通过机顶盒获取目标用户点播的电视节目单，根据电视节目单确定当前播放的电视节目，并获取当前播放的电视节目的节目信息。

在一些实施例中，获取在播放多媒体的过程中，采集到的目标用户的第一交互数据，包括：获取在播放电视节目的过程中采集到的现场声音数据；其中，现场声音数据为在播放电视节目的现场采集的声音数据；将现场声音数据输入至预先训练好的声纹匹配模型中，提取与目标用户的声纹相匹配的语音数据，得到第一交互数据。

在一些实施例中，在将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据之前，该方法还包括：获取第一配置信息；其中，第一配置信息用于配置生成第二交互数据所需第一交互数据的个数M；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据，包括：将多媒体信息和M个第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据。

在一些实施例中，第二交互数据为文本数据；在向目标用户展示第二交互数据之前，该方法还包括：获取第二配置信息；其中，第二配置信息用于配置允许展示的第二交互数据的字数条件；向目标用户展示第二交互数据，包括：向目标用户展示符合字数条件的第二交互数据。

在一些实施例中，向目标用户展示第二交互数据，包括：通过弹幕形式，向目标用户展示第二交互数据。

根据本公开的另一个方面，还提供了一种多媒体交互装置，包括：第一获取模块，用于获取当前播放多媒体的多媒体信息；第二获取模块，用于获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；生成模块，用于将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；展示模块，用于向目标用户展示第二交互数据。

根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意实施例的多媒体交互方法。

根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的多媒体交互方法。

根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任意实施例的多媒体交互方法。

根据本公开的另一个方面，还提供了一种多媒体交互系统，包括：多媒体交互设备，用于获取当前播放多媒体的多媒体信息；获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据；声音采集设备，用于在播放多媒体的过程中，采集第一交互数据。

在一些实施例中，该多媒体交互系统还包括：播放设备，用于播放多媒体和展示第二交互数据；机顶盒，与播放设备相连接，与声音采集设备处于同一局域网中，机顶盒用于控制播放设备播放多媒体和展示第二交互数据，以及，通过局域网与声音采集设备建立通信连接，并控制声音采集设备采集第一交互数据。

本公开的实施例中提供的多媒体交互方法、装置、电子设备及存储介质，通过获取当前播放多媒体的多媒体信息，以及在播放多媒体的过程中，采集到的观看多媒体目标用户的第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据并向目标用户展示，能够对用户发出的交互数据生成自然语言的回应，从而模拟出与人互动的体验，提高了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种多媒体交互系统结构的示意图一；

图2示出本公开实施例中一种多媒体交互系统结构的示意图二；

图3示出本公开实施例中一种多媒体交互方法流程图一；

图4示出本公开实施例中一种多媒体交互方法流程图二；

图5示出本公开实施例中一种多媒体交互方法流程图三；

图6示出本公开实施例中一种多媒体交互装置示意图；和

图7示出本公开实施例中一种电子设备的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图，对本公开实施例的具体实施方式进行详细说明。

图1示出了可以应用本公开实施例中多媒体交互方法的多媒体交互系统的架构示意图。如图1所示，该系统架构可以包括多媒体交互设备11和声音采集设备12。

多媒体交互设备11用于：获取当前播放多媒体的多媒体信息；获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据。

多媒体交互设备11可以是各种电子设备，包括但不限于服务器、机顶盒、智能电视、智能音箱、智能手机、平板电脑、膝上型便携计算机、台式计算机、智能手表、可穿戴设备、增强现实设备、虚拟现实设备等。

可选地，不同的多媒体交互设备11中安装的应用程序的客户端可以是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。

在多媒体交互设备11是服务器的情况下，服务器可以是提供各种服务的服务器，例如后台管理服务器。后台管理服务器可以对接收到的数据进行分析等处理，得到第二交互数据并将处理结果反馈给播放设备进行展示。

可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

声音采集设备12用于在播放多媒体的过程中，采集第一交互数据。声音采集设备12可以是具有声音采集模块的机顶盒、智能电视、智能音箱、智能手机、平板电脑、膝上型便携计算机、台式计算机、智能手表、可穿戴设备、增强现实设备、虚拟现实设备等。

多媒体交互设备11与声音采集设备12可以通过网络方式连接。该网络用于在多媒体交互设备11和声音采集设备12之间提供通信链路的介质，可以是有线网络，也可以是无线网络。

可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、互联网安全协议(InternetProtocol Security，IPSec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

在一些实施例中，该多媒体交互系统还可以包括：播放设备和机顶盒。

播放设备用于播放多媒体和展示第二交互数据。播放设备可以是智能电视、智能音箱、智能手机、平板电脑、膝上型便携计算机、台式计算机、智能手表、可穿戴设备、增强现实设备、虚拟现实设备等。

机顶盒与播放设备相连接，与声音采集设备12处于同一局域网中，机顶盒用于控制播放设备播放多媒体和展示第二交互数据，以及，通过局域网与声音采集设备12建立通信连接，并控制声音采集设备12采集第一交互数据。

下面为本公开实施例的多媒体交互系统提供一种具体应用场景下的具体实施例，如图2所示，该多媒体交互系统包括云端服务器21，电视22，机顶盒23和音箱24。

云端服务器21是多媒体交互设备11的一个可选实施例，用于获取电视22当前播放多媒体的多媒体信息；获取在电视22播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据。

音箱24是声音采集设备12的一个可选实施例，用于在电视22播放多媒体的过程中，采集第一交互数据。

电视22是播放设备的一个可选实施例，用于播放多媒体和展示第二交互数据。

机顶盒23与云端服务器21可以通过网络连接和通信。机顶盒23与电视22之间可以通过高清多媒体接口(High Definition Multimedia Interface，HDMI)、音频线和视频线(Audio&Video Cable，简称AV线)、视频图形阵列(Video Graphics Array，简称VGA)接口或者无线网络通信技术Wi-Fi、光纤等方式连接和通信。机顶盒23与音箱24可以通过局域网连接和通信。

在上述系统架构下，本公开实施例中提供了一种多媒体交互方法，该方法可以由任意具备计算处理能力的电子设备执行。在一些实施例中，本公开实施例中提供的多媒体交互方法可以由上述系统架构的多媒体交互设备11执行。

图3示出本公开实施例中一种多媒体交互方法流程图，如图3所示，本公开实施例中提供的多媒体交互方法包括如下步骤：

S301，获取当前播放多媒体的多媒体信息。

媒体是指承载和传输某种信息或物质的载体。多媒体(Multimedia)是多种媒体的综合，一般包括文本，声音和图像等多种媒体形式。

在计算机系统中，多媒体指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，使用的媒体包括文字、图片、照片、声音、动画和影片等。多媒体通过计算机对语言文字、数据、音频、视频等各种信息进行存储和管理。

本公开实施例中的多媒体可以是任意一种电子设备播放的多媒体，例如，可以是图1所示的多媒体交互设备11，在一些实施例中，可以是由电视机播放的，例如，图2所示的电视22，在另一些实施例中，可以是由手机、平板电脑、笔记本电脑或计算机等设备播放的。根据多媒体交互系统的具体应用实施方式的不同，播放多媒体的设备可以有不同的部署方式，本公开实施例对此不做具体限制。

多媒体信息是指多媒体相关的信息，可以包括多媒体的内容信息，也可以包括多媒体的属性信息，也可以包括多媒体播放的信息。例如，以多媒体为电影为例，多媒体信息可以包括电影剧情、角色介绍、插曲名称、电影名称、上映时间、演职人员表、影片评价、获奖情况、幕后制作、播放时间等中的一种或多种，不再一一举例。

多媒体信息可以是通过网络获取的，在一些实施例中，可以先从一个信息来源获取多媒体的检索信息，进而在网络上根据检索信息搜索多媒体相关的信息，得到多媒体信息。

在一些实施例中，多媒体为电视节目。相应地，获取当前播放多媒体的多媒体信息的具体方式为，通过机顶盒获取播放的电视节目的节目信息。在一个具体的可选实施例中，多媒体交互方法由图2所示的云端服务器执行，机顶盒23可以收集到播放影片的信息，例如影片名称、国家、上映时间、主演等，发送给云端服务器21，云端服务器21可以根据机顶盒23提供的影片信息在网络上搜索，根据搜索到的信息提取出所需要的信息，得到多媒体信息。

如果通过机顶盒获取播放的数字电视节目的节目信息，具体实施时可以通过机顶盒确定目标用户的播放模式。如果播放模式为点播，则可以通过机顶盒获取目标用户点播的电视节目的节目信息。而如果播放模式为组播，则可以通过机顶盒获取目标用户点播的电视节目单，根据电视节目单确定当前播放的电视节目，并获取当前播放的电视节目的节目信息。上述电视节目单可以是电子节目指南(Electrical Program Guide，简称EPG)，EPG可以让用户在接收设备上浏览当前和未来的节目信息，以及选择和控制节目。

S302，获取在播放多媒体的过程中，采集到的目标用户的第一交互数据。

目标用户为观看多媒体的用户。在观看多媒体的过程中，用户可能会产生一些问题、感想、评论等交互的想法，具体可以通过文字、语音、动作等方式表达出来，为了采集用户的交互信息，可以通过预设方式采集用户的交互信息，得到目标用户的第一交互数据，例如，可以通过声音采集设备采集用户的语音数据，提取语音数据中的语义和/或情感等信息，得到第一交互数据。

在一些实施例中，S302获取在播放多媒体的过程中，采集到的目标用户的第一交互数据可以包括：

S3021，获取在播放电视节目的过程中采集到的现场声音数据；其中，现场声音数据为在播放电视节目的现场采集的声音数据。

S3022，将现场声音数据输入至预先训练好的声纹匹配模型中，提取与目标用户的声纹相匹配的语音数据，得到第一交互数据。

观看多媒体的用户是在多媒体播放现场的用户。播放现场采集到的声音数据可以通过播放设备本身携带的声音采集模块采集，也可以通过其它的声音采集设备采集。在如图2所示的多媒体交互系统的架构中，音箱24中可以内置声音采集模块，在电视22播放多媒体时，通过音箱24采集现场声音数据。

由于现场声音数据中包括不同声音来源发出的声音，还可能采集到多媒体播放的声音，因此，可以在现场声音数据中提取出用户的声音。一个可选的实施例为通过声纹识别匹配的方式，在现场采集声音数据中提取出目标用户的语音数据。可选地，可以预先训练好声纹匹配模型，该声纹匹配模型可以用于在声音数据中识别和提取与预设声纹相匹配的语音数据，预设声纹可以根据目标用户预先录入的声音数据提取声纹特征，进一步提取目标用户的语音数据，得到第一交互数据。

S303，将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据。

本公开实施例中的自然语言生成模型可以是预先训练好的模型，能够生成符合人类的自然语言特征的语言，从而在多媒体信息限定的回复背景框架下对第一交互数据进行回应，生成与多媒体信息相关的、且能够回应第一交互数据的第二交互数据。在一些实施例中，自然语言生成模型可以是使用大数据作为样本训练得到的，可以结合自然语言处理NLP、人工智能AI、神经网络模型、对话式大语言模型等模型类型，配置待训练的模型结构，在训练之后，能够针对提供的信息进行相关的回应。自然语言生成模型也可以使用相关技术中已经存在的模型，等等，本公开实施例对此不做具体限制。

S304，向目标用户展示第二交互数据。

可选地，第二交互数据可以包括但不限于如下任意一种或多种类型的交互数据：文本数据、语音数据、图像数据、视频数据等，向目标用户展示第二交互数据时，可以通过能够展示对应媒体形式的设备进行展示。在一些实施例中，第二交互数据可以是在播放多媒体的过程中，在不中断多媒体播放的情况下，在播放多媒体的设备上展示的。

在一个具体的可选实施例中，第二交互数据为文本数据，可以控制播放设备以弹幕的形式展示第二交互数据。又如，也可以通过在播放设备上显示弹框、显示虚拟形象对话等各种形式进行展示，本公开实施例对此不做具体限制。

在一些实施例中，还可以在将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据之前，获取第一配置信息。第一配置信息用于配置生成第二交互数据所需第一交互数据的个数M(M为自然数)。在这些实施例中，自然语言生成模型中输入的信息需要包括M个第一交互数据。例如，用户可以配置回应的频率为用户每说3句话发送一次弹幕，这样，当监测到用户说了3句话之后，整合这3句话的信息，或者直接将3句话输入至自然语音生成模型，结合输入的多媒体信息生成弹幕，并显示。

在一些实施例中，第二交互数据为文本数据，还可以对允许展示的第二交互数据的字数条件(即第二配置信息)进行配置，只有符合字数条件的第二交互数据可以展示。具体可以是在展示第二交互数据之前，丢弃掉不符合第二配置信息的第二交互数据，或者，也可以直接配置自然语言生成模型生成符合字数条件的第二交互数据。

例如，用户可以配置小于预设字数(例如，3个字)的回应直接忽略掉，不进行展示，以屏蔽掉一些含义较少的回应内容。又如，用户可以配置自然语言生成模型输出的字数限制，例如，配置自然语言生成模型直接生成15个字±5个字的回应文本。

上述第一配置信息和第二配置信息可以是预先配置好的，例如技术人员配置好的，或者通过一些统计数据统计出用户的偏好，从而得到第一配置信息和第二配置信息，或者，也可以是用户直接配置的，例如，用户可以通过遥控器对机顶盒输入字数限制等。

在一些实施例中，第一交互数据为语音类型的数据，在将第一交互数据输入至自然语言生成模型之前，可以对第一交互数据进行预处理，将第一交互数据输入至预先训练好的语音转文本模型中，输出第一交互数据对应的第一文本内容，将第一文本内容输入至自然语言生成模型中。进一步地，在一些可选的实施例中，还可以在第一文本内容中，提取出情感信息和/或语义信息，将情感信息和/或语义信息输入至自然语言生成模型中。

在一些实施例中，第一交互数据为语音类型的数据，在将第一交互数据输入至自然语言生成模型之前，可以对第一交互数据进行预处理，根据用户语音的声纹特征提取用户语音数据中的情感信息，将情感信息输入至自然语言生成模型中。

上述情感信息可以包括能够指示人类情感的分类标签，或者能够指示情感的文本，等等。

在一个可选的实施例中，本公开提供的多媒体交互方法可以应用于图2所示的系统架构中，下面结合图4和图5对该实施例的流程进行说明如下：

随着独居人士数量的增加，用户独自在家使用电视独自进行观影的情况越来越多，由于无人交互，观影时的情感抒发无法得到他人的及时反馈，观影体验不如多用户共同观影时好。本公开实施例提供的多媒体交互方法能够让用户独自在家观影时引入文字形式的虚拟交互，模拟有他人陪伴的场景，可以很大程度上提升用户的观影体验。在本公开实施例的一个具体实施例中，并非使用单一的终端设备进行虚拟交互，可以协同音箱与机顶盒，令音箱采集用户的语音，令机顶盒获取节目的信息，结合机顶盒的播放内容与音箱收集的用户发出的交互语音，使用云端服务器搭载的生成式AI生成虚拟的交互文字，并通过机顶盒的控制显示在电视的屏幕上，来达成虚拟交互的效果，增强用户观影时的互动感。

首先，用户通过图2所示的机顶盒开启虚拟交互功能。虚拟交互功能可以是机顶盒预先内置、或需要用户下载的功能模块。用户可以通过遥控器、语音控制等方式，向机顶盒发出指令，开启虚拟交互功能。

当用户开启虚拟交互功能后，机顶盒首先判断节目的播放形式，如果是点播，则机顶盒可以通过用户点播时的选择直接获取节目信息；如果是组播，则机顶盒可以通过电子节目指南EPG获取当前播放的组播流的节目信息。其中，节目信息包括节目的名称、频道、类别等，自然语言生成模型可以根据这些信息构造出虚拟交互的回应背景框架，也即对互动回应的内容的约束，与节目信息相关，从而根据用户正在观看的节目信息，针对用户的感想进行回应，模拟出真人陪同观看节目的效果，避免AI模型天马行空地回应用户发出的交互语音。

其次，机顶盒通过信令通知处于同一局域网的音箱启动语音捕获功能。音箱可以根据用户的声纹提取出用户的语音，以此来去除节目声音的干扰。音箱可以预先存储有用户声纹特征，具体的，用户可以提前向音箱录入声音，音箱可以提取声纹特征并保存。

接着，音箱将语音信息上传至云端服务器，并通过部署于云端服务器的语音文字转换模型进行语音转文字的处理，并将转换后的文本信息经过过滤后发送给机顶盒。过滤的原则为将小于等于三个字的文本信息丢弃。这样可以避免机顶盒处理一些无意义的拟声词，浪费计算资源。用户可自行设置多少句语音收到一次虚拟交互的回复，使虚拟交互很好地适应不同用户的不同习惯和偏好。

然后，机顶盒根据用户设定的次数，将收到的文本信息整合后，发送至云端服务器，云端服务器输入至自然语言生成模型。当用户设定语句个数为1时，表示每句话都要上传至云端服务器并得到虚拟交互的回应；个数为M则表示每M句话合并为一句话上传至云端服务器。用户可自行设置每次回复的字数限制，使虚拟交互很好地适应不同用户的不同偏好。

根据用户设定的字数限制，自然语言生成模型可以在节目信息作为互动的背景框架，生成规定字数的文本。机顶盒将云端服务器输出的文本以弹幕形式控制电视屏幕进行显示，可以直接显示在当前播放的节目的顶层图层，以避免中断节目的播放，在实现与用户的虚拟互动的前提下减小对用户观影的干扰。如果选择使用文字而非语音的方式来完成虚拟交互的回应，可以避免因播放交互回应语音而导致用户听不清节目原始声音的情况，尽量减小了虚拟交互对于正常观影的影响。

用户可通过机顶盒关闭虚拟交互功能，此时机顶盒通过信令通知此时与其协同的音箱关闭虚拟交互服务，音箱在收到信令后停止捕获语音。

下面对图4和图5所示具体实施例提供的多媒体交互方法的一个具体使用场景进行描述。

当用户开启虚拟交互功能后，机顶盒会先收集当前播放节目的信息，比如，用户此时在使用点播观看电影《阿凡达》，机顶盒则通过点播命令得知用户观看的节目信息。

接着，机顶盒将节目信息输入位于云端服务器的自然语言生成模型，生成虚拟互动的背景框架信息，该场景中可输入“我正在观看电影《阿凡达》，接下来请模拟你正在陪同我观看的场景，并对我的感想做出回应”。

音箱可以在观影过程中，收集用户发出的交互语音，通过用户声纹特征提取用户声音，排除采集到的现场声音中节目声音的干扰。提取出用户发出的交互语音，比如说用户的感言“场景特效做的真好”。音箱可以将此语音数据上传至云端服务器的语音转文本模型，转换成文本数据，并判断文本字数符合过滤的原则(大于三个字)，然后，将文本数据发送至机顶盒。

如果用户设定的回应频率是用户每说一句话回应一次，机顶盒在收到文本后直接上传至云端服务器的自然语言生成模型，并附带用户设定的回应字数限制条件信息，比如“请将你的回答限制在20字以内：场景特效做的真好”。

机顶盒获取自然语言模型生成回应文本后，生成弹幕形式的显示数据，控制电视展示在屏幕上。音箱则持续收集并提取用户的语音，直至用户关闭虚拟交互功能。

需要注意的是，本公开技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，本公开实施例中获取的个人、客户和人群等相关的个人身份数据、操作数据、行为数据等多种类型的数据，均已获得授权。

基于同一发明构思，本公开实施例中还提供了一种多媒体交互装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。

图6示出本公开实施例中一种多媒体交互装置示意图，如图6所示，该装置包括：第一获取模块601，第二获取模块602，生成模块603和展示模块604。

第一获取模块601用于获取当前播放多媒体的多媒体信息。

第二获取模块602用于获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户。

生成模块603用于将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据。

展示模块604用于向目标用户展示第二交互数据。

本公开的实施例中提供的多媒体交互装置，通过获取当前播放多媒体的多媒体信息，以及在播放多媒体的过程中，采集到的观看多媒体目标用户的第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据并向目标用户展示，能够对用户发出的交互数据生成自然语言的回应，从而模拟出与人互动的体验，提高了用户体验。

在一些实施例中，多媒体为电视节目；第一获取模块601还用于通过机顶盒获取播放的电视节目的节目信息。

在一些实施例中，第一获取模块601还用于：通过机顶盒确定目标用户的播放模式；在播放模式为点播的情况下，通过机顶盒获取目标用户点播的电视节目的节目信息；在播放模式为组播的情况下，通过机顶盒获取目标用户点播的电视节目单，根据电视节目单确定当前播放的电视节目，并获取当前播放的电视节目的节目信息。

在一些实施例中，第二获取模块602还用于：获取在播放电视节目的过程中采集到的现场声音数据；其中，现场声音数据为在播放电视节目的现场采集的声音数据；将现场声音数据输入至预先训练好的声纹匹配模型中，提取与目标用户的声纹相匹配的语音数据，得到第一交互数据。

在一些实施例中，该装置还包括第三获取模块，用于在将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据之前，获取第一配置信息；其中，第一配置信息用于配置生成第二交互数据所需第一交互数据的个数M；生成模块603还用于将多媒体信息和M个第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据。

在一些实施例中，第二交互数据为文本数据；该装置还包括第四获取模块，用于在向目标用户展示第二交互数据之前，获取第二配置信息；其中，第二配置信息用于配置允许展示的第二交互数据的字数条件；展示模块604还用于向目标用户展示符合字数条件的第二交互数据。

在一些实施例中，展示模块604还用于通过弹幕形式，向目标用户展示第二交互数据。

此处需要说明的是，上述第一获取模块601，第二获取模块602，生成模块603和展示模块604对应于方法实施例中的S301～S304，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元710可以执行上述方法实施例的如下步骤：获取当前播放多媒体的多媒体信息；获取在播放多媒体的过程中，采集到的目标用户的第一交互数据；其中，目标用户为观看多媒体的用户；将多媒体信息和第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向目标用户展示第二交互数据。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备740(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机程序产品，该计算机程序产品包括：计算机程序，所述计算机程序被处理器执行时实现上述多媒体交互方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。该计算机可读存储介质上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (12)

1.一种多媒体交互方法，其特征在于，包括：

获取当前播放多媒体的多媒体信息；

获取在播放所述多媒体的过程中，采集到的目标用户的第一交互数据；其中，所述目标用户为观看所述多媒体的用户；

将所述多媒体信息和所述第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；

向所述目标用户展示所述第二交互数据。

2.根据权利要求1所述的多媒体交互方法，其特征在于，所述多媒体为电视节目；所述获取当前播放多媒体的多媒体信息，包括：

通过机顶盒获取播放的电视节目的节目信息。

3.根据权利要求2所述的多媒体交互方法，其特征在于，所述通过机顶盒获取播放的数字电视节目的节目信息，包括：

通过所述机顶盒确定所述目标用户的播放模式；

在所述播放模式为点播的情况下，通过所述机顶盒获取所述目标用户点播的电视节目的节目信息；

在所述播放模式为组播的情况下，通过所述机顶盒获取所述目标用户点播的电视节目单，根据所述电视节目单确定当前播放的电视节目，并获取所述当前播放的电视节目的节目信息。

4.根据权利要求2所述的多媒体交互方法，其特征在于，所述获取在播放所述多媒体的过程中，采集到的目标用户的第一交互数据，包括：

获取在播放所述电视节目的过程中采集到的现场声音数据；其中，所述现场声音数据为在播放所述电视节目的现场采集的声音数据；

将所述现场声音数据输入至预先训练好的声纹匹配模型中，提取与所述目标用户的声纹相匹配的语音数据，得到所述第一交互数据。

5.根据权利要求1所述的多媒体交互方法，其特征在于，在将所述多媒体信息和所述第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据之前，所述方法还包括：

获取第一配置信息；其中，所述第一配置信息用于配置生成所述第二交互数据所需第一交互数据的个数M；

所述将所述多媒体信息和所述第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据，包括：

将所述多媒体信息和M个所述第一交互数据，输入至预先训练好的自然语言生成模型，生成所述第二交互数据。

6.根据权利要求1所述的多媒体交互方法，其特征在于，所述第二交互数据为文本数据；在向所述目标用户展示所述第二交互数据之前，所述方法还包括：

获取第二配置信息；其中，所述第二配置信息用于配置允许展示的所述第二交互数据的字数条件；

所述向所述目标用户展示所述第二交互数据，包括：

向所述目标用户展示符合所述字数条件的所述第二交互数据。

7.根据权利要求1-6中任一项所述的多媒体交互方法，其特征在于，所述向所述目标用户展示所述第二交互数据，包括：

通过弹幕形式，向所述目标用户展示所述第二交互数据。

8.一种多媒体交互装置，其特征在于，包括：

第一获取模块，用于获取当前播放多媒体的多媒体信息；

第二获取模块，用于获取在播放所述多媒体的过程中，采集到的目标用户的第一交互数据；其中，所述目标用户为观看所述多媒体的用户；

生成模块，用于将所述多媒体信息和所述第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；

展示模块，用于向所述目标用户展示所述第二交互数据。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的多媒体交互方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的多媒体交互方法。

11.一种多媒体交互系统，其特征在于，包括：

多媒体交互设备，用于获取当前播放多媒体的多媒体信息；获取在播放所述多媒体的过程中，采集到的目标用户的第一交互数据；其中，所述目标用户为观看所述多媒体的用户；将所述多媒体信息和所述第一交互数据，输入至预先训练好的自然语言生成模型，生成第二交互数据；向所述目标用户展示所述第二交互数据；

声音采集设备，用于在播放所述多媒体的过程中，采集所述第一交互数据。

12.根据权利要求11所述的多媒体交互系统，其特征在于，还包括：

播放设备，用于播放所述多媒体和展示所述第二交互数据；

机顶盒，与所述播放设备相连接，与所述声音采集设备处于同一局域网中，所述机顶盒用于控制所述播放设备播放所述多媒体和展示所述第二交互数据，以及，通过所述局域网与所述声音采集设备建立通信连接，并控制所述声音采集设备采集所述第一交互数据。