CN120821357A - 交互方法、电子设备、可读介质及程序产品 - Google Patents

Abstract

本申请涉及可穿戴设备技术领域，公开了一种交互方法、电子设备、可读介质及程序产品。本申请的交互方法包括：对应不同的乐器，预先建立乐器所能够发出的演奏音符和用户动作之间的对应关系。在检测到电子设备进入演奏阶段后，检测用户动作，基于用户动作确定演奏音符，并通过扬声器播放演奏音符的声音。从而，即使用户没有携带乐器，也可以随时随地空手演奏音乐。电子设备还可以根据用户动作调整显示界面，以使用户知晓弹奏的音符。对于需要双手协同的乐器，即使用户只有一个电子设备，也可以先记录用户佩戴电子设备的第一部位演奏的第一演奏音符，待佩戴至第二部位后，在识别第二部位的动作的同时播放第一演奏音符，从而达到双手演奏的效果。

Description

交互方法、电子设备、可读介质及程序产品

技术领域

本申请涉及可穿戴设备技术领域，特别涉及一种交互方法、电子设备、可读介质及程序产品。

背景技术

随着移动技术的发展，可穿戴设备的功能越来越多，为人们的生活和工作提供了便利。例如，人们可以利用可穿戴设备接打电话、查看来电信息、天气信息、短信、新闻、日程、测量生理参数、听音乐、观看视频等。然而，可穿戴设备在音乐演奏领域的应用几乎是空白的。

发明内容

为利用可穿戴设备创作音乐，本申请提供了一种交互方法、电子设备、可读介质及程序产品。

第一方面，本申请实施例提供了一种交互方法，应用于第一电子设备，方法包括：检测到用户的演奏指令，确定用户所选择的演奏乐器；检测到用户佩戴第一电子设备的第一部位的第一运动；基于运动与演奏乐器的演奏音符之间的对应关系，以及基于演奏乐器与第一运动对应的第一演奏音符，播放第一声音。

可以理解，第一运动可以包括用户的手势动作和手腕的位移。本申请实施例中提及的演奏乐器均为虚拟的演奏乐器，并非实际存在的演奏乐器。

本申请实施例在检测到演奏指令后，通过检测用户佩戴第一电子设备的第一部位的第一运动，确定演奏第一演奏音符，并播放被演奏的音符(第一演奏音符)的声音。从而，即使用户没有携带乐器，也可以随时随地空手演奏音乐。

在一种可能的实现中，演奏乐器包括键盘乐器、弦乐器、吹管乐器、打击乐器中的至少一种；并且演奏音符包括琴键或琴键组合对应的音符、弦乐器被演奏出的音符、吹管乐器被演奏出的音符、以及打击乐器被演奏出的音符中的至少一种。

可以理解，键盘乐器可以包括钢琴、管风琴、手风琴、电子琴等；弦乐器可以包括小提琴、中提琴、大提琴、低音提琴、电贝司、吉他、竖琴、电吉他、琵琶和扬琴等，吹管乐器可以包括笛子、箫、埙、排箫等，打击乐器可以包括响鼓、缸鼓、铜鼓、四面鼓、木鼓、堂鼓、长鼓、排鼓等。

在一种可能的实现中，第一电子设备包括传感器，检测到用户佩戴第一电子设备的第一部位的第一运动，包括：通过传感器检测到用户佩戴第一电子设备的第一部位的第一运动，传感器包括加速度传感器、陀螺仪传感器和肌电传感器中的至少一种。

本申请实施例通过加速度传感器+陀螺仪(acceleration transducer+gyroscopesensor，A+G传感器)检测用户的手指和手腕在三维空间上的运动，结合肌电传感器采集到的用户手部肌肉上方皮肤的表皮肌肉电流进行手势动作识别，可以提高识别到的手势动作的准确率。

在一种可能的实现中，包括：在第一电子设备的显示界面显示第一演奏音符被演奏的显示画面。

可以理解，通过在第一电子设备的显示界面显示第一演奏音符被演奏的显示画面，以便于用户知晓当前弹奏的音符。

在一种可能的实现中，检测到用户佩戴第一电子设备的第一部位的第一运动，包括：检测到开始手势，识别第一运动对应的演奏手势；基于运动与演奏乐器的演奏音符之间的对应关系，以及基于演奏乐器与第一运动对应的第一演奏音符，播放第一声音，包括：基于运动与演奏乐器的演奏音符之间的对应关系，确定演奏手势在演奏乐器的位置为初始位置；并且，基于演奏乐器与第一运动对应的第一演奏音符，播放第一声音。

可以理解，开始手势可以包括敲击一下智能手表10的屏幕、长按智能手表10的顶部按钮、长按智能手表10的底部按钮等。

在本申请实施例中，可以在检测到开始手势后，将当前演奏手势(当前手部姿势)在智能手表10中对应的演奏位置作为初始位置，并播放第一运动对应的第一演奏音符。

在一种可能的实现中，包括：检测到用户佩戴第一电子设备的第一部位的第二运动，基于第二运动调整第一电子设备的显示画面和播放的声音。

在一种可能的实现中，第二运动包括第一手势和第一位移，基于第二运动调整第一电子设备的显示画面和播放声音，包括：基于运动与演奏乐器之间的对应关系、第一位移，确定第一部位在演奏乐器的第二位移；将第一电子设备的显示界面的画面对应第二位移进行调整；基于运动与演奏乐器的演奏音符之间的对应关系，播放第一手势对应的第二演奏音符。

可以理解，第一位移为用户的手部移动的实际距离，第二位移为根据用户的手部移动的实际距离确定的、用户在演奏乐器移动的距离。

在本申请实施例中，电子设备的显示界面可以根据检测到的用户动作的改变，切换显示界面的图像，以帮助用户确定当前用户动作对应演奏乐器的位置和即将发出的声音。

在一种可能的实现中，检测到用户的演奏指令，确定用户所选择的演奏乐器，包括：检测到用户的演奏指令，第一电子设备显示乐器选择界面，乐器选择界面包括至少一种类型的乐器控件；检测到用户对第一乐器控件的第一操作，确定用户选择的演奏乐器为第一乐器控件对应的乐器；或者检测到演奏指令和用户佩戴第一电子设备的第一部位的第三运动；根据运动与乐器之间的对应关系，确定第三运动对应的演奏乐器。

在一种可能的实现中，演奏指令包括手势指令和语音指令中的一种或者多种，演奏指令包括触控指令和隔空手势指令，语音指令包括包含演奏关键词的语音指令。

可以理解，触控指令包括拇指单击屏幕、拇指双击屏幕等；隔空手势指令包括手腕旋转180°、翻转手腕n次(n为正整数)等；语音指令包括用户说出包含例如“打开演奏模式”、“打开音乐演奏模式”、“演奏音乐”等关键词的指令。

在一种可能的实现中，方法还包括：检测到用户的演奏指令，第一电子设备显示部位选择界面；检测到用户对第一部位控件的第二操作，确定用户佩戴第一电子设备的部位为第一部位控件对应的第一部位。

在一种可能的实现中，第一部位包括手腕、脚腕、颈部、头部中的至少一种；第一运动包括用户按下琴键或琴键组合的手势、用户按下琴弦的手势、用户堵住笛孔的手势、用户敲击打击乐器的手势中的至少一种；第一电子设备包括智能手表、智能手环、虚拟现实(virtual reality，VR)眼镜、智能手柄中的任一种。

在一种可能的实现中，方法还包括：记录第一运动对应第一演奏音符；检测到用户佩戴第一电子设备的第二部位的第四运动；基于运动与演奏乐器的演奏音符之间的对应关系，确定演奏乐器与第四运动对应的第三演奏音符；播放第一声音，包括：基于第一演奏音符和第三演奏音符，播放第一声音。

在本申请实施例中，第一部位可以为左手，第二部位可以为右手。通过第一电子设备基于第一演奏音符和第三演奏音符，播放第一声音，实现了即使用户只有一个电子设备，也可以达到双手演奏的效果。

在一种可能的实现中，基于第一演奏音符和第三演奏音符，播放第一声音，包括：将第一演奏音符和第三演奏音符在时间域上进行融合，得到融合音符；播放融合音符。

例如，以第一演奏音符和第三演奏音符的开始时间作为播放演奏音符的起始时间，将第一演奏音符和第三演奏音符在时间域进行叠加，得到第一演奏音符与第三演奏音符的融合音符，并播放融合音符。

在一些实施例中，用户可以设置第一演奏音符和第三演奏音符进行叠加的时间。例如，用户设置叠加第一演奏音符的时间为2s，则在第三演奏音符播放2s后，再将第一演奏音符从第一演奏音符的开始时间与第三演奏音符进行叠加。

可以理解，第一演奏音符和第三演奏音符可以从相同的时间进行叠加，也可以从不同的时间进行叠加。

在一种可能的实现中，方法还包括：检测到用户佩戴第二电子设备的第三部位的第五运动；基于运动与演奏乐器的演奏音符之间的对应关系，确定演奏乐器与第五运动对应的第四演奏音符；播放第一声音，包括：基于第一演奏音符和第四演奏音符，播放第一声音。

可以理解，第一部位可以为左手，第二部位可以为右手。本申请实施例可以通过第一电子设备获取第二电子设备的第五运动，并根据第一运动和第二运动生成第一声音，实现双手演奏的效果。

在一种可能的实现中，方法还包括：显示第一演奏音符和第四演奏音符被演奏的显示画面。

第二方面，本申请实施例提供了一种电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的一个或多个处理器之一，用于实现上述第一方面及上述第一方面的各种可能实现提供的任一种交互方法。

第三方面，本申请实施例提供了一种可读介质，可读介质上存储有指令，指令在电子设备上执行时使电子设备实现上述第一方面及上述第一方面的各种可能实现提供的任一种交互方法。

第四方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，在被电子设备执行时，所述电子设备实现上述第一方面及上述第一方面的各种可能实现提供的任一种交互方法。

上述第二方面至第四方面的有益效果，可以参考上述第一方面以及上述第一方面的各种可能的实现中的相关描述，在此不做赘述。

附图说明

图1a根据本申请实施例，示出了一种智能手表10的示意图；

图1b根据本申请实施例，示出了一种智能手表10的结构示意图；

图1c根据本申请实施例，示出了一种智能手表10的肌电电极105的示意图；

图2a根据本申请实施例，示出了一种智能手表10的显示界面2A的示意图；

图2b根据本申请实施例，示出了一种智能手表10的显示界面2B的示意图；

图2c根据本申请实施例，示出了一种智能手表10的显示界面2C的示意图；

图3a根据本申请实施例，示出了一种智能手表10的显示界面3A的示意图；

图3b根据本申请实施例，示出了一种智能手表10的显示界面3B的示意图；

图3c根据本申请实施例，示出了一种智能手表10的显示界面3C的示意图；

图3d根据本申请实施例，示出了一种智能手表10的显示界面3D的示意图；

图4a根据本申请实施例，示出了一种智能手表10的显示界面1A的示意图；

图4b根据本申请实施例，示出了一种智能手表10的显示界面1B的示意图；

图5根据本申请实施例，示出了一种交互方法的流程示意图；

图6根据本申请实施例，示出了一种肌电电极检测手势的示意图；

图7根据本申请实施例，示出了一种智能手表10的显示界面7A的示意图；

图8a根据本申请实施例，示出了一种智能手表10的显示界面8A的示意图；

图8b根据本申请实施例，示出了一种智能手表10的显示界面8B的示意图；

图9根据本申请实施例，示出了一种用户拉小提琴的场景示意图；

图10根据本申请实施例，示出了一种用户吹笛子的场景示意图；

图11根据本申请实施例，示出了另一种交互方法的流程示意图。

具体实施方式

本申请的说明性实施例包括但不限于一种交互方法、电子设备、可读介质及程序产品。

可以理解，本申请的技术方案适用于具有可以测量物体运动状态的传感器的电子设备，例如，包括但不限于手机、智能手表、智能手环、智能眼镜、智能头盔、智能手套、智能戒指、智能服饰、电视、平板电脑、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，本发明实施例对电子设备的具体类型不作任何限制。

下面以智能手表10为例，对电子设备的结构进行介绍。

如图1a所示，智能手表10包括手表主体101，与手表主体101连接的表带102、顶部按钮103和底部按钮104。在一些示例中，手表主体101的结构如图1b所示，包括：处理器1、存储器2、微控制单元3、电源管理系统4、电源5、显示屏6、触摸屏7、蓝牙8、扬声器9等组件。

下面对手表主体101中的组件进行介绍。

处理器1：用于对智能手表10进行系统调度，如控制显示屏6、触摸屏7，支持处理扬声器9、对传感器采集的数据进行运算等。处理器1可以包括一个或多个处理单元，例如，可以包括中央处理器(central processing unit，CPU)、图像处理器(graphics processingunit，GPU)、数字信号处理(digital signal processing，DSP)、微处理器(micro-programmed control unit，MCU)、人工智能(artificial intelligence，AI)处理器或可编程逻辑器件(field programmable gate array，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器1中可以设置存储单元，用于存储指令和数据。

存储器2：用于存储软件程序以及数据，处理器1通过运行存储在存储器2的软件程序以及数据，执行智能手表10的各种功能应用以及数据处理。存储器2可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储智能手表10使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器2可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。处理器1通过运行存储在存储器2的指令，和/或存储在设置于处理器1中的存储器的指令，执行智能手表10的各种功能应用以及数据处理。在一些实施实例中，处理器11通过运行存储在存储器2的指令，执行本申请实施例提供的交互方法。

微控制单元3：包括加速度传感器+陀螺仪(acceleration transducer+gyroscopesensor，A+G传感器)31、肌电传感器32、超宽带传感器(ultrawide band，UWB)33等。

A+G传感器31：包括加速度传感器和陀螺仪；其中，加速度传感器是一种能够测量加速力的电子设备，加速力是当物体在加速过程中作用在物体上的力，加速度传感器获取的是X、Y、Z三轴的加速度数值；陀螺仪传感器是一种角速度检测装置，用于获取X、Y、Z三轴的角加速度数据。

在一些实施例中，加速度传感器可以包括三轴加速度传感器、六轴加速度传感器或九轴加速度传感器中的任一种，陀螺仪可以包括三轴陀螺仪传感器、六轴陀螺仪传感器或九轴陀螺仪传感器中的任一种，加速度传感器和陀螺仪均设置在智能手表10上。

肌电传感器32：肌电传感器包括设置在智能手表10、面向皮肤外表面上的电极(如图1c中的肌电电极105)。在用户做不同的手部运动时，可以通过电极采集肌电信号(electromyography，EMG)，然后对肌电信号进行识别来判断手部运动的种类。

可以理解，运动神经控制不同位置的肌肉组织兴奋，可以产生不同的EMG。

在一些实施例中，微控制单元3还可以包括用于检测运动状态的其他传感器，如地磁传感器。

UWB 33：用于在较宽的频谱上传送低功率的信号，以通过返回的信号确定感应到的物体的位置。

显示屏6：用于显示用户输入的信息或提供给用户的信息以及智能手表10的各种菜单。显示屏6还可以显示人机交互界面、图像、视频等。显示屏6包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，量子点发光二极管(quantum dot light emitting diodes，QLED)等

触摸屏7：也称为触控面板，用于收集用户在智能手表10的触摸操作(如用户使用手指、触笔等任何合适的物体在触控面板或在触控面板附近的操作)，并根据预先设定的程式驱动响应点击操作的连接装置。

在一些实施例中，触摸屏7可以覆盖显示屏6。当触摸屏7检测到用户在其上或附近的触摸操作后，发送给处理器1以确定触摸操作对应的触摸事件的类型，随后处理器1根据触摸事件在显示屏上提供相应的视觉输出。

扬声器9：用于将电信号为声音信号输出。

可以理解，图1b所示的智能手表10的结构只是一种示例，在另一些实施例中，智能手表10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

目前，对于能够完全采集用户演奏动作的电子乐器，由于体积庞大、结构复杂等特征，无法达到随时随地的演奏要求。而仿真电子乐器结构简单，演奏方式与真实乐器有很大差别，对演奏动作有很大的局限性。

市场上的可穿戴式设备通常可以像智能手机一样，具有独立的操作系统、运行多种应用程序。例如，智能手表可以通过传感器检测手指肌肉运动时带动的手腕运动，从而识别用户的手势，例如握拳、打响指等动作。但是可穿戴式设备的功能在音乐演奏领域的应用几乎是空白的，而传统的音乐演奏方式比较单一，例如需要使用实体乐器才能进行演奏，无法随时随地进行演奏。

为解决上述问题，本申请实施例提供一种交互方法，交互方法包括：对应不同的乐器，预先建立乐器所能够发出的演奏音符和用户动作之间的对应关系。例如，对于钢琴，建立钢琴上的单个琴键、多个琴键组合与用户动作(如手指关节)的对应关系；对于小提琴，建立琴弦各位置所发出的演奏音符与用户动作之间的对应关系。

在检测到电子设备进入演奏阶段后，检测用户动作(如手势动作和手腕的位移)，基于用户动作确定演奏的音符，并通过扬声器播放被演奏的音符的声音。从而，即使用户没有携带乐器，也可以随时随地空手演奏音乐。

在本申请实施例中，在用户想要演奏音乐时，可以执行演奏指令，以触发电子设备进入演奏模式，使得电子设备可以根据检测到的用户动作确定并播放乐器被演奏的音符。

可以理解，演奏指令包括手势指令和语音指令中的一种或者多种。手势指令包括触控指令和隔空手势指令，例如具体可以是拇指单击屏幕、拇指双击屏幕、手腕旋转180°、翻转手腕n次(n为正整数)、单击图2a中的顶部按钮2011、双击图2a中的顶部按钮2011、单击图2a中的底部按钮2012、双击图2a中的底部按钮2012、隔空画圈圈。

在一些实施例中，手势指令还包括用户点击图2a中智能手表10的显示界面2A中的设置1011，进入图2b的显示界面2B。点击显示界面2B的空中音乐演奏模式1012，进入图2c的显示界面2C，点击开关控件1013，以使智能手表10进入演奏模式。

在本申请实施例中，语音指令包括用户说出包含例如“打开演奏模式”、“打开音乐演奏模式”、“演奏音乐”等关键词。例如，智能手表10可以在检测到用户说“打开演奏模式”时，进入演奏模式。

在一些实施例中，用户可以在电子设备的显示界面选择演奏的乐器和佩戴的部位。例如，用户可以点击图3a中的控件1014进入图3b的显示界面3B，从而在显示界面3B中选择演奏的乐器。例如，用户想通过智能手表10弹钢琴，则可以点击钢琴1015。

在一些实施例中，电子设备可以获取用户佩戴电子设备的部位的运动数据，如手势数据，根据运动数据确定用户要演奏的演奏乐器。例如，在基于运动数据确定用户的手指上下滑动时，确定演奏乐器为吉他。

在另一些实施例中，用户可以在电子设备初始化时，例如重启、或者系统更新、或者绑定新设备时，对佩戴电子设备的部位进行选择。在另一些实施例中，用户还可以在进入演奏模式后，对佩戴电子设备的部位进行选择。例如，用户可以点击图3c中的控件1016进入图3d的显示界面3D，从而在显示界面3D中选择佩戴智能手表10的部位。例如，用户在左手佩戴智能手表10，则可以点击左手1017。

在一些实施例中，电子设备可以在显示界面实时显示乐器对应的演奏音符位置，使得用户可以通过电子设备的显示界面及时对演奏手法进行调整。电子设备的显示界面还可以根据检测到的用户动作的改变，切换显示界面的图像，以帮助用户确定当前用户动作对应演奏乐器的位置和即将发出的声音。

上述根据检测到的用户动作的改变，切换显示界面的图像，包括：确定用户的手部移动的第一位移，基于运动与演奏乐器之间的对应关系、第一位移，确定第一部位在演奏乐器的第二位移；将第一电子设备的显示界面的画面对应第二位移进行调整。

例如，在用户佩戴智能手表10弹钢琴的过程中，在t+1时刻确定手腕向右移动s1，对应2个琴键时，将显示界面中的钢琴键界面整体向右移动2个琴键。

如图4a所示，在t时刻时，确定拇指对应智能手表10显示界面1A中的钢琴键F4、食指对应智能手表10显示界面1A中的钢琴键E4、中指对应智能手表10显示界面1A中的钢琴键D4、无名指对应智能手表10显示界面1A中的钢琴键C4、小拇指对应智能手表10显示界面1A中的钢琴键B3。在t+1时刻检测到手腕向右位移2个琴键的距离后，智能手表10的显示界面1B如图4b所示，拇指对应显示界面1B中的钢琴键A4、食指对应显示界面1B中的钢琴键G4、中指对应显示界面1B中的钢琴键F4、无名指对应显示界面1B中的钢琴键E4、小拇指对应显示界面1B中的钢琴键D4。

可以理解，第一位移为用户的手部移动的实际距离，第二位移为根据用户的手部移动的实际距离确定的、用户在演奏乐器移动的距离。

如前所述，电子设备可以通过传感器获取用户的动作(如手势动作和手腕的位移)，下面以传感器包括A+G传感器和肌电传感器为例，对电子设备检测手势动作和手腕的位移方法进行介绍。

在本申请实施例中，在用户携带电子设备演奏时，可以通过A+G传感器中的加速度传感器采集手腕在X、Y、Z三轴方向上的加速度，通过A+G传感器中的陀螺仪采集手腕在X、Y、Z三轴方向上的角速度，通过安置在智能手表上的肌电传感器检测肌电信号，然后通过手势库查询算法对加速度、角速度和肌电信号进行手势甄别和手腕的运动状态识别，从而确定手指和手腕的运动状态，如直线运动、旋转运动、直线运动的平移方向、平移距离，旋转运动的旋转方向、旋转角度等，从而得到演奏动作和演奏位置，最后基于演奏动作和演奏位置确定演奏的音符。

由此，通过A+G传感器检测用户的手和手腕在三维空间上的运动，结合肌电传感器采集到的用户手部肌肉上方皮肤的表皮肌肉电流进行手势动作识别，可以提高识别到的手势动作的准确率。

在本申请实施例中，还可以通过A+G传感器和肌电传感器识别抬腕角度，以调整显示画面，让用户能更清晰地看到屏幕显示的内容。

可以理解，本申请实施例的方法，用户可以佩戴电子设备在手腕、脚腕、颈部、头部中的至少一种；电子设备包括智能手表、智能手环、VR眼镜、智能手柄中的任一种。

可以理解，对于需要双手协同的乐器，用户可以在双手均佩戴电子设备，如智能手表。在演奏过程中，两个可穿戴设备同时检测手部和腕部的运动数据、同时根据检测到的运动数据与演奏乐器的演奏音符之间的对应关系，播放运动数据对应的演奏音符的声音。

在本申请实施例中，两个电子设备还可以通过蓝牙连接，以进行联动。例如，智能手表10和智能手表20建立蓝牙连接后，智能手表10基于传感器获取的第一运动数据、通过UWB传感器获取的智能手表20的第二运动数据，确定并播放第一运动数据和第二运动数据对应的演奏音符。智能手表20基于传感器获取的第二运动数据、通过UWB传感器获取的智能手表10的第一运动数据，确定并播放第一运动数据和第二运动数据对应的演奏音符。

在一些实施例中，在用户佩戴多个电子设备时，可以只通过其中的一个电子播放获取到的运动数据对应的演奏音符，例如，在智能手表10和智能手表20均获取到第一运动数据和第二运动数据时，只通过智能手表10播放第一运动数据和第二运动数据对应的演奏音符，或者只通过智能手表20播放第一运动数据和第二运动数据对应的演奏音符。

在一些实施例中，对于用户只有一个智能手表，但需要双手协同的乐器，用户可以先在第一只手佩戴智能手表，在演奏过程中智能手表记录用户通过第一只手演奏的声音。然后，在智能手表佩戴至第二只手时，智能手表在识别手势动作的同时播放第一只手演奏的声音，从而完成双手演奏的效果。

下面对本申请实施例提供的交互方法进行详细说明，本申请实施例的交互方法应用于可穿戴设备，下面以智能手表10进行举例说明。其中，图5示出了本申请实施例一种交互方法的示意图，交互方法包括：

501：检测到用户的演奏指令，确定进入演奏模式。

在本申请实施例中，在智能手表10检测到用户执行演奏指令时，确定进入演奏模式，并在显示界面显示乐器选择界面(如图3b所示)以供用户选择演奏乐器。

可以理解，演奏指令包括手势指令和语音指令中的一种或者多种。手势指令包括触控指令和隔空手势指令，例如具体可以是拇指单击屏幕、拇指双击屏幕、手腕旋转180°、翻转手腕n次(n为正整数)、单击图2a中的顶部按钮2011、双击图2a中的顶部按钮2011、单击图2a中的底部按钮2012、双击图2a中的底部按钮2012、隔空画圈圈等。

在一些实施例中，手势指令还包括用户点击图2a中智能手表10的显示界面2A中的设置1011，进入图2b的显示界面2B。点击显示界面2B的空中音乐演奏模式1012，进入图2c的显示界面2C，点击开关控件1013，以使智能手表10进入演奏模式。

在本申请实施例中，语音指令包括用户说出包含例如“打开演奏模式”、“打开音乐演奏模式”、“演奏音乐”等关键词。例如，智能手表10可以在检测到用户说“打开演奏模式”时，进入演奏模式。

可以理解，演奏模式包括音乐演奏模式、空中音乐演奏模式、隔空音乐演奏模式中的任一种，当智能手表10进入演奏模式后，在显示界面显示乐器选择界面(如图3b所示)以供用户选择演奏乐器，并且可以根据检测到用户的动作数据与演奏乐器之间的对应关系，显示被弹奏的演奏音符。

502：检测到用户的选择指令，确定演奏乐器。

在本申请实施例中，在智能手表10进入演奏模式后，用户可以在智能手表10的显示界面选择演奏乐器以及当前佩戴智能手表10的第一部位，如左手、右手。

例如，用户可以点击图3a中的控件1014进入图3b的显示界面3B，从而在显示界面3B中选择演奏的乐器。例如，用户想通过智能手表10弹钢琴，则可以点击钢琴1015。

在一些实施例中，智能手表10可以获取用户佩戴智能手表10的第一部位的运动数据，如手势数据，根据运动数据确定用户要演奏的演奏乐器。例如，在基于运动数据确定用户的手指上下滑动时，确定演奏乐器为吉他。

在另一些实施例中，用户可以在智能手表10初始化时，例如重启、或者系统更新、或者绑定新设备时，对佩戴智能手表10的第一部位进行选择。在另一些实施例中，用户还可以在进入演奏模式后，对佩戴智能手表10的第一部位进行选择。例如，用户可以点击图3c中的控件1016进入图3d的显示界面3D，从而在显示界面3D中选择佩戴智能手表10的手。例如，用户在左手佩戴智能手表10，则可以点击左手1017。

可以理解，演奏乐器包括键盘乐器、弦乐器、吹管乐器、打击乐器中的至少一种；并且演奏音符包括琴键或琴键组合对应的音符、弦乐器被演奏出的音符、吹管乐器被演奏出的音符、以及打击乐器被演奏出的音符中的至少一种。

可以理解，键盘乐器可以包括钢琴、管风琴、手风琴、电子琴等；弦乐器可以包括小提琴、中提琴、大提琴、低音提琴、电贝司、吉他、竖琴、电吉他、琵琶和扬琴等，吹管乐器可以包括笛子、箫、埙、排箫等，打击乐器可以包括响鼓、缸鼓、铜鼓、四面鼓、木鼓、堂鼓、长鼓、排鼓等。

在本申请实施例中，在用户选择完演奏乐器后，还可以在智能手表10设置初始位置，以便于用户知晓手与演奏乐器的相对位置。例如，在用户确定初始位置后，可以通过开始手势，如拇指敲击一下智能手表10的屏幕，以使智能手表10确定初始位置。

在一些实施例中，开始手势还可以包括长按智能手表10的顶部按钮、长按智能手表10的底部按钮等。

可以理解，智能手表10在检测到开始手势后，将手部的当前姿势(当前演奏手势)在智能手表10中对应的演奏位置作为初始位置。

在本申请实施例中，对于需要双手协同的乐器，可以通过蓝牙或网络等方式实现双设备配对和互动，利用UWB等传感器进行手部方向定位位置识别，从而实现多手连弹。双手协同的乐器的演奏方法在下文进行介绍。

在一些实施例中，用户还可以在选择演奏乐器后，根据待演奏的音乐在智能手表10的显示界面，从预先创建的音色数据库中选择适当的音色数据，以使演奏乐器的音色更符合待演奏音乐的曲调。

可以理解，音色数据库是预先建立好的，包括多种类型的乐器及各种乐器对应的音色数据，且同一乐器类型包括不同音量的音色数据。

在另一些实施例中，音色数据库中还包括部分乐器的演奏数据，包括：同音量不同节奏的演奏数据、同节奏不同音量的演奏数据、不同节奏不同音量的演奏数据。

503：检测到用户佩戴电子设备的第一部位的第一运动。

可以理解，第一运动包括用户按下琴键或琴键组合的手势、用户按下琴弦的手势、用户堵住笛孔的手势、用户敲击打击乐器的手势中的至少一种。

在本申请实施例中，在用户佩戴智能手表10开始演奏时，可以通过智能手表10的A+G传感器和肌电传感器对用户的第一运动(如手势动作和手腕的位移)进行采集，以根据A+G传感器和肌电传感器采集到的数据确定手势动作和手腕的位移，从而基于手势动作和手腕的位移确定演奏的音符。

例如，在用户佩戴智能手表10演奏时，智能手表10可以通过加速度传感器采集手腕在X、Y、Z三轴方向上的加速度，通过陀螺仪采集手腕在X、Y、Z三轴方向上的角速度，如图6所示，通过安置在智能手表上的肌电传感器检测手腕皮肤表面的肌电信号。

可以理解，在用户做某种手势时，相应的肌肉会产生微弱的生物电流。通过检测肌肉电流(肌电信号)的变化，配合运动传感器检测的加速度数据和角度数据，经过实时数字信号处理，可以检测出手臂、手指、手掌、手腕的运动。

本申请实施例通过A+G传感器检测用户的手指和手腕在三维空间上的运动，结合肌电传感器采集到的用户手部肌肉上方皮肤的表皮肌肉电流进行手势动作识别，可以提高识别到的手势动作的准确率。

504：根据运动与演奏乐器的演奏音符之间的对应关系，确定第一运动对应的第一演奏音符，播放第一声音。

在本申请实施例中，可以预先建立并存储第一运动和各演奏乐器所能发出的演奏音符之间的对应关系。例如，对于钢琴，建立钢琴上的单个琴键、多个琴键组合与用户动作(如手指按下的琴键位置)的对应关系；对于小提琴，建立琴弦各位置所发出的演奏音符与用户动作(如用户的手按下的琴弦、拉弦的频率)之间的对应关系；对于笛子，建立用户的指法(如手指堵住的笛孔)与对应笛孔所能发出的演奏音符之间的对应关系。

在检测到第一运动后，根据第一运动和手势库查询算法确定手势动作和手腕的位移，然后根据存储的手势动作和手腕的位移与演奏乐器的演奏音符之间的对应关系，确定第一演奏音符，并基于第一演奏音符播放第一声音。例如，对于演奏乐器为钢琴的情况，在根据用户的手势动作确定用户按下琴键“E4”和“G4”时，播放“E4”和“G4”的声音；对于演奏乐器为小提琴的情况，在根据用户的手势动作确定用户按住第一根琴弦的第一把位、并且以第一速度拉弦时，播放以第一速度拉弦、且第一根琴弦的第一把位被按住时的音符声音；对于演奏乐器为笛子的情况，在根据用户的手势动作确定用户按住第一孔、第二孔时，播放第一孔、第二孔被堵住、第三孔、第四孔、第五孔、第六孔未被堵住时的音符。

可以理解，通过手势库查询算法可以对加速度、角速度和肌电信号进行手势甄别和手腕的运动状态识别，从而确定手指和手腕的运动状态，如直线运动、旋转运动、直线运动的平移方向、平移距离，旋转运动的旋转方向、旋转角度等，从而得到演奏动作和演奏位置，最后基于演奏动作和演奏位置确定演奏的音符。

在一些实施例中，在采集到肌电信号后，可以通过预处理电路对肌电信号进行放大、滤波，然后经过数字转换器电路转换为数字信号。通过数字信号处理模块对数字信号进行数字滤波、整流等处理。然后再对采集到的加速度、角速度和处理后的数字信号进行线性判断分析，例如通过手势库查询算法对加速度、角速度和处理后的数字信号进行手势甄别和手腕的运动状态识别，从而确定手指和手腕的运动状态。

在本申请实施例中，智能手表10还可以对加速度、角速度进行运动状态识别，以确定播放音调。

智能手表10对三轴陀螺仪传感器采集到的角速度进行处理，得到X轴方向上的角速度向量、Y轴方向上的角速度向量以及Z轴方向上的角速度向量。然后将所有的加速度(加速度向量)、所有的角速度(角速度向量)进行数据融合，得到欧拉角。

其中，数据融合包括通过卡尔曼滤波模型对加速度向量、角速度向量进行处理，以去除数据噪波，然后在X、Y、Z三个轴建立两个坐标系，得到加速度向量分别在两个坐标系中的坐标以及角速度向量分别在两个坐标系中的坐标，并将加速度向量的两个坐标的矢量进行矢量求和，对角速度向量的两个坐标的矢量进行矢量求和，从而消除重力影响，然后将经过卡尔曼滤波模型处理后的方位向量、去除重力影响后的加速度向量和角速度向量转换成对应的四元数，根据各个四元数构建对应的四元数微分方程，根据四元数方向余弦阵和欧拉角的转换关系，把各个四元数转换成欧拉角，并根据欧拉角确定音调。其中，不同的欧拉角对应不同的音调。

在本申请实施例中，智能手表10还可以对加速度、角速度和肌电信号进行运动状态识别，以确定播放演奏音符时的节奏信息。

例如，智能手表10在获取到加速度、角速度和肌电信号后，通过手势库查询算法进行识别，得到手势数据，并将手势数据分解成一个个的运动动作；可以理解，每一个运动动作可以作为音乐中的一拍，各拍运动动作的运动节奏共同构成了手势数据的运动节奏信息，一拍运动动作的运动节奏可以包括拍子的长短，拍子间的停顿，通过对获取到的加速度、角速度和肌电信号进行分析，来转换成音乐片段的节奏信息。

例如，如图7所示，以“X”作为一拍，根据用户的加速度、角速度和肌电信号获取到的节奏信息可以为“XXX_XXX”，相当于“啦啦～啦，啦啦～啦”；其中，“_”为休止符，即该节拍不发音。

在本申请实施例中，智能手表10还可以根据加速度、角速度和肌电信号确定用户的手腕或手指的运动幅度，从而确定弹奏音符的音量信息。

例如，预先设置手腕和手指运动幅度与音量信息的转化关系式。例如，设置运动幅度与音量呈正比关系，即运动幅度越大，音符的音量越大。在用户演奏音乐的过程中，可以根据采样周期内各拍运动动作幅度的平均值来确定音乐片段的音量，也可以根据每一拍运动动作的运动幅度确定与该拍运动动作对应的音符的音量。

可以理解，采样周期可以为设定的一段时间，例如3秒，5秒，也可以为佩戴可穿戴式设备的用户开始运动到结束运动的这段时间。

本申请通过A+G传感器和肌电传感器获取用户的第一运动，通过提高第一运动精确度的方式，提高识别到的手势动作的准确性。

在一些实施例中，用户还可以通过手势(如长按智能手表10的顶部按钮103)或者滑动屏幕(如右滑屏幕、左滑屏幕)，以触发智能手表10进入演奏音符的音调设置界面、音量设置界面。

例如，用户可以通过长按顶部按钮103以使智能手表10显示如图8a所示的音量设置界面8A。用户可以通过旋转顶部按钮103以调整音量；例如，向上旋转顶部按钮103以增加音量，向下旋转顶部按钮103以降低音量。在一些实施例中，也可点击音量增加控件801以增加音量，点击音量降低控件801以降低音量。

在本申请实施例中，在用户演奏的过程中，智能手表10的显示界面还可以显示手指对应的弹奏位置，并且，通过加速度传感器获取手腕在X轴、Y轴、Z轴的位移(如图8b所示)，以根据位移切换显示界面。

例如，在用户佩戴智能手表10弹钢琴的过程中，在t+1时刻根据加速度传感器获取的位移数据确定手腕向右位移2个琴键时，将显示界面中的钢琴键界面整体向右移动2个琴键。具体可以参考前述图4a及其相关描述。

在本申请实施例中，在用户演奏的过程中，还可通过加速度传感器识别手腕的抬腕角度，根据手腕的抬腕角度调整智能手表10的屏幕显示界面，使用户可以更清晰的看到屏幕显示的内容。

例如，用户在t时刻无法看清屏幕显示界面时，可以将手腕向左旋转y°，与此同时，智能手表10的显示界面也向左旋转x°。

在本申请实施例中，通过智能手表10的A+G传感器跟踪手腕的三维运动姿态，通过肌电传感器采集手腕肌肉上方皮肤的表皮肌肉电流，以根据手腕的三维运动姿态和表皮肌肉电流手势特征参数连续提取，配合扬声器发声，实现手势数据转换为音乐，完成智能手表10独立演奏乐器的功能，相比于传统乐器，便于携带，使用户能够随时随地进行音乐创作。并在演奏过程中，智能手表10还可以通过屏幕显示实时告知用户演奏位置，从而帮助用户明确当前手与乐器位置的对应关系。并且，本申请采用的A+G传感器和肌电传感器具有功耗低、移动性强、应用场合不受限、成本低、识别率高等多种优势。

可以理解，本申请提供的交互方法，还可以应用于其他涉及动作数据与声音联动的场景，如实现游戏声音互动等。

在本申请实施例中，对于用户演奏需要双手协同的乐器，且具有两个可穿戴设备的场景，如用户拥有两个智能手表、或者拥有两个智能手环、或者拥有一个智能手表和一个智能手环，用户可以在演奏过程中左手佩戴一个可穿戴设备，右手佩戴另一个可穿戴设备，并在两个可穿戴设备选择佩戴的部位。在演奏过程中，两个可穿戴设备同时检测对应部位的运动数据、同时根据检测到的运动数据与演奏乐器的演奏音符之间的对应关系，播放运动数据对应的演奏音符的声音。

例如，用户可以在左手佩戴智能手表10、右手佩戴智能手表20，并且智能手表10和智能手表20可以通过蓝牙连接以进行联动。在用户演奏钢琴的过程中，通过智能手表10获取用户的左手的运动数据，以确定用户左手按压的琴键；通过智能手表20获取用户的右手的运动数据，以确定用户右手按压的琴键；然后基于智能手表10和智能手表20获取的运动数据和事先建立的钢琴琴键的音符与运动数据的对应关系，同时播放对应的演奏音符。

可以理解，本申请实施例中提及的演奏乐器均为虚拟的演奏乐器，并非实际存在的演奏乐器。

在本申请实施例中，还可以通过UWB传感器实时根据智能手表10和智能手表20获取的运动数据调整显示界面，例如，在智能手表10的显示界面可以实时显示左手按压的琴键，和/或在智能手表20的显示界面实时显示右手按压的琴键。

在一些实施例中，还可以在在智能手表10的显示界面可以实时显示左手按压的琴键和右手按压的琴键，和/或在智能手表20的显示界面实时显示左手按压的琴键和右手按压的琴键。

例如，如图9所示，用户可以在左手佩戴智能手表10、右手佩戴智能手表20，并且智能手表10和智能手表20可以通过蓝牙连接以进行联动。在用户演奏小提琴的过程中，通过智能手表10获取用户的左手的运动数据，以确定用户按压的和弦；通过智能手表20获取用户的右手的运动数据，以确定用户拉奏的位置、速度、力度；然后基于智能手表10和智能手表20获取的运动数据和事先建立的小提琴播放的音符与运动数据的对应关系，同时播放对应的演奏音符。

可以理解，本申请实施例中提及的演奏乐器均为虚拟的演奏乐器，并非实际存在的演奏乐器。

在本申请实施例中，还可以通过UWB传感器实时根据智能手表10和智能手表20获取的运动数据调整显示界面，例如，在智能手表10的显示界面可以实时显示按压的和弦、在智能手表20的显示界面可以实时显示拉奏的和弦。

例如，如图10所示，用户可以在左手佩戴智能手表10、右手佩戴智能手表20，并且智能手表10和智能手表20可以通过蓝牙连接以进行联动。在用户演奏笛子30的过程中，通过智能手表10获取用户的左手的运动数据，以确定用户左手按压的笛孔；通过智能手表20获取用户的右手的运动数据，以确定用户右手按压的笛孔；然后基于智能手表10和智能手表20获取的运动数据和事先建立的笛子播放的音符与运动数据的对应关系，同时播放对应的演奏音符。

在本申请实施例中，智能手表10和智能手表20可以建立蓝牙连接，然后通过UWB传感器实时根据智能手表10和智能手表20对应的运动数据调整智能手表10和智能手表20的显示界面，以进行显示界面的联动，例如，在智能手表10和智能手表20的显示界面可以实时显示左手和右手按压的笛孔。

下面对智能手表10和智能手表20通过蓝牙连接，实现显示界面的联动的方法进行介绍。

首先，智能手表10和智能手表20可以建立蓝牙连接，然后智能手表10通过UWB传感器感应智能手表20的位置变动，智能手表20通过UWB传感器感应智能手表10的位置变动，从而智能手表10和智能手表20均可以根据智能手表10和智能手表20对应的运动数据调整显示界面。

可以理解，在智能手表10与智能手表20首次连接时，可以在智能手表10和/或智能手表20的显示界面显示“首次连接指引”，并弹出互联界面。在用户演奏乐器的过程中，可以在智能手表10和智能手表20的显示界面实时显示用户的手与演奏乐器的相对位置。在智能手表10和智能手表20均检测不到用户的运动数据后，可以在智能手表10和智能手表20的显示界面显示“是否退出控制”的对话框，以供用户选择退出演奏模式。

在本申请实施例中，在用户确定初始位置时，智能手表10和智能手表20可以通过蓝牙传输用户佩戴的部位与演奏乐器之间的相对位置，使得智能手表10和智能手表20均获取到双手的初始位置。

可以理解，在用户演奏结束后，在智能手表10和智能手表20的显示界面均可以选择退出演奏模式。

对于用户演奏需要双手协同的乐器，但用户只有一个电子设备的场景，如用户只有一个智能手表、或者只有一个智能手环，可以根据图11所示的交互方法，实现双手演奏乐器。交互方法包括：

1101：检测到用户的演奏指令，确定进入演奏模式。

步骤1101和图5所示实施例的步骤501的处理方法相同，在此不做赘述。

1102：检测到用户的第一选择指令，确定演奏乐器和第一演奏部位。

在本申请实施例中，在智能手表10进入演奏模式后，用户可以在智能手表10的显示界面选择演奏乐器以及当前佩戴智能手表10的部位，如左手。

例如，用户可以点击图3a中的控件1014进入图3b的显示界面3B，从而在显示界面3B中选择演奏的乐器。例如，用户想通过智能手表10弹钢琴，则可以点击钢琴1015(演奏乐器)。

在一些实施例中，智能手表10可以获取用户佩戴智能手表10的部位的运动数据，如手势数据，根据运动数据确定用户要演奏的演奏乐器。例如，在基于运动数据确定用户的手指上下滑动时，确定演奏乐器为吉他。

在另一些实施例中，用户可以在智能手表10初始化时，例如重启、或者系统更新、或者绑定新设备时，对佩戴智能手表10的部位进行选择。在另一些实施例中，用户还可以在进入演奏模式后，对佩戴智能手表10的部位进行选择。例如，用户可以点击图3c中的控件1016进入图3d的显示界面3D，从而在显示界面3D中选择佩戴智能手表10的手。例如，用户在左手佩戴智能手表10，则可以点击左手1017(第一演奏部位)。

1103：检测到第一演奏部位的第一运动数据。

步骤1103和图5所示实施例的步骤503的处理方法相同，在此不做赘述。

1104：根据第一运动数据与演奏乐器的演奏音符之间的对应关系，播放第一运动数据对应的第一演奏音符的声音，并记录第一演奏音符。

在本申请实施例中，可以预先建立并存储运动数据和各演奏乐器所能发出的演奏音符之间的对应关系。例如，对于小提琴，建立琴弦各位置所发出的演奏音符与用户动作(如用户的手按下的琴弦、拉弦的频率)之间的对应关系；对于笛子，建立用户的指法(如手指堵住的笛孔)与对应笛孔所能发出的演奏音符之间的对应关系。

在检测到第一运动数据后，根据第一运动数据和手势库查询算法确定手势动作和手腕的位移，然后根据存储的手势动作和手腕的位移与演奏乐器的演奏音符之间的对应关系，确定并播放第一演奏音符的声音，并记录第一演奏音符。

例如，在用户演奏钢琴的过程中，首先，用户的左手佩戴智能手表10，通过智能手表10获取用户的左手的运动数据，以确定用户左手按压的琴键，并记录用户左手按压的琴键为第一演奏音符，并播放用户左手按压的琴键的声音。

例如，在用户演奏小提琴的过程中，首先，用户的左手佩戴智能手表10，通过智能手表10获取用户的左手的运动数据，以确定用户按压的和弦，并记录用户按压的和弦为第一演奏音符，并播放用户按压的和弦被拉奏时的声音。

例如，在用户演奏笛子的过程中，首先，用户的左手佩戴智能手表10，通过智能手表10获取用户的左手的运动数据，以确定用户按压的笛孔，播放按压笛孔后对应的第一演奏音符的声音，并记录用户按压的笛孔为第一演奏音符。

1105：检测到用户的第二选择指令，确定第二演奏部位。

在本申请实施例中，在用户将智能手表10佩戴至第二演奏部位，如右手后，可以在智能手表10的显示界面选择当前佩戴智能手表10的部位右手。

例如，用户可以点击图3c中的控件1016进入图3d的显示界面3D，从而在显示界面3D中点击右手1018(第二演奏部位)。

1106：检测到第二演奏部位的第四运动。

步骤1106和图5所示实施例的步骤503的处理方法相同，在此不做赘述。

1107：根据第四运动与演奏乐器的演奏音符之间的对应关系，确定第四运动对应的第三演奏音符。

在本申请实施例中，在检测到第二运动数据后，根据第二运动数据和手势库查询算法确定手势动作和手腕的位移，然后根据存储的手势动作和手腕的位移与演奏乐器的演奏音符之间的对应关系，确定第三演奏音符。

例如，在用户演奏钢琴的过程中，用户的右手佩戴智能手表10，通过智能手表10获取用户的右手的运动数据，以确定用户右手按压的琴键，并记录用户右手按压的琴键为第三演奏音符。

例如，在用户演奏小提琴的过程中，用户的右手佩戴智能手表10，智能手表10获取用户的右手的运动数据，以确定用户拉奏的和弦的第一速度，并记录用户以第一速度拉奏和弦的音符为第三演奏音符。

例如，在用户演奏笛子的过程中，用户的右手佩戴智能手表10，智能手表10获取用户的右手的运动数据，以确定用户按压的笛孔，并记录用户右手按压的笛孔为第三演奏音符。

1108：同时播放第一演奏音符和第三演奏音符。

在本申请实施例中，可以将第一演奏音符与第三演奏音符进行融合，以同时播放第一演奏音符和第三演奏音符。例如，以第一演奏音符和第三演奏音符的开始时间作为播放演奏音符的起始时间，将第一演奏音符和第三演奏音符在时间域进行叠加，得到第一演奏音符与第三演奏音符的融合音符，并播放融合音符。

在一些实施例中，用户可以设置第一演奏音符和第三演奏音符进行叠加的时间。例如，用户设置叠加第一演奏音符的时间为2s，则在第三演奏音符播放2s后，再将第一演奏音符从第一演奏音符的开始时间与第三演奏音符进行叠加。

可以理解，第一演奏音符和第三演奏音符可以从相同的时间进行叠加，也可以从不同的时间进行叠加。

在一些实施例中，在智能手表10根据第二运动数据确定第三演奏音符后，也可以播放并记录第三演奏音符，然后在用户选择将第一演奏音符和第三演奏音符结合后，智能手表10播放第一演奏音符和第三演奏音符的融合音符。

在本申请实施例中，在获取到用户的第一演奏部位对应的第一演奏音符和第二演奏部位对应的第三演奏音符后，将第一演奏音符与第三演奏音符进行融合，从而形成一首更加完整和丰富的音乐，使得即使用户只有一个可穿戴设备，也可以通过一个可穿戴设备完成“双手演奏”的效果，丰富了穿戴式设备的音乐控制功能，提高了穿戴式设备的用户粘合度。

在一些实施例中，还可以将第一演奏音符、第三演奏音符与其他音乐片段相结合。其中，其他音乐片段是指用户弹奏的音符以外的音乐片段。例如，其他音乐片段可以为与此同时其他智能设备上生成的音乐片段，也可以为其他设定音乐，例如当前正在播放的音乐或者本地预先存储的音乐或者从服务器上获取的音乐。

在一些实施例中，用户还可以同时佩戴智能手表10和VR眼镜。用户可以先通过智能手表10选择待演奏音乐的乐谱，然后在VR眼镜的显示界面进行显示。在用户佩戴智能手表演奏的过程中，可以通过智能手表10识别手势动作和手腕的位移，并在VR眼镜的显示界面显示手部动作与演奏乐器之间的相对位置。同时，VR眼镜还可以实时将演奏音乐中的音强与乐谱对应的音强进行对比，得到第一评分，将演奏音乐中的音调与乐谱对应的音调进行对比，得到第二评分，将演奏音乐中的音符时值与乐谱对应的音符时值进行对比，得到第三评分，演奏音乐中的音符时值，由完成演奏动作的时间确定，如在自由演奏模式和节奏演奏模式中，完成一个演奏动作的时间，就是该演奏动作对应的音符的音符时值；计算第一评分、第二评分和第三评分的均值得到总评分，将第一评分、第二评分、第三评分和总评分均作为比较结果，根据所述比较结果生成演奏评价报告，也就是根据第一评分、第二评分、第三评分和总评分生成演奏评价报告，从而便于演奏者知悉演奏过程中的演奏情况，并根据演奏评价报告对音强、音符时值和/或音调的演奏进行加强训练。

在一些实施例中，在用户同时佩戴智能手表10和VR眼镜时，可以通过VR眼镜的摄像头识别用户的运动数据，如手势动作和手腕的位移，并在VR眼镜的显示界面显示用户的手部动作与演奏乐器之间的相对位置。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(digital signal processor，DSP)、微控制器、专用集成电路(application specific integrated circuit，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(compact disc-read only memory，CD-ROMs)、磁光盘、只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (18)

1.一种交互方法，其特征在于，应用于第一电子设备，所述方法包括：

检测到用户的演奏指令，确定用户所选择的演奏乐器；

检测到用户佩戴所述第一电子设备的第一部位的第一运动；

基于运动与所述演奏乐器的演奏音符之间的对应关系，以及基于所述演奏乐器与所述第一运动对应的第一演奏音符，播放第一声音。

2.根据权利要求1所述的交互方法，其特征在于，所述演奏乐器包括键盘乐器、弦乐器、吹管乐器、打击乐器中的至少一种；并且

所述演奏音符包括琴键或琴键组合对应的音符、弦乐器被演奏出的音符、吹管乐器被演奏出的音符、以及打击乐器被演奏出的音符中的至少一种。

3.根据权利要求1所述的交互方法，其特征在于，所述第一电子设备包括传感器，

所述检测到用户佩戴所述第一电子设备的第一部位的第一运动，包括：

通过所述传感器检测到用户佩戴所述第一电子设备的第一部位的第一运动，所述传感器包括加速度传感器、陀螺仪传感器和肌电传感器中的至少一种。

4.根据权利要求1所述的交互方法，其特征在于，包括：

在所述第一电子设备的显示界面显示所述第一演奏音符被演奏的显示画面。

5.根据权利要求1所述的交互方法，其特征在于，所述检测到用户佩戴所述第一电子设备的第一部位的第一运动，包括：

检测到开始手势，识别所述第一运动对应的演奏手势；

所述基于运动与所述演奏乐器的演奏音符之间的对应关系，以及基于所述演奏乐器与所述第一运动对应的第一演奏音符，播放第一声音，包括：

基于运动与所述演奏乐器的演奏音符之间的对应关系，确定所述演奏手势在所述演奏乐器的位置为初始位置；并且，

基于所述演奏乐器与所述第一运动对应的第一演奏音符，播放所述第一声音。

6.根据权利要求1所述的交互方法，其特征在于，包括：

检测到用户佩戴所述第一电子设备的第一部位的第二运动，基于所述第二运动调整所述第一电子设备的显示画面和播放的声音。

7.根据权利要求6所述的交互方法，其特征在于，所述第二运动包括第一手势和第一位移，

所述基于所述第二运动调整所述第一电子设备的显示画面和播放声音，包括：

基于运动与所述演奏乐器之间的对应关系、所述第一位移，确定所述第一部位在所述演奏乐器的第二位移；

将所述第一电子设备的显示界面的画面对应所述第二位移进行调整；

基于运动与所述演奏乐器的演奏音符之间的对应关系，播放所述第一手势对应的第二演奏音符。

8.根据权利要求1所述的交互方法，其特征在于，所述检测到用户的演奏指令，确定用户所选择的演奏乐器，包括：

检测到用户的演奏指令，所述第一电子设备显示乐器选择界面，所述乐器选择界面包括至少一种类型的乐器控件；

检测到用户对第一乐器控件的第一操作，确定用户选择的演奏乐器为所述第一乐器控件对应的乐器；或者

检测到所述演奏指令和用户佩戴所述第一电子设备的第一部位的第三运动；

根据运动与乐器之间的对应关系，确定所述第三运动对应的演奏乐器。

9.根据权利要求8所述的交互方法，其特征在于，所述演奏指令包括手势指令和语音指令中的一种或者多种，所述演奏指令包括触控指令和隔空手势指令，所述语音指令包括包含演奏关键词的语音指令。

10.根据权利要求8所述的交互方法，其特征在于，所述方法还包括：

检测到用户的演奏指令，所述第一电子设备显示部位选择界面；

检测到用户对第一部位控件的第二操作，确定用户佩戴所述第一电子设备的部位为所述第一部位控件对应的第一部位。

11.根据权利要求1所述的交互方法，其特征在于，所述第一部位包括手腕、脚腕、颈部、头部中的至少一种；

所述第一运动包括用户按下琴键或琴键组合的手势、用户按下琴弦的手势、用户堵住笛孔的手势、用户敲击打击乐器的手势中的至少一种；

所述第一电子设备包括智能手表、智能手环、VR眼镜、智能手柄中的任一种。

12.根据权利要求1所述的交互方法，其特征在于，所述方法还包括：

记录所述第一运动对应第一演奏音符；

检测到用户佩戴所述第一电子设备的第二部位的第四运动；

基于运动与所述演奏乐器的演奏音符之间的对应关系，确定所述演奏乐器与所述第四运动对应的第三演奏音符；

所述播放第一声音，包括：

基于所述第一演奏音符和所述第三演奏音符，播放所述第一声音。

13.根据权利要求12所述的交互方法，其特征在于，所述基于所述第一演奏音符和所述第三演奏音符，播放所述第一声音，包括：

将所述第一演奏音符和所述第三演奏音符在时间域上进行融合，得到融合音符；

播放所述融合音符。

14.根据权利要求1所述的交互方法，其特征在于，所述方法还包括：

检测到用户佩戴第二电子设备的第三部位的第五运动；

基于运动与所述演奏乐器的演奏音符之间的对应关系，确定所述演奏乐器与所述第五运动对应的第四演奏音符；

所述播放第一声音，包括：

基于所述第一演奏音符和所述第四演奏音符，播放所述第一声音。

15.根据权利要求14所述的交互方法，其特征在于，所述方法还包括：

显示所述第一演奏音符和所述第四演奏音符被演奏的显示画面。

16.一种电子设备，其特征在于，包括：存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及所述处理器，是所述电子设备的所述一个或多个处理器之一，用于执行权利要求1至15中任一项所述的交互方法。

17.一种可读介质，其特征在于，所述可读介质上存储有指令，所述指令在电子设备上执行时使所述电子设备执行权利要求1至15中任一项所述的交互方法。

18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，在被电子设备执行时，所述电子设备执行如权利要求1至15中任一项所述的交互方法。