CN102999701B - 脑波音乐生成方法 - Google Patents

Abstract

本发明公开了一种脑波音乐生成方法，包括下述步骤：脑电信号采集，单道脑波音乐生成，节拍滤波和调式滤波。本发明的脑波音乐生成方法利用多道脑电数据生成多声部合奏脑波音乐，通过节拍滤波保证音乐具有明确的节奏感，同时通过调式的滤波使最后产生的音乐具有特定的调，且各声部之间协和一致，使被试的不同状态可以根据音乐特征进行区分；可用于脑电监测及记录，为进一步深入分析和解读EEG数据提供新的技术支撑。

Description

脑波音乐生成方法

技术领域

本发明属于生物医学工程技术领域，涉及一种用脑波信号生成音乐的方法，具体涉及一种用多通道脑波信号生成多声部合奏音乐的方法。

背景技术

脑电图（electroencephalogram，EEG）作为一种监测大脑电活动的技术，在临床和科研中有广泛的应用。通常情况下，脑电图都是以波形或者地形图等视觉的形式来呈现，通过对波形或者图像的分析来对脑电信号的各种特征进行分析。而通过聆听的方式来监测信号，则是一种有意义的尝试，将EEG转换为声音乃至音乐，因为人耳对声音辨别的快速和准确，使得这种方式能比传统的波形更敏感地反映出信号的细节。

到目前为止，脑波音乐的生成在数据特征提取方面，使用了统计方法，功率谱分析，相关性分析，偏侧性分析和非线性分析等。而在转换方法，即可听化技术方面，提出了两种主要的技术。

第一种是直接音频翻译，就是将EEG的波形视为声波进行播放，但因为EEG的主要频率在30Hz以下，低于人耳的听阈（20-20KHz），因此需要在频域乘上合适的系数，将其频率提高到人类可以听到的范围。这种方法现在应用的不多，因为EEG本身包含了很多背景噪声，其效果几乎没有音乐性，这种方式很难听到真正有意义的信息。

第二种，也是目前应用最多的一种是参数映射，即用数据的原始值或特征参数来控制声音/音乐合成的参数。其中数据的特征参数来自于数据分析，音乐合成的参数则有音高、音量、调制频率等基本参数，也有音乐性更强的如速度、节奏、调式等参数。参数映射的类型还可分为“漏斗式”和“扇形式”。“漏斗式”，即将多道数据源映射到一个音乐发声器进行展示；而“扇形式”是将单个数据源的各种特征值用于控制多个音乐发声装置。对多道脑电数据，漏斗式的方法将多个相近的电极数据进行合并，以突出重点特征，而扇形式方法，在电极较少时，可以充分反映各方面的信息。

脑波音乐生成方法也可以根据利用的原始脑电信息的通道数量来进行分类：即单道和多道信号两类，大多数的工作都先以单道技术为基础，然后进行扩展。方式一是直接选取感兴趣区域的少量电极信号来进行转换；方式二是直接对所有道的旋律进行叠加；方式三是用上述“漏斗式”的思路，对信号进行一定的空间滤波，只展示其中认为有意义的部分。当信号通道数超过2时，直接的叠加会使旋律混叠，难以辨别。

CN200710048475.8公开了一种音乐脑电分析方法，它基于大脑和音乐共同遵循的无标度性特征，将脑波信号的振幅、周期和能量映射为音乐的音高、音长和音量，是一种客观转换方法，但是该方法只针对单道脑电数据，产生的音乐是单声部的，没有涉及多通道脑波以及多声部的音乐。

发明内容

本发明的目的是为了解决现有的脑波音乐生成方法没有涉及多通道脑波以及多声部的音乐的问题，提出了一种脑波音乐生成方法。

本发明的技术方案是：一种脑波音乐生成方法，包括下述步骤：

S1、脑电信号采集，按标准的脑电图采集方式采集脑电图；

S2、单道脑波音乐生成，对步骤S1采集的脑电图进行特征分析，建立单道脑波信号参数与音乐参数的映射，得到单道音乐，进而得到所有通道的音乐片段；

S3、节拍滤波，将步骤S3中得到的所有通道的音乐片段根据基准音长进行滤波，其中，基准音长由数据特征频率峰值决定；

S4、调式滤波，根据所有通道的音乐的特征确定调式，然后按照所述调式对经节拍滤波后的所有通道的音乐片段进行滤波，挑选出每个时刻最符合该调式的若干个音符，得到最终的多声部合奏音乐。

进一步的，节拍滤波的具体过程如下：

首先确定基准音长，对所有通道的脑电数据进行功率谱分析，分别计算出每道信号在α频段和β频段的两个峰值频率f1和f2，设α频段的峰值功率谱值为P(f1)，β频段的峰值功率谱值为P(f2)，则当P(f1)/P(f2)＞=Δ时，基准音长为1/f1；当P(f1)/P(f2)<Δ时，基准音长为1/f2，其中，Δ为预先设置的阈值，所有通道的平均基准音长作为当前状态下采用的基准音长；

基准音长确定后，所有音符的长度将被调整为基准音长的整数倍，设原始音长为d0，调整后音长为d1，基准音长为dm，调整公式为：d1=dm*[d0/dm]，其中，[x]表示不超过x的最大整数。

进一步的，调式滤波的具体过程如下：

首先确定脑波音乐的调，这里具体采用的是西方自然大小调共24个，其中大调12个，小调12个，调的确定包括两方面：主音和大/小调；对所有通道的音乐进行统计，总共出现时间最长的音被确定为主音；若基准音长为1/f1，则当前状态为小调；若基准音长为1/f2，则为大调；

调确定之后，进行滤波，每一时刻，所有通道在该时刻的音符按照其在调中的稳定性进行排序，其中最稳定的若干个音被保留，作为最终产生的音乐。

更进一步的，为了使音乐富于变化，被保留的若干个音，只允许其中两个音具有相同的音名，其余的音应具有不同的音高。

本发明的有益效果是：本发明的脑波音乐生成方法利用多道脑电数据生成多声部合奏脑波音乐，通过节拍滤波保证音乐具有明确的节奏感，同时通过调式的滤波使最后产生的音乐具有特定的调，且各声部之间协和一致。具有如下效果：

1、为从听觉的角度分析大脑活动提供了支持，主要利用了节拍和调式滤波来得到合奏的多声部音乐，使被试的不同状态可以根据音乐特征进行区分；

2、由本发明的方法产生的音乐，其音高分布是符合幂律的，符合通常的审美标准，脑电的音乐编码形式，可用于脑电监测及记录，为脑电分析提供了一种新的分析方法；

3、提出了一种根据音乐上“调”的概念设计的滤波器，用于提取脑电信号中重要的信息，为进一步深入分析和解读EEG数据提供新的技术支撑。

附图说明

图1是本发明实施例的总框架图；

图2是1位受试者安静闭眼状态的多声部合奏脑波音乐；

图3是1位受试者安静睁眼状态的多声部合奏脑波音乐；

图4是1位受试者的脑波音乐音高的幂律分布图，包括闭眼状态调式滤波后的音乐（Eyes Closed After Filtering，ECAF），睁眼状态调式滤波后的音乐（Eyes Open AfterFiltering，EOAF），闭眼状态调式滤波前的音乐（Eyes Closed Before Filtering，ECBF）和睁眼状态调式滤波前的音乐（Eyes Open Before Filtering，EOBF）；

图5是40位受试者的脑波音乐音高的幂律的平均分布图，包括闭眼状态调式滤波后的音乐（ECAF），睁眼状态调式滤波后的音乐（EOAF），闭眼状态调式滤波前的音乐（ECBF）和睁眼状态调式滤波前的音乐（EOBF）四种情况。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明。

本发明的脑波音乐生成方法，具体包括下述步骤：

S1、脑电信号采集，按标准的脑电图采集方式采集脑电图；

S2、单道脑波音乐生成，对步骤S1采集的脑电图进行特征分析，建立单道脑波信号参数与音乐参数的映射，得到单道音乐，进而得到所有通道的音乐片段。

在本实施例中具体为16通道。

这里脑波信号参数包括脑波信号的周期、振幅、信号每个周期的平均功率，音乐的参数包括音长、音高、音强，所述步骤S2中分别提取脑电数据的振幅、周期和平均功率，映射为音高、音长和音强。

幂律分布是自组织系统的重要特性之一，两个变量的关系可以用幂指数的形式来表示，如变量X，Y，若Y=X^α，α称为幂律指数，当α为-1.5～-0.5时，称这两个变量符合幂律分布。脑电信号有很多符合幂律分布的特征，如功率谱密度符合以频率为底的幂律分布。在音乐中，音高、音长、音强等变量出现次数的排列顺序和出现的次数之间也符合幂律分布。研究表明，音乐的幂律分布是音乐动听的原因之一。本发明中，单道脑波音乐的生成正是根据脑电和音乐共同遵循的这一规律来进行。具体过程可参考：CN200710048475.8。

S3、节拍滤波，将步骤S2中得到的所有通道的音乐片段根据基准音长进行滤波，其中，基准音长由数据特征频率峰值决定。

音乐中，通常音符的音长之间是存在倍数关系的，如四分音符的时长是八分音符的2倍，是十六分音符的4倍。这样的结构使得音乐的节奏感鲜明。本发明中，节拍滤波的作用在于使步骤S2中得到的音乐的音长都调整为基准音长的整数倍。基准音长是每段音乐中最短的音符时长，单位为秒。

这里节拍滤波可以采用如下的一种过程：

得到所有通道的单道音乐之后，对其进行节拍滤波。首先确定基准音长，对所有通道的脑电数据进行功率谱分析，可以分别计算出每道信号在α频段（8-13Hz）和β频段（14-20Hz）的两个峰值频率f1和f2。设α频段的峰值功率谱值为P(f1)，β频段的峰值功率谱值为P(f2)，则当P(f1)/P(f2)＞=Δ时，基准音长为1/f1；当P(f1)/P(f2)<Δ时，基准音长为1/f2，其中，Δ为预先设置的阈值，所有通道的平均基准音长作为当前状态下采用的基准音长。

这里预先设置的阈值Δ可以根据实际情况进行选取，为了得到一个较好的效果，在本实施例中Δ=2。

基准音长确定后，所有音符的长度将被调整为基准音长的整数倍，设原始音长为d0，调整后音长为d1，基准音长为dm，调整公式为：d1=dm*[d0/dm]，其中，[x]代表不超过x的最大整数。

S4、调式滤波，根据所有通道的音乐的特征确定调式，然后按照所述调式对经节拍滤波后的所有通道的音乐片段进行滤波，挑选出每个时刻最符合该调式的若干个音符，得到最终的多声部合奏音乐。

这里的“若干个”可以根据实际情况确定，考虑到音乐的效果，这里的“若干个”具体可以为4个。

需要说明的是：即使是32道、64道或者更多通道的脑波数据，也只建议保留4个或4个以下音符，同时发声的音符太多会导致音乐听起来混乱，旋律不清晰。

为了使音乐富于变化，被保留的若干个音，只允许其中两个音具有相同的音名，其余的音应具有不同的音高。

音乐中，几个音（一般不超过七个，不少于三个）按照一定的关系联结在一起，构成一个体系，并以某一音为中心，这个体系就叫做“调式”，作为中心的音就是“主音”。

目前音乐中经常被采用的调式有西方的大小调和中国传统音乐常用的五声调式。大小调又分为自然大/小调、和声大/小调和旋律大/小调。本发明中所述调式，是指西方的自然大小调共24个，其中大调式12个，小调式12个。一个完整的调的名称，以“主音+某调”来表示，如C大调，表示主音为C的大调式。

一个音乐作品调式，一般情况下作曲家会有标示。同时根据作品本身的某些客观特征，也可以进行判断。如音乐的调号，变音符号，结束音，结束和弦等。大多数情况下，乐曲都结束在主音上。不同的调式可以用于表达不同的情感，如大调多用于表达积极热烈，活泼明快的情绪，而小调多用于表达平静、温柔、忧郁等情绪。

这里的调式滤波的可以采用如下的一种过程：

首先确定当前状态脑波音乐的调，这里具体采用的是西方自然大小调共24个，其中大调12个，小调12个，调的确定包括两方面：主音和大/小调；对所有通道的音乐进行统计，总共出现时间最长的音被确定为主音；若基准音长为1/f1，则当前状态为小调；若基准音长为1/f2，则为大调；

调确定之后，进行滤波，每一时刻，所有通道在该时刻的音符按照其在调中的稳定性进行排序，其中最稳定的若干个音被保留，作为最终产生的音乐。

步骤S3得到的多道脑波音乐是无调的，在步骤S4中，所述音乐的特征指的是所有通道音乐中，每个音高出现的次数，该特征将决定音乐的调式。其后，步骤S3得到的音乐序列按照拟定调式的规则进行滤波，以得到有调的音乐，同时原始的16道信号将被过滤为4道。对于一个调而言，所有音高具有的稳定性是不同的，在每一时刻，最稳定的4个音被挑选出来。

图1给出了本发明方法的总框架图，其中，图（a）是受试者的原始脑电信号，进行信号采集系统是标准的脑电采集设备，一般包括电极帽，信号放大器，相应记录设备等，具体硬件设备可以参考使用中国专利申请号为01129935.5的申请文件所采用的硬件设备。图（a）的信号经过伪迹去除，坏道替换，去基线漂移处理，再进行单道信号特征分析，即完成对脑电波的振幅，周期及平均功率的提取，并将其映射为音符的音高，音长和音强，得到多道的音乐MIDI序列，同时，该序列进行节拍滤波，得到如图（b）所示的多道音乐。图1所示为16道的脑电信号，其他多道脑电信号可以按照同样的方式处理。图（b）所示音乐经过分析，确定该段音乐的调，然后根据这个调对其进行滤波，得到如图（c）所示的四声部的合奏脑波音乐。

本实施例中，共采集了40位受试者安静闭眼和睁眼状态的脑电数据。受试者年龄在19-28岁，男性20位，女性20位。图2所示是其中一位受试者安静闭眼状态下10秒的脑波音乐，图3所示是该受试者安静睁眼状态下10s的脑波音乐。图中，每个长方形表示一个音，其沿X轴的长度表示音长，Y轴的坐标表示音高。对比发现，闭眼状态下的脑波音乐音符行进速度较慢，音长较长，与闭眼状态下大脑活动更平静相对应。而睁眼状态下的脑波音乐速度稍快，音长较短，与该状态下大脑活动更活跃相适应。

图4所示是对1位受试者闭眼和睁眼状态下的调式滤波前后音乐片段进行的幂律统计。横轴X轴表示不同音高出现次数的排列顺序（Rank），竖直坐标轴Y轴表示某个音高出现的次数（Number of occurrences）。也就是说，图4中X＝1的点，表示这个音高出现的次数是最多的，其Y值表示这个具体的数值，即这个音高出现了多少次。在对数坐标上对这些点进行线性拟合的结果如图所示，滤波后闭眼和睁眼的幂指数分别为-1.00和-1.40，而滤波前分别为-0.66和-0.64。

图5所示是对40位受试者闭眼和睁眼状态下的调式滤波前后的音乐片段进行的幂律统计。这个分布可以看出，调式滤波后的指数与滤波前有显著差异，这说明本发明的方法改变了音乐的幂律指数，使其更加接近传统的音乐，即指数更接近1。

本发明的方法为从音乐的角度分析脑电信号提供了技术支持，在实时脑电监控，神经反馈等领域具有潜在的应用价值。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种脑波音乐生成方法，包括下述步骤：

S1、脑电信号采集，按标准的脑电图采集方式采集脑电图；

S2、单道脑波音乐生成，对步骤S1采集的脑电图进行特征分析，建立单道脑波信号参数与音乐参数的映射，得到单道音乐，进而得到所有通道的音乐片段；

S3、节拍滤波，将步骤S2中得到的所有通道的音乐片段根据基准音长进行滤波，其中，基准音长由数据特征频率峰值决定；

S4、调式滤波，根据所有通道的音乐的特征确定调式，然后按照所述调式对经节拍滤波后的所有通道的音乐片段进行滤波，挑选出每个时刻最符合该调式的若干个音符，得到最终的多声部合奏音乐。

2.根据权利要求1所述的脑波音乐生成方法，其特征在于，步骤S2中所述的脑波信号参数包括脑波信号的周期、振幅、信号每个周期的平均功率。

3.根据权利要求1或2所述的脑波音乐生成方法，其特征在于，步骤S2中所述的音乐的参数包括音长、音高、音强。

4.根据权利要求1所述的脑波音乐生成方法，其特征在于，所述节拍滤波的具体过程如下：

首先确定基准音长，对所有通道的脑电数据进行功率谱分析，分别计算出每道信号在α频段和β频段的两个峰值频率f1和f2，设α频段的峰值功率谱值为P(f1)，β频段的峰值功率谱值为P(f2)，则当P(f1)/P(f2)>＝Δ时，基准音长为1/f1；当P(f1)/P(f2)<Δ时，基准音长为1/f2，其中，Δ为预先设置的阈值，所有通道的平均基准音长作为当前状态下采用的基准音长；

基准音长确定后，所有音符的长度将被调整为基准音长的整数倍，设原始音长为d0，调整后音长为d1，基准音长为dm，调整公式为：d1＝dm*[d0/dm]，其中，[x]表示不超过x的最大整数。

5.根据权利要求1或4所述的脑波音乐生成方法，其特征在于，调式滤波的具体过程如下：

首先确定当前状态脑波音乐的调，这里具体采用的是西方自然大小调共24个，其中大调12个，小调12个，调的确定包括两方面：主音和大/小调；对所有通道的音乐进行统计，总共出现时间最长的音被确定为主音；若基准音长为1/f1，则当前状态为小调；若基准音长为1/f2，则为大调；

调确定之后，进行滤波，每一时刻，所有通道在该时刻的音符按照其在调中的稳定性进行排序，其中最稳定的若干个音被保留，作为最终产生的音乐。

6.根据权利要求5所述的脑波音乐生成方法，其特征在于，所述被保留的若干个音，只允许其中两个音具有相同的音名，其余的音应具有不同的音高。

7.根据权利要求6所述的脑波音乐生成方法，其特征在于，所述的若干个具体为4个或4个以下。

8.根据权利要求4所述的脑波音乐生成方法，其特征在于，预先设置的阈值Δ具体为2。