CN114968167A - 音频处理方法、装置、介质和终端设备 - Google Patents

Abstract

本发明公开了一种音频处理方法、装置、介质和终端设备，该音频处理方法可以应用于终端设备，该终端设备的分层系统包括抽象层和音频驱动层，该方法包括：所述抽象层在第一时刻获取待播放音频文件的第一音频数据流，并缓存至所述抽象层的缓存空间；所述抽象层通过启动线程对所述第一音频数据流进行解码和后处理，得到第一解码数据流；所述抽象层将所述第一解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中。该方法可以借助软件实现模拟硬件数据信号处理器的功能，实现音频数据流的解码和后处理，以实现节省硬件成本。

Description

音频处理方法、装置、介质和终端设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种音频处理方法、装置、介质和终端设备。

背景技术

目前，目前安卓系统的播放架构主要是存在两种播放模式，第一种播放模式对功耗要求低，播放设备的应用处理器读取文件，以及进行解复用和解码，然后将解码数据通过音频硬件抽象层和音频驱动层传送到音频的信号处理芯片，最后由音频输出模块输出音频信号；另一种播放模式对功耗要求高，这种播放模式一般要求播放设备在硬件上有音频的信号处理芯片；应用处理器只负责解复用数据不进行数据的解码和后处理，只将解复用后的数据直接经过音频硬件抽象层和音频驱动层传送到音频的信号处理芯片，该音频的信号处理芯片进行音频数据的解码和后处理以及播放输出。这种播放模式可以使得应用处理器能够长时间睡眠，音频文件的播放过程中大部分时间只需要功耗比较低的音频的信号处理芯片来完成，达到了节省功耗的目的，但是这种播放模式缺点就是硬件成本比较高，需要有低功耗的音频的信号处理芯片进行硬件支持。

因此，当前需要对播放设备的软件系统进行改进，以实现在节省功耗的前提下能够尽可能节省硬件成本。

发明内容

本发明实施例提供一种音频处理方法、装置、介质和终端设备，用以实现在节省功耗的前提下能够尽可能节省硬件成本。

第一方面，本发明实施例提供一种音频处理方法，该音频处理方法可以应用于终端设备，该终端设备的分层系统包括音频硬件抽象层和音频驱动层，该方法包括：所述音频硬件抽象层在第一时刻获取待播放音频文件的第一音频数据流，并缓存至所述音频硬件抽象层的缓存空间；所述音频硬件抽象层通过启动线程对所述第一音频数据流进行解码和后处理，得到第一解码数据流；所述音频硬件抽象层将所述第一解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中。

本发明实施例提供的音频处理方法的有益效果在于：一方面，解码和后处理都在音频硬件抽象层的一个线程中完成，减少了线程交互和进程交互等安卓上层音频播放模块中复杂播放流程，减少了应用处理器的指令消耗；另一方面，该方法可以通过在音频硬件抽象层启动线程模拟硬件数据信号处理器的功能，实现音频数据流的解码和后处理，既可以解决Android智能机移动设备的音频播放功耗问题，也可以节省硬件成本。

在一种可能的实现方案中，上述方法还包括：终端设备的音频输出模块输出所述第一解码数据流对应的音频信号。

在一种可能的实现方案中，上述方法还包括：

当所述缓存空间中所述第一解码数据流被所述终端设备的音频输出模块输出完毕，所述音频硬件抽象层在第二时刻返回执行获取待播放音频文件的第二音频数据流，并缓存至所述音频硬件抽象层的缓存空间；所述音频硬件抽象层通过所述的线程对所述第二音频数据流进行解码和后处理，得到第二解码数据流；所述音频硬件抽象层将所述第二解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中；所述终端设备的音频输出模块输出所述缓存空间中所述第二解码数据流。该方法中，上层将数据填入音频硬件抽象层的缓存空间后，上层软件模块就处于停止等待状态，由于音频硬件抽象层的缓存空间里缓存的数据比较多，只有音频硬件抽象层的缓存空间数据消耗完后才会通知上层模块继续填入数据，减少了线程交互和进程交互。

在一种可能的实现方案中，上述方法还包括所述音频输出模块包括第一音频输出通路和第二音频输出通路；所述音频输出模块还包括混音模块，所述混音模块用于将所述第一音频输出通路和第二音频输出通路分别输出的声音进行混音。另外，所述第二输出通路包括音量增益模块，所述音量增益模块用于控制音量。这样就无需专用的音频数据信号处理芯片，只需要在音频输出模块新增第二音频输出通路，成本大大降低。

在一种可能的实现方案中，上述方法执行的前提是所述终端设备工作于低功耗播放模式下。当终端设备工作于对功耗要求低的播放模式时，可以由应用处理器实现解复用、解码和后处理。

第二方面，本发明实施例还提供一种音频处理装置，上述音频处理装置执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第三方面，本发明实施例提供一种终端设备，包括处理器和存储器。其中，存储器用于存储一个或多个计算机程序；当存储器存储的一个或多个计算机程序被处理器执行时，使得该终端设备能够实现上述第一方面的任意一种可能的设计的方法。

第四方面，本发明实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在终端设备上运行时，使得所述终端设备执行上述第一方面的任意一种可能的设计的方法。

第五方面，本发明实施例还提供一种包含计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端设备执行上述第一方面的任意一种可能的设计的方法。

关于上述第二方面至第五方面的有益效果可以参见上述第一方面中的描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种终端设备的硬件结构示意图；

图2为本发明实施例提供的一种终端设备的软件架构示意图；

图3为本发明实施例提供的一种音频处理方法流程的示意图；

图4为本发明实施例提供的一种音频处理装置示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本发明实施例中，“示例性地”或者“例如”用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”旨在以具体方式呈现相关概念。

如图1所示，本申请实施例中所提供的音频处理方法可以应用于如图1所示的终端设备，图1示出了该终端设备100的硬件配置框图。

在一些实施例中，终端设备100包括调谐解调器110、通信器120、采集器130、外部装置接口140、控制器150、显示器160、音频输出接口170、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，显示器160包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控界面等。

在一些实施例中，显示器160可为液晶显示器、有机电激光显示器(organiclight-emitting diode，OLED)、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器110通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号。

在一些实施例中，通信器120是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。一种可能的实施例中，通信器可以包括无线保真(wireless fidelity，wifi)模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。终端设备100可以通过通信器120与其它设备建立控制信号和数据信号的发送和接收。

在一些实施例中，采集器130用于采集外部环境或与外部交互的信号。一种可能的实施例中，采集器130包括光接收器，用于采集环境光线强度的传感器；或者采集器130包括图像采集器，用于采集外部环境场景、用户的属性或用户交互手势；再或者采集器130包括声音采集器，用于接收外部声音。

在一些实施例中，外部装置接口140可以包括但不限于如下：高清多媒体接口接口、模拟或数据高清分量输入接口、复合视频输入接口、通用串行总线(universal serialbus，USB)输入接口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器150，通过存储在存储器上中各种软件控制程序，来控制终端设备100的工作和响应用户的操作。控制器150控制终端设备100的整体操作。一种可能的实施例中，响应于接收到用于选择在显示器160上显示对象的用户命令，控制器150便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个。一种可能的实施例中，所述对象可以是超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(central processing unit，CPU)、视频处理器、音频处理器、图形处理器(graphics processing unit，GPU)、随机存取存储器(random access memory，RAM)、只读存储器(read onlymemory，ROM)、用于输入/输出的第一接口至第n接口、通信总线(Bus)等中的至少一种。

中央处理器，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。中央处理器，可以包括多个处理器。一种可能的实施例中，中央处理器包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象。一种可能的实施例中，各种图形对象包括图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可终端设备100上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，用于将图形生成器根据用户输入或自身生成的图形用户界面(graphical user interface，GUI)信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号。一种可能的实施例中，显示格式化模块输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器160上显示的图形用户界面输入用户命令，则用户输入接口通过图形用户界面接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，用户界面是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在终端设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏等可视的界面元素中的至少一种。

在一些实施例中，用户接口180，为可用于接收控制输入的接口。一种可能实施例中，用户接口180可以是终端设备本体上的实体按键。

在一种可能的实现方案中，上述终端设备100可以为手机、平板电脑、手持计算机、个人电脑(personal computer，PC)、蜂窝电话、个人数字助理(personal digitalassistant，PDA)、可穿戴式设备、智能家居设备，车载电脑、游戏机或增强现实(augmentedreality，AR)\虚拟现实(virtual reality，VR)设备中任意一种。值得说明的是，本实施例对终端设备100的具体设备形态并不作具体限制。

如图2所示，本申请实施例中所提供一种适用于上述终端设备的软件系统架构，在执行音频播放的过程中，在低功耗播放模式下，音频播放模块读取音频文件进行解复用(demux)，之后解复用文件传输至音频执行层(AudioFlinger)，音频执行层用于负责输入输出流设备的管理及音频流数据的处理传输。音频执行层(AudioFlinger)透传解复用文件至音频硬件抽象层(Audio HAL)，音频硬件抽象层负责与音频硬件设备的交互，由音频执行层(AudioFlinger)直接调用。音频硬件抽象层将数据缓存在存储空间(large streambuffer)里,音频硬件抽象层启动一个线程，进行解码以及后处理然后将数据放入驱动的存储空间(Large PCM Buffer)里，将驱动的存储空间里的数据搬至音频输出模块。所述音频输出模块包括第一音频输出通路和第二音频输出通路；所述音频输出模块还包括混音模块，所述混音模块用于将所述第一音频输出通路和第二音频输出通路分别输出的声音进行混音。另外，所述第二输出通路包括音量增益模块，所述音量增益模块用于控制音量。

另外，在执行音频播放的过程中，在高功耗播放模式下，音频播放模块读取音频文件进行解复用(demux)，之后解复用文件、解码(decode)和补偿(rendor)，之后音频执行层进行混音，之后数据经过音频硬件抽象层和音频音频驱动层，传输至音频输出模块。

基于图1所示的终端设备100的硬件结构和软件系统架构，本申请实施例提供了一种音频处理方法的流程图，如图3所示，该方法的流程可以由终端设备100执行，该方法包括以下步骤：

S301，音频硬件抽象层在第一时刻获取待播放音频文件的第一音频数据流，并缓存至所述音频硬件抽象层的缓存空间。

S302，音频硬件抽象层通过启动线程对所述第一音频数据流进行解码和后处理，得到第一解码数据流；

S303，所述音频硬件抽象层将所述第一解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中。

值得说明的是，当终端设备工作于低功耗播放模式下，终端设备可以按照上述方法可以借助软件实现模拟硬件数据信号处理器的功能，实现音频数据流的解码和后处理，以实现节省硬件成本。

具体来说，上述音频处理流程在上层应用将解复用后的数据送到音频硬件抽象层,音频硬件抽象层将解复用数据存储在音频硬件抽象层的存储空间(largestreambuffer)里(数据量60Kbytes)，音频硬件抽象层启动一个线程，进行解码以及后处理然后将数据放入驱动层的存储空间(Large PCM Buffer)里，并将驱动层的存储空间(LargePCM Buffer)r里的数据搬至音频输出模块。

另外，本实施例还对播放设备的硬件结构进行了改进，上述方法还包括终端设备的音频输出模块输出所述第一解码数据流对应的音频信号。音频输出模块包括第一音频输出通路和第二音频输出通路；所述音频输出模块还包括混音(mixer)模块，所述混音模块用于将所述第一音频输出通路和第二音频输出通路分别输出的声音进行混音。另外，所述第二输出通路包括音量增益(digital gain)模块，所述音量增益模块用于控制音量。这样就无需专用的音频数据信号处理芯片，只需要在音频输出模块新增第二音频输出通路，成本大大降低。

一种可能的实施例中，上述方法还包括当所述缓存空间中所述第一解码数据流被所述终端设备的音频输出模块输出完毕，所述音频硬件抽象层在第二时刻返回执行获取待播放音频文件的第二音频数据流，并缓存至所述音频硬件抽象层的缓存空间；所述音频硬件抽象层通过所述的线程对所述第二音频数据流进行解码和后处理，得到第二解码数据流；所述音频硬件抽象层将所述第二解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中；所述终端设备的音频输出模块输出所述缓存空间中所述第二解码数据流。该方法中，上层将数据填入音频硬件抽象层的缓存空间后，上层软件模块就处于停止等待状态，由于音频硬件抽象层的缓存空间里缓存的数据比较多，只有音频硬件抽象层的缓存空间数据消耗完后才会通知上层模块继续填入数据，减少了线程交互和进程交互。另外，经过实际测试，本实施例提供的低功耗播放模式和高功耗播放模式相比，播放节省10mA(3.8v)左右的功耗。

在本申请的另一些实施例中，本申请实施例公开了一种终端设备100，如图4所示，该终端设备400可以包括：一个或多个处理器401；存储器402；显示器403；一个或多个应用程序(未示出)；以及一个或多个计算机程序404，上述各器件可以通过一个或多个通信总线405连接。其中该一个或多个计算机程序404被存储在上述存储器402中并被配置为被该一个或多个处理器401执行，该一个或多个计算机程序404包括指令，上述指令可以用于执行如图3相应实施例中的各个步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种音频处理方法，应用于终端设备，所述终端设备的分层系统包括音频硬件抽象层和音频驱动层，其特征在于，所述方法包括：

所述音频硬件抽象层在第一时刻获取待播放音频文件的第一音频数据流，并缓存至所述音频硬件抽象层的缓存空间；

所述音频硬件抽象层通过启动线程对所述第一音频数据流进行解码和后处理，得到第一解码数据流；

所述音频硬件抽象层将所述第一解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述终端设备的音频输出模块输出所述第一解码数据流对应的音频信号。

3.根据权利要求1所述的方法，其特征在于，还包括：

当所述缓存空间中所述第一解码数据流被所述终端设备的音频输出模块输出完毕，所述音频硬件抽象层在第二时刻返回执行获取待播放音频文件的第二音频数据流，并缓存至所述音频硬件抽象层的缓存空间；

所述音频硬件抽象层通过所述的线程对所述第二音频数据流进行解码和后处理，得到第二解码数据流；

所述音频硬件抽象层将所述第二解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中；

所述终端设备的音频输出模块输出所述缓存空间中所述第二解码数据流。

4.根据权利要求2所述的方法，其特征在于，所述音频输出模块包括第一音频输出通路和第二音频输出通路；所述音频输出模块还包括混音模块，所述混音模块用于将所述第一音频输出通路和第二音频输出通路分别输出的声音进行混音。

5.根据权利要求4所述的方法，其特征在于，所述第二音频输出通路包括音量增益模块，所述音量增益模块用于控制音量。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述终端设备工作于低功耗播放模式下。

7.一种音频处理装置，其特征在于，所述装置包括音频硬件抽象层和音频驱动层：

所述音频硬件抽象层，用于在第一时刻获取待播放音频文件的第一音频数据流，并缓存至所述音频硬件抽象层的缓存空间；通过新启动的线程对所述第一音频数据流进行解码和后处理，得到第一解码数据流；

所述音频硬件抽象层，还用于将所述第一解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中。

8.根据权利要求7所述的装置，其特征在于，当所述缓存空间中所述第一解码数据流被终端设备的音频播放器播放完毕，所述音频硬件抽象层，还用于在第二时刻获取待播放音频文件的第二音频数据流，并缓存至所述音频硬件抽象层的缓存空间；

所述音频硬件抽象层，还用于通过所述的线程对所述第二音频数据流进行解码和后处理，得到第二解码数据流；

所述音频硬件抽象层将所述第二解码数据流传送至所述音频驱动层，并缓存至所述音频驱动层的缓存空间中，所述缓存空间中所述第二解码数据流被所述终端设备的音频输出模块播放。

9.根据权利要求8所述的装置，其特征在于，所述终端设备工作于低功耗播放模式下。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的方法。

11.一种终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现权利要求1至5中任一项所述的方法。

Images