TWI789577B - 音訊資料重建方法及系統 - Google Patents
音訊資料重建方法及系統 Download PDFInfo
- Publication number
- TWI789577B TWI789577B TW109111346A TW109111346A TWI789577B TW I789577 B TWI789577 B TW I789577B TW 109111346 A TW109111346 A TW 109111346A TW 109111346 A TW109111346 A TW 109111346A TW I789577 B TWI789577 B TW I789577B
- Authority
- TW
- Taiwan
- Prior art keywords
- audio
- receiving end
- frame
- amplitude
- module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003111 delayed effect Effects 0.000 claims description 29
- 238000013213 extrapolation Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 14
- 206010012186 Delayed delivery Diseases 0.000 claims description 10
- 230000001934 delay Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 108010062653 Wiskott-Aldrich Syndrome Protein Family Proteins 0.000 description 4
- 102100038144 Wiskott-Aldrich syndrome protein family member 1 Human genes 0.000 description 2
- 102100037103 Wiskott-Aldrich syndrome protein family member 2 Human genes 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
本發明公開一種音訊資料重建方法及系統。方法包含以下步驟:由發送端 依序發送多個音訊封包至接收端;利用接收端對丟失或延遲送達音訊封包的那一幀的前幾幀的音訊封包進行快速傅立葉轉換運算;利用接收端依據前一幀的音訊封包計算門檻值;利用接收端對振幅大於門檻值的頻率片段進行線性預測;以及利用接收端外推出的頻率片段進行快速傅立葉反轉換運算,以外推丟失或延遲送達的音訊封包。
Description
本發明涉及音訊,特別是涉及一種音訊資料重建方法及系統。
數位音訊資料常以一幀幀(frame)方式編碼後經由有線或無線網路傳送到接收端解碼後播放。而傳送過程中因為干擾或是網路壅塞造成音訊封包丟失或遲到,使得接收端因緩衝區耗盡而中斷播放。一個簡單的方法是加大緩衝區,並在緩衝區耗盡前要求重送丟失的封包,但如此將增加播放延遲,不適用於一些需要低延遲的應用。
另一種方法是利用丟失封包前後的完好封包內的音訊資料做內插(interpolation)運算,或是利用丟失封包前的完好封包內的音訊資料做外推(extrapolation)運算,以運算出的音訊資料取代丟失封包的音訊資料,如此可保持播放不中斷,也無需加大緩衝區。
目前已有多種重建丟失音訊資料的方法被提出,先將音訊資料由時域(time domain)轉換到頻域(frequency domain),並以正弦波模型(sinusoidal model)來表示聲音,利用丟失封包前後的完好封包正弦波來內插運算出丟失封包的正弦波頻率(frequency),振幅(amplitude)與相位(phase),最後再做頻域到時域轉換得到重建的音訊資料。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種音訊資料重建方法,包含以下步驟:由發送端將音訊資料分成多個音訊封包依序發送至接收端;利用接收端,對丟失或延遲送達音訊封包的那一幀的前幾幀的音訊封包進行快速傅立葉轉換運算,以將音訊封包從時域轉換到頻域;利用接收端,依據丟失或延遲送達音訊封包的那一幀的前一幀的音訊封包計算門檻值;利用接收端,比對丟失或延遲送達音訊封包的那一幀之前的每一幀的每一頻率片段的振幅與門檻值,以進行篩選;利用接收端,對篩選出的振幅大於門檻值的每一頻率片段的振幅和相位進行線性預測,以外推丟失或延遲送達的音訊封包;以及利用接收端,以外推出的頻率片段進行快速傅立葉反轉換運算,以將經由外推所取得的音訊封包,從頻域轉換回時域。
在一實施態樣中,所述音訊資料重建方法更包含以下步驟:利用接收端,計算外推的音訊封包的振幅和相位;利用接收端,在外推的音訊封包中,振幅不大於門檻值的頻率片段的實部和虛部,填入雜訊;以及利用接收端,進行快速傅立葉反轉換運算,以將經由外推和填入雜訊後所取得的音訊封包,從頻域轉換回時域。
在一實施態樣中,所述音訊資料重建方法更包含以下步驟:利用接收端,計算篩選出進行快速傅立葉轉換運算後的前一幀的每一頻率片段的振幅;利用接收端加總前一幀的所有頻率片段的振幅,以取得總振幅;以及利用接收端,基於總振幅計算出門檻值。
在一實施態樣中,所述音訊資料重建方法更包含以下步驟:利用接收端將總振幅除以訊雜比,以取得門檻值。
另外,本發明提供一種音訊重建系統,包含發送端以及接收端。發送端配置以將一音訊資料分成多個音訊封包,並依序發送多個音訊封包。接收端包含音訊接收模組、音訊轉換模組、音頻篩選模組以及外推運算模組。音訊接收模組連接發送端,配置以依序接收發送端發送的多個音訊封包。音訊轉換模組連接音訊接收模組,配置以對丟失或延遲送達音訊封包的那一幀的前幾幀的音訊封包進行快速傅立葉轉換運算,以將音訊封包從時域轉換到頻域。音頻篩選模組連接音訊轉換模組。音頻篩選模組配置以在經由快速傅立葉轉換運算後,依據丟失或延遲送達音訊封包的那一幀的前一幀的音訊封包計算一門檻值。音頻篩選模組配置以比對丟失或延遲送達音訊封包的那一幀之前的每一幀的每一頻率片段的振幅與門檻值,以進行篩選。外推運算模組連接音頻篩選模組以及音訊轉換模組。外推運算模組對篩選出進行快速傅立葉轉換運算的所有振幅進行線性預測,以外推丟失或延遲送達的音訊封包。音訊轉換模組以外推出的頻率片段進行快速傅立葉反轉換運算,以將經由外推所取得的音訊封包,從頻域轉換回時域。
在一實施態樣中,接收端更包含相位計算模組,連接音頻篩選模組。相位計算模組配置以計算外推的音訊封包的振幅和相位。
在一實施態樣中,接收端更包含雜訊填充模組,連接相位計算模組、外推運算模組以及音訊轉換模組。雜訊填充模組配置以在外推的音訊封包中,振幅不大於門檻值的頻率片段的實部和虛部填入雜訊。音訊轉換模組進行快速傅立葉反轉換運算,以將經由外推和填入雜訊後取得的音訊封包,從頻域轉換回時域。
在一實施態樣中,音頻篩選模組配置以計算篩選出進行快速傅立葉轉換運算後的前一幀的每一頻率片段的振幅,加總前一幀的所有頻率片段的振幅,以取得總振幅,並基於總振幅,計算出門檻值。
在一實施態樣中,音頻篩選模組配置以將總振幅除以訊雜比,以取得門檻值。
如上所述,本發明提供一種音訊資料重建方法及方法,其重建丟失或遲到的音波,主要優點如下:
1.只在接收端進行運算,發送端無需特別編碼或運算;
2.使用單純的PCM資料進行運算,跟音訊資料的壓縮方法無關;
3.運算簡單,運算量低,適合低功耗低運算能力裝置;
4.無需丟失或遲到的封包後的完好封包,只需要丟失或遲到的封包前的完好封包即可進行運算,適用於低延遲播放裝置。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不背離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。另外,本文中所使用的術語“或”,應視實際情況可能包含相關聯的列出項目中的任一個或者多個的組合。
[第一實施例]
請參閱圖1,其為本發明第一實施例的音訊資料重建方法的步驟流程圖。本實施例的音訊資料重建方法可包含如圖1所示的步驟S101~S107,具體說明如下。
在步驟S101,由發送端將音訊資料分成多個音訊封包依序發送至接收端。在發送端依序發送多個音訊封包至接收端的傳輸過程中,可能會丟失或延遲送達音訊封包。在發生此情況時,利用接收端對丟失或延遲送達音訊封包的那一幀或稱為訊框(frame)的前幾幀的音訊封包進行快速傅立葉轉換(Fast Fourier Transform, FFT)運算,以將音訊封包從時域轉換到頻域。
在步驟S103,利用接收端依據丟失或延遲送達音訊封包的那一幀的前一幀的音訊封包計算門檻值,比對丟失或延遲送達音訊封包的那一幀之前的(多個幀)的每一幀的多個頻率片段中的每一頻率片段(FFT bin)的振幅與門檻值,以篩選出高於門檻值的振幅,即篩選出高能量的頻片。
在步驟S105,利用接收端對篩選出的所有頻率片段的振幅進行線性預測,以外推丟失或延遲送達的音訊封包。
在步驟S107,利用接收端進行快速傅立葉反轉換運算,以將經由外推所取得的音訊封包,從頻域轉換回時域,以取得脈衝編碼調變(pulse code modulation, PCM)音訊封包。
[第二實施例]
請參閱圖2~圖5,其中圖2為本發明第二實施例的音訊資料重建方法的步驟流程圖;圖3為本發明第二實施例的依據丟失或延遲送達音訊封包的那一幀的前一幀計算門檻值的示意圖;圖4為本發明第二實施例的丟失或延遲送達音訊封包的那一幀的前一幀執行完快速傅立葉轉換運算後的頻譜圖;圖5為本發明第二實施例的重建的幀的頻譜圖。
在發送端依序發送多個幀分別的多個音訊封包至接收端的過程中,可能受到環境因素或網路壅塞等干擾,造成部分音訊封包例如最後一幀的音訊封包丟失或延遲送達至接收端,導致接收端未接收到最後一幀的音訊封包(即丟失音訊封包),或未在一預定時間內接收到最後一幀的音訊封包(即延遲送達音訊封包)。其結果為,接收端在依序接收並播放多個幀後,發生斷音,例如圖3所示,接收端在依序接收並播放多個幀FR1~FR7後,出現斷音區Gap。為了解決斷音的問題,本實施例的音訊資料重建方法可包含如圖2所示的步驟S201~S211,具體說明如下。
在步驟S201,在發送端依序發送多個音訊封包至接收端的傳輸過程中,利用接收端對丟失或延遲送達音訊封包的那一幀的前幾幀(例如圖3所示的幀FR7)的音訊封包進行快速傅立葉轉換(Fast Fourier Transform, FFT)運算,以將音訊封包從時域轉換到頻域,如圖4所示為丟失或延遲送達音訊封包的那一幀的前一幀執行完快速傅立葉轉換運算後的頻譜波形WAVE1。
在步驟S203,利用接收端依據丟失或延遲送達音訊封包的那一幀(例如圖3所示的斷音區Gap)的前一幀(例如圖3所示的幀FR7)的音訊封包計算門檻值。接著,利用接收端比對丟失或延遲送達音訊封包的那一幀之前的多個幀的每一幀(例如圖3所示的每個幀FR1~FR7)的每一頻率片段的振幅與門檻值(例如圖4所示的門檻值TH例如雜訊比),以篩選出高於門檻值的頻率振幅,例如篩選出圖4所示的所有高於門檻值TH的頻率振幅,超過門檻值TH的頻率片段才需要做振幅線性預測和相位計算。
在步驟S205,利用接收端對篩選出的所有的振幅進行線性預測,以外推丟失或延遲送達的音訊封包,如圖5所示為重建的幀的頻譜波形WAVE2。
詳言之,利用接收端計算篩選出進行快速傅立葉轉換運算的前一幀(例如圖3所示在斷音區Gap前的幀FR7)的每一頻率片段的振幅,以下列方程式表示:;
其中magnitude代表頻率的振幅,real代表頻率的實部,image代表頻率的虛部。
接著,利用接收端加總前一幀的所有頻率片段的振幅,以取得總振幅。利用接收端基於總振幅,計算出門檻值,以下列方程式表示:TM=M1+M2+M3+…+Mn,其中TM代表總振幅,M1~Mn代表多個頻率片段的振幅,n代表用於計算門檻值的頻率振幅的數量,n=FFT size/2,其中FFT size代表可進行快速傅立葉轉換運算的頻率振幅的數量。
舉例而言,利用接收端將總振幅除以訊雜比,以取得門檻值,以下列方程式表示:,
其中S代表門檻值,TM代表總振幅,L代表訊雜比,此訊雜比可為任意適當值,例如1000。在利用接收端篩選出高能量的頻率片段後,剩餘篩掉的低能量雜訊視為雜訊,不作為後續步驟中外推丟失或延遲送達的音訊封包的依據。
舉例而言,利用接收端計算外推的幀(即丟失音訊封包的那一幀,第N+1幀)的前一幀(第N幀)的相位,並計算前一幀(第N幀) 的相位與更前一幀(第N-1幀)的相位之間的相位差,最後加總計算出的相位差與前一幀(第N幀)的相位,以取得外推的幀的相位,以下列方程式表示:
Phase[N+1] = Phase[N]+(Phase[N] – Phase[N-1]);
其中Phase[N+1]代表外推的幀的相位,表示外推的幀的音訊封包在發送端發送的多個音訊封包中排列第N+1個傳輸,N可為大於1的任意適當整數值,而Phase[N]代表外推的幀的前一幀的相位,Phase[N-1]代表外推的幀的前一幀的更前一幀的相位。
在步驟S209,在外推的幀的音訊封包的音波中,振幅不大於門檻值的頻率片段的實部和虛部,填入雜訊。詳言之,在外推的幀的音波中,不大於門檻值的頻率片段的實部和虛部填入小於門檻值的雜訊值。
在步驟S211,利用接收端進行快速傅立葉反轉換運算,以將經由外推所取得的音訊封包,從頻域轉換回時域,以取得PCM音訊封包。
應理解,本發明不受限於本文實施例的舉例,可依據實際需求,適當調整本文實施例的方法的步驟執行順序和內容,或增減步驟的程序,若有需要,可適當重覆執行本文實施例舉例的一或多個步驟。
[第三實施例]
請參閱圖6和圖7,其中圖6為本發明第三實施例的音訊資料重建系統的方塊圖,而圖7為手機發送音源資料至採用第三實施例的音訊資料重建系統的耳機的使用示意圖。
本實施例的音訊資料重建系統可包含如圖6所示的發送端TX以及接收端RX。其中,接收端RX可包含音訊接收模組10、音訊轉換模組20、音頻篩選模組30以及外推運算模組40,可用以執行上述步驟S101~S109、S201~S205、S211。舉例而言,如圖7所示,發送端TX可為手機,而接收端RX可為耳機,在此僅舉例說明,本發明不以此為限。
音訊接收模組10連接發送端TX以及音訊接收模組10。發送端TX將音訊資料AU切割成多個音訊封包後,向接收端RX發送多個音訊封包。接收端RX的音訊接收模組10經由有線或無線方式(例如但不限於採用藍芽無線傳輸技術)依序接收發送端TX發送的音訊封包。
在發送端TX持續向接收端RX的音訊接收模組10依序發送多個音訊封包的過程中,音訊轉換模組20判斷有音訊封包丟失或延遲送達時,對丟失或延遲送達音訊封包的那一幀的前幾幀的音訊封包進行快速傅立葉轉換運算,以將音訊封包從時域轉換到頻域。
音頻篩選模組30連接音訊轉換模組20。在進行快速傅立葉轉換運算後,音頻篩選模組30依據丟失或延遲送達音訊封包的那一幀的前一幀的音訊封包的係數或參數計算門檻值。音頻篩選模組30接著比對丟失或延遲送達音訊封包的那一幀之前的每一幀的每一頻率片段的振幅與門檻值,以進行篩選。
外推運算模組40連接音頻篩選模組30以及音訊轉換模組20,配置以對篩選出的頻率片段的振幅進行線性預測,以外推丟失或延遲送達的音訊封包。最後,音訊轉換模組20進行快速傅立葉反轉換運算,以將經由外推所取得的音訊封包,從頻域轉換回時域。
若有需要,接收端RX可更包含相位計算模組50以及雜訊填充模組60,可分別用以執行上述步驟S207、S209。相位計算模組50連接音頻篩選模組30。雜訊填充模組60連接相位計算模組50、外推運算模組40以及音訊轉換模組20。
在外推運算模組40外推丟失或延遲送達的音訊封包後,相位計算模組50計算外推丟失或延遲送達的音訊封包的頻率片段的相位。接著,雜訊填充模組60在外推出的音訊封包中,振幅不大於門檻值的頻率片段的實部和虛部填入雜訊。
最後,音訊轉換模組20進行快速傅立葉反轉換運算,以將經由外推和填入雜訊後取得的音訊封包,從頻域轉換回時域。在接收端RX的音訊播放模組(未圖示)播放準時到達的音訊封包之後,可接著播放此外推並加入雜訊的音訊封包(取代丟失或延遲的音訊封包)。
請參閱圖8和圖9,其中圖8為出現斷音的波形圖;圖9為音訊資料透過本發明實施例的音訊資料重建系統及方法重建丟失或遲到的音波後的波形圖。
在發送端向接收端依序發送多個音訊封包的過程中,接收端接收到如圖8所示的一音訊封包的音波W1後,受到環境干擾或其他因素導致接續的下一音訊封包丟失或遲到,並且緩衝區即將耗盡。在此情況下,必須啟動音訊資料重建運算,進行音訊補償,以避免接收端在播放到音波W1後出現斷音,如圖8所示的斷音區GDP。
因此,採用本發明上述實施例的音訊資料重建系統及方法。接收端RX在接收到音波W1後,未接著接收到下一音波時,可依序執行上述步驟S201~S213,以依據音波W1外推如圖9所示的音波W2,重建在音波W1後。如此,接收端RX在播放音波W1後,可接著播放重建的音波W2,接著播放接收到的音波W3,以避免在播放過程中出現斷音。
舉例來說,接收端RX在預定時間內從發送端TX接收到的如圖8所示的完整音波W1可包含如圖3所示的幀FR1~FR7的音波,而如圖8所示的斷音區GDP可對應如圖3所示的斷音區Gap。
[實施例的有益效果]
本發明的其中一有益效果在於,本發明所提供的音訊資料重建方法及其方法,其重建丟失或遲到的音波,主要優點如下:
1.只在接收端進行運算,發送端無需特別編碼或運算;
2.使用單純的PCM資料進行運算,跟音訊資料的壓縮方法無關;
3.運算簡單,運算量低,適合低功耗低運算能力裝置;
4.無需丟失或遲到的封包後的完好封包,只需要丟失或遲到的封包前的完好封包即可進行運算,適用於低延遲播放裝置。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
S101~S107、S201~S211:步驟
FR1~FR7:幀
Gap、GDP:斷音區
TH:門檻值
TX:發送端
AU:音訊資料
RX:接收端
10:音訊接收模組
20:音訊轉換模組
30:音頻篩選模組
40:外推運算模組
50:相位計算模組
60:雜訊填充模組
W1、W2、W3:音波
WAVE1、WAVE2:頻譜波形
圖1為本發明第一實施例的音訊資料重建方法的步驟流程圖。
圖2為本發明第二實施例的音訊資料重建方法的步驟流程圖。
圖3為本發明第二實施例的依據丟失或延遲送達音訊封包的那一幀的前一幀計算門檻值的示意圖。
圖4為本發明第二實施例的丟失或延遲送達音訊封包的那一幀的前一幀執行完快速傅立葉轉換運算後的頻譜圖。
圖5為本發明第二實施例的重建的幀的頻譜圖。
圖6為本發明第三實施例的音訊資料重建系統的方塊圖。
圖7為手機發送音源資料至採用第三實施例的音訊資料重建系統的耳機的使用示意圖。
圖8為出現斷音的波形圖。
圖9為音訊資料透過本發明實施例的音訊資料重建系統及方法重建丟失或遲到的音波後的波形圖。
S201~S211:步驟
Claims (9)
- 一種音訊資料重建方法,包含以下步驟: 由一發送端將一音訊資料分成多個音訊封包依序發送至一接收端; 利用該接收端,對丟失或延遲送達該音訊封包的那一幀的前幾幀的該音訊封包進行快速傅立葉轉換運算,以將該音訊封包從時域轉換到頻域; 利用該接收端,依據丟失或延遲送達該音訊封包的那一幀的前一幀的該音訊封包計算一門檻值; 利用該接收端,比對丟失或延遲送達該音訊封包的那一幀之前的每一幀的每一頻率片段的振幅與該門檻值,以進行篩選; 利用該接收端,對篩選出進行快速傅立葉轉換運算的所有振幅進行線性預測,以外推丟失或延遲送達的該音訊封包;以及 利用該接收端,進行快速傅立葉反轉換運算,以外推出的頻率片段進行快速傅立葉反轉換運算,以將經由外推所取得的該音訊封包,從頻域轉換回時域。
- 如請求項1所述的音訊資料重建方法,更包含以下步驟: 利用該接收端,計算外推的該音訊封包的振幅和相位; 利用該接收端,在外推的該音訊封包中,振幅不大於該門檻值的頻率片段的實部和虛部,填入雜訊;以及 利用該接收端,進行快速傅立葉反轉換運算,以將經由外推和填入雜訊後所取得的該音訊封包,從頻域轉換回時域。
- 如請求項1所述的音訊資料重建方法,更包含以下步驟: 利用該接收端,計算篩選出進行快速傅立葉轉換運算後的前一幀的每一頻率片段的振幅; 利用該接收端,加總前一幀的所有頻率片段的振幅,以取得一總振幅;以及 利用該接收端,基於該總振幅計算出該門檻值。
- 如請求項3所述的音訊資料重建方法,更包含以下步驟: 利用該接收端,將該總振幅除以一訊雜比,以取得該門檻值。
- 一種音訊重建系統,包含: 一發送端,配置以將一音訊資料分成多個音訊封包,並依序發送該多個音訊封包;以及 一接收端,包含: 一音訊接收模組,連接該發送端,配置以依序接收該發送端發送的該多個音訊封包; 一音訊轉換模組,連接該音訊接收模組,配置以對丟失或延遲送達該音訊封包的那一幀的前幾幀的該音訊封包進行快速傅立葉轉換運算,以將該音訊封包從時域轉換到頻域; 一音頻篩選模組,連接該音訊轉換模組,配置以在經由快速傅立葉轉換運算後,依據丟失或延遲送達該音訊封包的那一幀的前一幀的該音訊封包計算一門檻值,比對丟失或延遲送達該音訊封包的那一幀之前的每一幀的每一頻率片段的振幅與該門檻值,以進行篩選;及 一外推運算模組,連接該音頻篩選模組以及該音訊轉換模組,配置以對篩選出進行快速傅立葉轉換運算的所有振幅進行線性預測,以外推丟失或延遲送達的該音訊封包,接著該音訊轉換模組以外推出的頻率片段進行快速傅立葉反轉換運算,以將經由外推所取得的該音訊封包,從頻域轉換回時域。
- 如請求項5所述的音訊重建系統,其中該接收端更包含一相位計算模組,連接該音頻篩選模組,配置以計算外推的該音訊封包的振幅和相位。
- 如請求項6所述的音訊重建系統,其中該接收端更包含一雜訊填充模組,連接該相位計算模組、該外推運算模組以及音訊轉換模組,配置以在外推的該音訊封包中,振幅不大於該門檻值的頻率片段的實部和虛部填入雜訊; 其中該音訊轉換模組進行快速傅立葉反轉換運算,以將經由外推和填入雜訊後取得的該音訊封包,從頻域轉換回時域。
- 如請求項5所述的音訊重建系統,其中該音頻篩選模組配置以計算篩選出進行快速傅立葉轉換運算後的前一幀的每一頻率片段的振幅,加總前一幀的所有頻率片段的振幅,以取得一總振幅,並基於該總振幅,計算出該門檻值。
- 如請求項8所述的音訊重建系統,其中該音頻篩選模組配置以將該總振幅除以一訊雜比,以取得該門檻值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109111346A TWI789577B (zh) | 2020-04-01 | 2020-04-01 | 音訊資料重建方法及系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109111346A TWI789577B (zh) | 2020-04-01 | 2020-04-01 | 音訊資料重建方法及系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202139032A TW202139032A (zh) | 2021-10-16 |
| TWI789577B true TWI789577B (zh) | 2023-01-11 |
Family
ID=79601177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109111346A TWI789577B (zh) | 2020-04-01 | 2020-04-01 | 音訊資料重建方法及系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI789577B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1957398B (zh) * | 2004-02-18 | 2011-09-21 | 沃伊斯亚吉公司 | 在基于代数码激励线性预测/变换编码激励的音频压缩期间低频加重的方法和设备 |
| CN103493130A (zh) * | 2012-01-20 | 2014-01-01 | 弗兰霍菲尔运输应用研究公司 | 用以利用正弦代换进行音频编码及译码的装置和方法 |
| CN103517185A (zh) * | 2012-06-26 | 2014-01-15 | 鹦鹉股份有限公司 | 对在嘈杂环境中操作的多话筒音频设备的声信号降噪的方法 |
| WO2014021890A1 (en) * | 2012-08-01 | 2014-02-06 | Dolby Laboratories Licensing Corporation | Percentile filtering of noise reduction gains |
| TWI451404B (zh) * | 2006-08-01 | 2014-09-01 | Dts Inc | 用來補償音訊換能器線性與非線性失真的類神經網路濾波技術 |
| TW201508739A (zh) * | 2013-06-21 | 2015-03-01 | Fraunhofer Ges Forschung | 實現用於轉換編碼激發長期預測之改進槪念的裝置及方法 |
| US9305567B2 (en) * | 2012-04-23 | 2016-04-05 | Qualcomm Incorporated | Systems and methods for audio signal processing |
| TWI536369B (zh) * | 2013-01-29 | 2016-06-01 | 弗勞恩霍夫爾協會 | 用以基於線性預測編碼之於頻域中編碼的低頻率增強技術 |
| TWI585747B (zh) * | 2011-10-21 | 2017-06-01 | 三星電子股份有限公司 | 訊框錯誤修補方法與裝置、音訊解碼方法與裝置 |
| CN107949321A (zh) * | 2015-04-29 | 2018-04-20 | 美国亚德诺半导体公司 | 时域干扰去除和改进的心率测量跟踪机理 |
| CN110265043A (zh) * | 2019-06-03 | 2019-09-20 | 同响科技股份有限公司 | 自适应有损或无损的音讯压缩和解压缩演算方法 |
-
2020
- 2020-04-01 TW TW109111346A patent/TWI789577B/zh active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1957398B (zh) * | 2004-02-18 | 2011-09-21 | 沃伊斯亚吉公司 | 在基于代数码激励线性预测/变换编码激励的音频压缩期间低频加重的方法和设备 |
| TWI451404B (zh) * | 2006-08-01 | 2014-09-01 | Dts Inc | 用來補償音訊換能器線性與非線性失真的類神經網路濾波技術 |
| TWI585747B (zh) * | 2011-10-21 | 2017-06-01 | 三星電子股份有限公司 | 訊框錯誤修補方法與裝置、音訊解碼方法與裝置 |
| CN103493130A (zh) * | 2012-01-20 | 2014-01-01 | 弗兰霍菲尔运输应用研究公司 | 用以利用正弦代换进行音频编码及译码的装置和方法 |
| US9305567B2 (en) * | 2012-04-23 | 2016-04-05 | Qualcomm Incorporated | Systems and methods for audio signal processing |
| CN103517185A (zh) * | 2012-06-26 | 2014-01-15 | 鹦鹉股份有限公司 | 对在嘈杂环境中操作的多话筒音频设备的声信号降噪的方法 |
| WO2014021890A1 (en) * | 2012-08-01 | 2014-02-06 | Dolby Laboratories Licensing Corporation | Percentile filtering of noise reduction gains |
| TWI536369B (zh) * | 2013-01-29 | 2016-06-01 | 弗勞恩霍夫爾協會 | 用以基於線性預測編碼之於頻域中編碼的低頻率增強技術 |
| CN105431903A (zh) * | 2013-06-21 | 2016-03-23 | 弗朗霍夫应用科学研究促进协会 | 使用tcx ltp利用损毁或未接收到的帧的重建的音频解码 |
| TW201508739A (zh) * | 2013-06-21 | 2015-03-01 | Fraunhofer Ges Forschung | 實現用於轉換編碼激發長期預測之改進槪念的裝置及方法 |
| CN110265044A (zh) * | 2013-06-21 | 2019-09-20 | 弗朗霍夫应用科学研究促进协会 | 在错误隐藏过程中在不同域中改善信号衰落的装置及方法 |
| CN110299147A (zh) * | 2013-06-21 | 2019-10-01 | 弗朗霍夫应用科学研究促进协会 | 针对切换式音频编码系统在错误隐藏过程中的改善信号衰落的装置及方法 |
| CN107949321A (zh) * | 2015-04-29 | 2018-04-20 | 美国亚德诺半导体公司 | 时域干扰去除和改进的心率测量跟踪机理 |
| CN110265043A (zh) * | 2019-06-03 | 2019-09-20 | 同响科技股份有限公司 | 自适应有损或无损的音讯压缩和解压缩演算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 期刊 Kauppinen, I., & Roth, K. Audio signal extrapolation–theory and applications Proc. DAFx. 2002 pp. 105-110 2002, September https://www.dafx.de/papers/DAFX02_Kauppinen_Roth_signal_extrapolation.pdf * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202139032A (zh) | 2021-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5362808B2 (ja) | 音声通信におけるフレーム消失キャンセル | |
| TWI420513B (zh) | 藉由變換內插之音訊封包損失隱蔽 | |
| JP5684367B2 (ja) | データ削除によるタイミング不一致の同期 | |
| CN108076239B (zh) | 一种改善ip电话回声的方法 | |
| CN101588341A (zh) | 一种丢帧隐藏的方法及装置 | |
| CN106537831A (zh) | 基于冗余的包发射错误恢复的系统和方法 | |
| ES2706512T3 (es) | Ocultación de errores de trama | |
| CN101261833A (zh) | 一种使用正弦模型进行音频错误隐藏处理的方法 | |
| US20100324914A1 (en) | Adaptive Encoding of a Digital Signal with One or More Missing Values | |
| CN103325373A (zh) | 用于传送和接收音频信号的方法和设备 | |
| TWI789577B (zh) | 音訊資料重建方法及系統 | |
| CN113539278B (zh) | 音频数据重建方法及系统 | |
| CN100505714C (zh) | 基于自适应差分脉冲编码调制的丢帧处理设备及方法 | |
| CN1868151B (zh) | 接收装置和方法 | |
| CN111383643A (zh) | 一种音频丢包隐藏方法、装置及蓝牙接收机 | |
| Tatlas et al. | Perceptually-optimized error concealment for audio over WLANs | |
| US11121721B2 (en) | Method of error concealment, and associated device | |
| Floros et al. | Frequency-domain stochastic error concealment for wireless audio applications | |
| Lu et al. | A low complexity packet loss recovery method for audio transmission | |
| Ajorloo et al. | Cirols: Codec independent recovery of lost speech packets | |
| CN119814767A (zh) | 一种无线音频传输方法及设备 | |
| CN119541507A (zh) | 音频传输方法、装置、设备以及存储介质 | |
| Floros et al. | Stochastic packet reconstruction for subjectively improved audio delivery over WLANs. | |
| Rao | An architecture for adaptive wireless networks | |
| BR112017001088B1 (pt) | Dispositivo e método de recuperação de erro de transmissão de pacote com base em redundância |