[go: up one dir, main page]

TWI396443B - 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器 - Google Patents

應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器 Download PDF

Info

Publication number
TWI396443B
TWI396443B TW097149999A TW97149999A TWI396443B TW I396443 B TWI396443 B TW I396443B TW 097149999 A TW097149999 A TW 097149999A TW 97149999 A TW97149999 A TW 97149999A TW I396443 B TWI396443 B TW I396443B
Authority
TW
Taiwan
Prior art keywords
stream
buffer
data
server
bandwidth
Prior art date
Application number
TW097149999A
Other languages
English (en)
Other versions
TW201026064A (en
Inventor
Jen Yu Yu
Hsin Hua Lee
Hui Ping Kuo
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW097149999A priority Critical patent/TWI396443B/zh
Priority to US12/489,080 priority patent/US8554879B2/en
Publication of TW201026064A publication Critical patent/TW201026064A/zh
Application granted granted Critical
Publication of TWI396443B publication Critical patent/TWI396443B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
本發明係有關於一種影音控制方法，且特別有關於一種應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器。
一般透過網路收看影音串流，由於傳輸資料量龐大，為了因應頻寬的變化，播放器必須累積一定長度的資料緩衝區來調適頻寬的變化，以避免播放時中斷或是頓挫等不順暢的狀況。然而，對於透過網路傳送影音串流的應用來說，過長的緩衝區卻會造成影音互動操控的反應延遲，造成使用者的不便。例如，對看電視時需要頻繁選台的應用來說，使用者會覺得轉台後顯示下一節目的反應時間過長，即轉台會不順暢。
在監控應用來說，當鏡頭偵測到特殊事件時，必須讓使用者接收到最新的畫面，故需要伺服器主動觸發影音控制。為了能夠因應頻寬突然的變化，播放器需要準備足夠的緩衝區。另一方面，快速的操作反應時間又不能有太長的緩衝區存在，兩者需求相互衝突，因此需要設計一個能同時兼顧影音控制回應以及頻寬調適的方法。
此外，在串流播放的過程中，當遇到頻寬劇烈變化時，在目前普遍頻寬調適的作法是繼續播放串流資料，當緩衝區中的串流資料播放完畢後，播放器會暫時停止播放，然 後重新累積緩衝區的資料。這樣的作法會造成明顯播放不順暢的現象，對於使用緩衝區來做頻寬調適具有許多改善的空間。
因此，本發明提供了一種應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器，其可同時達成影音控制回應並兼顧網路頻寬調適的需求。
基於上述目的，本發明實施例揭露了一種應用於網路串流之影音控制回應及頻寬調適方法。當一伺服器之一溝通器收到一來自播放器之控制命令，將該控制命令傳送給該伺服器之一串流控制器，同時令此播放器將其緩衝區中已經過時的串流資料清除。令該串流控制器對一視訊/音訊擷取器的來源進行控制，並且重置一品質控制器之一接收端緩衝長度評估器。令該接收端緩衝長度評估器估算該播放器之該緩衝區中之串流資料量是否在一安全範圍內，並且將估算結果與該伺服器之一壅塞偵測器得到的頻寬變化資訊傳送給該伺服器之一串流轉換器。判斷該播放器之該緩衝區中的串流資料量是否小於一臨界值。若該緩衝區中的串流資料量小於該臨界值，則令該串流轉換器之一設定檔選擇器與一時戳調整器根據該估算結果與該頻寬變化資訊，調整一串流時戳調整參數倍率以調整該播放器之該緩衝區中之串流資料的消耗速度以重新累積緩衝區資料。
本發明實施例更揭露了一種伺服器，其至少包括一視訊/音訊擷取器、一品質控制器、一溝通器、一串流控制器 與一串流轉換器。該視訊/音訊擷取器用以選擇串流資料的輸入來源。該品質控制器更包括一接收端緩衝長度評估器與一壅塞偵測器。該溝通器自一播放器接收一控制命令。該串流控制器自該溝通器接收該控制命令，其中，當該串流控制器接收到該控制命令時，令該播放器將其緩衝區中已經過時的串流資料清除，對該視訊/音訊擷取器的來源進行控制，並且重置該接收端緩衝長度評估器。該串流轉換器更包括一設定檔選擇器、一品質設定檔與一時戳調整器。該接收端緩衝長度評估器估算該播放器之該緩衝區中之串流資料量是否在一安全範圍內，該串流轉換器自該接收端緩衝長度評估器取得估算結果與自該壅塞偵測器取得頻寬變化資訊，判斷該播放器之該緩衝區中的串流資料量是否小於一臨界值，若該緩衝區中的串流資料量小於該臨界值，則該設定檔選擇器利用該時戳調整器根據該估算結果與該頻寬變化資訊調整該品質設定檔中之一串流時戳調整參數倍率，以調整該播放器之該緩衝區中之串流資料的消耗速度而重新累積緩衝區資料。
為了讓本發明之目的、特徵、及優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式第1圖至第4圖，做詳細之說明。本發明說明書提供不同的實施例來說明本發明不同實施方式的技術特徵。其中，實施例中的各元件之配置係為說明之用，並非用以限制本發明。且實施例中圖式標號之部分重複，係為了簡化說明，並非意指不同實 施例之間的關聯性。
本發明實施例揭露了一種應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器。
本發明實施例之應用於網路串流之影音控制回應及頻寬調適方法係於伺服器端實現，其可使播放器不中斷即時影音播放，同時可重新累積緩衝區資料，並且可在變動頻寬下達到最佳之頻寬調適。因此，可以兼顧頻寬調適並同時能夠流暢地進行控制操作且獲得快速回應。
利用本發明實施例之應用於網路串流之影音控制回應及頻寬調適方法，在影音互動操控時，例如選擇輸入來源、切換電視調諧器頻道、調整影音畫面、控制拍攝鏡頭...等等，可以有效地控制傳輸資料量的機制，並兼顧網路頻寬調適的方法，讓使用者得以觀賞畫面流暢平順且品質穩定的串流節目。當執行上述操作時，播放器可以不必暫停播放，也不必做額外的處理就可以自動重新累積緩衝所需的資料。
第1圖係顯示本發明實施例之播放器的架構示意圖。
本發明實施例之播放器100包括一控制器(Controller)110、一接收器(Receiver)120、一緩衝控制器(Buffer Controller)130、一解碼器(Decoder)140與一呈現器(Renderer)150。播放器100透過接收器120從網路接收串流資料，並將接收到的串流資料存進緩衝區135中以由緩衝控制器130控制管理。緩衝控制器130依照每筆串流資料的時間戳記(Timestamp)資訊，在適當的時間傳送到 解碼器140進行解碼，然後由呈現器150播放出來。當播放器100進行影音操作時，會透過控制器110將控制命令送到伺服器200。此時，原有已存在緩衝區135中的串流資料將變得過期而沒有意義。因此，在送出控制命令的同時，控制器110要求緩衝控制器130清除大部分已接收的串流資料而僅留下少量的串流資料用於緩衝。
第2圖係顯示本發明實施例之伺服器的架構示意圖。
本發明實施例之伺服器200包括一溝通器(Communicator)201、一串流控制器(Stream Controller)202、一串流發送器(Stream Sender)203、一視訊/音訊擷取器(Video/Audio Capturer)204、一串流編碼器205(Stream Encoder)、一品質控制器(QoS Controller)206、一串流轉換器(Stream Adaptor)209與一音訊重取樣器(Audio Resampler)213。品質控制器206更包括一接收端緩衝長度評估器(Receiver Buffer Estimator)207與一壅塞偵測器(Congestion Detector)208。串流轉換器209更包括一設定檔選擇器(Profile Selector)210、一品質設定檔(Quality Profile)211與一時戳調整器(Timestamp Adjuster)212。
串流控制器202自溝通器201接收到來自播放器100的控制命令以直接對影音內容進行控制，例如，電視選台或是切換輸入來源(例如，數位視訊影碟(Digital Video Disc，DVD))，同時送出一重置(Reset)命令，以要求接收端緩衝長度評估器207重置判斷播放器100中之緩衝區135的參數，以在接下來處理影音內容之品質(QoS) 調適時能夠做出正確的判斷。
第3圖係顯示本發明實施例之串流控制器的架構示意圖。
串流控制器202可以直接控制伺服器200的模組，包括對串流編碼器205設定它的編碼參數、對視訊/音訊擷取器204設定擷取參數(例如，影像的亮度、彩度)或是對輸入選擇器(Input Switcher)301設定輸入的來源。舉例來說，可以選擇電視調諧器(TV Tuner)302、視訊輸入端子303(例如，色差端子(S－video)或複合視訊輸入端子(Composite Video))或是外接的視訊攝影機304。串流控制器202可以控制電視調諧器302之頻道切換，並且可以控制攝影機動作控制器(Camera Motion Controller)305對視訊攝影機304進行左右移動(Panning)、上下移動(Tilting)與變焦(Zooming)的操作。
品質控制器206是伺服器200用來進行QoS調適的模組。品質控制器206的壅塞偵測器208接受串流發送器203傳送串流資料所得到的回饋資訊來判斷網路狀況是否壅塞。根據壅塞的情況，品質控制器會讓串流轉換器209選擇一個適合的串流設定(Profile)來調適頻寬。
品質控制器206也會利用接收端緩衝長度評估器207估測播放器100目前對於頻寬變化的忍受度。若是發現播放器100之緩衝區135中的串流資料即將不足，則會指示串流轉換器209選擇出適合的調適方法。
因為播放器100在進行影音切換或網路狀況不穩定 時，都需要動態調整緩衝區135來因應上述狀況。接收端緩衝長度評估器207負責估算出目前播放器100之緩衝區135的資料長度，由此可得知網路傳輸狀況，來決定是否要做視訊品質的調整以及時間戳記的調整，為的是讓播放器100的收視狀況能維持穩定，其優點是不需要播放器100回報任何訊息即可自行估算出來，可減少佔用的網路頻寬，估算的公式如下所示：
其中，t p 表示收到控制命令後經過的時間，T max 表示接收端預設最大之緩衝區的時間長度，r(t) 表示時間t 時之時間戳記的數量，T sys 表示在系統緩衝區中未送出的影音資料的時間長度，T app 表示在應用程式中的資料佇列延遲時間，而R buf (t p )表示伺服器端計算在t p 時間時，接收端累積之緩衝區的時間長度，亦即可忍受的網路壅塞時間。
需注意到，該估算方法僅係為一實施例，其並非用以限制本發明。
串流轉換器209的設定檔選擇器210會依照從品質控制器206所得到的頻寬壅塞狀況與播放器100的緩衝區狀況決定接下來頻寬調適與串流資料調整的方法。品質設定檔211中可設定的項目包括編碼位元率(Encoding Bit Rate)、解析度(Resolution)、訊框更新率(Frame Rate)、訊框捨棄(Frame Drop)與串流時戳調整參數倍率(Stream Timestamp Adjust Scalar)。
更具體的作法是，當可用頻寬稍微變低時，可以小幅 度的調降編碼的品質，並且不會有明顯的觀感上的影響。若是估測到播放器100之緩衝區135的串流資料明顯不足時(特別是在因為操作控制而清除緩衝區之後)，則優先選擇調整串流時戳調整參數倍率的設定。
若選擇要改變編碼壓縮的品質設定時，設定檔選擇器210會從品質設定檔211選擇合適的品質設定並套用至串流編碼器。若是選擇訊框捨棄，則決定所要捨棄之訊框的數量。若是選擇調整串流時戳調整參數倍率，則會將選擇的參數套用至時戳調整器212調整串流時戳。
串流時戳是播放器100在播放串流資料時用來決定每一個影音訊框應該被播出時間的重要參考。在時戳調整器212會依照串流時戳調整參數倍率調整相鄰訊框之間的時間戳記間隔並同時確保影音播放的平順與同步。
以一個具體的實施例來說，當透過時戳調整器212調整串流時戳後，會影響播放器端資料消耗的速度。若定義串流時戳調整參數倍率為r且假設r＝1.1，未調整前相鄰兩影像訊框的時間戳記間隔為20000，則經過調整之後，時間戳記間隔將變成22000。在這樣的情況下，播放完這些調整過的串流資料所需的時間將變為原本的r倍。此一時戳調整倍率r的值僅係為一實施例。
透過這樣的調整的方法，可以得到下面的效果與好處：1)依照常理，當為了進行電視選台等控制操作時，原本操作前的資料便會變得沒有意義而被清除，此時緩衝區也會僅剩少量的資料以達到快速的回應的需求。透過時戳 調整器212的調整，播放器100不需額外的設計便可以重新累積緩衝所需的資料(當r>1.0，資料累積的速度將為r－1)。2)在伺服器端發現需要調適頻寬變化時，多了訊框捨棄、直接調整壓縮編碼率與訊框更新率之外的方法。因為訊框捨棄會明顯影響視覺觀感，而調整訊框更新率亦無法彈性的做細微的調整，且往往會受到串流編碼器205實作上的限制。
當時戳調整器212調整時間戳記過後，對於聲音的串流資料，為了確保聲音的取樣點能夠平均地分佈於調整過後的時間區間，由視訊/音訊擷取器204擷取到的串流資料需要音訊重取樣器213對聲音部份的串流資料重新取樣。最後，影像資料與重新取樣後的聲音資料將會進入串流編碼器205，並以先前在品質設定檔211所選擇的設定進行編碼。編碼之後的訊框會隨著調整後的串流時戳由串流發送器203送至播放器100，並把串流發送器203得到的回饋(Feedback)送回至品質控制器206以作為下一次判斷的依據。
第4圖係顯示本發明實施例之應用於網路串流之影音控制回應及頻寬調適方法的步驟流程圖。
當一溝通器收到控制命令(例如，電視選台)，將該控制命令傳送給一串流控制器，同時一播放器將其緩衝區中已經過時的串流資料清除(步驟S401)。該串流控制器對一視訊/音訊擷取器的來源進行控制，並且重置一品質控制器中的接收端緩衝長度評估器(步驟S402)。品質控制 器的接收端緩衝長度評估器估算該播放器之該緩衝區中的緩衝資料量是否在安全範圍，並且將估算結果與一壅塞偵測器得到的頻寬變化資訊傳送給一串流轉換器作為QoS調適的依據(步驟S403)。
判斷播放器之緩衝區的串流資料量是否小於一臨界值，即判斷是否串流資料量足夠播放(步驟S404)。若緩衝區的串流資料量小於該臨界值(即，緩衝區中之串流資料量即將不夠播放)，則串流轉換器的設定檔選擇器與時戳調整器依照接收端緩衝長度評估器之該估算結果與該壅塞偵測器之該頻寬變化資訊，調整串流時戳調整參數倍率以調整播放器緩衝區資料的消耗速度，藉此重新累積緩衝區資料(步驟S405)，或者同時從品質設定檔中選取合適的設定來調整輸出資料所佔的頻寬(步驟S406)。當接收端緩衝長度評估器估測播放器的緩衝區資料已經累積到預期或是理想的資料量T max (即，預設最大串流緩衝區長度)時，便回復串流時戳調整參數倍率至一初始設定值(步驟S407)。調整緩衝區資料消耗速度的優點，是可以避免暫停播放以重新累積緩衝區資料，導致播放畫面頓挫以致觀感不佳的問題。
本發明實施例之應用於網路串流之影音控制回應及頻寬調適方法提供快速的影音互動操作回應，大幅改善便利性與使用者觀感，以及提供穩定的品質與頻寬調適，故應用在多變的網際網路環境仍然能夠維持穩定的收看品質。
本發明之方法，或特定型態或其部份，可以以程式碼 的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧播放器
110‧‧‧控制器
120‧‧‧接收器
130‧‧‧緩衝控制器
135‧‧‧緩衝區
140‧‧‧解碼器
150‧‧‧呈現器
200‧‧‧伺服器
201‧‧‧溝通器
202‧‧‧串流控制器
203‧‧‧串流發送器
204‧‧‧視訊/音訊擷取器
205‧‧‧串流編碼器
206‧‧‧品質控制器
207‧‧‧接收端緩衝長度評估器
208‧‧‧壅塞偵測器
209‧‧‧串流轉換器
210‧‧‧設定檔選擇器
211‧‧‧品質設定檔
212‧‧‧時戳調整器
213‧‧‧音訊重取樣器
301‧‧‧輸入選擇器
302‧‧‧電視調諧器
303‧‧‧視訊輸入端子
304‧‧‧視訊攝影機
305‧‧‧攝影機動作控制器
S401..S407‧‧‧流程步驟
第1圖係顯示本發明實施例之播放器的架構示意圖。
第2圖係顯示本發明實施例之伺服器的架構示意圖。
第3圖係顯示本發明實施例之串流控制器的架構示意圖。
第4圖係顯示本發明實施例之應用於網路串流之快速影音控制回應及頻寬調適方法的步驟流程圖。
201‧‧‧溝通器
202‧‧‧串流控制器
203‧‧‧串流發送器
204‧‧‧視訊/音訊擷取器
205‧‧‧串流編碼器
206‧‧‧品質控制器
207‧‧‧接收端緩衝長度評估器
208‧‧‧壅塞偵測器
209‧‧‧串流轉換器
210‧‧‧設定檔選擇器
211‧‧‧品質設定檔
212‧‧‧時戳調整器
213‧‧‧音訊重取樣器

Claims (18)

  1. 一種應用於網路串流之影音控制回應及頻寬調適方法，包括下列步驟：當一伺服器藉由一網路收到來自一播放器之一控制命令，將該控制命令傳送給該伺服器之一串流控制器，同時令該播放器將其一緩衝區中已經過時的串流資料清除；令該串流控制器對一視訊/音訊擷取來源進行控制；藉由該伺服器之一品質控制器估算該緩衝區中之串流資料量是否不足；將估算結果與該伺服器偵測得到的頻寬變化資訊傳送給該伺服器之一串流轉換器；判斷該緩衝區中的串流資料量是否小於一臨界值；以及若該緩衝區中的串流資料量小於該臨界值，則令該串流轉換器根據該估算結果與該頻寬變化資訊，調整一串流時戳調整參數倍率以調整該緩衝區中之串流資料的消耗速度以重新累積緩衝區資料。
  2. 如申請專利範圍第1項所述的應用於網路串流之影音控制回應及頻寬調適方法，其中，當估測該緩衝區中的串流資料已經累積到一預設串流資料量時，回復該串流時戳調整參數倍率至一初始設定值。
  3. 如申請專利範圍第1項所述的應用於網路串流之影音控制回應及頻寬調適方法，其中，若緩衝區的串流資料量小於該臨界值，則根據該估算結果與該頻寬變化資訊， 從一品質設定檔中選取其中一設定來調整輸出該串流資料所佔的頻寬，其中，該品質設定檔中可設定的項目包括編碼位元率、解析度、訊框更新率、訊框捨棄與該串流時戳調整參數倍率。
  4. 一種伺服器，包括：一視訊/音訊擷取器，其用以選擇串流資料的輸入來源；一品質控制器，其更包括一接收端緩衝長度評估器與一壅塞偵測器；一溝通器，其藉由一網路自一播放器接收一控制命令；一串流控制器，其自該溝通器接收該控制命令，其中，當該串流控制器接收到該控制命令時，令該播放器將其緩衝區中已經過時的串流資料清除，對該視訊/音訊擷取器的來源以及串流內容進行控制，並且重置該接收端緩衝長度評估器；以及一串流轉換器，其更包括一設定檔選擇器、一品質設定檔與一時戳調整器；其中，該接收端緩衝長度評估器估算該播放器之該緩衝區中之串流資料量是否不足，該串流轉換器自該接收端緩衝長度評估器取得估算結果與自該壅塞偵測器取得頻寬變化資訊，判斷該播放器之該緩衝區中的串流資料量是否小於一臨界值，若該緩衝區中的串流資料量小於該臨界值，則該設定檔選擇器利用該時戳調整器根據該估算結果與該頻寬變化資訊調整該品質設定檔中之一串流時戳調整 參數倍率，以調整該播放器之該緩衝區中之串流資料的消耗速度而重新累積緩衝區資料；其中，該品質設定檔中可設定的項目包括編碼位元率、解析度、訊框更新率、訊框捨棄與該串流時戳調整參數倍率。
  5. 如申請專利範圍第4項所述的伺服器，其中，當該接收端緩衝長度評估器估測該播放器之該緩衝區中的串流資料已經累積到一預設串流資料量時，回復該串流時戳調整參數倍率至一初始設定值。
  6. 如申請專利範圍第4項所述的伺服器，其中，若緩衝區的串流資料量小於該臨界值，則該設定檔選擇器根據該估算結果與該頻寬變化資訊，從該品質設定檔中選取其中一設定來調整輸出該串流資料所佔的頻寬。
  7. 如申請專利範圍第4項所述的伺服器，其中，當該串流控制器接收到該控制命令時，送出一重置命令以要求該接收端緩衝長度評估器重置判斷該播放器中之該緩衝區的參數。
  8. 如申請專利範圍第4項所述的伺服器，其更包括一串流編碼器，其中該串流控制器對該串流編碼器設定其編碼設定，對該視訊/音訊擷取器設定其擷取設定，或是對一輸入選擇器設定一輸入來源以及其他串流內容設定。
  9. 如申請專利範圍第8項所述的伺服器，其更包括一串流發送器，其中該壅塞偵測器接受該串流發送器傳送串流資料所得到的回饋資訊來判斷網路狀況是否壅塞。
  10. 如申請專利範圍第9項所述的伺服器，其中，該品質控制器根據網路壅塞的情況令該串流轉換器自該品質設定檔中選擇其中一設定來調適頻寬。
  11. 如申請專利範圍第10項所述的伺服器，其中，該品質控制器利用該接收端緩衝長度評估器估測該播放器目前對於頻寬變化的忍受度。
  12. 如申請專利範圍第11項所述的伺服器，其中，該接收端緩衝長度評估器估算出目前該播放器之該緩衝區的資料長度，以決定是否要調整影音品質以及該串流時戳調整參數倍率。
  13. 如申請專利範圍第12項所述的伺服器，其更包括一音訊重取樣器，其中當該時戳調整器調整該串流時戳調整參數倍率後，該音訊重取樣器對該視訊/音訊擷取器擷取到之串流資料之音訊資料重新取樣。
  14. 如申請專利範圍第13項所述的伺服器，其中，將該串流資料之影像資料與重新取樣後的音訊資料傳送給該串流編碼器，並以自該品質設定檔所選擇之該設定對該串流資料進行編碼。
  15. 如申請專利範圍第14項所述的伺服器，其中，該串流發送器將編碼後並經過時戳倍率調整之該串流資料傳送給該播放器，並將由該串流發送器得到的回饋資訊傳送回該品質控制器。
  16. 一種電腦可記錄媒體，用以儲存一電腦程式，上述電腦程式包括複數程式碼片段，其用以載入至一電腦系統 中並且使得上述電腦系統執行一種應用於網路串流之影音控制回應及頻寬調適方法，包括：當一伺服器藉由一網路收到來自一播放器之一控制命令，將該控制命令傳送給該伺服器之一串流控制器，同時令該播放器將其一緩衝區中已經過時的串流資料清除；令該串流控制器對一視訊/音訊擷取來源進行控制；藉由該伺服器之一品質控制器估算該緩衝區中之串流資料量是否不足；將估算結果與該伺服器偵測得到的頻寬變化資訊傳送給該伺服器之一串流轉換器；判斷該緩衝區中的串流資料量是否小於一臨界值；以及若該緩衝區中的串流資料量小於該臨界值，則令該串劉轉換器根據該估算結果與該頻寬變化資訊，調整一串流時戳調整參數倍率以調整該緩衝區中之串流資料的消耗速度以重新累積緩衝區資料。
  17. 如申請專利範圍第16項所述的電腦可記錄媒體，其中，估測該緩衝區中的串流資料已經累積到一預設串流資料量時，回復該串流時戳調整參數倍率至一初始設定值。
  18. 如申請專利範圍第16項所述的電腦可記錄媒體，其中，若緩衝區的串流資料量小於該臨界值，則根據該估算結果與該頻寬變化資訊，從一品質設定檔中選取其中一設定來調整輸出該串流資料所佔的頻寬，其中，該品質設定檔中可設定的項目包括編碼位元率、解析度、訊框更新率、訊框捨棄與該串流時戳調整參數倍率。
TW097149999A 2008-12-22 2008-12-22 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器 TWI396443B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097149999A TWI396443B (zh) 2008-12-22 2008-12-22 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
US12/489,080 US8554879B2 (en) 2008-12-22 2009-06-22 Method for audio and video control response and bandwidth adaptation based on network streaming applications and server using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097149999A TWI396443B (zh) 2008-12-22 2008-12-22 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器

Publications (2)

Publication Number Publication Date
TW201026064A TW201026064A (en) 2010-07-01
TWI396443B true TWI396443B (zh) 2013-05-11

Family

ID=42267676

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097149999A TWI396443B (zh) 2008-12-22 2008-12-22 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器

Country Status (2)

Country Link
US (1) US8554879B2 (zh)
TW (1) TWI396443B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI505697B (zh) * 2013-09-26 2015-10-21 Chunghwa Telecom Co Ltd Audio and video playback method and its system
US9325765B2 (en) 2012-12-05 2016-04-26 Industrial Technology Research Institute Multimedia stream buffer and output method and multimedia stream buffer module

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380091B2 (en) * 2012-06-12 2016-06-28 Wi-Lan Labs, Inc. Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) * 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US9049271B1 (en) * 2009-07-16 2015-06-02 Teradici Corporation Switch-initiated congestion management method
US8891946B2 (en) * 2009-09-09 2014-11-18 Netflix, Inc. Accelerated playback of streaming media
CN103369323B (zh) * 2010-06-04 2016-12-28 索尼公司 图像处理设备和方法
JP5594045B2 (ja) * 2010-10-14 2014-09-24 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP5857273B2 (ja) * 2011-05-17 2016-02-10 パナソニックＩｐマネジメント株式会社 ストリーム処理装置
FR2979465B1 (fr) * 2011-08-31 2013-08-23 Alcatel Lucent Procede et dispositif de ralentissement d'un signal audionumerique
TWI519147B (zh) 2011-12-28 2016-01-21 財團法人工業技術研究院 提供與傳送複合濃縮串流之方法以及系統
EP3448028B1 (en) 2012-01-30 2020-11-04 Samsung Electronics Co., Ltd. Apparatus for hierarchical data unit-based video encoding and decoding comprising quantization parameter prediction
US8787403B2 (en) * 2012-05-14 2014-07-22 Texas Instruments Incorporated Audio convergence control facilitating bitpool value converging to stable level
US10063606B2 (en) 2012-06-12 2018-08-28 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
KR20140002200A (ko) * 2012-06-28 2014-01-08 삼성전자주식회사 무선 디스플레이 소스 장치 및 싱크 장치
CN104025524B (zh) * 2012-12-11 2017-06-20 华为技术有限公司 流媒体传输方法及装置、通信设备
US9948573B2 (en) * 2013-03-14 2018-04-17 Comcast Cable Communications, Llc Delivery of multimedia components according to user activity
WO2015054342A1 (en) 2013-10-09 2015-04-16 Mindset Systems Method of and system for automatic compilation of crowdsourced digital media productions
TWI548266B (zh) * 2014-06-24 2016-09-01 愛爾達科技股份有限公司 多媒體檔案儲存系統與相關裝置
US9704477B2 (en) * 2014-09-05 2017-07-11 General Motors Llc Text-to-speech processing based on network quality
US10225761B2 (en) * 2014-11-06 2019-03-05 At&T Intellectual Property I, L.P. Enhanced network congestion application programming interface
US10051202B2 (en) 2015-02-24 2018-08-14 Newtek, Inc. Method and apparatus for adaptively mixing video source signals
US20170171273A1 (en) * 2015-12-09 2017-06-15 Lenovo (Singapore) Pte. Ltd. Reducing streaming content interruptions
US10021402B2 (en) * 2015-12-16 2018-07-10 Dialogic Corporation Estimation of video quality of experience on media servers
CN114245170B (zh) * 2022-02-24 2022-09-13 国能信息技术有限公司 一种基于分流式传输的音视频单向传输调度方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193762A1 (en) * 2003-02-13 2004-09-30 Nokia Corporation Rate adaptation method and device in multimedia streaming
US20060056523A1 (en) * 2003-01-02 2006-03-16 Philippe Guillotel Device and process for adjusting the bit rate of a stream of contents and associated products
US20060282566A1 (en) * 2005-05-23 2006-12-14 Microsoft Corporation Flow control for media streaming

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640388A (en) * 1995-12-21 1997-06-17 Scientific-Atlanta, Inc. Method and apparatus for removing jitter and correcting timestamps in a packet stream
US6292834B1 (en) * 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6408005B1 (en) * 1997-09-05 2002-06-18 Nec Usa, Inc. Dynamic rate control scheduler for ATM networks
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
US6704790B1 (en) 1998-09-16 2004-03-09 Microsoft Corporation Server-side stream switching
US6233226B1 (en) * 1998-12-14 2001-05-15 Verizon Laboratories Inc. System and method for analyzing and transmitting video over a switched network
US7111058B1 (en) 2000-06-28 2006-09-19 Cisco Technology, Inc. Server and method for transmitting streaming media to client through a congested network
US7085842B2 (en) * 2001-02-12 2006-08-01 Open Text Corporation Line navigation conferencing system
US20030198184A1 (en) * 2001-08-31 2003-10-23 Joe Huang Method of dynamically determining real-time multimedia streaming rate over a communications networks
US7411901B1 (en) * 2002-03-12 2008-08-12 Extreme Networks, Inc. Method and apparatus for dynamically selecting timer durations
FI116816B (fi) * 2002-10-14 2006-02-28 Nokia Corp Median suoratoisto
US7876763B2 (en) * 2004-08-05 2011-01-25 Cisco Technology, Inc. Pipeline scheduler including a hierarchy of schedulers and multiple scheduling lanes
US7376158B2 (en) * 2004-04-22 2008-05-20 Scientific-Atlanta, Inc. Rate limited control mechanism for MPEG PCR dejittering
AU2005253152B2 (en) * 2004-06-07 2010-04-22 Sling Media L.L.C. Personal media broadcasting system
US7970020B2 (en) * 2004-10-27 2011-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Terminal having plural playback pointers for jitter buffer
US7797723B2 (en) * 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
US7764608B2 (en) * 2005-03-21 2010-07-27 Newtec Cy Managing traffic in a satellite transmission system
US7477598B2 (en) 2005-03-25 2009-01-13 International Business Machines Corporation Adaptive stream switching with minimized switching delay
EP1872536B1 (en) * 2005-04-11 2008-09-10 Telefonaktiebolaget LM Ericsson (publ) Technique for controlling data packet transmissions of variable bit rate data
US7924884B2 (en) * 2005-12-20 2011-04-12 Citrix Systems, Inc. Performance logging using relative differentials and skip recording
US7890985B2 (en) * 2006-05-22 2011-02-15 Microsoft Corporation Server-side media stream manipulation for emulation of media playback functions
US20080013559A1 (en) * 2006-07-14 2008-01-17 Smith Donald L Systems and methods for applying back-pressure for sequencing in quality of service
US20090234983A1 (en) * 2008-03-17 2009-09-17 Golden Signals, Inc. Methods and apparatus for sharing a computer display screen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056523A1 (en) * 2003-01-02 2006-03-16 Philippe Guillotel Device and process for adjusting the bit rate of a stream of contents and associated products
US20040193762A1 (en) * 2003-02-13 2004-09-30 Nokia Corporation Rate adaptation method and device in multimedia streaming
US20060282566A1 (en) * 2005-05-23 2006-12-14 Microsoft Corporation Flow control for media streaming

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325765B2 (en) 2012-12-05 2016-04-26 Industrial Technology Research Institute Multimedia stream buffer and output method and multimedia stream buffer module
TWI505697B (zh) * 2013-09-26 2015-10-21 Chunghwa Telecom Co Ltd Audio and video playback method and its system

Also Published As

Publication number Publication date
TW201026064A (en) 2010-07-01
US8554879B2 (en) 2013-10-08
US20100161761A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
TWI396443B (zh) 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
US9204203B2 (en) Reduction of latency in video distribution networks using adaptive bit rates
CN105144727B (zh) 视频流传输方法、设备、客户端设备和计算机可读介质
JP5215604B2 (ja) クライアント装置、通信システム及びデータ処理方法
US20140104493A1 (en) Proactive video frame dropping for hardware and network variance
KR101350754B1 (ko) 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법
CN101771865B (zh) 影音控制响应及频宽调适方法、服务器
CN111669619B (zh) 一种视频流数据切换方法、装置、终端和可读存储介质
EP2347587B1 (en) Multi-rate statistical multiplexing
KR20140138763A (ko) 상관된 미디어 프리젠테이션들을 동기화하기 위한 버퍼 관리 방법
JP2008029006A (ja) クライアント装置、通信システム及びデータ処理方法
CN104125482A (zh) 一种流媒体播放方法及装置
US20180302660A1 (en) Digital data streaming using server driven adaptive bitrate
KR20160146976A (ko) 비관리 네트워크들을 통한 클래스 기반의 지능형 다중화
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
US10154188B2 (en) Camera system, master camera device, and slave camera device
US10924786B2 (en) Method for shaping video streams and set-up box using the method
US20180338170A1 (en) Contiguous Streaming Of Media Stream
US11871079B2 (en) Client and a method for managing, at the client, a streaming session of a multimedia content
JP6987567B2 (ja) 配信装置、受信装置及びプログラム
US10834166B2 (en) Transmission apparatus that is capable of maintaining transmission quality in switching transmission path, reception apparatus, transmission and reception system, method of controlling transmission apparatus and reception apparatus, and storage medium
CN103260027A (zh) 用于展示图像数据的视频系统、方法和计算机程序
JP2017535172A (ja) ビデオカメラシステムにおけるデータレートの設定
WO2015154518A1 (zh) 可变码率媒体流的流量控制方法、装置以及系统