TWI626846B - 電子設備及傳送視頻流的方法 - Google Patents

Abstract

本發明提供一種視頻流傳送方法，應用於電子設備，該方法包括：採集聲音訊號；編碼所採集的聲音訊號，從而獲得數位音訊資料；控制該電子設備的第一攝像頭拍攝第一靜態影像以及控制第二攝像頭拍攝第二靜態影像；按照指定的修剪方式對所述第一靜態影像和第二靜態影像中至少之一者進行修剪；及按照指定的合成方式對所述第一靜態影像和所述第二靜態影像進行合成；將所合成的影像編碼成指定格式的影像；將所述指定格式的影像及所述數位音訊資料混合成視頻流；及將所述視頻流傳送到遠端設備。本發明可實現所述電子設備的串流直播。

Description

電子設備及傳送視頻流的方法

本發明涉及電子設備管理技術領域，尤其涉及一種電子設備及傳送視頻流的方法。

目前市場上的手機並不能結合前置攝像頭和後置攝像頭所拍攝的影像進行串流直播。

鑒於以上內容，有必要提供一種電子設備，可結合前置攝像頭和後置攝像頭所拍攝的影像進行串流直播。

鑒於以上內容，還有必要提供一種傳送視頻流的方法，可結合前置攝像頭和後置攝像頭所拍攝的影像進行串流直播。

所述電子設備包括：第一攝像頭，用於拍攝第一靜態影像；第二攝像頭，用於拍攝第二靜態影像；麥克風，用於採集聲音訊號；音訊轉碼器，用於編碼所述麥克風所採集的聲音訊號，從而獲得數位音訊資料；影像處理模組包括：獲取模組，用於控制所述第一攝像頭拍攝所述第一靜態影像以及控制所述第二攝像頭拍攝所述第二靜態影像；修剪模組，用於按照指定的修剪方式對所述第一靜態影像和所述第二靜態影像中至少之一者進行修剪；及合成模組，用於按照指定的合成方式對所述第一靜態影像和所述第二靜態影像進行合成， 從而獲得合成的影像；視頻轉碼器，用於將所述合成的影像編碼成指定格式的影像；混合器，用於將所述指定格式的影像及所述數位音訊資料混合成視頻流；及通訊模組，用於將所述視頻流傳送到遠端設備。

所述視頻流傳送方法，應用於電子設備，該方法包括：採集步驟，採集聲音訊號；第一編碼步驟，編碼所採集的聲音訊號，從而獲得數位音訊資料；影像處理步驟包括：控制所述電子設備的第一攝像頭拍攝第一靜態影像以及控制所述電子設備的第二攝像頭拍攝所述第二靜態影像；按照指定的修剪方式對所述第一靜態影像和所述第二靜態影像中至少之一者進行修剪；及按照指定的合成方式對所述第一靜態影像和所述第二靜態影像進行合成，從而獲得合成的影像；第二編碼步驟，將所述合成的影像編碼成指定格式的影像；混合步驟，將所述指定格式的影像及所述數位音訊資料混合成視頻流；及傳送步驟，將所述視頻流傳送到遠端設備。

相較於習知技術，本發明提供的電子設備及傳送視頻流的方法可結合前置攝像頭和後置攝像頭所拍攝的影像進行串流直播。

1‧‧‧電子設備

10‧‧‧處理器

20‧‧‧儲存器

30‧‧‧麥克風

40‧‧‧第一攝像頭

50‧‧‧第二攝像頭

60‧‧‧輸入裝置

70‧‧‧輸入控制器

80‧‧‧通訊模組

110‧‧‧影像處理模組

1101‧‧‧獲取模組

1102‧‧‧修剪模組

1103‧‧‧合成模組

120‧‧‧視頻轉碼器

130‧‧‧音訊轉碼器

140‧‧‧混合器

2‧‧‧伺服器

3‧‧‧遠端設備

圖1是本發明電子設備較佳實施例的架構圖。

圖2是本發明影像處理模組較佳實施例的功能模組圖。

圖3是本發明傳送視頻流的方法較佳實施例的流程圖。

圖4A舉例說明第一攝像頭和第二攝像頭分別所拍攝的30張靜態影像。

圖4B舉例說明調整第一攝像頭所拍攝的30張靜態影像的寬度。

圖4C舉例說明將第一攝像頭和第二攝像頭所拍攝的靜態影像進行合成。

圖5舉例說明將圖4C第一攝像頭和第二攝像頭所拍攝的靜態影像改變合成位置。

參閱圖1所示，是本發明電子設備較佳實施例的架構圖。在本實施例中，電子設備1包括，但不限於，處理器10、儲存器20，麥克風30、第一攝像頭40、第二攝像頭50、輸入裝置60、輸入控制器70，及通訊模組80。上述各個元件之間電氣連接。在本實施例中，所述電子設備1可以為手機、平板電腦等設備。

所述處理器10可以為中央處理器、微處理器或其他具有資料處理功能的晶片。

所述儲存器20可以是電子設備1本身的儲存器，也可以是外部儲存器，如智慧媒體卡(Smart Media Card)、安全數位卡(Secure Digital Card)、快閃儲存器卡(Flash Card)等。

所述麥克風30可以用於採集聲音訊號。第一攝像頭40和第二攝像頭50可以分別為所述電子設備1的後置攝像頭和前置攝像頭。

在一個實施例中，所述第一攝像頭40和第二攝像頭50為具有不同圖元的兩個攝像頭。所述第一攝像頭40的圖元可以大於所述第二攝像頭50的圖元。

所述輸入裝置60用於接收使用者的輸入訊號。在本實施例中，所述輸入裝置60可以為觸控式螢幕，用於接收觸控輸入訊號，或者為按鍵，用於接收按壓輸入訊號。

所述輸入控制器70可以回應所述輸入裝置60的輸入訊號進而生成相應的控制訊號。所述通訊模組80可以為無線通訊模組，例如可以為Wifi設備、藍牙設備。所述電子設備1可以利用該通訊模組80發送請求訊號，例如請求所述伺服器2建立所述電子設備1與遠端設備3之間的傳輸通道。在一個實施例中，所述伺服器2可以為例如Facebook的伺服器。所述遠端設備3可以為手機、電腦等設備。

在本實施例中，所述處理器10至少包括影像處理模組110、視頻 轉碼器120、音訊轉碼器130及混合器140。

在本實施方式中，所述影像處理模組110可以控制所述第一攝像頭40和第二攝像頭50分別連續拍攝複數張靜態影像，對所拍攝獲得的靜態影像進行尺寸裁剪，以及合成裁剪後的靜態影像並將複數張合成的靜態影像依續發送給所述視頻轉碼器120。

在一個實施例中，所述影像處理模組110可為整合在所述處理器10內的圖形處理器，或者為被所述處理器10執行的軟體模組。所述影像處理模組110包括獲取模組1101、修剪模組1102及合成模組1103。所述模組1101-1103為可被所述處理器10或所述圖形處理器調用執行的可程式化軟體指令。可以理解，在其他實施方式中，上述模組1101-1103也可為固化在所述處理器10中的程式指令或固件(firmware)。關於模組1101-1103的功能將結合圖3進行說明。

所述視頻轉碼器120可將所述影像處理模組110所合成的每張靜態影像編碼為指定格式(例如MPEG4格式)的影像，並將該指定格式的影像傳送至所述混合器140。

本實施例中，所述麥克風30將採集的聲音訊號傳送給所述音訊轉碼器130。該音訊轉碼器130可將聲音訊號編碼為數位音訊資料後傳送給所述混合器140。

本實施例中，所述混合器140可以將所述指定格式的影像和所述數位音訊資料混合成視頻流。在一個實施例中，所述混合器140回應用戶的輸入來將所述指定格式的影像和所述數位音訊資料混合成視頻流並將視頻流儲存在所述儲存器20中。所述混合器140還可將所述視頻流傳送給所述通訊模組80，接著，所述通訊模組80透過所述伺服器2所建立在所述電子設備1與遠端設備3之間的傳輸通道將所述視頻流即時傳送給所述遠端設備3，從而實現串流直播，將視頻流分享給所述遠端設備3。

參閱圖3所示，是本發明視頻傳送方法較佳實施例的流程圖。根據不同需求，該流程圖中步驟的順序可以改變，某些步驟可以省略或合併。

步驟301，所述電子設備1利用通訊模組80向所述伺服器2發送請求訊號，以請求所述伺服器2建立所述電子設備1與遠端設備3之間的傳輸通道。

在一個實施例中，所述電子設備1可以回應於輸入控制器70所生成的第一控制訊號來發送所述請求訊號。

例如，當所述輸入裝置60為觸控式螢幕時，所述觸控式螢幕可以為使用者觸摸了顯示於該觸控式螢幕上的指定物件(例如一個串流直播圖示)而產生相應的第一觸控輸入訊號，所述輸入控制器70可以回應所述觸控式螢幕的第一觸控輸入訊號進而生成相應的第一控制訊號。

步驟302，所述電子設備1判斷所述通訊模組80是否接收到所述伺服器2的回饋訊號，該回饋訊號用以確認所述伺服器2已完成建立所述電子設備1與遠端設備3之間的傳輸通道，且包括所述傳輸通道的相關資訊，如：所述傳輸通道的網路位址。當所述通訊模組80接收到所述回饋訊號時，同時執行步驟S3031和S3041。當所述通訊模組80沒有接收到所述回饋訊號時，返回步驟S301。

步驟3031，當所述通訊模組80接收到所述回饋訊號時，所述麥克風30採集聲音訊號。

步驟3032，所述音訊轉碼器130編碼所述麥克風30所採集的聲音訊號，從而獲得數位音訊資料。所述音訊轉碼器130還將所述數位音訊資料傳送到所述混合器140。

在本實施例中，所述音訊轉碼器130在編碼所述麥克風30所採集的聲音訊號時還將所述聲音訊號所對應的採集時間嵌入到所述數位音訊資料中，從而使得所述數位音訊資料包括了對應的採集時間。

步驟3041，當所述通訊模組80接收到所述回饋訊號時，所述獲取模組1101控制所述第一攝像頭40拍攝第一靜態影像以及控制所述第二攝像頭50拍攝第二靜態影像。

例如，參閱圖4A所示，30張第一靜態影像即A1、A2、A3......A30為所述第一攝像頭40在第一秒所拍攝，30張第二靜態影像即B1、B2、B3......B30為所述第二攝像頭50在第一秒所拍攝。其中，所述第一靜態影像A1的拍攝時間與所述第二靜態影像B1的拍攝時間相同。所述第一靜態影像A2的拍攝時間與所述第二靜態影像B2的拍攝時間相同。所述第一靜態影像A3的拍攝時間與所述第二靜態影像B3的拍攝時間相同。依此類推，所述第一靜態影像A30的拍攝時間與所述第二靜態影像B30的拍攝時間相同。在本實施例中，所述第一攝像頭40的圖元大於所述第二攝像頭50的圖元，所以每一張第一靜態影像的第一寬度“W1”大於每一張第二靜態影像的第二寬度“W2”。

步驟3042，所述修剪模組1102按照指定的修剪方式對所述第一靜態影像和第二靜態影像中之一者或兩者進行修剪，使得所述第一靜態影像和第二靜態影像能夠以指定的合成方式進行合成。

本實施例中，所述指定的修剪方式可以為以下第一修剪方式、第二修剪方式、第三修剪方式的任意一種。

所述第一修剪方式可以為將所述第一靜態影像和第二靜態影像的寬度修剪為一致。

以所述第一靜態影像的第一寬度大於所述第二靜態影像的第二寬度為例，在一個實施例中，所述修剪模組1102可以以所述第一靜態影像的中心點為中心，縮小該第一靜態影像直至該第一靜態影像的第一寬度與所述第二靜態影像的第二寬度相等。

例如，參閱圖4 A所示，所述修剪模組1102分別以所述第一靜態影像A1、A2、A3......A30的中心點為中心，縮小該第一靜態影像A1、A2、A3......A30使得該第一靜態影像A1、A2、A3......A30的第一寬度與所述第二靜態影像B1、B2、B3......B30的第二寬度相等，如圖4B所示。

仍然以所述第一靜態影像的第一寬度大於所述第二靜態影像的第二寬度為例，在其他實施例中，所述修剪模組1102可以以圖4 A所示的第二靜 態影像的中心點為中心，放大該第二靜態影像直至該第二靜態影像的第二寬度與所述第一靜態影像的第一寬度相等，如圖4B所示。

仍然以所述第一靜態影像的第一寬度大於所述第二靜態影像的第二寬度為例，在其他實施例中，所述修剪模組1102也可以透過直接裁切圖4 A所示的第一靜態影像的左右兩邊來使得該第一靜態影像的第一寬度與所述第二靜態影像的第二寬度相等。

所述第二修剪方式可以為將所述第一靜態影像和第二靜態影像的高度修剪為一致。

類似地，以所述第一靜態影像的第一高度大於所述第二靜態影像的第二高度為例，在一個實施例中，所述修剪模組1102可以以所述第一靜態影像的中心點為中心，縮小該第一靜態影像直至該第一靜態影像的第一高度與所述第二靜態影像的第二高度相等。

類似地，所述修剪模組1102也可以以所述第二靜態影像的中心點為中心，放大該第二靜態影像直至該第二靜態影像的第二高度與所述第一靜態影像的第一高度相等。

類似地，所述修剪模組1102也可以透過直接裁切第一靜態影像的上下兩邊來使得該第一靜態影像的第一高度與所述第二靜態影像的第二高度相等。

所述第三修剪方式可以為將所述第一靜態影像和第二靜態影像的長度和寬度分別修剪為一致。

類似地，以所述第一靜態影像的第一寬度大於所述第二靜態影像的第二寬度，第一靜態影像的第一高度大於所述第二靜態影像的第二高度為例，在一個實施例中，所述修剪模組1102可以透過裁切第一靜態影像的左右兩邊來使得該第一靜態影像的第一寬度與所述第二靜態影像的第二寬度相等，透過裁切第一靜態影像的上下兩邊來使得該第一靜態影像的第一高度與所述第二靜態影像的第二高度相等。

在一個實施例中，當所述修剪模組1102採用的是所述第一修剪方式時，所述指定的合成方式是指第一合成方式，該第一合成方式是指將所述第一靜態影像和第二靜態影像從垂直方向進行合成。

當所述修剪模組1102採用的是所述第二修剪方式時，所述指定的合成方式是指第二合成方式，該第二合成方式是指將所述第一靜態影像和第二靜態影像從水平方向進行合成。

當所述修剪模組1102採用的是所述第三修剪方式時，所述指定的合成方式是指所述第一合成方式或者所述第二合成方式。

步驟3043，所述合成模組1103按照所述指定的合成方式對所述第一靜態影像和第二靜態影像進行合成，並將合成後的影像傳送到所述視頻轉碼器120。

在本實施例中，所述合成模組1103將對應於相同拍攝時間的第一靜態影像和第二靜態影像進行合成。

例如，以所述修剪模組1102採用的是所述第一修剪方式，所述指定的合成方式是指將所述第一靜態影像和第二靜態影像從垂直方向進行合成為例，參閱圖4C所示，所述合成模組1103從垂直方向將對應於相同拍攝時間的第一靜態影像A1和第二靜態影像B1合成為一張影像A1B1，從垂直方向將對應於相同拍攝時間的第一靜態影像A2和第二靜態影像B2合成為一張影像A2B2，從垂直方向將對應於相同拍攝時間的第一靜態影像A3和第二靜態影像B3合成為一張影像A3B3。依此類推，從垂直方向將對應於相同拍攝時間的第一靜態影像A30和第二靜態影像B30合成為一張影像A30B30。

步驟S3044，所述視頻轉碼器120將上述合成的影像分別編碼成指定格式的影像，並將編碼後的影像傳送到所述混合器140。

在一個實施例中，所述指定格式可以為MPEG4格式。

例如，所述視頻轉碼器120將上述合成的30張影像A1B1、A2B2、A3B3......A30B30分別編碼成MPEG4格式的影像，並將編碼後的該30張MPEG4 格式的影像傳送到所述混合器140。

步驟S305，所述混合器140將所述指定格式的影像及所述數位音訊資料混合成視頻流。

在本實施例中，所述混合器140根據所述指定格式的影像所對應的拍攝時間和所述數位音訊資料所包括的採集時間來將所述指定格式的影像及所述數位音訊資料混合成視頻流。即所述混合器140將拍攝時間和採集時間相同的所述指定格式的影像和數位音訊資料進行混合。

例如，所述混合器140將所述30張MPEG4格式的影像與對應於第一秒的數位音訊資料混合成視頻流。

在一個實施例中，所述混合器140可以於接收到所述輸入控制器70所發送的第二控制訊號時，將所述視頻流儲存於所述儲存器20中。

例如，當所述輸入裝置60為觸控式螢幕時，所述觸控式螢幕可以為使用者觸摸了顯示於該觸控式螢幕上的指定物件(例如一個儲存圖示)而產生相應的第二觸控輸入訊號，所述輸入控制器70可以回應所述觸控式螢幕的第二觸控輸入訊號進而生成相應的第二控制訊號。

步驟S306，所述混合器140將所述視頻流傳送給該通訊模組80。

步驟S307，所述通訊模組80透過所述伺服器2所建立的上述傳輸通道將所述視頻流即時傳輸給所述遠端設備3，從而實現所述電子設備1進行串流直播，將該視頻流分享給所述遠端設備3。

在一個實施例中，所述影像處理模組110可以於接收到所述輸入控制器70所發送的第三控制訊號時，改變所述合成模組1103對所述第一靜態影像及所述第二靜態影像的合成方式。

例如，參考圖4C，當所述輸入裝置60為觸控式螢幕時，所述觸控式螢幕可以為使用者於該觸控式螢幕所顯示的合成影像A1B1上觸摸滑動而產生相應的第三觸控輸入訊號，所述輸入控制器70可以回應所述觸控式螢幕的第三觸控輸入訊號進而生成相應的第三控制訊號。所述影像處理模組110的合成模 組1103可以依據所述第三控制訊號將合成影像A1B1、A2B2、A3B3...A30B30上的第一靜態影像及第二靜態影像上下調換位置，如圖5所示。

最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換都不應脫離本發明技術方案的精神和範圍。

Claims (13)

1. 一種電子設備，其中，電子設備包括：第一攝像頭，用於拍攝第一靜態影像；第二攝像頭，用於拍攝第二靜態影像；麥克風，用於採集聲音訊號；音訊轉碼器，用於編碼所述麥克風所採集的聲音訊號，從而獲得數位音訊資料；影像處理模組包括：獲取模組，用於控制所述第一攝像頭拍攝所述第一靜態影像以及控制所述第二攝像頭拍攝所述第二靜態影像；修剪模組，用於按照指定的修剪方式對所述第一靜態影像和所述第二靜態影像中至少之一者進行修剪，使得所述第一靜態影像和第二靜態影像能夠以指定的合成方式進行合成；及合成模組，用於按照所述指定的合成方式將對應於相同拍攝時間的所述第一靜態影像和所述第二靜態影像進行合成，從而獲得合成的影像；視頻轉碼器，用於將所述合成的影像編碼成指定格式的影像；混合器，用於將所述指定格式的影像及所述數位音訊資料混合成視頻流；及通訊模組，用於將所述視頻流傳送到遠端設備。
2. 如申請專利範圍第1項所述的電子設備，其中，所述電子設備還包括處理器及儲存器，所述獲取模組、所述修剪模組及所述合成模組儲存在所述儲存器中，並由所述處理器執行。
3. 如申請專利範圍第1項所述的電子設備，其中，所述通訊模組向伺服器發送請求訊號，以請求所述伺服器建立所述電子設備與所述遠端設備之間的傳輸通道；所述通訊模組透過所述傳輸通道將所述視頻流即時傳送到所述遠端設備。
4. 如申請專利範圍第1項所述的電子設備，其中，所述音訊轉碼器在編碼所述麥克風所採集的聲音訊號時還將所述聲音訊號所對應的採集時間嵌入到所述數位音訊資料中，從而使得所述數位音訊資料包括了對應的採集時間；及所述混合器將拍攝時間和採集時間相同的所述指定格式的影像和數位音訊資料進行混合。
5. 如申請專利範圍第1項所述的電子設備，其中，所述修剪方式為將所述第一靜態影像和第二靜態影像的寬度及高度中之至少一者修剪為一致。
6. 如申請專利範圍第5項所述的電子設備，其中，所述合成方式是指將所述第一靜態影像和第二靜態影像從垂直方向進行合成或從水平方向進行合成。
7. 如申請專利範圍第1項所述的電子設備，其中，所述電子設備還包括：輸入裝置，用於接收輸入訊號；及輸入控制器，用於回應所述輸入訊號而生成相應的控制訊號，其中所述合成模組依據所述控制訊號改變所述的合成方式。
8. 一種視頻流傳送方法，應用於電子設備，其中，該方法包括：採集步驟，採集聲音訊號；第一編碼步驟，編碼所採集的聲音訊號，從而獲得數位音訊資料；影像處理步驟包括：控制所述電子設備的第一攝像頭拍攝第一靜態影像以及控制所述電子設備的第二攝像頭拍攝所述第二靜態影像；按照指定的修剪方式對所述第一靜態影像和所述第二靜態影像中至少之一者進行修剪，使得所述第一靜態影像和第二靜態影像能夠以指定的合成方式進行合成；及按照所述指定的合成方式將對應於相同拍攝時間的所述第一靜態影像 和所述第二靜態影像進行合成，從而獲得合成的影像；第二編碼步驟，將所述合成的影像編碼成指定格式的影像；混合步驟，將所述指定格式的影像及所述數位音訊資料混合成視頻流；及傳送步驟，將所述視頻流傳送到遠端設備。
9. 如申請專利範圍第8項所述的視頻流傳送方法，其中，該方法還包括：請求步驟，向伺服器發送請求訊號，以請求所述伺服器建立所述電子設備與所述遠端設備之間的傳輸通道；及在所述傳送步驟中，透過所述傳輸通道將所述視頻流即時傳送到所述遠端設備。
10. 如申請專利範圍第8項所述的視頻流傳送方法，其中：在所述第一編碼步驟中：將所述聲音訊號所對應的採集時間嵌入到所述數位音訊資料中，從而使得所述數位音訊資料包括了對應的採集時間；及在所述混合步驟中，將所述指定格式的影像及所述數位音訊資料混合成視頻流時，將拍攝時間和採集時間相同的所述指定格式的影像和數位音訊資料進行混合。
11. 如申請專利範圍第8項所述的視頻流傳送方法，其中，所述修剪方式為將所述第一靜態影像和第二靜態影像的寬度及高度中之至少一者修剪為一致。
12. 如申請專利範圍第11項所述的視頻流傳送方法，其中，所述合成方式是指將所述第一靜態影像和第二靜態影像從垂直方向進行合成或從水平方向進行合成。
13. 如申請專利範圍第8項所述的視頻流傳送方法，其中，該方法還包括步驟：接收輸入訊號；及回應所述輸入訊號而生成相應的控制訊號，其中在所述影像處理步驟中， 依據所述控制訊號改變所述的合成方式。