JP2004363974A - 映像符号化伝送装置および映像符号量制御方法 - Google Patents

Abstract

【課題】広角領域を高解像度で撮影した映像を、符号化および伝送する映像符号化伝送装置において、広角映像全体を符号化伝送することなく、広角映像中の重要領域の一覧性を高めながら、効率的な映像伝送を行うことを目的とする。
【解決手段】広角映像から第一の領域と複数の第二の領域の切り出しを行う映像切り出し部１０３、第一の領域から非重要領域の抽出を行う主領域処理部１０４、第一の領域の符号化処理を行う主領域符号化部１０５、第二の領域から重要領域の抽出を行う補助領域処理部１０７、重要領域の符号化処理を行う補助領域符号化部１０８、非重要領域に重ね合わせる重要領域を決定し、第一の領域および重要領域に符号量の割り当てを行う符号量制御部１０６を備えることにより、補助領域中の重要領域を符号化した映像を、符号化した主領域中の非重要領域上に重ね合わせて伝送する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、広角領域を高解像度で撮影した映像を、符号化および伝送する映像符号化伝送装置に関するものである。
【０００２】
【従来の技術】
従来、広角カメラを利用した映像監視システムや遠隔モニタリングシステム等に用いられる映像処理装置では、ユーザがカメラから入力された広角映像領域から任意の映像領域を選択すると、映像処理装置が選択領域を受信端末に伝送し、受信端末は表示能力に合わせて画素密度変換処理などを施したのちに選択領域を表示する方法を使用している（特許文献１参照）。
【０００３】
図１５は、特許文献１の実施の形態を説明する図である。図１５では、ユーザが、受信端末のユーザインタフェースにより、カメラから入力されたカメラ撮影領域１５０１から任意の選択領域１５０３を選択する。映像処理装置は、ユーザからの指示に合わせて、選択領域１５０３をカメラ撮影領域から切り出し受信端末に伝送する。受信端末は端末の表示領域に合わせて画素密度変換を行う。これにより、ユーザは、所望する映像領域を受信端末上に表示画面１５０２として表示できる。
【０００４】
この構成により、ユーザがカメラ撮影領域中の任意の領域（選択領域１５０３）を変更することにより、受信端末により表示される方位およびズーム倍率を変更できることになる。
【０００５】
また、特許文献２では、２画面表示機能を備えたテレビ電話装置に関し、親画面中の特定領域（人物の顔や文字領域など）を検出し、その結果に応じて子画面又は親画面の位置／サイズ／表示優先度を制御する方法について開示されている。
【０００６】
図１６は、特許文献２の実施の形態を説明する図である。図１６には、特許文献２を適用前のテレビ電話の表示画面１６０１と、適用後のテレビ電話の表示画面１６０４を示している。適用前の表示画面１６０１では、親画面領域１６０２中の特定領域（この例では通話相手の顔領域）と、子画面領域１６０３（この例では自画像）の一部が重なり合っている。一方、適用後の表示画面１６０４では、親画面領域１６０２の移動やサイズ変更を行った親画面領域１６０５と、子画面領域１６０３は重なり合っていない。このように、親画面あるいは子画面の位置／サイズ／表示優先度を制御することで、特定の領域が重なり合うことを防ぐことが可能となる。
【０００７】
また、特許文献３では、２画面表示機能を備えたテレビ電話装置に関し、子画面の表示位置／サイズを考慮した上で、親画面を符号化する方法について開示されている。
【０００８】
この例では、子画面により隠されることになる親画面領域の符号量を完全に０にすることなく一定量の符号量を割り当てることで、子画面の位置や大きさの変更、あるいは子画面の消去などを行った際に、画像の無い部分を生じてしまうという問題に対する対処を行っている。
【０００９】
具体的な動作としては、自テレビ電話装置は、相手側のテレビ電話装置より、子画面（相手の自画像）の位置やサイズに関する情報を取得し、自テレビ電話装置より送信する映像（自画像）から、相手側端末の子画面が重なり合う領域を決定する。自テレビ電話装置は、決定した領域に対する符合量を、他の同じ面積の領域よりも小さく割り当て符号化し自画像の送信を行う。これにより、子画面が重なる領域の符号量を少なくすることで一画面あたりの符号量を抑えつつ、子画面の表示位置や大きさの変更などによる画質の劣化を少なくできる。
【００１０】
【特許文献１】
特開平８−２３７５９０号公報（第６図）
【特許文献２】
特開平１０−２００８７３号公報（第６図〜第９図）
【特許文献３】
特開２００１−４５４７６号公報（第１図）
【００１１】
【発明が解決しようとする課題】
しかしながら、近年、ＣＣＤ等の受光素子の高解像度化および撮影領域の広角化の進展により、広角カメラにより撮影された映像データは、通常の画角のカメラに比べて大きく、１画面あたり数メガバイト以上と非常に大きなものとなってきており、限られた伝送帯域を使用して撮影された映像を伝送するためには、従来の手法では不十分である。
【００１２】
特許文献１で開示されている方法を用い、選択領域１５０３を広角カメラにより撮影されたカメラ撮影領域１５０１と同じにし、限られた伝送帯域に見合うように非常に高い圧縮率で選択領域１５０３の映像を圧縮して伝送することは可能である。しかしながら、この手法では、広角カメラの映像を高い圧縮率で圧縮する必要があり、映像受信端末により受信、表示された映像の品質は低いものとなってしまう。また、映像受信端末で受信、表示される映像の品質を高めるために、選択領域１５０３をカメラ撮影領域１５０１全体ではなく、ユーザがその一部を一定のサイズ以下（一定以上の画質を確保するため）で選択しながら、低い圧縮率で圧縮しながら伝送することも可能である。しかしながら、この場合には、選択領域１５０３以外のカメラ撮影領域１５０１の映像を、ユーザは映像受信端末で見ることができず、広角カメラで撮影した映像データが無駄になる。
【００１３】
また、特許文献２では、テレビ電話端末において、通話相手から送信されてくる映像の顔や文字などの特定領域と、自画像が重ならないように、相手映像あるいは自画像の位置／サイズなどを変更するための方法を開示しているが、電話網という固定帯域の伝送網を対象とした方法であり、相手から送信されてくる映像は固定的な伝送帯域を占有できることを前提としている。したがって、伝送帯域が変動するような伝送網へそのまま適用することはできない。また、開示されている方法は相手画像と自画像という関係を対象とした方法であって、親画像と複数の子画像を同時に伝送するという場合に、そのまま適用することは困難である。
【００１４】
また、特許文献３では、テレビ電話端末において、通話相手側の子画面表示位置を取得し、自画像中で相手側の子画面が重ね合わされると予想される位置の符号量を低く抑えることで一画面の符号量を抑える方法を開示しているが、特許文献２と同様に電話網という固定帯域の伝送網を対象とした方法であり、送信する映像は固定的な伝送帯域を占有できることを前提としている。したがって、伝送帯域が変動するような伝送網へそのまま適用することはできない。また、開示されている方法は、自画像と相手側の子画面の重ね合わせを考慮した方法であって、自端末で親画面と複数の子画面を同時に伝送するという場合に、そのまま適用することは困難である。
【００１５】
本発明は、上記のような課題を解消するためになされたものであって、広角カメラ映像全体を符号化伝送することなく、広角映像中の重要領域の一覧性を高めながら、効率的な情報伝送を可能とする映像符号化伝送装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
この課題を解決するために本発明は、広角映像から第一の領域と複数の第二の領域の切り出しを行う映像切り出し部、第一の領域から非重要領域の抽出を行う主領域処理部、第一の領域の符号化処理を行う主領域符号化部、第二の領域から重要領域の抽出を行う補助領域処理部、重要領域の符号化処理を行う補助領域符号化部、非重要領域に重ね合わせる重要領域を決定し、第一の領域および重要領域に符号量の割り当てを行う符号量制御部を備えたものである。
【００１７】
これにより、高解像度な広角カメラによって撮影された映像を、伝送帯域の変動あるいは重要度に合わせて符号化伝送の基本部分となる主領域と主領域以外の領域である補助領域とに分割し、主領域中から非重要領域を選択して、その領域に割り当てる符号量を低減するとともに、補助領域中の重要領域を符号化した映像を、符号化した主領域中の非重要領域上に重ねあわせることによって、補助領域中の重要領域を符号化した映像を、符号化した主領域中の非重要領域上に重ね合わせることが可能となり、広角カメラ映像全体を符号化伝送することなく、広角映像中の重要領域の一覧性を高めながら、効率的に映像伝送できる、という効果が得られる。
【００１８】
さらに本願発明は、映像切り出し部が、第一の特定領域を多く含むように第一の領域を決定することを特徴とする。これにより、第一の領域を主要部として効果的に選択することができる。
【００１９】
さらに、第一の特定領域が、所定のサイズ以下でかつ動きの大きな映像領域を多く含む領域であることにより、活発に移動する被写体をより多く含む領域を主要部として効果的に選択でき、また、第一の特定領域が、所定のサイズ以下でかつ人物の顔を多く含む映像領域を多く含む領域により、例えば監視映像などで人物を特定したい映像を伝送したいときなど、より効果的に主要部を選択することができる。
【００２０】
さらに、第一の領域より非重要領域を、動きが小さかったり、人物の顔などが含まれない領域から、第二の領域より重要領域を、動きが大きかったり、人物の顔などが含まれている領域から選ぶことにより、表示画面や伝送帯域に制限がある受信側に対して、広角映像の全体を高画質で伝送することなく、重要な情報を欠損させることなく、符号量を調節して伝送することができる。
【００２１】
さらに、本願発明では、映像受信端末から送信される映像データを受信する伝送情報受信部をさらに具備することにより、ユーザの嗜好、および現状の伝送状況等に照らし合わせて、より動的に目標符号量を設定することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００２３】
（実施の形態１）
図１は本発明の第一の実施形態における映像符号化伝送装置の構成の一例を示す図である。図１において、１０１はＣＣＤ等の受光素子を備え広角を撮影できる広角カメラより広角映像を取得する映像入力部、１０２は映像入力部１０１により入力された映像を一時的に記憶するための映像記憶部、１１１は本発明の映像符号化伝送装置の動作を決めるためのパラメータを記憶する動作パラメータ記憶部、１０３は動作パラメータ記憶部１１１に記憶されているパラメータに基づき、映像記憶部１０２に記憶されている広角映像から符号化伝送の基本部分である主領域および主領域以外の領域である補助領域の切り出しを行う映像切り出し部、１０４は映像切り出し部１０３により切り出された主領域から非重要領域の抽出を行う主領域処理部、１０５は主領域処理部１０４より出力される主領域映像の符号化処理を行う主領域符号化部、１０７は映像切り出し部１０３により切り出された補助領域から重要領域の抽出を行う補助領域処理部、１０８は補助領域処理部１０７より出力される重要領域映像の符号化処理を行う補助領域符号化部、１０６は動作パラメータ記憶部１１１に記憶された動作パラメータ、主領域処理部１０４より取得する非重要領域に関する情報、補助領域処理部１０７より取得する重要領域に関する情報、主領域符号化部１０５より取得する符号量、および補助領域符号化部１０８より取得する符号量に基づき非重要領域や重要領域を決定して各領域に符号量の割り当てを行う符号量制御部１０６、１０９は主領域符号化部１０５および補助領域符号化部１０８から出力される符号化映像データを多重化する映像多重化部、１１０は映像多重化部１０９により主領域および補助領域の映像が多重化された映像データをネットワーク環境に合わせてパケット化して伝送を行う映像送信部である。
【００２４】
図２は、本発明の第一の実施形態における映像符号化伝送装置の利用形態の一例を示す図である。２０１−１、２０１−２は本発明の映像符号化伝送装置、２０２は映像符号化伝送装置２０１−１、２０１−２より送信される符号化映像を受信し復号して画面に表示するための映像受信端末、２０３は映像符号化装置２０１−１、２０１−２より送信される符号化映像を蓄積する映像蓄積装置、２０４は映像符号化装置２０１−１、２０１−２、映像受信端末２０２、映像蓄積装置２０３を接続するネットワークである。ここでネットワーク２０４は、ＬＡＮやＷＡＮなどのＩＰネットワークのみならず、ＡＴＭ等の他の伝送方式のネットワークを使用しても良い。また、映像受信端末２０２は、本発明の映像符号化伝送装置により使用される符号化方式（例えばＭＰＥＧ４）により符号化された映像データの復号部を持つ必要があるが、一般的に使用されているＭＰＥＧ４デコーダを用いればよい。
【００２５】
以上のように構成された映像符号化伝送装置について、以下その動作を説明する。
【００２６】
最初に本発明の映像符号化伝送装置の動作概要を、図３および図４を用いて説明する。図３は本発明の第一の実施形態における映像符号化伝送装置が処理対象とする広角映像領域の一例を示す図である。本発明の映像符号化伝送装置では、図３に示すような広角映像領域（座標（０，０）、（ｘ、０）、（０、ｙ）、（ｘ、ｙ）で定義される）を入力として、その広角映像領域を、符号化伝送する基本部分である主領域３０１（座標（ａ、０）、（ｂ、０）、（ａ、ｙ）、（ｂ、ｙ）で定義される）とそれ以外の領域である補助領域３０２−１（座標（０，０）、（ａ、０）、（０、ｙ）、（ａ、ｙ）で定義される）および補助領域３０２−２（（ｂ、０）、（ｘ、０）、（ｂ、ｙ）、（ｘ、ｙ）で定義される）とに分割する。この図では、主領域一つ、補助領域二つに分割しているが、この分割数は自由に変更可能である。二種類の領域に分割したのち、主領域３０１内で非重要な領域を検出し、低画質化領域とする。図３では、低画質化領域３０４−１（座標（ｅｘ１、ｅｙ１）、（ｆｘ１、ｆｙ１）で定義される）および低画質化領域３０４−２（座標（ｅｘ２、ｅｙ２）、（ｆｘ２、ｆｙ２）で定義される）として図示されている。補助領域３０２−１、３０２−２内では、重要な領域を検出し、子画面領域とする。図３では、子画面領域３０３−１（座標（ｃｘ１、ｃｙ１）、（ｄｘ１、ｄｙ１）で定義される）および子画面領域３０３−２（座標（ｃｘ２、ｃｙ２）、（ｄｘ２、ｄｙ２）で定義される）として図示されている。主領域内での低画質化領域および補助領域内での子画面領域を検出後、主領域上の低画質化領域を低画質に符号化した上に、補助領域中の子画面領域を符号化した映像を重ね合わせて伝送を行う。具体例を図４に示す。図４は本発明の第一の実施形態における映像符号化伝送装置の送信映像の一例を示す図であり、図３に示す広角映像領域から生成、符号化された映像である。主領域４０１（座標（ａ、０）、（ｂ、０）、（ａ、ｙ）、（ｂ、ｙ）で定義される）は主領域３０１と同一であり、子画面領域４０２−１（座標（ｅｘ１、ｅｙ１）、（ｆｘ１、ｆｙ１）で定義される）、４０２−２（座標（ｅｘ２、ｅｙ２）、（ｆｘ２、ｆｙ２）で定義される）は、それぞれ子画面領域３０３−１、３０３−２に対応する。
【００２７】
次に本発明の映像符号化伝送装置の詳細な動作を、図５から図１１を用いて説明する。
【００２８】
まず、映像入力部１０１はＣＣＤ等の受光素子を備える広角カメラから広角映像を１フレーム分取得し、ＤＲＡＭやフラッシュメモリなどのメモリ上にある映像記憶部１０２へ蓄積する。各機能ブロックは、１フレーム単位で処理を行う。また、動作パラメータ記憶部１１１は、本発明の映像符号化伝送装置に対して、映像の符号化伝送を開始する前に、初期情報としてユーザが直接、あるいは映像受信端末２０２や映像蓄積装置２０３が、本装置に与える「伝送映像目標符号量（本発明の装置が符号化する際の目標となる符号量）」、「初期ネットワーク伝送帯域」、「受信可能映像サイズ（映像受信端末２０２における表示能力）」、「フレームレート（広角カメラから映像を取得する毎秒あたりのフレーム数）」などの初期パラメータが格納している。これらの初期パラメータの映像受信端末２０２や映像蓄積装置２０３との受渡し方法については、広く用いられている方法（ＳＩＰ＋ＳＤＰ、ＲＴＳＰ＋ＳＤＰなど）により行うことが可能である。
【００２９】
次に、映像記憶部１０２に広角映像が蓄積されると、映像切り出し部１０３が図５に示すフローチャートに従って動作する。図５は、本発明の第一の実施形態における映像符号化装置の映像切り出し部の動作を示すフローチャートである。
【００３０】
映像切り出し部１０３の動作は、ステップ５０１〜ステップ５０４からなっている。
【００３１】
ステップ５０１の動き検出ステップでは、映像記憶部１０２に蓄積されている広角映像から、過去の映像と比較して動きのあるブロックを検出する。動きの検出に関しては、世の中で広く使用されているＭＰＥＧ２，ＭＰＥＧ４などの符号化方式で使用している動き検出方法を用いる。
【００３２】
図６は本発明の第一の実施形態における映像符号化伝送装置のブロック単位の動き検出を説明する図である。図６を用いて、動き検出ステップ５０１について簡単に説明する。カメラで撮影された映像領域６０１を一定数の画素からなる動き検出ブロック６０２に分割し、動き検出ブロック単位で処理を行う。ＭＰＥＧ２、ＭＰＥＧ４ではこの動き検出ブロック６０２をマクロブロックと呼んでおり、例えば１６×１６の画素からなっている。各々の動き検出ブロック６０２について、過去の映像領域中の動き検出ブロックと比較し、類似する動き検出ブロックを検索する。類似する動き検出ブロックを発見すると、現在の動き検出ブロック６０２の位置へ移動させるために必要な動きベクトル６０３を求める。動きベクトル６０３は、例えばｘ方向に１００画素、ｙ方向に２００画素という形式で表現するが、動き検出ブロック単位でも良いし、あるいは、４０度方向（映像領域のｘ軸を基準（０度）として時計回りの角度として表現）に１５０画素という表現でも同様である。以降では、角度と画素数の組み合わせで動きベクトルを表現するものとして説明を行う。類似する動き検出ブロックが発見できない場合には、当該動き検出ブロック６０２の動きベクトル６０３は角度０度、画素数∞とする。
【００３３】
ステップ５０２の選択領域の決定ステップでは、ステップ５０１で求めた動きベクトル情報６０３を利用して選択領域を選択する。動き検出ブロック６０２を連結したものが選択領域６０４−１、６０４−２である。選択領域６０４−１、６０４−２の選択は、次のように行う。まず、各動き検出ブロック６０２の動きベクトル６０３を調べ、ベクトルの差（角度と画素数）がある閾値（例えば１０％）内のベクトルを求める。動きベクトルの差が閾値以下の動き検出ブロック中で、連結するブロックをそれぞれ集めて、選択領域６０４−１、６０４−２とする。選択領域６０４−１、６０４−２が矩形にならない場合には、近傍の動き検出ブロックを連結することで、矩形になるように変更する。選択領域は図１０に示す選択領域管理テーブルにより管理を行う。図１０は、本発明の第一の実施形態における映像符号化伝送装置の選択領域管理テーブルの一例を示す図である。選択領域管理テーブルは、選択領域を識別するための「領域ＩＤ」、選択領域の左上の動き検出ブロック６０２の「左上座標」、選択領域の右下の動き検出ブロック６０２の「右下座標」、選択領域内の動き検出ブロック６０２の動きベクトル６０３の「平均動き量」（単位は画素数）、選択領域内の動き検出ブロック６０２の動きベクトル６０３の「平均動き方向」（単位は度）からなっている。例えば、領域ＩＤが１の選択領域は、左上座標（ｘａ１、ｙａ１）、右下座標（ｘｂ１、ｙｂ１）、平均動き量１０画素、平均動き方向３０度である。
【００３４】
ステップ５０３の主領域および補助領域の決定ステップでは、選択領域管理テーブルの検索をし、平均動き量の大きな選択領域を可能な限り多く含み、かつ、動作パラメータ記憶部１１１に蓄積されている「受信可能映像サイズ」を超えないように主領域を決定する。決定した主領域が図３に示すようになったものとして、以降の説明を行う。広角映像領域から主領域３０１以外の領域を、補助領域３０２−１、３０２−２とする。
【００３５】
ステップ５０４の主領域および補助領域の切り出しステップでは、ステップ５０３で決定した、主領域３０１、補助領域３０２−１、３０２−２を広角映像領域から切り出し、それぞれ主領域処理部１０４および補助領域処理部１０７へ送り出す。また、同時に選択領域管理テーブルも主領域処理部１０４および補助領域処理部１０７へ送り出す。
【００３６】
次に、図８を用いて主領域処理部１０４の動作を説明する。図８は、本発明の第１の実施形態における映像符号化伝送装置の主領域処理部の動作を示すフローチャートである。
【００３７】
主領域処理部１０４の動作は、ステップ８０１とステップ８０２からなっている。
【００３８】
ステップ８０１の低画質化領域選択ステップでは、映像切り出し部１０３から受け取った選択領域管理テーブルを参照しながら、低画質化領域を選択する。低画質化領域とは、平均動き量の値がある閾値（例えば３２画素）以下の領域である。
【００３９】
ステップ８０２の低画質化領域管理テーブル作成ステップでは、ステップ８０１によって選択された低画質化領域の情報を一覧にした低画質化領域管理テーブルを作成する。低画質化領域管理テーブルの形式は、図１０に示す選択領域管理テーブルと同じものである。より具体的には、低画質化領域管理テーブルは、選択領域管理テーブルの中からステップ８０１で選択された低画質化領域の中から、領域サイズ（領域に含まれる総画素数）の大きい順に領域を選択して、順次各項目をコピーすれば作成可能である。また、映像切り出し部１０３から受け取った主領域３０１の映像データを、主領域符号化部１０５へと送り出す。
【００４０】
次に、図９を用いて補助領域処理部１０７の動作を説明する。図９は、本発明の第１の実施形態における映像符号化伝送装置の補助領域処理部の動作を示すフローチャートである。
【００４１】
補助領域処理部１０７の動作は、ステップ９０１とステップ９０２からなっている。
【００４２】
ステップ９０１の子画面領域選択ステップでは、映像切り出し部１０３から受け取った選択領域管理テーブルを参照しながら、子画面領域を選択する。子画面領域は、平均動き量の値が閾値（例えば３２０画素）以上の領域である。
【００４３】
ステップ９０２の子画面領域管理テーブル作成ステップでは、ステップ９０１によって選択された子画面領域の情報を一覧にした子画面領域管理テーブルを作成する。子画面領域管理テーブルの形式は、図１０に示す選択領域管理テーブルと同じものである。より具体的には、子画面領域管理テーブルは、選択領域管理テーブルの中からステップ９０１で選択された子画面領域の中から、領域サイズの大きい順に領域を選択して、順次各項目をコピーすれば作成可能である。また、映像切り出し部１０３から受け取った補助領域３０２−１、３０２−２の映像データを、補助領域符号化部１０７へと受け渡す。
【００４４】
次に、図７を用いて符号量制御部１０６の動作を説明する。図７は、本発明の第１の実施形態における映像符号化伝送装置の符号量制御部の動作を示すフローチャートである。
【００４５】
符号量制御部１０６の動作は、ステップ７０１〜ステップ７１０からなっている。
【００４６】
ステップ７０１では、符号量補正値を０に初期化し、動作パラメータ記憶部１１１に格納されている「伝送映像目標符号量」を取得する。伝送映像目標符号量は、本装置が符号化伝送する映像データの目標符号量である。また、符号量補正値は、各フレームを符号化する際の目標符号量であるフレーム符合量を補正するための値である。
【００４７】
ステップ７０２のフレーム符号量設定ステップでは、動作パラメータ記憶部１１１に格納されている「伝送映像目標符号量」と「フレームレート」および符号量補正値からフレーム符号量を求める。ここでは、各フレームに対して同一の符号量を割り当てる場合には、例えば以下の（式１）に示す式によりフレーム符号量を設定する。
【００４８】
（式１）：フレーム符号量＝（「伝送映像目標符号量」÷「フレームレート」）−符号量補正値
なお、上記は、各フレーム同一の符号量割り当てを行ったが、フレーム毎に割当量を変更するようにしても良い。
【００４９】
ステップ７０３の主領域情報取得ステップでは、主領域処理部１０４から低画質化領域管理テーブルを取得する。
【００５０】
ステップ７０４の補助領域情報取得ステップでは、補助領域処理部１０７から子画面領域管理テーブルを取得する。
【００５１】
ステップ７０５の低画質化領域および子画面領域の決定と符号量割り当てステップでは、ステップ７０３で取得した低画質化領域管理テーブルおよびステップ７０４取得した子画面領域管理テーブルおよび動作パラメータ記憶部１１１に格納されている「伝送映像目標符号量」から、低画質化領域と子画面領域を決定し、各領域への符号量割り当てを行う。割り当て結果として、図１１に示す管理テーブルを作成する。
【００５２】
図１１は、本発明の第１の実施形態における映像符号化伝送装置の選択領域対応関係管理テーブルの一例を示す図である。選択領域対応関係管理テーブルは、低画質化領域を識別するための「低画質化領域ＩＤ」（低画質化領域管理テーブル中の「領域ＩＤ」と同一）、低画質化領域上に重ねあわされる子画面領域を識別するための「子画面領域ＩＤ」（子画面領域管理テーブル中の「領域ＩＤ」と同一）、低画質化領域の符号化する際の目標符合量となる「低画質化領域目標符号量」（単位はビット）、子画面領域を符号化する際の目標符合量となる「子画面領域目標符号量」（単位はビット）からなっている。例えば、図１１の１行目は、低画質化領域ＩＤ１の領域の上に、子画面領域ＩＤ２の領域を重ね、それぞれの領域の符号量が１０００、２００００ｂｉｔであることを示している。
【００５３】
具体的には、次の手順で選択領域対応管理テーブルを作成する。まず、低画質化領域管理テーブルから、領域サイズが大きい順に低画質化領域を一定個数（例えば３領域）選択する。低画質化領域が主領域中で占める割合が、大きくなり過ぎないように（例えば、占める割合が５０％以下）選択する。次に、子画面領域管理テーブルを参照して、領域サイズが大きい順に、先に選択した低画質化領域に重ねるように決める。ただし、重ね合わせる子画面領域の領域サイズが、隠される低画質化領域の領域サイズより大きくならないように決定する。
【００５４】
最後に、低画質化領域と子画面領域の各組に対して、以下の方法で符号量の割り当てを行う。まず、（式２）で示す式により、低画質化領域の旧割り当て符号量を求める。
【００５５】
（式２）：低画質化領域への旧割り当て符号量＝フレーム符号量×（低画質化領域の領域サイズ÷主領域の領域サイズ）
なお、上記は、各フレーム内で均一に符号量が割り当てられていることを前提としているが、フレーム内で均一でない場合に対応することも容易である。
【００５６】
次に、旧割り当て符号量を一定の比率（例えば１対９）で、低画質化領域の目標符号量と子画面領域の目標符号量を割り当てる。
【００５７】
また、低画質化領域以外の領域である通常領域の目標符号量の割り当てを、（式３）で示す式により行う。
【００５８】
（式３）：通常領域目標符号量＝フレーム符号量−（低画質化領域目標符号量の和）
ステップ７０６の主領域符号化要求ステップでは、低画質化領域管理テーブルおよびステップ７０５で作成した選択領域対応関係管理テーブルおよび通常領域目標符号量を、主領域符号化部１０５へ通知するとともに符号化の要求を行う。
【００５９】
ステップ７０７の補助領域符号化要求ステップでは、子画面領域管理テーブルおよびステップ５で作成した選択領域関係管理テーブルを、補助領域符号化部１０７へ通知するとともに符号化の要求を行う。
【００６０】
ステップ７０８の主領域結果符号量取得ステップでは、主領域符号化部１０５から、主領域１フレーム分を符号化した結果の符合量である主領域結果符合量を取得する。
【００６１】
ステップ７０９の補助領域結果符号量取得ステップでは、補助領域符号化部１０８から、重要領域１フレーム分を符号化した結果の符合量である補助領域結果符合量を取得する。
【００６２】
ステップ７１０の符号量補正値決定ステップでは、ステップ７０２で設定したフレーム符号量、ステップ７０８、７０９で取得した主領域結果符号量、補助領域結果符号量から、符号量補正値を決定する。符合量補正値の決定は、例えば（式４）に示す式により行う。
【００６３】
（式４）：符号量補正値＝フレーム符号量−（主領域結果符号量＋補助領域結果符号量）
符号量を使用しすぎた場合には、符号量補正値が負の値になり、逆に、余った場合には、正の値になる。符号量補正値を次フレームのフレーム符号量に反映する（使いすぎた場合には次フレームで使用する符合量を減らし、余った場合には次フレームで使用する符号量を増やす）ことにより、「伝送映像目標符号量」に近づけるように補正される。ステップ７０２へと戻る。
【００６４】
次に、主領域符号化部１０５は、主領域処理部１０４から受け取った主領域３０１のデータおよび符号量制御部１０６から受け取った低画質化領域管理テーブル、選択領域対応関係管理テーブルおよび通常領域（主領域中の低画質化領域以外の領域）目標符号量に基づき、主領域３０１の符号化を行う。符号化方式としては、ＭＰＥＧ４などの標準的なものを用いればよいが、これらに限らず各種方式を使用可能である。符号化の際には、低画質化領域への割り当て符号量および通常領域符号量を守るように符号化を行う。より具体的には、例えば、低画質化領域ＩＤ１、２、３で示される領域（主領域中のどこの領域であるかを示す領域情報は選択領域管理テーブルより得る）を、低画質化領域目標量１０００、１５００，２０００ｂｉｔでそれぞれ行いながら、通常領域目標符号量を守るように符号化する。その後、符号化した結果の符合量を、符合量制御部１０６へ通知する。
【００６５】
一般的に符号化の際に、大きな量子化ステップ幅で量子化すると情報量を大きく圧縮可能であるが、量子化誤差は大きくなり画質が低下する。逆に、小さな量子化ステップ幅で量子化すると情報量の圧縮量は小さくなるが、量子化誤差は小さくなり画質が向上する。低画質化領域のみ符号量を削減するために、通常領域の量子化ステップ幅よりも当該領域の量子化ステップ幅を大きくすれば良い。
【００６６】
次に、補助領域符号化部１０８は、補助領域処理部１０７から受け取った子画面領域３０３−１、３０３−２のデータおよび符号量制御部１０６から受け取った子画面領域管理テーブルおよび選択領域対応関係管理テーブルに基づき、子画面領域３０３−１、３０２−２の符号化を行う。より具体的には、例えば、子画面領域ＩＤ１、２、３で示される領域（補助領域中のどこの領域であるかを示す領域情報は選択領域管理テーブルより得る）を別々に、子画面領域目標符号量１２０００、２００００，１８０００ｂｉｔに近づくように符号化を行う。それ以外の領域については符号化を行わない。その後、符号化した結果の符合量を、符合量制御部１０６へ通知する。個々の子画面領域の符号化方式としては、主領域符号化部１０５と同様で、ＭＰＥＧ４などの標準的なものを用いればよいが、これらに限らず各種方式を使用可能である。
【００６７】
次に、映像多重化部１０９は、主領域符号化部１０５から出力される主領域３０１を符号化した映像データを１オブジェクト、補助領域符号化部１０８から出力される子画面領域３０３−１、３０３−２を符号化した映像データをそれぞれ１オブジェクトとして、一つの映像データとなるように多重化し、映像送信部１１０に送り出す。多重化方式は、ＭＰＥＧ４のオブジェクト符号化方式を用いればよいが、オブジェクト単位で多重化できる他の方式を用いても良い。
【００６８】
最後に、映像送信部１１０は、映像多重化部１０９から受け取った多重化映像データを、ネットワークに合わせてパケット化あるいはセル化などを行って、ネットワーク上に送出する。映像データの送出は、動作パラメータ記憶部１１１に格納されている「初期ネットワーク伝送帯域」を満たすような伝送レートで行う。
【００６９】
さらに、上記の説明では、すべての領域に関し矩形であるものとして説明を行っているが、複数のベクトルを用いることにより、領域を矩形以外の他の形状で表現することも可能である。
【００７０】
また、映像切り出し部１０３の動作フローチャートのステップ５０３で、平均動き量の大きな選択領域を可能な限り多く含むように主領域の選択を行っているが、選択領域を考慮せず固定的に主領域を決定することで、処理を低減しながら、本発明と同様の効果を得ることが可能である。
【００７１】
また、映像切り出し部１０３の動作フローチャートのステップ５０２の、選択領域の選択の際に、一定サイズ（例えば４動き検出ブロック）以上の領域のみ選択領域管理テーブルへ登録する。これにより、記憶領域の削減、以降の処理で不必要な可能性の高い領域の排除しながら、本発明と同様の効果を得ることが可能である。
【００７２】
また、映像切り出し部１０３、主領域処理部１０４、補助領域処理部１０７において、動きベクトルを利用して領域の重要度を判定しているが、例えば、顔画像認識技術と組み合わせて、人の顔が多く含まれる領域を重要領域と判断し、人の顔が含まれていない領域を非重要領域と判断することで、より効率的な映像伝送が可能となる。
【００７３】
以上のように、本実施の形態では、高解像度な広角カメラによって撮影された広角映像から、動きの大きな領域を多く含むように主領域を切り出し、さらに、主領域中から動きの小さな領域を低画質化領域として、また補助領域中から動きの大きな領域を子画面領域として選択して、各々を別オブジェクトとして符号化し、子画面領域を低画質化領域上に重ね合わせる構成を備えることにより、広角カメラ映像の一部分（主領域）を見ながらも、それ以外の領域（補助領域）における大きな変化を見逃すことを減らすことが可能となり、その実用的効果は大きい。
【００７４】
また、上記に加え、低画質化領域に割り当てる符号量を低減し、低減した符号量を子画面領域に割り当て符号化するような構成を備えることにより、限られた伝送帯域で広角カメラ映像の重要部分を伝送することが可能となり、その実用的効果は大きい。
【００７５】
また、低画質化領域への符号量を０にすることなく符号化しているため、子画面領域の表示を行わない場合でも、黒く何も表示されないということはなく、主観的な画質を高めることが可能となり、その実用的効果は大きい。
【００７６】
（実施の形態２）
図１２は、本発明の第二の実施形態における映像符号化伝送装置の構成の一例を示す図である。図１に示す第一の実施形態における本装置の構成と同じ作用を持つブロックには同一の符号を付している。第一の実施形態との違いは、本装置の動作パラメータを格納している動作パラメータ記憶部１２０１、映像受信端末２０２や映像蓄積装置２０３から映像データの伝送状態を受信する伝送情報受信部１２０２、多重化されたデータをネットワークに送信する映像送信部１２０３、広角映像領域から主領域あるいは補助領域の切り出しを行う映像切り出し部１２０４、符号量の制御を行う符号量制御部１２０５である。
【００７７】
各ブロックの動作について、第一の実施形態との相違点を説明する。
【００７８】
新規の機能ブロックである伝送情報受信部１２０２は、映像受信端末２０２や映像蓄積装置２０３から逐次送られてくる「現状ネットワーク伝送帯域」などの伝送情報を受信する。ネットワーク伝送帯域の変動状況を、映像受信端末２０２や映像蓄積装置２０３から本装置に送る方法は、ＲＴＣＰなどが利用できる。
【００７９】
動作パラメータ記憶部１２０２は、第一の実施形態で示した「伝送映像目標符号量」、「初期ネットワーク伝送帯域」、「受信可能映像サイズ」、「フレームレート」などの初期パラメータを格納し、さらに、伝送情報受信部１２０２により受信した「現状ネットワーク伝送帯域」などの変動パラメータを格納する。
【００８０】
映像送信部１２０３は、第一の実施形態と異なり、動作パラメータ記憶部１２０２に格納されている「現状ネットワーク伝送帯域」に合わせて、逐次伝送レートを変更する。
【００８１】
映像切り出し部１２０４は、第一の実施形態の作用に加え、「現状ネットワーク伝送帯域」も考慮して、主領域のサイズを変更する。伝送帯域が小さくなった場合には、主領域の領域サイズが小さくなるように（例えば１０％伝送帯域が減少したら、１０％主領域の領域サイズを減らす）、逆に、伝送帯域が大きくなった場合には主領域の領域サイズを大きくなるようにする。
【００８２】
符号量制御部１２０５は、第一の実施形態の作用に加え、「現状ネットワーク伝送帯域」も考慮して、低画質化領域の個数を変更する。伝送帯域が小さくなった場合には、低画質化領域の個数が少なくなるように（例えば１０％伝送帯域が減少したら、１領域分減らす）、逆に、伝送帯域が大きくなった場合には低画質化領域の個数が多くなるようにする。
【００８３】
さらに、映像受信端末２０２を使用しているユーザの主観的な好みを反映させるために、映像受信端末２０２から下記に示すパラメータを送信するようにしても良い。伝送情報受信部１２０２でそれらのパラメータを受信して、動作パラメータ１２０１に保存する。各機能ブロックは、保存されたパラメータを利用して、第一の実施形態あるいは第二の実施形態に示した動作を行う。
【００８４】
映像受信端末２０２から送信するパラメータは例えば、
・ステップ５０２の動きベクトルの差の閾値
・ステップ８０１の平均動き量の閾値
・ステップ９０１の平均動き量の閾値
・ステップ７０５の低画質化領域の個数
・ステップ７０５の符号量の割り当て比率
である。
【００８５】
以上のように、本実施の形態では、第一の実施形態の構成に加えて、映像受信端末からの伝送情報を受信し、ネットワークの伝送帯域変動に合わせて、主領域の領域サイズや低画質領域の選択方法を変更する構成を備えることにより、ネットワーク変動に応じた品質の広角カメラ映像をユーザに提示することが可能となり、その実用的効果は大きい。
【００８６】
また、上記に加え、ユーザによって映像受信端末から本発明の動作を決定する平気動き量の閾値や動きベクトルの差の閾値などを変更可能とする構成を備えることにより、ユーザの主観的な好みの映像をユーザに提示することが可能となり、その実用的効果は大きい。
【００８７】
（実施の形態３）
図１３は、本発明の第三の実施形態における映像符号化伝送装置の選択領域対応関係管理テーブルの一例を示す図である。第一の実施形態の選択領域対応管理テーブルに、「子画面領域変形フラグ」を追加している。「子画面領域変形フラグ」は、低画質化領域の領域サイズと、重ね合わせた子画面領域の領域サイズが異なる場合に、子画面領域の領域サイズを変形して低画質化領域と同じ領域サイズにするかどうかの判定フラグである。ＯＮの場合には変形を行って同一のサイズにし、ＯＦＦの場合には変形を行わない。このフラグの効果について、図１４を用いて説明する。図１４は、本発明の第３の実施形態における映像符号化伝送装置の送信映像の一例を示す図である。図１４は、主領域１４０１上に子画面領域１４０２−１、１４０２−２が重ねあわされている様子を表している。子画面領域１４０２−１は、「子画面領域変形フラグ」がＯＦＦになっており、低画質化領域１４０３−１と領域サイズが異なったままに表示されている。一方、子画面領域１４０２−２は、「子画面領域変形フラグ」がＯＮになっており、低画質化領域１４０３−２と領域サイズが同一になっている。
【００８８】
実際の変形処理は、符号量制御部１０６からの要求に合わせて補助領域処理部１０７により行ない、変形後の領域に対して補助領域符号化部１０８により符号化を行う。
【００８９】
以上のように、本実施の形態では、第一の実施の形態の選択領域対応管理テーブルに、低画質化領域の領域サイズと、重ね合わせた子画面領域の領域サイズが異なる場合に、子画面領域の領域サイズを変形して低画質化領域と同じ領域サイズにするかどうかの判定フラグである「子画面領域変形フラグ」を備えることにより、低画質領域の表示領域を無駄にすることなく子画面領域を表示することが可能となり、その実用的効果は大きい。
【００９０】
【発明の効果】
以上のように本発明によれば、高解像度な広角カメラによって撮影された映像を、ネットワークの伝送帯域の変動あるいは映像の動きの大きさに合わせて符号化伝送の基本部分となる主領域と主領域以外の領域である補助領域とに分割し、主領域中から非重要領域（低画質化領域）を選択して、その領域に割り当てる符号量を低減するとともに、補助領域中の重要領域（子画面領域）を符号化した映像を、符号化した主領域中の非重要領域上に重ねあわせる構成を備えたことにより、広角カメラ映像全体を符号化伝送することなく、広角映像中の重要領域の一覧性を高めながら、効率的な映像伝送が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における映像符号化伝送装置の構成の一例を示す図
【図２】本発明の第１の実施形態における映像符号化伝送装置の利用形態の一例を示す図
【図３】本発明の第１の実施形態における映像符号化伝送装置が処理対象とする広角映像領域の一例を示す図
【図４】本発明の第１の実施形態における映像符号化伝送装置の送信映像の一例を示す図
【図５】本発明の第１の実施形態における映像符号化伝送装置の映像切り出し部の動作の一例を示すフローチャート
【図６】本発明の第１の実施形態における映像符号化伝送装置のブロック単位の動き検出を説明する図
【図７】本発明の第１の実施形態における映像符号化伝送装置の符号量制御部の動作の一例を示すフローチャート
【図８】本発明の第１の実施形態における映像符号化伝送装置の主領域処理部の動作の一例を示すフローチャート
【図９】本発明の第１の実施形態における映像符号化伝送装置の補助領域処理部の動作の一例を示すフローチャート
【図１０】本発明の第１の実施形態における映像符号化伝送装置の選択領域管理テーブルの一例を示す図
【図１１】本発明の第１の実施形態における映像符号化伝送装置の選択領域対応関係管理テーブルの一例を示す図
【図１２】本発明の第２の実施形態における映像符号化伝送装置の構成の一例を示す図
【図１３】本発明の第３の実施形態における映像符号化伝送装置の選択領域対応関係管理テーブルの一例を示す図
【図１４】本発明の第３の実施形態における映像符号化伝送装置の送信映像の一例を示す図
【図１５】従来の映像処理装置により伝送される映像を説明する図
【図１６】テレビ電話装置で表示される画面を示す図
【符号の説明】
１０１ 映像入力部
１０２ 映像記憶部
１０３ 映像切り出し部
１０４ 主領域処理部
１０５ 主領域符号化部
１０６ 符号量制御部
１０７ 補助領域処理部
１０８ 補助領域符号化部
１０９ 映像多重化部
１１０ 映像送信部
１１１ 動作パラメータ記憶部

Claims (15)

1. 広角カメラ映像を入力映像として符号化して伝送する映像符号化伝送装置であって、
   広角映像を取得する映像入力部と、
   前記広角映像を一時的に記憶するための映像記憶部と、
   前記映像記憶部に記憶されている前記広角映像から第一の領域と複数の第二の領域の切り出しを行う映像切り出し部と、
   前記第一の領域から非重要領域の抽出を行う主領域処理部と、
   前記第一の領域の符号化処理を行う主領域符号化部と、
   前記第二の領域から重要領域の抽出を行う補助領域処理部と、
   前記重要領域の符号化処理を行う補助領域符号化部と、
   前記非重要領域に重ね合わせる前記重要領域を決定し、前記第一の領域および前記重要領域に符号量の割り当てを行う符号量制御部と、
   前記主領域符号化部および前記補助領域符号化部により符号化された映像データを多重化する映像多重化部と、
   前記映像多重化部により多重化された映像データをネットワークに伝送する映像送信部と、
   を備えることを特徴とする映像符号化伝送装置。
2. 前記映像切り出し部が、第一の特定領域を多く含むように第一の領域を決定することを特徴とする請求項１記載の映像符号化伝送装置。
3. 前記第一の特定領域が、所定のサイズ以下でかつ動きの大きな映像領域を多く含む領域であることを特徴とする請求項２記載の映像符号化伝送装置。
4. 前記第一の特定領域が、所定のサイズ以下でかつ人物の顔を多く含む映像領域を多く含む領域であることを特徴とする請求項２記載の映像符号化伝送装置。
5. 前記主領域処理部が、前記第一の領域から第二の特定領域を選択して非重要領域とすることを特徴とする請求項１乃至４記載の映像符号化伝送装置。
6. 前記第二の特定領域が、動きの小さな領域であることを特徴とする請求項５記載の映像符号化伝送装置。
7. 前記第二の特定領域が、人物の顔が含まれていない領域であることを特徴とする請求項５記載の映像符号化伝送装置。
8. 前記補助領域処理部が、前記第二の領域から第三の特定領域を選択して重要領域とすることを特徴とする請求項１乃至７記載の映像符号化伝送装置。
9. 前記第三の特定領域が、動きの大きな領域であることを特徴とする請求項８記載の映像符号化伝送装置。
10. 前記第三の特定領域が、人物の顔が含まれる領域であることを特徴とする請求項８記載の映像符号化伝送装置。
11. 請求項１に記載の映像符号化伝送装置であって、
    映像受信端末から送信される映像データを受信する伝送情報受信部と、
    をさらに備えることを特徴とする映像符号化伝送装置。
12. 前記映像切り出し部が、前記伝送情報受信部により受信した伝送情報を利用して、前期第一の特定領域を決定することを特徴とする請求項１１記載の映像符号化伝送装置。
13. 前記主領域処理部が、前記伝送情報受信部により受信した伝送情報を利用して、前期第二の特定領域を決定することを特徴とする請求項１１または１２記載の映像符号化伝送装置。
14. 前記補助領域処理部が、前記伝送情報受信部により受信した伝送情報を利用して、前期第三の特定領域を決定することを特徴とする請求項１１乃至１４記載の映像符号化伝送装置。
15. サーバが、映像を符号化して伝送する際の符号化量制御方法であって、
    取得した映像を、第一の領域と少なくとも一つ以上の第二の領域とに分割し、
    前記第一の領域内から非重要領域を、前記第二の領域から重要領域を検出し、
    目標符号量に合わせて、前記第一の領域内で前記非重要領域の符号化量を下げ、前記重要領域を前記非重要領域に重畳するようにして、伝送する映像符号化量を調整する、
    ことを特徴とする、符号化量調整方法。

Images