WO1996027987A1

WO1996027987A1 - Terminal portatif pour communication multimedia

Info

Publication number: WO1996027987A1
Application number: PCT/JP1995/000376
Authority: WO
Inventors: Yuichiro Nakaya; Yukio Fujii; Minoru Nagata; Masanori Maruyama
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-03-08
Filing date: 1995-03-08
Publication date: 1996-09-12
Anticipated expiration: 1997-09-08
Also published as: US5949484A; JP3623967B2

Description

明細書携帯用マルチメディァ通信端末装置技術分

本発明は、消費電力の異なる複数の符号化モードを有するマルチメディァ通信端末装置に関するものである。なお、本発明では符号化モードの変化とは、端末において同じ入力情報源（例えば、カメラに入力される画像、マイクに入力される音声等）が与えられた場合でも、伝送される符号化ビットストリームが変化するような端末の状態の変化のことを指す。また、本発明では音声等の単独の情報の通信を行う端末もマルチメディァ通信端末に含まれるものとする。背景技術

ディジタル画像通信を行うことができるマルチメディア通信端末の普及が本格化しつつある。ディジタル画像通信の実用化をもたらした主な要因としては、電子デバイス技術の発展の他に画像情報圧縮技術（画像符号化技術）の進歩を挙げることができる。画像符号化技術とは、音声の 1 0 0 0倍の情報量を持つと言われる画像情報を、伝送 ·蓄積が可能なレペルまで情報圧縮する技術である。画像符号化技術を用いたディジタル画像通信を行う場合には、送信側の端末は入力画像情報を符号化 (圧縮）して符号化ビットストリームに変換して伝送し、受信側の端末は受信したビットストリームを復号化することによリ復号化画像を得る < このとき、通信を正しく行うためには通信路の両端に位置する端末が共通の画像符号化方式を採用する必要がある。このため、現在国際標準として H . 2 6 1 , P E G 1 , P E G 2などの檫準画像符号化方式が定められている。今後無線画像通信等の新たなアプリケーシヨンに対してさらに多くの標準符号化方式が定められることが予想される。

既に製品化されている画像通信端末はアナログ電話回線、 I S D N回線等に接続される有線画像通信端末が中心となっている。しかし、将来は無線回線においても同様の機能が提供できる無線画像通信端末も普及することが予想されている。無線通信端末の特徴はその携帯性にあるため、通常は電力源として蓄電池が使用される。しかし、携帯用端末で使用される軽量の蓄電池 1個で供給できる電力量には限界があリ、連続通信時間を長くするためには端末の消费電力を抑える必要がある。また、監視システムなどでは多数の端末が使用されるため、蓄電池を使用しない場合でも消費電力を抑えることが重要となる。このように省電力化はアプリケーションによっては重要な条件となるが、一方で情報圧縮率の高い画像符号化アルゴリズムは演算量が多く、消費電力も大きくなる傾向がある。一般的にこれまでは画像符号化と言えば情報圧縮率を高めることが第一の目的とされ、消费電力は大きな問題とされていなかった。しかし、マルチメディア通信端末が広く普及し、様々な用途に利用されるようになるであろう将来においては、これまで見過ごされていた消費電力の問題も装置の設計 · 開発において重要な位置を占めるようになることが予想される。

既に実用化されている携帯装置における省電力化の対策としては、ノ一卜型（ラップトップ）コンピュータにおいていくつかの工夫が見られる。例えば、米国 Apple社の Mac intosh PowerBooU80cでの主な節電機能を以下に示す。

( a ) 電池残量が一定量よリ少なくなると液晶ディスプレイのバックラィ卜が自動的に暗くなる。

( b ) 電池残量がある一定レベル以下になると、ディスプレイに警告メッセージを表示する。

( C ) 電源を入れたまま一定時間放置しておくと自動的にスリープモード（R A Mの記憶内容の保持以外の機能をすベて停止した状態）に入る, ( d ) 利用者が C P Uのクロック周波数を切り換えられるようになっており、処理スピードを落とすことにより電力を節約することが可能となつている。

( e ) 一定時間 C P Uへの処理要求が無い場合には、自動的に C P Uのクロック周波数を下げる。ラップトップコンピュータにおけるこのような消費電力対策は、画面が見にくくなつたり、処理速度が低下することを引き起こす。しかし、一般的には処理内容そのものや、提供される情報そのもの（例えば画面に表示される情報自体）は変化しないのが特徴である。

一般的に情報圧縮率の高い符号化アルゴリズムは複雑な処理を行うために、処理量（演算量）が多くなる傾向がある。演算量が多くなることは消費電力を大きくする原因となり、例えば電力源を蓄電池とするマルチメディア通信端末、又は、消費電力を少なくしなければならない通信端末においては連続通信時間を短くする結果につながってしまう。

そこで、本発明の目的は、消費電力を節約し、必要な連続通話時間を確保することのできる通信端末を提供することにある。特に符号化モードを変更して消费電力の減少を図る通信端末を提供することを目的とする。発明の開示

上記の目的を達成するために、本発明の通信端末では、異なる複数の符号化モードの画像情報又は音声情報のうち、システム又は外部から要求されたモードに符号化モードを切り換えることにより、消費電力を制御する。

具体的な本発明の通信端末装置は、入力された画像又は音声情報を符号化して通信路へ出力し、上記伝送路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段（101 , 102, 106, 107)と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部（123， 124)と、上記通信路から得た情報を画像又は音声等により出力する出力手段（103 , 104, 108, 109， 105)と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モ一ドに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と（1 10)、上記符号化モードの選択を制御する制御部（133)とから構成される。

より、通信端末装置の消費電力を少なくするために、例えば、伝送される情報の品質を制御する。品質の制御については自動で切り換える手段または手動で切り換える手段を備える。通信を行なっている最中であれ、通信相手が符号化モードの切り換え操作を行うことも可能である。電力源として用いられる蓄電池の電池残量を監視し、符号化モードごとにそのモードを使用した場合の連続通話可能時間の目安を符号化モード切り換えの実行者に提示する手段とを備え、タイミング良く符号化モ一ドを切り換えることも有効である。また、検出された電池残量が減少するに従って消费電力の少ない符号化モードを選択する手段を具備する。また、符号化モードの切り換えによって不必要となった回路に提供するク口ック信号を停止する手段を具備することも有効である。クロック信号に関しては、稼働中の符号化モードの処理量が少ないほど符号化回路に提供するクロック信号の周波数を低くする制御を行う手段を具備することも有効である。画像伝送の際に解像度を制御する手段を具備して消費電力の少ない解像度に制御することも有効である。

動画像符号化を例にすれば、符号化モードは、固定フレーム内符号化とフレーム間 zフレーム内適応符号化のモードとを備え、固定フレーム内符号化モードの選択を行なう、もしくは、フレーム間 Zフレーム内適応符号化のモードの中でも、フレーム内適応符号化の頻度を増やすことにより、消費電力を少なくする制御に有効である。

フレーム間符号化を行なう際にはプロックマッチングに基づく動き補償を実行する手段とを具備し、ブロックマッチングにおけるブロックごとの探索動きベクトル数を少なくする、又は、動画像符号化に関して伝送される画像のフレームレートを制御する手段とを具備し、フレームレ —トを低くすることも消費電力を少なくするのに有効である。

画像と音声との両方の通信を行うことが可能な場合には、音声のみによる通信を優先的に行なうことによリ節電や、突然のデータの消失を防ぐことができる。

カラーの画像情報の送受信が可能な通信端末装置で、白黒画像情報の送受信を行なうことも消費電力を少なくするのに有効である。

符号化モ一ドの切り換え要求を受けた際には、コーデック手段では、符号化モードの切り換え要求の、直後のフレーム分割点、又は、スライス分割点、又は、、ブロックマッチングのためのブロックの分割点、で符号化モードを切り換えればよい。電池残量が少なくなつたときに消费電力を少なくする制御を行えば、利用者への警告となると同時に、残りの通話時間を長くすることができる。また、電池残量と希望する通話時間から最適な符号化方式を選択することにより、通話時間が希望よリ短くならない範囲で最も画質の高い符号化方式を使用することができる。図面の簡単な説明

第 1図は、マルチメディア通信端末の構成例を示した図、第 2図は、 H . 2 6 1の画像符号化器の構成例を示した図、第 3図は、 H . 2 6 1 の画像復号化器の構成例を示した図、第 4図は、ソフ卜ウェア画像符号化器の構成例を示した図、第 5図は、ソフトウェア画像復号化器の構成例を示した図、第 6図は、端末利用者が符号化モードを切り換えるマルチメディア通信端末の構成例を示した図、第 7図は、符号化モードを自動的に切り換えるマルチメディア通信端末の構成例を示した図、第 8図は、通信相手が符号化モードを切り換えるマルチメディァ通信端末の構成例を示した図、第 9図は、電池残量に応じて符号化モードが変化する様子の例を示した図、第 1 0図は、フレームレートを変化させたときの画像符号化の動作状態を示した図、第 1 1図は、クロック信号の供給を止めることによって、フレーム間予測部を停止状態とする回路の構成例を示した図、第 1 2図は、クロック周波数を変化させることによって消费電力を制御するソフトウエアコーデックの C P U周辺の回路の構成例を示した図である。発明を実施するための最良の形態

第 1図にマルチメディァ通信端末の基本的な構成例 1 0 0を示す。この端末は、動画像と音声とデータに関する双方向通信を行う機能を持ち，蓄電池 1 2 7によリ本体の回路部 1 2 8に電力を供給している。電池残量検出器 1 3 1で検出された電池残量情報 1 3 2は符号化モード制御部 1 3 3に供給される。この符号化モード制御部 1 3 3は、電池残量の情報等から適切な符号化モードを判断し、画像 ·音声コ一デック 1 1 0に符号化モード制御情報 1 3 4を供給する。また、同様にクロック発生回路 1 2 9から、クロック信号が本体の回路部全体に供給される。画像信号はカメラ 1 0 1から、音声信号はマイク 1 0 2からそれぞれ入力され. アナログ Zディジタル変換器 1 0 6、 1 0 7によりディジタル化される < このディジタル化された信号は画像 ·音声コーデック回路 1 1 0に供給され、符号化部 1 1 1で符号化される。画像符号化器 1 1 2で得られた画像符号化ビットス卜リームは多重化回路 1 2 1に供給される。同様に音声信号は音声符号化器 1 1 5で符号化され、音声符号化ビットストリームとして多重化回路 1 2 1に供給される。多重化回路 1 2 1はさらにデータ入出力器 1 0 5の出力信号を加えた 3個の信号を多重化する。その多重信号出力（多重化回路 1 2 1の出力）は通信路符号化器 1 2 3を経て送信信号 1 2 5として通信路へ出力される。

一方通信路からの受信信号 1 2 6は通信路復号化器 1 2 4を経て分離回路 1 2 2へ供給され、画像符号化ビットストリ一ム、音声符号化ビットストリーム、データ信号に分離される。音声と画像の符号化ビットス卜リームは復号化部 1 1 6に供給される。画像符号化ビットストリ一ムは画像復号化器 1 1 7において復号化される。ここで復号化されたディジタル復号画像は、ディジタルアナログ変換器 1 0 8を経てディスプレイ 1 0 3で表示される。同様に音声符号化ビットストリ一ムは音声復号化器 1 2 0において復号化され、ディジタル化された復号音声となつた後にディジタル Zアナログ変換器 1 0 9を経てスピーカ 1 0 4から出力される。データ信号 1 3 0はデータ入出力器 1 0 5に加えられた後にパソコン等のデータ処理装置に出力される。

第 1図の画像符号化器 1 1 2の構成例として、第 2図に通信用動画像符号化方式の国際標準である H . 2 6 1の符号化器 2 0 0を示す。 H . 2 6 1は、符号化方式として、動き補儐予測と D C T (離散コサイン変換）を組み合わせたハイプリッド符号化方式（フレーム間フレーム内適応符号化方式）を採用している。

以下に、第 2図を用いてこのハイプリッド符号化方式を説明する。減算器 2 0 2は入力画像（現フレームの原画像） 2 0 1とフレーム間 Zフレーム内符号化切り換えスィッチ 2 1 9の出力画像 2 1 3 (後述）との差を計算し、誤差画像 2 0 3を出力する。この誤差画像は、 D C T変換器 2 0 4で D C T係数に変換された後に量子化器 2 0 5で量子化され、量子化 D C T係数 2 0 6となる。この量子化 D C T係数 2 0 6は伝送情報として通信路に出力されると同時に、符号化器内でもフレーム間予測処理部 2 0 7において予測画像を合成するために使用される。次に予測画像合成の手順を説明する。上述の量子化 D C T係数 2 0 6は、逆量子化器 2 0 8と逆 D C T変換器 2 0 9を経て復号誤差画像 2 1 0 (受信側で再生される誤差画像と同じ画像）となる。これに、加算器 2 1 1においてフレーム間 Zフレーム内符号化切り換えスィッチ 2 1 9の出力画像 2 1 3 (後述）が加えられ、現フレームの復号画像 2 1 2 (受信側で再生される現フレームの復号画像と同じ画像）を得る。この画像は一旦フレームメモリ 2 1 4に蓄えられ、 1フレーム分の時間だけ遅延される。したがって、現時点では、フレームメモリ 2 1 4は前フレームの復号画像 2 1 5を出力している。この前フレームの復号画像と現フレームの入力画像 2 0 1が動き補償処理部 2 1 6に入力され、ブロックマッチングとよばれるフレーム間予測の処理が行われる。プロックマッチングでは，画像を複数のプロックに分割し、各プロックごとに現フレームの原画像に最も似た部分を前フレームの復号画像から取り出すことによリ、現フレームの予測画像 2 1 7が合成される。このときに、各ブロックが前フレームと現フレームの間でどれだけ移動したかを検出する処理（動き推定処理）を行う必要がある。動き推定処理によって検出された各ブロックごとの動きベクトル 2 2 0は、受信側へ伝送される。受信側は、この動きべクトルと前フレームの復号画像から、独自に送信側で得られるものと同じ予測画像を合成することができる。予測画像 2 1 7は、「 0」信号 2 1 8と共にフレーム間 Zフレーム内符号化切り換えスィツチ 2 1 9に入力される。このスィッチは、両入力のいずれかを選択することにより、フレーム間符号化とフレーム内符号化を切り換える。予測画像 2 1 7が選択された場合（第 2図はこの場合を表している）には、フレーム間符号化が行われる。一方、「 0」信号が選択された場合には、入力画像がそのまま D C T符号化されて通信路に出力されるため、フレーム内符号化が行われることになる。受信側が正しく復号化画像を得るためには、送信側でフレーム間符号化が行われたかフレーム内符号化が行われたかを知る必要がある。このため、識別フラグ 2 2 1が通信路へ出力される。最終的な H . 2 6 1符号化ビットス卜リーム 2 3は多重化回路 2 2 2で量子化 D C T係数、動きべクトル、フレーム内 Zフレーム間識別フラグの情報を多重化することによって得られる。

H . 2 6 1ではプロックごとに独立にフレーム間 Zフレーム内符号化の選択が行えるようになつている。フレーム内フレーム間符号化のいずれを行うかの判断は符号化器に任されており、入力画像の性質に応じて符号効率が高くなると考えられる方を選ぶのが一般的である。一般にシーンチェンジ等により、連続するフレーム間の相関が低い場合には、フレーム内符号化を選択した方が効率が高くなると言われている。

第 3図に第 2図の符号化器が出力した符号化ビットストリ一ムを受信する復号化器 3 0 0 (第 1図の 1 1 7に対応）の構成例を示す。受信した H . 2 6 1 ビットストリーム 3 1 7は、分離回路 3 1 6で量子化 D C T係数 3 0 1、動きベクトル 3 0 2、フレーム内ノフレーム間識別フラグ 3 0 3に分離される。量子化 D C T係数 3 0 1は逆量子化器 3 0 4と逆 D C T変換器 3 0 5を経て復号化された誤差画像 3 0 6となる。この誤差画像は加算器 3 0 7でフレーム間フレーム内符号化切り換えスィツチ 3 1 4の出力画像 3 1 5を加算され、復号化画像 3 0 8として出力される。フレーム間フレーム内符号化切り換えスィツチはフレーム間 Zフレーム内符号化識別フラグ 3 0 3に従って、出力を切り換える。フレーム間符号化を行う場合に用いる予測画像 3 1 2は、予測画像合成部 3 1 1において合成される。ここでは、フレームメモリ 3 0 9に蓄えられている前フレームの復号画像 3 1 0に対して、受信した動きぺクトル 3 0 2に従ってブロックごとに位置を移動させる処理が行われる。一方フレーム内符号化の場合、フレーム間 Zフレーム内符号化切リ換えスィツチ 3 1 4は、「 0」信号 3 1 3をそのまま出力する。

現在第 2図および第 3図に示した画像符号化器および復号化器は、各部の処理を専用に行う回路を持つ専用チップを用いて実現されることが多い。一方、従来の専用チップを用いた画像の符号化，復号化装置に代わる新しい実装形態として、最近汎用 C P Uを用いたソフトウエアによる符号化 ·復号化装置（ソフトウェアコーデック）が注目を集めている < ソフトウエアコーデックは装置の開発にかかる労力が少ないことや、機能や性能の変更に柔軟に対応できること等の特徴を持つことから、汎用 C P Uの高速化が進むにつれてその数が増えることが予想されている。第 4図と第 5図に動画像用のソフトウエア符号化器 4 0 0と復号化器 5 0 0の構成例をそれぞれ示す。なお、 4 0 0と 5 0 0はそれぞれ第 1 図の 1 1 2と 1 1 7に対応している。ソフトウエア符号化器 4 0 0では，まず入力画像 4 0 1は入力フレームメモリ 4 0 2に蓄えられ、 C P U 4 0 3はここから情報を読み込んで符号化の処理を行う。この C P Uを駆動するためのプログラムはプログラム用メモリ 4 0 4に蓄えられる。また、 C P Uは処理用メモリ 4 0 5を活用して符号化の処理を行う。 C P Uが出力する符号化情報は一旦出力バッファ 4 0 6に蓄えられた後に符号化ビットス卜リーム 4 0 7として出力される。

一方、ソフ卜ウェア復号化器 5 0 0では、入力された符号化ビッ卜ストリ一ム 5 0 1は一旦入力バッファ 5 0 2に蓄えられた後に C P U 5 0 3に読み込まれる。 C P Uはプログラム用メモリ 5 0 4と処理用メモリ 5 0 5を活用して復号化処理を行う。この結果得られた復号化画像は一旦出力フレームメモリ 5 0 6に蓄えられた後に出力画像 5 0 7として出力される。

第 1図に示したマルチメディァ通信端末が電力の残量に応じて符号化モードを制御する部分構成例を第 6図、第 7図、第 8図に示す。以後、図面中で同じ参照番号は同じものを指す。

第 6図に示す構成では、蓄電池 1 2 7の残留電力量を電池残量検出部 1 3 1が検出し、電池残量情報 1 3 2として符号化モ一ド制御部 1 3 3 に伝える。この情報 1 3 2力、'、電池 1 2 7の電池残量がある一定値を下回る事を示す情報である場合には、符号化モ一ド制御部 1 3 3を構成する警告表示制御部 6 0 4は端末利用者 6 0 6に警告は発する。警告を伝える手段は、例えば、ディスプレイへの警告文、警告記号等の視覚に訴える表示、ブザー音や合成音声の発生させる等の利用者の聴覚に訴える警告が考えられる。また、第 1図の構成に更に警告ランプを設け点灯させることも有効である。電池残量が少なくなつたことを知った端末利用者は、自らスィツチを切り換えるなどして符号化モードを変えることが可能となっている。この切り換え情報 6 0 7を受け取った符号化モード切り換え部 6 0 5は、端末利用者の指示にしたがって符号化モードを切リ換える。端末利用者が符号化モードを切り換える際には、各符号化モ —ドについて、そのモードで通信を続けた場合に予想される連続通信時間などの補助情報を示すこともできる。符号化モード切り換えの具体的な方法については後述する。

第 6図の端末では利用者が符号化モードを切り換えていたのに対し、第 7図に示す端末は電池残量情報に応じて符号化モード自動切り換え部 7 0 1が自動的に符号化モードを切り換えることを特徴としている。このとき、電池残量がどのレベルになったときにどの符号化モードを採用するかについては、端末利用者が自らプログラミングできるようにしても良い。また、あらかじめプログラムされた複数のパターンの中から利用者が好みのものを選択できるようにしても良い。一般的な自動制御方法として、電池残量が少なくなるに従って、低消費電力 ·低品質モードへと移行する方式が考えられる。こうすることによって、通信時間の延長、電池切れによる突然の通信停止の防止等の効果が期待できる。

第 8図は、情報を送信している端末の符号化モードを、通信路 8 0 1 を介して通話相手の端末 8 0 2が制御する場合のシステム構成例である _t 例えば監視カメラを用いた監視システムなどにおいては、遠隔操作によリカメラの符号化モードを制御することが考えられる。また、監視カメラが多数ある場合には、受信側の端末が符号化モ一ドを集中制御することにより、各々の監視カメラの構成を簡略化することができる。

第 6図、第 7図、第 8図に示した符号化モード切り換えによる消费電力制御方式は、特に電力源として蓄電池を利用していなくても有効となる場合がある。たとえば監視カメラが多数存在する監視システムでは、全監視カメラの総消費電力を抑えるために、特に重要な情報を伝送していないと思われるカメラの符号化モードを低品質 ·低消费電力モードにすることが考えられる。

次に、符号化モードを切り換える具体的な方法に関して説明する。第 1図のマルチメディア通信端末 1 0 0の画像符号化器 1 1 2および復号化器 1 1 7として、第 2図および第 3図に示した H . 2 6 1符号化器および復号化器を使用する。例えば、動画像の符号化モードとして、以下の 4モードを用意する。

( 1 ) フレーム内ノフレーム間適応符号化による送受信。

( 2 ) 受信は（ 1 ) と同じ。送信はフレーム内符号化のみ。

( 3 ) 受信は（ 1 ) と同じ。送信は無し。

( 4 ) 画像の送受信は無し。

この場合、（ 1 ) の符号化モードを採用しているときは画像 ·音声コーデック回路内の全ての部分は稼働しでいる。符号化モ一ドを（ 1 ) から ( 2 ) に切り換えたときには、フレーム間予測処理部 2 0 7が非稼働状態となる。次に符号化モードが（ 3 ) となったときには、さらに画像符号化器 2 0 0の残りの部分が非稼働状態となる。最後に符号化モードが ( 4 ) となったときには、さらに画像復号化部 1 1 7が非稼働状態となリ、画像情報の送受信は全てストップする。符号化モードの番号が大きくなるほど非稼働部分が大きくなるため、結果的に消費電力は少なくなる。しかし、逆に消费電力の少ない符号化モードほど通信される情報の品質は低くなつてしまう。第 9図にこの方式における符号化モードと電池残量の関係の一例を示す。 9 0 1は、電池が十分に充電された状態の電池残量（電力 X時間）を 1 . 0、電池が使用不可能となるときの電池残量を 0 . 0としたときの電池残量を表すグラフである。例えば、電池残量が 0 . 5を割ると、符号化モードは（ 1 ) から（ 2 ) に変化する。処理を簡単にするため、符号化モードを切り換えるタイミングは電池残量が規定値を割った瞬間以後の最初のフレーム分割点からとするのが適当である。さらに細かい制御を意図するのであれば、この切り換え点はブロックマッチングのためのブロックの分割点や、スライス（画像の端から端まで左右に広がるブロックマッチングのためのブロックの列）の分割点とする方法もある。これらの分割点では、前後の処理単位（フレ —ム、スライス、ブロック）で独立した処理を行うことができるため、符号化モードの切り換えを行いやすい。利用者が符号化モードを切リ換える場合も、同様に切り換えの要求が出た直後のフレーム、ブロック、スライスの分割点から符号化モ一ドを切り換えるのが適当である。第 9図の例においては、各々の符号化モードの中で符号化に関するパラメータを変化させることによってさらに細かく消費電力を制御することができる。例えば（ 1 ) の符号化モード内で、送信する画像のフレームレー卜を下げる。すると画像符号化部が動作している時間を相対的に減少させることが可能となリ、結果的に消費電力の減少させることができる。第 1 0図にこの様子を示す。

1 0 0 1は nフレーム Z秒で符号化を行った場合の符号化部の動作状態である。斜線部分は符号化部が動作している時間である。これに対して、 1 0 0 2は 2フレーム/ /秒で符号化を行ったときの動作状態である。フレームごとの処理は 1 Z n秒で終了するため、画像符号化部は 1 Z n秒おきに 1 Z n秒間、停止状態に入ることができる。これと同様の制御は、画像の解像度（画素数）を変化させることよって行うことも可能である。

フレームレート、解像度以外に、フレーム内フレーム間適応符号化においてフレーム内符号化が選択される頻度も消費電力を制御するためのパラメータとして利用することができる。フレーム内符号化が選択される頻度を上げるとフレーム間予測部が稼働する時間を相対的に減少させることが可能となり、消費電力を減らすことができる。また、フレーム間符号化においてブロックマッチングを行う際の、動きべクトルの探索範囲を狭くすることも消費電力を減少させるためには有効である。さらに、カラー画像の送信または受信を行うことができる端末が、白黒画像を送信または受信することによリ、色差信号を扱う回路やメモリを非稼働状態にすることもできる。また、たとえカラー画像を符号化したビットストリームを受信したとしても、白黒情報だけを再生することによつて同様の効果を得ることができる。しかし、フレームレート、解像度を下げること、フレーム内符号化が選択される頻度を上げること、プロックマッチングの探索範囲を狭くすること、白黒画像を送受信 ·再生すること等は、すべて受信側で復号化される画像の品質を劣化させることにつながる。

以下では、非稼働状態となった回路の消費電力を減少させる際に回路的にどのような制御が行われるかについて説明する。非稼働状態となつた回路が電力を消費しないようにする直接的な方法としては、パワートランジスタを用いて電力の供給を停止させる方法がある。この方法は有効であるが、回路全体を集積化する場合にはパワートランジスタが大きな面積を占めてしまうために問題が発生する。そこでクロック信号を停止する方法が考えられる。第 1 1図はクロック信号の供給を停止することによってフレーム間予測部の稼働状態を切り換える回路の構成例である。第 1図のマルチメディァ通信端末 1 0 0において、画像符号化器 1 1 2として第 2図に示した H . 2 6 1符号化器 2 0 0を用いるとする。この回路では、クロック信号発生器 1 2 9で生成したクロック信号 1 1 0 1は A N D回路 1 1 0 3を経由してフレーム間予測処理部 2 0 7のクロック入力 1 I 0 4に供給される。符号化モード切り換え信号 1 1 0 2 は、第 6図と第 8図の符号化モード切り換え部 6 0 5または第 7図の符号化モ一ド自動切り換え部 7 0 1から供給される。符号化モード切り換え信号を「 1」としたときにはクロック信号がフレーム間予測部に達するが、「 0」とした場合にはクロック信号は供給されない。クロック信号が供給されないことによってフレーム間予測部は停止状態となり、結果としてこの部分の電力消費量を抑えることが可能となる。一方、ソフトウエアコーデックでは画像符号化 ·復号化の処理のほとんどを C P Uが行うために、稼働していない回路を停止することによつて消費電力を制御する方法を使うことは難しい。そこで、 C P Uに供給されるクロック信号の周波数を制御することが考えられる。上で述べたフレームレー卜の低下、フレーム内符号化を行う頻度の上昇、画像送信の停止、画像受信の停止等の制御は、ソフトウェアコーデックでは C P Uの処理量の減少につながる。したがって、減少した処理量の分だけク口ック周波数を低下させても処理のリアルタイム性は確保することができる。一般的に汎用 C P Uは、動作クロックの周波数が低くなるほど消費電力が少なくなることが知られている。したがって、クロック周波数を制御することは、消費電力を制御することにつながる。第 1 2図は符号化モードに応じて C P Uクロックを切り換えるソフトウエア符号化器のク口ック制御回路の構成例である。第 1図のマルチメディァ通信端末 1 0 0において、画像符号化器 1 1 2として第 4図に示したソフトウェァ符号化器 4 0 0を用いる。符号化モード切り換え信号 1 1 0 2は、符号化モード指令レジスタ 1 2 0 9の状態を変化させる。符号化モード指令レジスタの内容 1 2 0 8は、ある特定のメモリァドレスを読みに行くことによって C P U 4 0 3が読み出すことができるようになつている。上で述べた通り、符号化モードの切り換えを行う切り換え点は限られており（上述のフレーム、. スライス、ブロック分割点）、 C P Uは切り換え点の処理を行う直前にのみ、符号化モ一ド指令レジスタの内容を読み込めば良い。この符号化モ一ド指令レジスタの内容を通じて C P Uは符号化モ一ド切り換えの指令が発せられたことを検知し、ソフトウェア的に符号化モードをある切り換え点で切り換える。なお、 C P Uに符号化モード切り換えの要求を行う処理は C P Uへの割リ込みを使うことによつて達成することもできる。符号化モードを切り換えた C P Uは、 C P u自身が現在どの符号化モードで処理を行っているかを外部の回路に知らせるために C PU符号化モードレジスタ 1 2 0 5に C PU符号化モード 1 2 0 6を書き込む。クロック分周部 1 20 3はこの C P U符号化モ一ドレジスタの内容 1 20 2を読み込み、現在の C P Uの符号化モ一ドに応じてクロック信号発生器 1 2 9で生成したクロック信号 1 1 0 1の分周率（周波数を落とす割合）を制御する。こうすることによって C P Uに供給されるクロック信号 1 2 04の周波数が符号化モードに応じて制御される。なお、この部分の処理は VCO (Voltage Controlled Osc illator) を用いるなどしてクロックの発信周波数自体を制御することによっても実現できる。

このようにクロック信号を制御する方式は、専用チップを用いた装置に対しても応用できる。たとえばフレームレ一トを下げる制御を行った場合には、第 1 0図に示した方式を用いずに符号化装置自体の動作クロックを落として消费電力を減らすことも可能である。

なお、本明細書では符号化モードの変化として同一の符号化方式（例えば H. 26 1 ) の中における変化を扱ってきた。しかし、符号化方式自体を変化させること（例えば、 MP E G 1から H. 2 6 1への変化）も、同様に符号化モードの変化として、本発明の枠組みに含まれることは明らかである。産業上の利用可能性

本発明によリ、端末が送信する符号化された情報の品質を意図的に低下させることによって、端末が消费する電力置を低減させることができる。本発明の通信端末装置は、例えば、蓄電池を使用する携帯用の通信端末装置、消费電力を抑えつつ画像の伝送継続時間を主体として考盧されるべき画像監視装置、等に用いられて有用である。

Claims

請求の範囲

1 . 入力された画像又は音声情報を符号化して通信路へ出力し、上記伝送路から得られる画像又は音声情報を復号化する通信端末装置において, 画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、上記符号化モードの選択を制御する制御部とからなることを特徴とする通信端末装置。

2 . 請求の範囲第 1項の通信端末装置は、更に、装置全体に電力を供給する供給手段を有し、上記制御部は該供給手段の電池残量に応じて上記符号化モードの選択制御を行なうことを特徴とする通信端末装置。

3 . 請求の範囲第 2項の通信端末装置において、上記供給手段の電池残量に応じて上記制御部は上記出力手段を用いて画像又は音声メッセージを出力し、該メッセージに対して入力された制御信号に応じて、上記符号化モ一ドの選択制御を行なうことを特徴とする通信端末装置。

4 . 請求の範囲第 2項において上記供給手段は、蓄電池と、上記蓄電池の電池残量を検出する手段とを有し、上記制御部に予め定められた電池残量よリ少ない電池残量を示す情報が与えられた場合には、上記制御部は、現状の符号化モードによる消费電力に比較して低い消费電力に対応する異なる符号化モードに切り換えるように制御することを特徴とする通信端末装置。

5 . 請求の範囲第 3項において、上記メッセージは上記符号化モードにおける連続通話可能時間をも含むことを特徴とする通信端末装置。

6 . 請求項第 1項において、上記符号化モードの選択切り換えによって符号化の際に不要な回路に、装置全体のクロックの供給を停止するよう制御することを特徴とする通信端末装置。

7 . 請求項第 1項において、上記符号化モードの処理量に応じて、装置全体に供給されているクロックの周波数を変化させることを特徴とする通信端末装置。

8 . 請求の範囲第 1項の通信端末装置は、更に、装置全体に電力を供給する供給手段を有し、上記制御部は該供給手段の電池残量が所定料より少なくなった場合には、上記入力情報の解像度を低くすることを特徴とする通信端末装置。

9 . 請求の範囲第 2項において、上記複数の符号化モードには、動画像符号化に関して固定フレーム内符号化を行なうモ一ドと、フレーム間フレーム内適応符号化を行なうモ一ドが含まれることを特徴とする通信端末装置。

1 0 . 請求の範囲第 9項において、上記制御部は該供給手段の電池残量の減少に応じて上記符号化モ一ドとして固定フレーム内符号化モ一ドを選択するように制御を行なうことを特徴とする通信端末装置。

1 1 . 請求の範囲第 9項において、現状の符号化モードとして上記フレーム間フレーム内適応符号化を行なうモードが選択されている場合、上記制御部は該供給手段の電池残量の減少に応じて、上記フレーム間ノフレーム内適応符号化の中のフレーム内符号化が選択される頻度を高くするように制御することを特徴とする通信端末装置。

1 2 . 請求範囲第 2項において、上記コーデック手段は動画像符号化に関してフレーム間符号化を実行する手段と、プロックマッチングに基づく勳き補償を実行する手段とを具備し、上記制御部は該供給手段の電池残量の減少に応じて、上記プロックマッチングにおけるプロックごとの探索動きべクトル数を少なくするように制御することを特徴とする通信端末装置。

1 3 . 請求範囲第 2項において、上記コーデック手段は動画像符号化に関してフレーム間符号化を実行する手段と、伝送される画像のフレームレートを制御する手段とを具備し、上記制御部は該供給手段の電池残量の減少に応じて、上記フレームレートを低くするように制御することを特徴とする通信端末装置。

1 4 . 請求範囲第 2項において、上記制御部は該供給手段の電池残量の減少に応じて、音声のみによる通信を行うように制御することを特徴とする通信端末装置。

1 5 . 請求範囲第 2項において、上記制御部は該供給手段の電池残量の減少に応じて、上記入力手段から入力された画像情報を白黒画像として送信するように制御することを特徴とする通信端末装置。

1 6 . 請求範囲第 2項において、上記制御部は該供給手段の電池残量の減少に応じて、上記通信路から受信した画像情報を白黒画像情報として復号処理を行なうよう制御することを特徴とする通信端末装置。

1 7 . 請求範囲第 1 6項において、上記制御部は該供給手段の電池残量の減少に応じて、通信路から受信したカラ一画像を符号化したビットストリ一ムの中からカラー情報を除いて白黒画像を再生するよう制御することを特徴とする通信端末装置。

1 8 . 請求範囲第 2項において、上記コ一デック手段では、上記制御部から符号化モ一ドの切り換え要求信号を受けた直後のフレーム分割点から符号化モードが切り換わることを特徴とする通信端末装置。

1 9 . 請求範囲第 2項において、上記コーデック手段では、上記制御部から符号化モードの切り換え要求信号を受けた直後のスライス分割点から符号化モードが切り換わることを特徴とする通信端末装置。

2 0 . 請求範囲第 2項において、上記コーデック手段では、上記制御部から符号化モードの切り換え要求信号を受けた直後のプロックマツチングのためのプロックの分割点から符号化モードが切り換わることを特徴とする通信端末装置。