JP2006060422A - 画像伝送装置 - Google Patents

Abstract

【課題】動画像データと静止画像データを伝送レートを同じくして伝送する場合に、画質（画素数）を落とすことなく、通信用のメモリ量を削減した画像伝送装置を提供すること。
【解決手段】第１のフレームレート及びこの第１のフレームレートより低い第２のフレームレートで被写体の撮像とこの被写体に係る画像データの伝送を行う画像伝送装置であって、撮像部１１は被写体に係る画像データを出力し、画像圧縮部（１３〜１６）は前記第２のフレームレートに係る、単位時間あたりの圧縮後の画像データの量が、前記第１のフレームレートに係る、単位時間あたりの圧縮後の画像データの量以下となるように圧縮率を切り替え、前記撮像部より出力される画像データを圧縮して圧縮データとして出力し、蓄積部１７は前記圧縮データを一時的に蓄積し、送信部１８は前記蓄積部に蓄積された圧縮データを一定のレートで送信する。
【選択図】 図１

Description

本発明は、動画像と静止画像を切り替えて撮像及び圧縮を行ない、圧縮したデータを所定のレートで外部に伝送する画像伝送装置に関する。

例えば動画像と静止画像を伝送する方式としては、例えば特許２７９０５３８号に示されているものが提案されている。図２１に概略のブロック図を示す。符号１１は外部ＡＶ（Audio Visual）入力取込み部、１２は通信制御部、１３は静止画ＣＯＤＥＣ（Coder Decoder）部、１４は画像バス、１５は静止画メモリ、１７はディスプレイ、１９はＡＶ入力機器例えばテレビカメラやＶＴＲ、２１は表示制御部、２２は画像バス制御部、２３ａは送信バッファ、２３ｂは受信バッファ、２４はアンプ部、２９は制御信号ＢＳにより動作、不動作に切り替わるバスバッファアンプである。

特許２７９０５３８号では、静止画像伝送時には静止画像用のメモリ１５に撮像された静止画像を格納し、圧縮した後、伝送を行なう。また、動画像伝送時には撮像された画像から画素の間引きを行ない、画素数を減らした後、静止画像用のメモリ１５に格納した後、圧縮と伝送を行なう。以上により、静止画転送時と共通の処理にて、簡易的な動画伝送を実施することにより、簡易な構成で処理の高速化を図るものである。
特許２７９０５３８号

一般に、動画像と静止画像を伝送する装置を、例えば医療システムに用いる場合には、静止画像データは診断用に高精細なものが必要となり、動画像データの方は多少画質が落ちても１秒間に伝送するフレーム数を高くする必要がある。従って、静止画像に合わせてバッファメモリのサイズを決めると、メモリ容量が大きくなってしまう問題点を生ずる。

本発明はこの上記の課題に着目し、動画像データと静止画像データを伝送する場合に、画質（画素数）を落とすことなく、通信用のメモリ量を削減できる画像伝送装置を提供することを目的とするものである。

以下に、（請求項１〜５）の発明による画像伝送装置について、その構成、対応する実施例、作用・効果を述べる。

（請求項１）
（構成）
請求項１の発明による画像伝送装置は、第１のフレームレート及びこの第１のフレームレートより低い第２のフレームレートで被写体の撮像とこの被写体に係る画像データの伝送を行う画像伝送装置であって、被写体に係る画像データを出力する撮像部と、前記第２のフレームレートに係る、単位時間あたりの圧縮後の画像データの量が、前記第１のフレームレートに係る、単位時間あたりの圧縮後の画像データの量以下となるように圧縮率を切り替え、前記撮像部より出力される画像データを圧縮して圧縮データとして出力する画像圧縮部と、前記圧縮データを一時的に蓄積する蓄積部と、前記蓄積部に蓄積された圧縮データを一定のレートで送信する送信部と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、実施例１，２が対応する。請求項１中の撮像部は実施例１，２ではそれぞれ図１と図１０のイメージセンサ部が該当する。画像圧縮部は、実施例１，２ではそれぞれ図１と図１０の圧縮部，圧縮テーブル設定部及び２つの圧縮テーブルが該当する。蓄積部は実施例１では図１のデュアルポートメモリが該当し、実施例２では図１０のシングルポートメモリが該当する。送信部は実施例１，２では図１と図１０の送信部が該当する。なお、第１のフレームレートに係る画像は、動画像に、また、第２のフレームレートに係る画像は、静止画像に、夫々対応する。

（作用・効果）
第２のフレームレートに係る、単位時間当たりの圧縮後の画像データの量が、第１のフレームに係る、単位時間当たりの圧縮後の画像データの量以下となるように圧縮率を切り替えることで、第１のフレームレートの画像データと第２のフレームレートの画像データとで蓄積部を共用してかつ、間引き等により画素数を減らすことなく、一定のレートで、第１のフレームレート、第２のフレームレートで画像データの送信を行なうことが可能になる。

（請求項２）
（構成）
請求項１の画像伝送装置における前記画像圧縮部は、前記第２のフレームレートに係る画像データの送信時に、１フレーム分の前記圧縮データを所定のデータ量で分割する分割部を有することを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、実施例１，２が対応する。請求項２中の分割部は実施例１，２では図６と図１８の分割部が該当する。

（作用・効果）
第２のフレームレートでの画像データの伝送時には、１フレーム分の圧縮データが分割されて蓄積部に蓄積されることとなるので、分割された圧縮データを単位として送信部における送信が可能となり、蓄積部のメモリサイズを小さく保ったまま、圧縮率を下げた高画質な画像データの伝送を行うことが可能となる。

（請求項３）
（構成）
請求項２の画像伝送装置における前記画像圧縮部は、前記撮像部が出力する前記画像データの画面上の位置を検出し、画像位置検出情報を出力する画像位置検出部を有し、前記分割部は、前記画像位置検出部が出力する画像位置検出情報に従い１フレーム分の圧縮データの分割を行なうことを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、実施例２が対応する。請求項３中の画像位置検出部は、この実施例２では図１８の画像位置検出部が該当する。また、画像位置検出情報は図１８の画像位置検出信号が該当する。

（作用・効果）
画像位置検出部によって分割位置を設定するため、分割を行なうタイミングが予測可能であり、分割によるオーバーヘッドの少ない効率の良い処理をすることが可能となる。

（請求項４）
（構成）
請求項２の画像伝送装置における前記画像圧縮部は、前記蓄積部へ出力する前記圧縮データのデータ量を監視し、蓄積量検出情報を出力する蓄積量監視部を有し、前記分割部は、前記蓄積量検出情報に基づき、１フレーム分の圧縮データの分割を行なうことを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、実施例１が対応する。請求項４中の蓄積量監視部は、この実施例１では図６のデータ量監視部が該当する。また、蓄積量検出情報は図６の領域フル信号（領域ＦＵＬＬ信号）が該当する。

（作用・効果）
圧縮データのデータ量によって分割位置を設定するため、蓄積部へ蓄積する圧縮データ量を一定にすることが可能となる。このため、送信部が蓄積部に蓄積されたデータを送信する送信時間が一定となり、無駄なデータの送信や通信のオーバーヘッドの少ない効率の良い通信を行なうことが可能となる。

（請求項５）
（構成）
請求項２から４までの何れか１項の画像伝送装置における前記画像圧縮部は、前記撮像部が出力する１フレーム分の画像データを所定の画像サイズ毎にブロック化し、ブロック化画像データとして出力するブロック化部を有し、前記画像圧縮部は、各ブロック化画像データを１画面として圧縮を行ない、前記分割部は、前記ブロック単位で、前記１フレーム分の圧縮データの分割を行なうことを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、実施例１，２が対応する。請求項５中のブロック化部は、この実施例１，２ではそれぞれ図６と図１８のブロック化部が該当する。

（作用・効果）
ブロック化部によりブロック単位に分けられた画像を圧縮および伝送することにより、伝送路上の障害により一部ブロックが欠落しても他のブロックに影響しないため、欠落ブロック以外は良好な画像を得ることが可能となる。

本発明によれば、動画像データと静止画像データを伝送レートを同じくして伝送するにあたって、画質（画素数）を落とすことなく、通信用のメモリ量を削減することが可能となる。

発明の実施例について図面を参照して説明する。

本発明の実施例１の画像伝送装置が適用される内視鏡システムを例として説明する。
図２は本発明を用いた内視鏡システムの概要を示している。
この内視鏡システムは、体腔内にて撮影を行い画像データを無線にて送出する本発明の実施例１である体内撮影用画像伝送装置１０と、体内撮影用画像伝送装置１０から送出された画像の蓄積、解析、表示等を行なう体外装置２０と、を備えた構成となっている。

体内撮影用画像伝送装置１０については、後に図１にて説明する。体外装置２０は、画像伝送装置１０からの無線信号を受信し、画像データを取得する受信部２１と、受信部２１からの画像データを一旦蓄積する画像蓄積部２２と、画像蓄積部２２に蓄積した画像データを解析し、表示用信号であるテレビジョン信号に変換する画像処理部２３と、画像処理部２３からのテレビジョン信号を表示するモニタ２４と、を備えている。

内視鏡システムでは、適用部位により動画像撮影と静止画像撮影を使い分けている。例えば、通過速度の速い器官を撮影する場合には、病変部を確実に撮影するために動画が必要となる。一方、通過速度の遅い部位では、長時間の観測が必要となる。本実施例の体内撮影用画像伝送装置はバッテリーにより電力が供給されている。長時間動作させるためには、消費電力を抑えるために無駄な画像を撮らないようにフレームレートを遅くすることが望ましい。

図１は本発明の実施例１の体内撮影用画像伝送装置の概略構成を示している。
本実施例１の体内撮影用画像伝送装置１０は、ＣＣＤイメージセンサにより画像の撮像を行う撮像部としてのイメージセンサ部１１と、イメージセンサ部１１により撮像された画像に対して、Ａ／Ｄ変換、画素欠陥補正、ホワイトバランス、γ補正等の画像処理を施す画像処理部１２と、処理された画像データをＪＰＥＧ方式により圧縮する圧縮部１３と、動画像圧縮用と静止画像圧縮用の異なる圧縮率を持つ圧縮テーブル１４と圧縮テーブル１５を圧縮部１３に設定する圧縮テーブル設定部１６と、圧縮データを一時的に蓄える蓄積部としてのデュアルポートメモリ１７と、デュアルポートメモリ１７に蓄積したデータを読み出して一定の送信レートで前記体外装置２０へ無線信号にて送出する送信部１８とを備えている。圧縮部１３と圧縮テーブル１４と圧縮テーブル１５と圧縮テーブル設定部１６とは、画像圧縮部を構成している。

ここで、圧縮テーブル１４と１５とで設定される圧縮率は、静止画像（第２のフレームレートに係る画像）に係る、単位時間当たりの圧縮後の画像データの量が、動画像（第１のフレームレートに係る画像）に係る単位時間当たりの圧縮後の画像データの量以下となるように、設定されている。ここでは、静止画像用には１／１０の圧縮率、動画像用には１／２０の圧縮率を、テーブルとして備えている。

また、イメージセンサ部１１は、例えば約１０万画素のＣＩＦ（Common Intermediate Formatの略）画像（３５２×２８８画素）を出力するＣＣＤイメージセンサとする。
図３は図１における上記デュアルポートメモリ１７の構成を模式的に表した図である。

上記デュアルポートメモリ１７は、２つの入出力ポート１７１，１７３とメモリ部１７２とを備えている。本実施例では、入出力ポート１７１を入力ポートとして用いて、圧縮部１３からの圧縮された画像データを、２つの領域（領域１，２）を有したメモリ部１７２に書き込み、読み出すときは、入出力ポート１７３を出力ポートとして用いて、メモリ部１７２に書き込まれている画像データを送信部１８へ読み出す。

圧縮部１３では、動画像伝送時は、元の画像データの約１／２０に圧縮してデュアルポートメモリ１７への書き込みを行い、静止画像伝送時は、元の画像データの約１／１０に圧縮してデュアルポートメモリ１７への書き込みを行う。

圧縮データを格納するデュアルポートメモリ１７は、２つの領域を持っている。これは、前段の画像処理および画像圧縮の動作と、後段の送信の動作とを並列に行なうために、２段バッファとして使用するためである。

このように本発明の実施例１では、デュアルポートメモリ１７を２つの領域（領域１，２）に分けて書込み及び読出しを行う。画像データの圧縮データをまず領域１に書き込み、この領域１への書き込みが終わると領域１の書き込みに続けて領域２に書き込み始める。この領域２へ書き込み始めるときに、送信部１８からの読出し要求に従って、デュアルポートメモリ１７は領域１に書き込んである圧縮データを出力し、送信部１８は送信する。同様にして、圧縮データの領域２への書き込みが終わり、領域１へ圧縮データを書き込み始めるときに、送信部１８からの読出し要求に従って、領域２に書き込んである圧縮データを読み出して送信する。すなわち、領域１に書き込んでいるときは、領域２の読み出しを行い、領域２に書き込んでいるときは、領域１の読み出しを行うように動作する。

ここで、デュアルポートメモリ１７のメモリ容量は、動画像伝送時の１フレーム分の圧縮データのデータ量が、デュアルポートメモリ１７の領域１又は領域２の一方の領域に書き込むことが可能なメモリ容量とする。すなわち、デュアルポートメモリ１７のメモリ容量は、動画像伝送時の２フレーム分の圧縮データのデータ量に相当する容量を有している。一方、静止画像は、上述のように、その圧縮率が、動画像の圧縮の圧縮率の１／２に設定されているので、静止画像伝送時は、デュアルポートメモリ１７の領域１又は領域２の一方の領域には、容量的には、静止画像伝送時の１フレーム分の圧縮データの１／２のデータしか書き込めない。従って、静止画像伝送時には、静止画像の１フレーム分の圧縮データをフレーム前半とフレーム後半の１／２ずつに分けてそれぞれを領域１又は領域２の各領域に対して書き込み又は読み出しを行う。

次に、図１における動画像伝送時の動作を図４のタイミングチャートを参照して説明する。動画像伝送時には、イメージセンサ部１１は、第１のフレームレートである、毎秒３０枚（１／３０ｓｅｃ＝約３３ｍｓ周期）で画像を出力する。

イメージセンサ部１１から出力された画像に対して、画像処理部１２および圧縮部１３はリアルタイムで処理を行なう。圧縮部１３はＪＰＥＧ方式により、画像を約１／２０に圧縮する。すなわち、図４の動画像伝送時のタイミングチャートに示すように、フレーム１を圧縮部１３が処理している期間は圧縮部１３は領域１にフレーム１の圧縮データを書き込み、フレーム２では領域２にフレーム２の圧縮データを書き込み、フレーム３では再び領域１に書き込みを行なう。一方、送信部１８は、圧縮部１３がフレーム２を処理している期間に、前フレームで、圧縮部１３が領域１に書き込んだフレーム１の圧縮データを読み出し、送信を行ない、圧縮部１３がフレーム３を処理している期間には領域２に書き込まれたフレーム２の圧縮データを読み出し、送信を行なう。

このように、動画像伝送時には二段バッファを用い、各ブロックが常に動作し続けることにより、連続的に処理を行っている。領域１および領域２の各容量は１フレーム分の画像データを１／２０に圧縮したサイズとなっている。

次に、図１における静止画像伝送時の動作を図５のタイミングチャートを参照して説明する。静止画像伝送時には、イメージセンサ部１１は、第２のフレームレートである、毎秒２枚（５００ｍｓ周期）で画像を伝送する。
動画像伝送時と同様に、入力された画像に対して、画像処理部１２および圧縮部１３はリアルタイムで処理を行なう。静止画像伝送時には高画質にするため、動画像伝送の倍である約１／１０に圧縮する。

前述のようにデュアルポートメモリ１７上の２つの領域はそれぞれ動画像伝送時の、データを１／２０に圧縮したサイズに合わせているため、静止画像伝送時には１つの領域には約０．５フレーム分のデータしか格納することができない。このため、圧縮データの領域１および２への格納は、１フレーム分の圧縮データを分割して行なっている。

図５の静止画像伝送時のタイミングチャートに示すように、１フレームの静止画像を前半と後半に分けて、画像処理、圧縮、デュアルポートメモリ１７ヘの格納を行なう。このように、領域１へのフレーム前半部の格納が終わった後、領域２へフレーム後半部を格納する。同時に送信部１８は領域１からフレーム前半部の圧縮データの読み出しを行ない送信を開始する。画像データを１／２０に圧縮する動画像伝送時には、画像の圧縮時間と伝送時間はほぼ等しいが、１／１０に圧縮する静止画像伝送時には、伝送には画像の圧縮時間のほぼ倍の時間が必要になる。なお、消費電力を抑えるためには通信のオーバーヘッドを減らし送信部１８は連続的に動くことが望ましい。つまり画像データを一度デュアルポートメモリ１７に蓄えてから送信した方が消費電力的には有利である。フレーム後半部の領域２への格納が終わった後もまだ、領域１のフレーム前半部の送信部１８による伝送が完了していないため、領域２のフレーム後半部は直ぐには読み出されない。送信部１８は領域１のフレーム前半部の伝送が完了した後、領域２のフレーム後半部の伝送を開始する,。

次に、以上の静止画像伝送時の動作を行うための画像の分割方法について説明する。
図６は画像を分割して圧縮する上記圧縮部１３のブロック図であり、図７は画像のブロック化を説明する図である。

圧縮部１３に入力した画像データはブロック化部１３１により図７に示すような８ライン毎のブロックに分割される。本実施例では、画像データのライン数は２８８であるため、８ライン毎に分割すると３６ブロックとなる。各ブロックは、それぞれが１つの画面としてＪＰＥＧ圧縮部１３２により圧縮される。このように８ライン毎のブロックに分割するのは、ＪＰＥＧ圧縮部１３２では、８×８画素単位で圧縮処理を行うためである。なお、図６に示すようにＪＰＥＧ圧縮部１３２は圧縮率を切り替えるために、ＪＰＥＧ圧縮テーブル１４，１５が外部から圧縮テーブル設定部１６にて設定される構成となっており、静止画像伝送時には前述のように１／１０の圧縮テーブルが設定される。メモリコントロール部１３３は、圧縮されたデータをデュアルポートメモリ１７の所定のアドレスに格納するものである。データ量監視部１３４は圧縮データの積算数を監視するもので、分割部１３５はデータ量監視部１３４の出力によりメモリコントロール部１３３へ分割コントロール信号を出力し、圧縮データの分割を行う。

次に、図６における静止画像の分割時の動作について図８のタイミングチャートを参照して説明する。
ブロック化部１３１から出力されたブロックデータは各ブロック毎にＪＰＥＧ圧縮部１３２により圧縮される。メモリコントロール部１３３は、まず、領域１に圧縮データの書き込みを行なう。圧縮後のデータの量が所定の量、すなわち領域１の上限に近づいた場合に、データ量監視部１３４は領域フル信号（以下、領域ＦＵＬＬ信号）をハイレベル（以下、Ｈレベル）にする。分割部１３５は領域ＦＵＬＬ信号がＨレベルになることにより、分割コントロール信号をＨレベルにする。メモリコントロール部１３３は分割コントロール信号がＨレベルになった場合に、その次のブロックデータ（ブロックｎ＋１）以後を領域２に格納する。

以上、本実施例によれば、動画像に対する圧縮率と、静止画像に対する圧縮率との関係を、上述のように設定しているので、動画像と静止画像の伝送において、圧縮した動画像２フレーム分のサイズのメモリを用い、一定の送信レートでの送信が可能となるため、動画像伝送時と静止画像伝送時で構成や制御方法を大きく変更することなく簡易に対応することが可能となる。

また、画像を予めブロック化し、個別の画像として圧縮することにより、圧縮後に任意の位置での画像の分割をすることを簡易に実現するとともに、伝送路上の伝送データの一部が欠落しても他のブロックヘ影響しない構成となっている。また、メモリ領域への画像の分割を圧縮後のデータサイズにより制御することにより、本実施例で使用しているＪＰＥＧ圧縮のような画像によって圧縮率が変化する可変長圧縮でも、静止画像のフレーム前半部のデータ量が常に一定であり、例えば、画像のフレーム前半部に異常があり圧縮率が高くなる場合でも送信時間が短くなることは無いため、フレーム前半部とフレーム後半部の間で送信が中断することを防止できる。

次に、本発明の実施例２の画像伝送装置が適用される監視カメラを例として説明する。
図９は本発明の実施例２の監視カメラ用画像伝送装置を用いた監視カメラシステムの概要を示している。

この監視カメラシステムは、遠隔地にて撮影を行い画像データを有線にて送出する本発明の実施例２である監視カメラ用画像伝送装置３０と、監視カメラ用画像伝送装置３０から送出された画像データを蓄積、表示する表示装置４０と、を備えた構成となっている。

監視カメラ用画像伝送装置３０については、後に図１０にて説明する。表示装置４０は、画像伝送装置３０からの有線信号を受信し、画像データを取得する受信部４１と、受信部４１からの画像データを一旦蓄積する画像蓄積部４２と、画像蓄積部４２に蓄積した画像データを解析し、表示用信号であるテレビジョン信号に変換する画像処理部４３と、画像処理部４３からのテレビジョン信号を表示するモニタ４４と、を備えている。

本実施例が用いられた監視カメラシステムにおいても、状況により動画像撮影と静止画像撮影を使い分けている。通常の監視時には、蓄積後の確認作業を短時間で行なうためにはフレームレートを落とすことが望ましい。また、異常発生を検出した場合には状況の解析を行うために動画での撮影を行なう。

図１０に本実施例２の監視カメラ用画像伝送装置の概略構成を示している。
本実施例２の監視カメラ用画像伝送装置３０は、ＣＭＯＳイメージセンサにより画像の撮像を行う撮像部としてのイメージセンサ部３１と、イメージセンサ部３１により撮像された画像に対して、Ａ／Ｄ変換、画素欠陥補正、ホワイトバランス、γ補正等の画像処理を施す画像処理部３２と、画像処理された画像データをＪＰＥＧ方式により圧縮する圧縮部３３と、動画像圧縮用と静止画像圧縮用の異なる圧縮率を持つ圧縮テーブル３４と圧縮テーブル３５を圧縮部３３に設定する圧縮テーブル設定部３６と、圧縮データを一時的に蓄える蓄積部としてのシングルポートメモリ３７と、シングルポートメモリ３７に蓄積したデータを表示装置４０へ送出する送信部３８とを備えている。圧縮部３３と圧縮テーブル３４と圧縮テーブル３５と圧縮テーブル設定部３６とは、画像圧縮部を構成している。

ここで、動画像及び静止画像それぞれの圧縮率の設定の仕方については、実施例１と同様である。ここでは、静止画像用には１／７の圧縮率、動画像用には１／２０の圧縮率を、テーブルとして備えている。
なお、イメージセンサ部３１は、例えば約３０万画素のＶＧＡ画像（６４０×４８０画素）を出力するＣＭＯＳイメージセンサである。

図１１は上記シングルポートメモリ３７の構成を模式的に表した図であり、図１２は図１１の動作を説明するタイミングチャートである。
上記シングルポートメモリ３７は、１つの入出力ポート３７１と、メモリ部３７２と、切替信号にて交互にオンオフするスイッチ３７３，３７４とを備えている。本実施例では、圧縮部３３からの圧縮された画像データを、２つの領域（領域１，２）を有したメモリ部３７２に書き込むときは、スイッチ３７３をオン，スイッチ３７４をオフとし、入出力ポート３７１を入力ポートとして使って書き込みを行い、また、メモリ部３７２に書き込まれている画像データをメモリ部３７２から読み出すときは、スイッチ３７３をオフ，スイッチ３７４をオンとし、入出力ポート３７１を出力ポートとして使って、メモリ部３７２の画像データを送信部３８へ読み出す。

図１２は、図１１のシングルポートメモリ３７における、書込み／読出しの切替信号、及び圧縮データの書き込み及び読み出しのタイミングを示している。切替信号がＨレベルのとき、スイッチ３７３がオン、スイッチ３７４がオフして、圧縮部３３からの圧縮データが入出力ポート３７１を介してメモリ部３７２の例えば領域1に書き込まれ、そのとき送信部３８への読出しは行われない。また、切替信号がローレベル（以下、Ｌレベル）のとき、スイッチ３７３がオフ、スイッチ３７４がオンして、圧縮部３３からは圧縮データの書込みが行われず、メモリ部３７２の領域２に書き込まれている圧縮データが入出力ポート３７１を介して送信部３８へ読み出される。

本発明の実施例２においても、実施例１の場合と同様に、シングルポートメモリ３７を２つの領域（領域１，２）分けて書込み及び読出しを行う。画像データの圧縮データをまず領域１に書き込み、この領域１への書き込みに続けて領域２に書き込み始めるときに、送信部３８からの読出し要求に従って、領域１に書き込んである圧縮データを読み出して送信する。同様にして、圧縮データの領域２への書き込みが終わり、領域１へ圧縮データを書き込み始めるときに、送信部３８からの読出し要求に従って、領域２に書き込んである圧縮データを読み出して送信する。但し、実施例１の場合とは異なり、書込み，読出しが図１２で述べたように切替信号に従って交互に高速に切り替えて行われる。高速に切り替えられるために、実施例１におけるデュアルポートメモリ１７の場合と同様に、マクロ的には書込みと読出しが同時に行われているように見える。従って、領域１に書き込んでいるときは、領域２の読み出しを行い、領域２に書き込んでいるときは、領域１の読み出しを行うようにする。

次に、図１０における動画像伝送時の動作を図１３のタイミングチャートを参照して説明する。
動画像伝送時には、イメージセンサ部３１は、第１のフレームレートである、毎秒１５枚（１／１５ｓｅｃ＝約６６ｍｓ周期）で画像を出力する。出力された画像に対して、画像処理部３２および圧縮部３３はリアルタイムで処理を行なう。圧縮部３３はＪＰＥＧ方式により、画像を約１／２０に圧縮する。

図１３の動画像伝送時のタイミングチャートに示すように、フレーム１を圧縮部３２が処理している期間は圧縮部３２は領域１にフレーム１の圧縮データを書き込み、フレーム２では領域２にフレーム２の圧縮データを書き込み、フレーム３では再び領域１に書き込みを行なう。一方、送信部３８は、圧縮部３３がフレーム２を処理している期間に、前フレームで圧縮部３３が領域１に書き込んだフレーム１の圧縮データを読み出し、送信を行ない、圧縮部３３がフレーム３を処理している期間には領域２に書き込まれたフレーム２の圧縮データを読み出し、送信を行なう。このように、動画像伝送時には二段バッファを用い、各ブロックが常に動作し続けることにより、連続的に処理を行っている。なお、領域１および領域２の容量は１フレーム分の画像データを１／２０に圧縮したサイズとしている。

なお、図１３のタイミングチャートでは、シングルポートメモリ３７の領域１への書き込みと領域２からの読み出しが同時に行われているが、図１２で説明したように実際には時分割のアクセスとなる。図１４にシングルポートメモリ３７のアクセスタイミングチャートを示す。このように圧縮部３３からの出力（書込み）と送信部３８への入力（読出し）は排他的に動作している。すなわち、タイミング１では圧縮部３３より領域１への書き込みを行い、次のタイミング２では領域２から送信部３８ヘデータを読み出している。このようにして、見かけ上領域１への書き込みと領域２からの読み出しを並列に行っている。領域２への書き込みと領域１からの読み出しについても同様である。

本実施例２では、イメージセンサ部３１としては、アクセスするタイミングがコントロール可能なインターフェースを持つＣＭＯＳイメージセンサを使用している。すなわち、実施例１で用いたイメージセンサ部１１は読み出す領域が固定のＣＣＤイメージセンサであったが、実施例２のＣＭＯＳイメージセンサでは読み出す領域を任意に設定可能（切り出し可能）である。

図１５はＣＭＯＳイメージセンサのような領域設定が可能なイメージセンサとその後段の画像処理部の接続図を、図１６は図１５におけるイメージセンサの読み出し時のタイミングチャートを示している。
本実施例２のイメージセンサ部では、図１５の接読図に示すように読み出しクロックを画像処理部３２よりイメージセンサ３１に供給する。図１６に示すように、画像処理部３２は読み出しクロックの供給を中断することにより、イメージセンサ側のデータ出力を一時的に停止し遅らせることが可能となる。

次に、図１０における静止画像伝送時の動作を図１７のタイミングチャートを参照して説明する。
静止画像伝送時には、イメージセンサ部３１は、第２のフレームレートである、毎秒２枚（５００ｍｓ周期）で画像を出力する。動画像伝送時と同様に、入力された画像に対して、画像処理部３２および圧縮部３３はリアルタイムで処理を行なう。静止画像伝送時には高画質にするため、画像を動画像伝送時の３倍である約１／７に圧縮する。

前述のようにシングルポートメモリ３７上の２つの領域はそれぞれ動画像伝送時の、画像データを１／２０に圧縮したサイズに合わせているため、静止画像伝送時は、１つの領域には、１／３フレーム分のデータしか格納することができない。このため、圧縮データの領域１および２への格納は、１フレーム分の圧縮データを分割して行なっている。

図１７の静止画像伝送時のタイミングチャートに示すように１フレームの静止画像を３分割し、画像領域１、画像領域２、画像領域３と分けて、画像処理、圧縮、シングルポートメモリ３７ヘの格納を行なう。このタイミングチャートに示すようにシングルポートメモリ３７の領域１に画像領域１の格納が終わった後、シングルポートメモリ３７の領域２に画像領域２を格納する。同時に送信部３８はシングルポートメモリ３７の領域１から画像領域１の圧縮データの読み出しを行ない送信を開始する。画像領域２の格納が終わった後もまだ、シングルポートメモリ３７の領域１の読み出し及び送信が完了していないため、シングルポートメモリ３７の領域２は直ぐには読み出されない。このとき、画像処理部３２はイメージセンサ部３１へのクロック供給を停止し、画像領域３の出力を遅らせている。領域１の送信が完了した後、送信部３８は領域２の送信を開始する。また、送信部３８がシングルポートメモリ３７の領域１の送信完了時に送信完了信号をＨレベルにすると、画像処理部３２はイメージセンサ３１ヘのクロック供給を再開し、これによってイメージセンサ３１は画像領域３の画像データを出力し、圧縮部３３は画像領域３の圧縮データをシングルポートメモリ３７の領域１に格納する。

図１８は画像を分割して圧縮する上記圧縮部３３の構成を示すブロック図である。
圧縮部３３に入力した画像データはブロック化部３３１により１６ライン毎のブロックに分けられる。本実施例では画像データのライン数は４８０であるため、３０ブロックとなる。実施例１と同様に各ブロックは、それぞれが１つの画面としてＪＰＥＧ圧縮部３３２により圧縮される。なお、ＪＰＥＧ圧縮部３３２は圧縮率を切り替えるために圧縮テーブル３４又は３５が外部から設定される構成となっており、静止画像伝送時には前述のように１／７圧縮のテーブルが設定される。メモリコントロール部３３３は、圧縮されたデータをシングルポートメモリ３７の所定のアドレスに格納するものである。画像位置検出部３３４は画像データの画面上の位置を検出するもので、分割部３３５は画像位置検出部３３４の出力に従いメモリコントロール部３３３へ分割コントロール信号を出力し、圧縮データの分割を行うものである。

次に、図１８における静止画像の分割時の動作を図１９及び図２０を参照して説明する。
図１９は図１８における静止画像の分割時の動作を説明するタイミングチャートであり、図２０は画像領域の説明図である。

ブロック化部３３１から出力されたブロックデータは各ブロック毎にＪＰＥＧ圧縮部３３２により圧縮される。分割部３３５は分割コントロール信号を画像領域１としてメモリコントロール部３３３に出力し、メモリコントロール部３３３はシングルポートメモリ３７の領域１に圧縮データの書き込みを行なう。入力される画像データの位置が所定の位置、すなわち画像領域１の上限に近づいた場合に、画像位置検出部３３４は画像位置検出信号をＨレベルにする。例えばｎ番目のブロックｎの圧縮データ格納時に画像位置検出信号がＨレベルとなる。分割部３３５は画像位置検出信号がＨレベルになることにより、分割コントロール信号を画像領域２として、メモリコントロール部３３３に出力する。メモリコントロール部３３３は分割コントロール信号が画像領域２になった場合に、その次のブロックデータ（ブロックｎ＋１）から領域２に格納する。

再び入力される画像データの位置が所定の位置、すなわち画像領域２の上限に近づいた場合に、画像位置検出部３３４は画像位置検出信号をＨレベルにする。例えば、ｍ番目のブロックｍの圧縮データ格納時に画像位置検出信号がＨレベルとなる。分割部３３５は画像位置検出信号がＨレベルになることにより、分割コントロール信号を画像領域３として、メモリコントロール部３３３に出力する。メモリコントロール部３３３は分割コントロール信号が画像領域３になった場合に、その次のブロックデータ（ブロックｍ＋１）から再び領域１に格納する。

以上、本実施例によれば、動画像に対する圧縮率と、静止画像に対する圧縮率との関係を上述のように設定しているので、動画像と静止画像の伝送において、動画像で使用する、静止画像圧縮データの１／３のサイズのメモリを用い、一定の送信レートでの送信が可能となるため、動画像伝送時と静止画像伝送時で構成や制御方法を変更することなく簡易に対応することが可能となる。

実施例１，２は、各種変形が可能である。本実施例ではＣＩＦ画像とＶＧＡ画像としたが、その他の画素数でも適用可能である。また、実施例ではデュアルポートメモリとシングルポートメモリを時分割で使用した例を挙げているが、フレームメモリや、複数のシングルポートメモリのバスを切り替えて使用することも可能である。また、圧縮方式としてはＪＰＥＧを例として挙げているが、ＪＰＥＧ２０００やその他の非可逆圧縮方式や可逆圧縮方式を用いることも可能である。

本発明は、動画像データと静止画像データを伝送する画像伝送装置に広く応用することが可能である。動画像データと静止画像データを伝送レートを同じくして伝送する場合に、画質（画素数）を落とすことなく、通信用のメモリ量を削減することが可能となる。

本発明の実施例１の体内撮影用画像伝送装置の概略構成を示すブロック図。 本発明の実施例１の体内撮影用画像伝送装置が適用される内視鏡システムのブロック図。 図１におけるデュアルポートメモリの構成を模式的に説明する図。 図１における動画像伝送時の動作を説明するタイミングチャート。 図１における静止画像伝送時の動作を説明するタイミングチャート。 図１における圧縮部の構成を示すブロック図。 画像のブロック化を説明する図。 図６における静止画像の分割時の動作を説明するタイミングチャート。 本発明の実施例２の監視カメラ用画像伝送装置が適用される監視カメラシステムの概要を示すブロック図。 本発明の実施例２の監視カメラ用画像伝送装置の概略構成を示すブロック図。 図１０におけるシングルポートメモリの構成を模式的に説明する図。 図１１の動作を説明するタイミングチャート。 図１０における動画像伝送時の動作を説明するタイミングチャート。 図１０におけるシングルポートメモリのアクセスタイミングチャート。 図１０におけるイメージセンサ接続図。 図１５におけるイメージセンサの読み出しタイミングチャート。 図１０における静止画像伝送時の動作を説明するタイミングチャート。 図１０における圧縮部の構成を示すブロック図。 図１８における静止画像の分割時の動作を説明するタイミングチャート。 画像領域の説明図。 従来例の動画像と静止画像を伝送する方式の概略のブロック図。

符号の説明

１１，３１…イメージセンサ部（撮像部）
１２，３２…画像処理部
１３，３３…圧縮部
１４，１５，３４，３５…圧縮テーブル
１６，３６…圧縮テーブル設定部
１７…デュアルポートメモリ（蓄積部）
１８，３８…送信部
３７…シングルポートメモリ（蓄積部）
代理人 弁理士 伊 藤 進

Claims (5)

1. 第１のフレームレート及びこの第１のフレームレートより低い第２のフレームレートで被写体の撮像とこの被写体に係る画像データの伝送を行う画像伝送装置であって、
   被写体に係る画像データを出力する撮像部と、
   前記第２のフレームレートに係る、単位時間あたりの圧縮後の画像データの量が、前記第１のフレームレートに係る、単位時間あたりの圧縮後の画像データの量以下となるように圧縮率を切り替え、前記撮像部より出力される画像データを圧縮して圧縮データとして出力する画像圧縮部と、
   前記圧縮データを一時的に蓄積する蓄積部と、
   前記蓄積部に蓄積された圧縮データを一定のレートで送信する送信部と、
   を有する画像伝送装置。
2. 前記画像圧縮部は、前記第２のフレームレートに係る画像データの伝送時に、１フレーム分の前記圧縮データを所定のデータ量で分割する分割部を有することを特徴とする請求項１の画像伝送装置。
3. 前記画像圧縮部は、前記撮像部が出力する前記画像データの画面上の位置を検出し、画像位置検出情報を出力する画像位置検出部を有し、
   前記分割部は、前記画像位置検出部が出力する画像位置検出情報に従い１フレーム分の圧縮データの分割を行なうことを特徴とする請求項２の画像伝送装置。
4. 前記画像圧縮部は、前記蓄積部へ出力する前記圧縮データのデータ量を監視し、蓄積量検出情報を出力する蓄積量監視部を有し、
   前記分割部は、前記蓄積量検出情報に基づき、１フレーム分の圧縮データの分割を行なうことを特徴とする請求項２の画像伝送装置。
5. 前記画像圧縮部は、前記撮像部が出力する１フレーム分の画像データを所定の画像サイズ毎にブロック化し、ブロック化画像データとして出力するブロック化部を有し、
   前記画像圧縮部は、各ブロック化画像データを１画面として圧縮を行ない、前記分割部は、前記ブロック単位で、前記１フレーム分の圧縮データの分割を行なうことを特徴とする請求項２から４までの何れか１項の画像伝送装置。

Images