JP3811137B2

JP3811137B2 - 被写体の動き検出回路

Info

Publication number: JP3811137B2
Application number: JP2003109859A
Authority: JP
Inventors: 文紀霜鳥
Original assignee: Nippon Avionics Co Ltd
Current assignee: Nippon Avionics Co Ltd
Priority date: 2003-04-15
Filing date: 2003-04-15
Publication date: 2006-08-16
Anticipated expiration: 2023-04-15
Also published as: JP2004320281A

Description

【０００１】
【発明の属する技術分野】
本発明は、書画カメラを構成する二次元ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサで撮像する画像とこれを描画する液晶パネルにおいて、画像の静止／動きに応じて解像度とフレームレートを制御する画像制御技術に関するものである。
【０００２】
【従来の技術】
従来書画カメラ付きプロジェクタが公知である。
この書画カメラは被写体置き台上に置かれた被写体を書画カメラで撮像して拡大投影するものである。この拡大投影像をプロジェクタが有する解像度で表示しようとすると低フレームレートでの表示となってしまう。このためこの書画カメラ付きプロジェクタを用いて被写体を拡大投影する場合、被写体を最適な位置に置くために被写体置き台上で被写体を移動させるが、このとき被写体の動きに合わせて拡大投影像がスムーズに動かないという問題点があった。
【０００３】
この欠点を解決するために従来は次のような手段を採用していた。
図５に基づき、この従来の技術について説明する。
図５においては、撮像の為のＣＣＤカメラやレンズ等の光学系の書画カメラ部分をプロジェクタの筐体内に収容する構造とし、投影の方式をフロント投影として図示する。また、既知の技術に属する光学系については基本的な光学経路のみを示している。
【０００４】
図５に示すように、従来の書画カメラ付きプロジェクタは、ＣＣＤ撮像部１、ＣＣＤ信号処理部２、及び液晶投写部３および動き検出画像制御部４からなる。
【０００５】
ＣＣＤ撮像部１は、１１の二次元ＣＣＤセンサ、１２の撮像レンズ、１４の被写体を載せるガラス板、１５の被写体の撮像面をガラス板１４を通して照らす二つの白色照明ランプ、１６の被写体からの光を可視光全域にわたって反射し撮像レンズ１２に入射する全反射ミラー、１７の二次元ＣＣＤセンサ１１の出力をＣＣＤ信号処理部２に送出するバッファアンプ、及び１８の二次元ＣＣＤセンサ１１を駆動するＣＣＤ駆動回路により構成する。１３は平面的な被写体である。
【０００６】
ガラス板１４に接して置かれた被写体１３は、全反射ミラー１６と撮像レンズ１２を通して二次元ＣＣＤセンサ１１の受光面に結像して光電変換される。
二次元ＣＣＤセンサ１１の出力はＣＣＤ駆動回路１８のタイミング信号によって逐次読み出され、バッファアンプ１７によってアナログの画像信号としてＣＣＤ信号処理部２に導かれる。
【０００７】
ＣＣＤ信号処理部２は、２１の画像信号切換回路、２２のＡ／Ｄ変換回路、２３の画像処理回路、及び２４の外部画像信号入力コネクタからなる。
画像信号切換回路２１は、ＣＣＤ撮像部１からの内部画像信号か又は外部画像信号入力コネクタ２４からの外部画像信号の何れか一方を選択する。Ａ／Ｄ変換回路２２は、画像信号切換回路２１の出力するアナログ画像信号をデジタル信号に変換し画像処理回路２３に入力する。
画像処理回路２３は、基準となる黒レベルの設定、γ補正、シェーディング補正、及び輪郭強調その他の画質の改善をデジタル的に処理し液晶投写部３に転送する。
【０００８】
液晶投写部３は、３１のフレームメモリ、３２の画像演算回路、３３のビデオ出力回路、３４の液晶パネル、３５の光源ランプ、３６のコールドミラー、３７の全反射ミラー、及び３８の投写レンズからなる。
【０００９】
フレームメモリ３１は、画像処理回路２３の出力するディジタル画像信号を格納する。
画像演算回路３２は、フレームメモリ３１に格納された画像信号の解像度と液晶パネル３４のもつ解像度を勘案した解像度に変換する。例えば、ＳＸＧＡ（ＳｕｐｅｒｅＸｔｅｎｄｅｄＧｒａｐｈｉｃｓＡｒｒａｙ）画面の１２８０×１０２４画素をＸＧＡ（ｅＸｔｅｎｄｅｄＧｒａｐｈｉｃｓＡｒｒａｙ）画面の１０２４×７６８画素に変換する画像データの圧縮等を施す解像度変換を行う。
【００１０】
解像度変換を受けた画像信号は、所定のフレームレートでビデオ出力回路３３に送出される。
ビデオ出力回路３３は、画像演算回路３２の出力をＤ／Ａ変換し、液晶パネル３４の描画に必要なビデオ信号を生成する。
光源ランプ３５の白色光はコールドミラー３６により不要な赤外光を取り除いたのち被写体の描画された液晶パネル３４を透過し、全反射ミラー３７により光路を屈折し投写レンズ３８に導かれる。
このようにして二次元ＣＣＤセンサ１１の捉えた被写体は、画像信号としてフレームメモリ３１に格納され、液晶パネル３４に描画され、図示しないスクリーンに投写される。
【００１１】
本従来の技術の特徴とする動き検出画像制御機能は、上述した構成に、動き検出画像制御部４を付加することにより成就する。
画像の動きは、フレームメモリ３１の内容を監視し変化分を検出することにより電気的に認識することができる。動き検出画像制御部４に内蔵される動き検出制御回路４１はフレームの更新毎にフレームメモリ３１に格納された画像を読み出し、前後のフレームについて画素データの変化分を検出する。
【００１２】
動き検出制御回路４１は、画素データに変化分がない場合には動きのない静止画像と判断し、投写している画像の解像度情報を画像演算回路３２から得て画素の全体読み出しをＣＣＤ駆動回路１８に指示する。
ＣＣＤ駆動回路１８は、全画素を読み出すタイミングパルスを発生し、二次元ＣＣＤセンサ１１に送出する。
これを受けた二次元ＣＣＤセンサ１１は全画素のセンサ出力信号をＣＣＤ信号処理部２に送り出す。
【００１３】
ＣＣＤ信号処理部２は前述と同様にセンサ出力信号をＡ／Ｄ変換する。こののち画像補正を行い液晶投写部３のフレームメモリ３１に格納する。
液晶投写部３はフレームメモリ３１から画像データを読み出し、ビデオ信号を生成して液晶パネル３４に描画し、光学経路によって図示しないスクリーンに画像を投写する。
動き検出制御回路４１が画素データの変化分を検出すると動きのある画像と判断し、画像演算回路３２からの解像度情報を参照して画素の間引き読み出しをＣＣＤ駆動回路１８に指示する。ＣＣＤ駆動回路１８はこれを受けたタイミングパルスを発生し二次元ＣＣＤセンサ１１に送出する。
こうして画素の間引き読み出しをすることにより、画質は粗くなるが画面の描画は高速になり、動きのある被写体に追随する投写が可能になる。
【００１４】
【特許文献１】
特開２００１−１０９４２２号公報
【００１５】
【発明が解決しようとする課題】
従来の書画カメラ付きプロジェクタは以上のように、動き検出画像検出部を付加し、ここでフレーム単位で画素データの変化を監視し、変化があった場合は動きのある画像と判断して、画素の間引き読み出しを行う。こうすることによって動きのある画像は画素を間引き読み出しして被写体の動きに追随させ、動きのない画像は画素を間引きせずに読み出すこととして被写体の動きには追随しないが精細な画像が得られる。
【００１６】
しかしながら、この従来の方法はフレーム単位で画素データの変化を監視するものであるため、たとえ１画素でも変化があると、被写体に動きがあると判断して画素の間引き読み出しを行ってしまい、被写体が実際は静止しているにもかかわらず、粗い画像を表示してしまうという問題点があった。
本発明は、上記課題を解決するためになされたもので、被写体の実際の動きを正確に捉え、被写体の静止／動きを検出することが可能な被写体の動き検出回路を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明になる被写体の動き検出回路は、
書画カメラによる被写体撮像時の被写体の静止／動きの検出において、
前記書画カメラからの画像の取り込み時間間隔、前記被写体が部分静止状態にあることを検出するパラメータである静止判別値と静止検出回数、前記被写体が完全な静止状態にあることを検出するパラメータである静止検出時間、前記被写体が動いている状態を検出するパラメータである動き検出時間からなる各パラメータを設定する操作部と、
前記書画カメラで撮像した画像をあらかじめ決められたＭ（Ｍは２以上の整数）個のブロックに分割し、前記操作部で設定した前記書画カメラからの画像取り込み時間間隔単位で各ブロックごとにＲ、Ｇ、Ｂの各成分の平均値を算出し、保存する画像処理部と、
このＭ個のブロックのうちあらかじめ決められた位置のＮ（Ｎ＜Ｍ、かつＮは整数）個のブロックごとのＲ、Ｇ、Ｂの各成分の平均値と前記操作部で設定した静止判別値、静止検出回数、静止検出時間および動き検出時間をもとに次の手順により被写体の静止／動きを検出する制御部と、
を有することを特徴とするものである。
１）ｉ番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
２）（ｉ−１）番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
３）（ｉ−２）番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
４）１）〜３）で算出した合計値から対応する各ブロックごとに平均値を算出すること。
５）１）〜４）で求めた合計値と平均値から各ブロックごとに分散値を算出すること。
６）各ブロックごとに分散値と静止判別値を比較し、分散値が静止判別値より小さい状態が静止検出時間以上継続したとき部分静止と判定し、これ以外のときは部分動と判定すること。
７）Ｎブロック全てが部分静止と判定したときを静止状態とし、この状態が静止検出時間以上継続したとき被写体が静止していると判定し、これ以外のときは部分動と判定すること。
８）部分動と判定した状態が動き検出時間以上継続したとき被写体が動いていると判定すること。
【００１９】
【発明の実施の形態】
以下、図面を用いて本発明について詳細に説明する。ここでは被写体として原稿を例にとって説明する。
図１は本発明の１実施形態を示す被写体の動き検出回路のブロック図である。
１は書画カメラ２からの画像の取り込み時間間隔、原稿が部分静止状態にあることを検出するパラメータである静止判別値と静止検出回数、原稿が完全な静止状態にあることを検出するパラメータである静止検出時間、原稿が動いている状態を検出するパラメータである動き検出時間からなる各パラメータを設定する操作部、２は原稿を撮像する書画カメラ、３は書画カメラ２からの画像をＡ／Ｄ変換するＡ／Ｄ変換部である。
【００２０】
４はＡ／Ｄ変換部３からの画像を６４（＝８×８）個のブロックに分割し、操作部１で設定した書画カメラ２からの画像取り込み時間間隔単位で各ブロックごとにＲ、Ｇ、Ｂの各成分の平均値を算出し、保存する画像処理部、５はこの６４個のブロックごとのＲ、Ｇ、Ｂの各成分の平均値からあらかじめ決められた位置の４個のブロックごとのＲ、Ｇ、Ｂ各成分の平均値と操作部１で設定した静止判別値、静止検出回数、静止検出時間および動き検出時間をもとに後述する手順により原稿の静止／動きを検出する制御部である。
【００２１】
書画カメラ２で撮像した画像データの流れは次のとおりである。
書画カメラ２で原稿を撮像し、Ａ／Ｄ変換部３でデジタル画像に変換し、画像処理部４に入力する。
画像処理部４では、入力される画像を１フレーム単位で８×８（＝６４）のブロックに分割し、それぞれのブロックごとにＲ、Ｇ、Ｂの各成分の平均値を算出し、保存すると共に制御部５の制御のもとに、あらかじめ決められた位置の４ブロックのＲ、Ｇ、Ｂの各成分の平均値を制御部５に送り出す。
【００２２】
次に、この回路の動作、作用について説明する。
この実施の形態では、図４に示すように、１フレームの画面を８×８（＝６４）のブロックに分割し、このうち（３，３）、（３，６）、（６，３）および（６，６）に該当する４ブロックを対象として、その画像データから原稿が動いているか、静止しているか判断する。
【００２３】
最初に、操作部１からパラメータとして、静止判別値ＳＴＯＰ＿ＬＥＶＥＬ、静止検出回数ＳＴＯＰ＿ＣＯＵＮＴ、静止検出時間および動き検出時間を制御部５に設定する。これらのパラメータは次のように利用される。
前記４ブロックのブロックごとに算出された分散値が静止判別値ＳＴＯＰ＿ＬＥＶＥＬ未満の状態が静止検出回数ＳＴＯＰ＿ＣＯＵＮＴ以上連続したとき、そのブロックは部分静止しているものと判定する。それ以外の場合は部分動と判定する。４ブロックとも部分静止しているときは静止していると判定する。そしてこの静止判定が静止検出時間以上連続したときは原稿が静止していると判定する。反対に部分動の判定が動き検出時間以上連続したときは原稿が動いていると判定する。
【００２４】
図２、３に本発明になる原稿の静止／動き検出のフローチャートを示す。
以下、図２、３に基づいて原稿の静止／動きの検出手順について説明する。
図２は本発明の原稿の静止／動き検出のフローチャートのうち、原稿が静止しているか否かを検出する前段階に当たるもので各ブロックが部分静止しているか否かを検出する部分であり、図３は４ブロック全てを対象として最終的に原稿の静止／動きを検出する部分である。
【００２５】
制御部５は画像処理部４から８×８（＝６４）ブロックのうち（３，３）、（３，６）、（６，３）および（６，６）に該当する４ブロックのＲ、Ｇ、Ｂの各成分の平均値を画像取り込み時間間隔単位で取得し続ける。
このようにして定期的に取得されたＲ、Ｇ、Ｂの各成分の平均値をもとにｉ番目、（ｉ−１）番目および（ｉ−２）番目の画像から前述した４ブロックについて図２、３に示すフローチャートに基づいて原稿が静止しているか否かについて検出する。
【００２６】
ここでは、各ブロックが静止しているか否かについて４ブロックのうちの一つのブロックである（３，３）のブロックを例にとって説明する。
まず、ｉ番目の画像から次の計算式によりＲ、Ｇ、Ｂの各成分の合計値ＳＵＭ（０）を算出する（Ｓ１０１）。
ＳＵＭ（０）＝Ｒ（０）（３，３）＋Ｇ（０）（３，３）＋Ｂ（０）（３，３）ここで、Ｒ（０）（３，３）はｉ番目の画像の（３，３）ブロックのＲ成分の平均値、Ｇ（０）（３，３）はｉ番目の画像の（３，３）ブロックのＧ成分の平均値、Ｂ（０）（３，３）はｉ番目の画像の（３，３）ブロックのＢ成分の平均値である。
【００２７】
次に、（ｉ−１）番目の画像から前述と同様な計算式によりＲ、Ｇ、Ｂの各成分の合計値ＳＵＭ（−１）を算出する（Ｓ１０２）。
ＳＵＭ（−１）＝Ｒ（−１）（３，３）＋Ｇ（−１）（３，３）＋Ｂ（−１）（３，３）
ここで、Ｒ（−１）（３，３）は（ｉ−１）番目の画像の（３，３）ブロックのＲ成分の平均値、Ｇ（−１）（３，３）は（ｉ−１）番目の画像の（３，３）ブロックのＧ成分の平均値、Ｂ（−１）（３，３）は（ｉ−１）番目の画像の（３，３）ブロックのＢ成分の平均値である。
【００２８】
続いて、前々回のマトリクスから前述と同様な計算式によりＲ、Ｇ、Ｂの各成分の合計値ＳＵＭ（−２）を算出する（Ｓ１０３）。
ＳＵＭ（−２）＝Ｒ（−２）（３，３）＋Ｇ（−２）（３，３）＋Ｂ（−２）（３，３）
ここで、Ｒ（−２）（３，３）は前々回のマトリクスの（３，３）ブロックのＲ成分の平均値、Ｇ（−２）（３，３）は前々回のマトリクスの（３，３）ブロックのＧ成分の平均値、Ｂ（−２）（３，３）は前々回のマトリクスの（３，３）ブロックのＢ成分の平均値である。
【００２９】
次に、これら３つの合計値ＳＵＭ（０）、ＳＵＭ（−１）およびＳＵＭ（−２）から、次の式により平均値ＡＶＥを算出する（Ｓ１０４）。
ＡＶＥ＝（ＳＵＭ（０）＋ＳＵＭ（−１）＋ＳＵＭ（−２））／３
【００３０】
次に、この３画像について分散値ＶＡＲ（３，３）を次の式により算出する（Ｓ１０５）。
ＶＡＲ（３，３）＝（Ａ^２＋Ｂ^２＋Ｃ^２）／３
ここでＡ、Ｂ、Ｃは次のとおりである。
Ａ＝ＡＶＥ−ＳＵＭ（０）
Ｂ＝ＡＶＥ−ＳＵＭ（−１）
Ｃ＝ＡＶＥ−ＳＵＭ（−２）
【００３１】
このようにして求められた分散値ＶＡＲ（３，３）と設定された静止判別値ＳＴＯＰ＿ＬＥＶＥＬと静止検出回数ＳＴＯＰ＿ＣＯＵＮＴから部分静止しているか否か判定する（Ｓ１０６）。判定は次のようにして行う。
分散値ＶＡＲ（３，３）が静止判別値ＳＴＯＰ＿ＬＥＶＥＬ以下である状態が静止検出回数ＳＴＯＰ＿ＣＯＵＮＴ以上連続したとき部分静止と判定する。部分静止と判定されない場合は原稿の部分動と判定する。
【００３２】
以上の説明は、静止を検出する４ブロックのうちの１ブロックについて説明してきた。ここで選択した１ブロックの説明は終了し、４ブロックの部分静止の検出へと判定状態を進める。この判定は、以上説明してきたような部分静止の検出を４ブロック全てについて実行する。
【００３３】
まず、静止段階にあるか否かを判定する（Ｓ１０７）。この静止段階にあるか否かは静止検出対象である４ブロック全てが部分静止しているか否かを判断することによって実行され、４ブロック全てが部分静止しているとき静止段階にあると判定し、それ以外のときは原稿の部分動と判定する。
【００３４】
次に、静止状態が一定時間継続しているか否か判断する（Ｓ１０８）。この判断は静止状態が静止検出時間以上連続しているか否かで判定する。ここで静止状態が一定時間以上継続した場合は原稿が静止していると判定し（Ｓ１１０）、それ以外のときは原稿が部分動と判定する。
【００３５】
原稿が部分動と判定されたときは動き状態が一定時間以上継続しているか否か判断する（Ｓ１０９）。この判断は動き状態が動き検出時間以上連続しているか否かで判定する。ここで動き状態が一定時間以上継続した場合は原稿が動いていると判定する（Ｓ１１１）。
【００３６】
この判定をもとに、原稿が静止状態にあると判定されたときは、低フレームレートで高解像度の画像を、原稿が動いている状態にあると判定されたときは、高フレームレートで低解像度の画像を書画カメラ２から出力させる。
【００３７】
【発明の効果】
本発明によれば、以上説明したように、書画カメラで撮像した１画面をＭブロックに分割し、そのうちのＮブロックを検出対象とし、所定の時間間隔で３画面に分けてＮブロックのそれぞれのブロックごとにＲ、Ｇ、Ｂの各成分の平均値を算出し、これをもとに分散値を計算する。そして、この分散値があらかじめ決められた静止判別値以下である状態が静止検出回数以上継続する状態がＮ個のブロック全部で静止検出時間以上継続したとき被写体は静止していると判定し、前記分散値一つが静止判別値以上であるとき、または全部が静止判別値以下であってもその状態が静止検出回数以下である状態が動き検出時間以上継続したときは被写体は動いていると判定することとしたので、確実に被写体の静止／動きの検出が可能になる。また、この検出結果を用いて、静止状態にあるときは低フレームレートで高解像度の画像を、動いている状態にあるときは高フレームレートで低解像度の画像を書画カメラから出力させることにしたので、被写体の位置合わせのときは被写体の動きに追随した画像が得られるので位置合わせがし易く、位置合わせが完了した後は精細な画像が得られる書画カメラを提供できる。
【図面の簡単な説明】
【図１】本発明の１実施の形態を示す被写体の動き検出回路のブロック図である。
【図２】被写体の動き検出のフローチャートの前半分である。
【図３】被写体の動き検出のフローチャートの後半分である。
【図４】書画カメラで撮像した１画面を６４分割した様子を示す図である。
【図５】従来の動き検出技術を説明する図である。
【符号の説明】
１操作部
２書画カメラ
３Ａ／Ｄ変換部
４画像処理部
５制御部

Claims

書画カメラによる被写体撮像時の被写体の静止／動きの検出において、
前記書画カメラからの画像の取り込み時間間隔、前記被写体が部分静止状態にあることを検出するパラメータである静止判別値と静止検出回数、前記被写体が完全な静止状態にあることを検出するパラメータである静止検出時間、前記被写体が動いている状態を検出するパラメータである動き検出時間からなる各パラメータを設定する操作部と、
前記書画カメラで撮像した画像をあらかじめ決められたＭ（Ｍは２以上の整数）個のブロックに分割し、前記操作部で設定した前記書画カメラからの画像取り込み時間間隔単位で各ブロックごとにＲ、Ｇ、Ｂの各成分の平均値を算出し、保存する画像処理部と、
このＭ個のブロックのうちあらかじめ決められた位置のＮ（Ｎ＜Ｍ、かつＮは整数）個のブロックごとのＲ、Ｇ、Ｂの各成分の平均値と前記操作部で設定した静止判別値、静止検出回数、静止検出時間および動き検出時間をもとに次の手順により被写体の静止／動きを検出する制御部と、
を有することを特徴とする被写体の動き検出回路。
１）ｉ番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
２）（ｉ−１）番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
３）（ｉ−２）番目の画像のＮ個のブロックの各ブロックごとにＲ、Ｇ、Ｂの各成分の合計値を算出すること。
４）１）〜３）で算出した合計値から対応する各ブロックごとに平均値を算出すること。
５）１）〜４）で求めた合計値と平均値から各ブロックごとに分散値を算出すること。
６）各ブロックごとに分散値と静止判別値を比較し、分散値が静止判別値より小さい状態が静止検出時間以上継続したとき部分静止と判定し、これ以外のときは部分動と判定すること。
７）Ｎブロック全てが部分静止と判定したときを静止状態とし、この状態が静止検出時間以上継続したとき被写体が静止していると判定し、これ以外のときは部分動と判定すること。
８）部分動と判定した状態が動き検出時間以上継続したとき被写体が動いていると判定すること。