JP2012060271A - 撮像装置及び画像再生装置 - Google Patents

Abstract

【課題】手振れ補正を行ないつつも、高速に移動する被写体の撮影時などに、なるべく広い画角で撮影することを可能とする。
【解決手段】被写体像を撮像する撮像素子と、撮像素子で撮像を行う場合のフレームレートを設定する設定部と、撮像装置に加わる振れによって生じるフレーム間での位置ズレを動きベクトルとして検出するベクトル検出部と、動きベクトルに基づいて、撮像素子の画面内における画像を切り出す範囲をずらすことにより、画像間の位置ズレを補正するブレ補正部と、ブレ補正部により補正する場合の、撮像素子の画面内における画像を切り出す範囲を決定する領域決定部とを備え、領域決定部は、設定部によりフレームレートが高く設定された場合に、撮像素子の画面内における画像を切り出す範囲を広くする。
【選択図】図２

Description

本発明は、手振れを補正する機能を持つ装撮像置に関するものである。

近年の手持ち撮影装置は小型化の傾向にあり、かつ従来の撮影形態と比較して撮影形態の自由度が広がり、それに伴って撮影時の手振れによる画像ブレなどが増加している。この画像ブレに対処する方法として画素領域の一部を切り出し、枠を移動させることで、撮像装置に加わる振れによって生じるフレーム間での位置ズレに対処する技術が知られている。また、いくつかの画像の位置ズレを補正し、合成することで、１つのフレーム内で起こる、手振れによる画像ブレに対処する技術が知られている（特許文献１参照）。

特開２００８−２１１６７４号公報

しかしながら、手持ち撮影装置による高速撮影は、通常の撮影に比べて被写体を画角に収めることが困難であった。その理由は、短時間撮影であり、被写体が高速で移動するためである。さらに、手持ち撮影装置に搭載される、電子式手振れ補正と画像合成手振れ補正のために、画角が小さくなってしまうことで、被写体を画角に収めることがより困難となってしまう。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、手振れ補正を行ないつつも、高速に移動する被写体の撮影時などに、なるべく広い画角で撮影することを可能とすることである。

本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子で撮像を行う場合のフレームレートを設定する設定手段と、撮像装置に加わる振れによって生じるフレーム間での位置ズレを動きベクトルとして検出するベクトル検出手段と、前記動きベクトルに基づいて、前記撮像素子の画面内における画像を切り出す範囲をずらすことにより、前記画像間の位置ズレを補正するブレ補正手段と、前記ブレ補正手段により補正する場合の、前記撮像素子の画面内における画像を切り出す範囲を決定する領域決定手段と、を備え、前記領域決定手段は、前記設定手段により前記フレームレートが所定のフレームレートよりも高く設定された場合に、前記撮像素子の画面内における画像を切り出す範囲を、前記所定のフレームレートの場合よりも広くすることを特徴とする。

本発明によれば、手振れ補正を行ないつつも、高速に移動する被写体の撮影時などに、なるべく広い画角で撮影することが可能となる。

本発明の第１の実施形態に係る撮像装置の概略構成図。 第１の実施形態の撮像装置の動作を示すフローチャート。 第１の実施形態の撮像装置で行なう電子式手振れ補正の概念図。 第１の実施形態の撮像装置で行なう電子式手振れ補正の概念図。 第１の実施形態の撮像装置で行なう画像合成手振れ補正の概念図。 第１の実施形態の撮像装置で行なう画像合成手振れ補正の概念図。 第２の実施形態の撮像装置の概略構成図。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、１１１は本実施形態の撮像装置、１０１は被写体像を結像させるレンズと結像された被写体像を撮像する撮像素子を備えた撮影のためのカメラ部、１１３は制御マイコン、１０７は撮像装置に加わる振れによって生じるフレーム間での位置ズレを動きベクトルとして検出するブレ検出部（動きベクトル検出部）である。１０２は検出したフレーム間（画像間）での位置ズレを補正することで手ブレ補正を行なうブレ補正部、１１２は画像処理部、１０４は処理された画像を保存する記録メディア、１０５は画像を表示する出力部である。さらに、１０８は画像を撮像する際に用いる操作部であるＲＥＣキー、１０９は撮影する際のフレームレートを変更する際に用いる操作部であるフレームレート選択キーである。制御マイコン１１３は、撮影制御部１０６と、フレームレート制御部１１０と、補正に使用する有効画素領域を決定する領域制御部（領域決定部）１０３とを備える。

次に、図１の撮像装置１１１の動作について説明する。本実施形態の撮像装置１１１は、ＲＥＣキー１０８、フレームレート選択キー１０９が、制御マイコン１１３と繋がっており、ユーザーの操作に対応した制御を行う。フレームレート選択キー１０９が操作されることで、フレームレート制御部１１０からレンズと撮像素子を備えた撮影のためのカメラ部１０１と、画像処理部１１２へ指示が出され、カメラ部の撮影する際のフレームレートが決定される。同時に領域制御部１０３から、ブレ補正部１０２へと指示が出され、補正に使用する画角が決定される。

ＲＥＣキー１０８を操作することで、撮影制御部１０６から指示が出され、カメラ部１０１に撮影開始の指示が出される。カメラ部１０１に入射した光は映像信号に変換され、画像処理部１１２を通り、記録メディア１０４に保存される。この際、映像信号はブレ検出部１０７で、動きベクトルを検出され、ブレ補正部１０２で手振れ補正が行われる。記録メディア１０４に保存された画像は出力部１０５によって出力される。

図２は、第１の実施形態の撮像装置の動作を示すフローチャートである。ユーザーはまずフレームレート選択キー１０９を操作することで、フレームレート制御部１１０に指示を出し、撮影する際のフレームレートを決定する。本実施形態中では高フレームレート撮影モードと通常フレームレート撮影モードを選択する形を取っている（Ｓ１０１）。

通常フレームレート撮影モードを選択すると、制御マイコン１１３から指示が出て、通常フレームレート（所定のフレームレート）に設定され（Ｓ１０３）、Ｓ１０１に戻る。

一方、高フレームレート撮影モードを選択すると、制御マイコン１１３から、カメラ部１０１、画像処理部１１２に指示が出て、高速撮影を行う準備がされる（Ｓ１０２）。同時に、制御マイコン１１３から、ブレ補正部に指示が出て、画角制限を伴う手ブレ制御を緩和し、より広い画素領域をとるようにする（Ｓ１０４）。

次にＲＥＣキー１０８を操作することで（Ｓ１０５）、選択されたフレームレート、画角で、記録メディア１０４に保存が開始される（Ｓ１０６）。次にユーザーがＲＥＣキー１０８を操作することで（Ｓ１０７）、連続動画の記録を終了する（Ｓ１０８）。次にもう一度、フレームレート選択キー１０９を操作することで、その高フレームレート撮影モードでの撮影を終了することができる（Ｓ１０９）。

図３Ａは、電子式手振れ補正制御の例を示す図である。２１０は通常フレームレート撮影モード（例として毎秒６０フレームで撮影するモード）の場合、２１１は高フレームレート撮影モード（例として毎秒２４０フレームで撮影するモード）の場合を示している。

通常フレームレート撮影モードで撮影を行なう場合（２１０）、最大画素領域２０１のうち、実際の画角（撮像素子の画面内から切り出される画角）は、ブレによる移動分を見込んで、有効画素領域２０２となる。次のフレームでは最大画素領域２０３のうち、実際の画角は、有効画素領域２０４となる。ここで生じている△Ｙ１のズレ、すなわち撮像装置に加わる振れによって生じるフレーム間での位置ズレを、ブレ検出部１０７が動きベクトルとして検知し、有効画素領域２０４を有効画素領域２０５へと移動させ、不快な映像となることを防ぐ。

高フレームレート撮影モードで撮影を行なう場合（２１１）、最大画素領域２０１のうち、実際の画角は、振れによる移動分を見込んで、有効画素領域２０６となる。このとき有効画素領域２０６は、通常フレームレート撮影モードでの有効画素領域２０２と比較し、広い面積を取る。次のフレームでは最大画素領域２０７のうち、実際の画角は、有効画素領域２０８となる。ここで生じている△Ｙ２のズレ、すなわち撮像装置に加わる振れによって生じるフレーム間での位置ズレを、ブレ検出部１０７が動きベクトルとして検知し、有効画素領域２０８を有効画素領域２０９へと移動させ、不快な映像となることを防ぐ。

図３Ｂは、撮像装置の位置と時間の関係を表すグラフである。撮像装置の位置が、手振れの影響で、グラフの曲線の様に時間変化するとき、フレームレートが１／６０秒の保存された動画像と１／２４０秒で撮影された動画像では、１フレーム間当たりの手振れの影響によるズレは△Ｙ１と△Ｙ２のような違いがある。

高精彩スロー再生を前提とした場合、撮像装置に加わる振れによって生じるフレーム間での位置ズレ量の差が、再生時における単位時間当たりのブレ量の差となるため、高いフレームレートで撮影された動画像は、通常のフレームレートで撮影された動画像と比較して、ブレ量が非常に小さいものとなる。

このため、高フレームレート撮影モードで撮影を行なう場合（２１１）は、通常フレームレート撮影モードで撮影を行なう場合（２１０）と比較して、手振れの影響による不快な映像は生まれにくく、画角制限を伴う手振れ補正制御を緩和することが可能となる。

図４Ａは、画像合成手振れ補正の例を示す図である。３０５は通常フレームレート撮影モードの場合、３０６は高フレームレート撮影モードの場合を示している。

通常フレームレート撮影モードで撮影を行なう場合（３０５）、画像３０１−１、３０１−２、３０１−３の様な複数枚の画像を合成することで、手振れの影響による画像ブレの少ない、１フレーム分の画像を作り出す。このときの有効画素領域３０２は画素領域の一部を切り取るため、撮像素子の全画枠（最大有効画素数）よりも小さいサイズに設定される。

高フレームレート撮影モードで撮影を行なう場合（３０６）、画像３０３−１、３０３−２、３０３−３の様な複数枚の画像を合成することで、手振れの影響による画像ブレの少ない、１フレーム分の画像を作り出す。このときの有効画素領域３０４は、通常フレームレート撮影モードでの有効画素領域３０２と比較し、広い面積を取ることができる。

図４Ｂは、光の蓄積と時間との関係を表すグラフである。（ａ）は通常フレームレート撮影時（たとえば毎秒６０フレーム）の光の蓄積と時間との関係を表すグラフである。（ｂ）は高フレームレート撮影時（たとえば毎秒２４０フレーム）の光の蓄積と時間との関係を表すグラフである。

高フレームレート撮影時は、通常フレームレート撮影時と比較して１フレーム内の光の蓄積時間が短い。そのため撮像装置に加わる振れによって生じるフレーム間での位置ズレが少なく、手振れの影響での画像ブレも起こりにくい。このため、高フレームレート撮影モードで撮影を行なう場合（３０６）は、通常フレームレート撮影モードで撮影を行なう場合（３０５）と比較して、手振れの影響による不快な映像は生まれにくく、画角制限を伴う手振れ補正制御を緩和することが可能となる。

以上説明したように、第１の実施形態によれば、通常のフレームレートよりも高いフレームレートで撮影を行う際、撮影に用いる有効画素領域を広く取ることができ、高速で動く被写体を短時間の間に、画角に収める助けとなる効果がある。

（第２の実施形態）
図５は、本発明の第２の実施形態に係る再生時防振機能を持つ撮像装置（画像再生装置）の構成を示すブロック図である。再生時防振機能とは、保存された画像を出力する際に、動きベクトルを検出し、補正を加える技術である。

図５において、４１１は本実施形態に係る撮像装置、４０１はレンズと撮像素子を備えた撮影のためのカメラ部、４１３は制御マイコン、４１２は画像処理部、４０４は処理された画像を保存する記録メディアである。４１６は再生時防振を行う再生時防振マイコン、４０５は画像を表示する出力部、４０８は画像を撮像する際に用いる操作部であるＲＥＣキー、４０９は撮影する際のフレームレートを変更する際に用いる操作部であるフレームレート選択キーである。

制御マイコン４１３は、撮影制御部４０６と、フレームレート制御部４１０とを備える。再生時防振マイコン４１６は、ブレを検出するブレ検出部４０２、補正を行うブレ補正部４０７、補正に使用する有効画素領域（有効領域）を決定する領域制御部４０３とを備える。

次に、図５の撮像装置４１１の動作について説明する。本実施形態の撮像装置４１１は、画像を撮像する際に用いるＲＥＣキー４０８、撮影する際のフレームレートを変更するためのフレームレート選択キー４０９が、制御マイコン４１３と繋がっており、ユーザーの操作に対応した制御を行う。

フレームレート選択キー４０９が操作されることで、フレームレート制御部４１０からレンズと撮像素子を備えた撮影のためのカメラ部４０１、画像処理部４１２へ指示が出され、カメラ部の撮影する際のフレームレートが決定される。

ＲＥＣキー４０８を操作することで、撮影制御部４０６から指示が出され、カメラ部に撮影開始の指示が出される。入射した光は映像信号に変換され、画像処理部４１２を通り、記録メディア４０４に保存される。

この際、記録メディア４０４には撮影された画像のほかに、フレームレート情報４１５を含む、メタファイル４１４が保存される。記録メディア４０４に保存された画像データは再生時防振マイコン４１６中の、ブレ検出部４０７で、動きベクトルを検出され、ブレ補正部１０２でブレ補正が行われる。

この際、領域制御部４０３で、フレームレート情報４１５を基に補正に使用する画角が決定され、ブレ補正部４０２へと指示が出される。補正された画像は出力部４０５によって出力される。

以上説明したように、第２の実施形態によれば、通常のフレームレートよりも高いフレームレートで撮影された画像の再生に用いる有効画素領域を広く取ることができ、高速で動く被写体を短時間の間に、画角に収める助けとなる効果がある。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

Claims (3)

1. 被写体像を撮像する撮像素子と、
   前記撮像素子で撮像を行う場合のフレームレートを設定する設定手段と、
   撮像装置に加わる振れによって生じるフレーム間での位置ズレを動きベクトルとして検出するベクトル検出手段と、
   前記動きベクトルに基づいて、前記撮像素子の画面内における画像を切り出す範囲をずらすことにより、前記画像間の位置ズレを補正するブレ補正手段と、
   前記ブレ補正手段により補正する場合の、前記撮像素子の画面内における画像を切り出す範囲を決定する領域決定手段と、
   を備え、
   前記領域決定手段は、前記設定手段により前記フレームレートが所定のフレームレートよりも高く設定された場合に、前記撮像素子の画面内における画像を切り出す範囲を、前記所定のフレームレートの場合よりも広くすることを特徴とする撮像装置。
2. 撮像素子によって撮像された動画像を再生する画像再生装置であって、
   前記動画像の画面内において、動画像として出力する範囲である有効領域を決定する領域決定手段と、
   前記動画像のフレームレートを検出する検出手段と、
   を備え、
   前記領域決定手段は、前記検出手段により前記動画像のフレームレートが所定のフレームレートよりも高いことが検出された場合に、前記有効領域を前記所定のフレームレートの場合よりも広くすることを特徴とする画像再生装置。
3. 前記動画像を撮像する際に前記撮像装置に加わった振れによって生じるフレーム間での位置ズレを動きベクトルとして検出するベクトル検出手段をさらに備え、前記領域決定手段は、前記動きベクトルに応じて前記有効領域を変更することにより画像のブレの補正を行うことを特徴とする請求項２に記載の画像再生装置。

Images