WO2014175234A1 - 撮像装置及び画像表示方法 - Google Patents

Abstract

　被写体や周辺環境が暗い場合でも電子ビューファインダを適切な明るさで表示することができる撮像装置及び画像表示方法を提供する。　撮像装置（１０）は、電子ビューファインダとして機能する第１表示部（１７）、第１表示部（１７）の照度を検出する照度検出センサ（５１）、表示輝度検出部（５７）、被写体輝度検出部（３８）、目標輝度算出部（５６）、校正輝度算出部（５８）を有する。表示輝度検出部（５７）は、照度検出センサ（５１）の検出値に基づいて第１表示部（１７）の実際の表示輝度を検出する。被写体輝度検出部（３８）は、ライブビュー画像に基づいて被写体輝度を検出する。目標輝度算出部（５６）は、被写体輝度に基づいて目標輝度を算出する。校正輝度算出部（５８）は、目標輝度と、目標輝度に設定された表示部の実際の表示輝度に基づいて、実際の表示輝度を目標輝度に近づけるために表示部に設定される校正輝度を算出する。

Description

撮像装置及び画像表示方法

　本発明は、電子ビューファインダに画像をライブビュー表示する撮像装置及び画像表示方法に関する。

　デジタルカメラやデジタルビデオカメラ等、撮像レンズによって結像した被写体の像をイメージセンサで撮像して被写体の画像を得る撮像装置が普及している。また、スマートフォンや携帯電話機、ＰＤＡ、タブレット端末等の電子機器にも、撮像レンズ及びイメージセンサを有するカメラモジュールが標準的に搭載されており、これらも撮像装置として機能する。このような各種撮像装置には、撮影範囲（構図）の決定やピント合わせを行うために、ビューファインダが設けられていることが普通である。

　ビューファインダとして、ファインダ光学系を有する光学ファインダや、電子画像を表示する電子ビューファインダ（ＥＶＦ：Electronic View Finder）が知られている。電子ビューファインダは、液晶表示装置等で構成された表示部を備え、所定のフレームレートで撮像されたイメージセンサからの撮像信号に基づいて生成されるライブビュー画像を順次表示させる。

　撮像装置は、内蔵するバッテリから供給される電力で駆動されるので、ライブビュー表示を行う電子ビューファインダの消費電力を可能な限り低減することが望ましい。このため、照度検出センサによって周辺環境の明るさを検出し、検出した周辺環境の明るさに応じて電子ビューファインダの表示輝度を調節することにより、電子ビューファインダを省電力駆動する撮像装置が知られている（特許文献１）。具体的には、特許文献１の撮像装置は、周辺環境が明るい場合には電子ビューファインダの輝度を下げ、周辺環境が暗い場合には電子ビューファインダの輝度を上げる。

　また、電子ビューファインダを搭載した撮像装置に関するものではないが、照度検出センサによって環境の明るさ（昼夜の区別）を検出し、検出した周辺環境の明るさに応じて表示の輝度と階調を調節することにより省電力化を図った表示装置も知られている（特許文献２）。特許文献２に記載の技術は、周辺環境が明るい場合には表示輝度を上げ、周辺環境が暗い場合には表示輝度を下げる点では特許文献１と同様であるが、さらに表示の階調を表示輝度と連動して制御することにより、表示輝度を抑えることによる視認性低下を防止している。具体的には、特に周辺環境が暗い夜間用の省電力モードでは、昼間用の省電力モードの場合よりも表示の階調を上げることにより、輝度を抑えつつ、視認性を確保している。

特開２００９－１７１１６７号公報 特開２００９－０５４５３４号公報

　撮像装置はバッテリで駆動される以上、電子ビューファインダ等の各部の消費電力を抑えることは重要ではあるが、近年の表示装置は光源がＬＥＤ化したこと等により、従来のものよりも消費電力が抑えられている。また、バッテリの容量も増加している。このため、電子ビューファインダの消費電力を抑えることの重要性は比較的低下しているので、近年の撮像装置では、ほぼ任意の明るさでライブビュー表示をすることができる。

　そこで、近年では、電子ビューファインダには、視認性の向上等、快適に撮影を行うための性能の向上が求められている。例えば、電子ビューファインダの表示輝度が被写体や周辺環境よりも明るすぎると、目が眩む、疲労感を与える等、快適な撮影の妨げになってしまう場合がある。したがって、消費電力を抑える目的でなくても、特許文献１，２のように周辺環境の明るさを検出して電子ビューファインダの表示輝度を制御することが好ましい。

　しかし、夜景を撮影する場合等、被写体や周辺環境が暗く、電子ビューファインダの表示輝度を低くする場合には、表示輝度を検出した被写体や周辺環境の明るさに合わせたつもりでも、実際には所望の表示輝度からずれる場合がある。これは、電子ビューファインダの駆動電圧の下限近傍では、入出力特性や温度依存特性が製造誤差等によりばらつき、の個体差が大きいことが要因の一つである。

　電子ビューファインダの表示が明るすぎることによる目の眩みや疲労感は、被写体や周辺環境が暗い場合に顕著であるため、こうした場合にこそ確実に被写体や周辺環境に応じた表示輝度に調節することが求められる。

　本発明は、被写体や周辺環境が暗い場合に、電子ビューファインダを適切な明るさで表示することができる撮像装置及び画像表示方法を提供することを目的とする。

　本発明の撮像装置は、イメージセンサ、表示部、照度検出センサ、表示輝度検出部、被写体輝度検出部、目標輝度算出部、校正輝度算出部を備える。イメージセンサは、被写体を撮像して撮像信号を出力する。表示部は、撮像信号に基づいて生成されるライブビュー画像を設定された輝度で表示する。照度検出センサは、表示部近傍の照度を検出する。表示輝度検出部は、照度検出センサの検出値に基づいて、表示部の実際の表示輝度を検出する。被写体輝度検出部は、ライブビュー画像に基づいて被写体の輝度を検出する。目標輝度算出部は、被写体の輝度に基づいて、表示部の表示輝度として設定される目標輝度を算出する。校正輝度算出部は、目標輝度と目標輝度に設定された表示部の実際の表示輝度に基づいて、実際の表示輝度を目標輝度に近づけるために表示部に設定される校正輝度を算出する。表示部の表示輝度を校正輝度に設定することにより、実際の表示輝度は目標輝度に近づく。

　前記照度検出センサの検出値を時間積分する時間積分部をさらに備えることが好ましい。この場合、表示輝度検出部は、時間積分された検出値に基づいて実際の表示輝度を検出する。

　目標輝度を所定閾値と比較し、目標輝度が所定閾値よりも小さい場合に表示部の表示階調を低下させる表示階調制御部をさらに備えることが好ましい。

　照度検出センサの出力値を、被写体の輝度に基づいて補正する補正部をさらに備えることが好ましい。補正部は、照度検出センサの出力値を、被写体の最大輝度に対する被写体の平均輝度の比で除した値を補正値として出力する。

　表示部は、所定タイミングでライブビュー画像の代わりに照度検出用画像を表示させることが好ましい。この場合、校正輝度算出部は、目標輝度と、目標輝度に設定され、かつ照度検出用画像を表示した表示部の実際の表示輝度に基づいて校正輝度を算出する。照度検出用画像は、例えば、輝度が前記被写体の輝度に一致する画像である。

　表示部は、ライブビュー画像を表示する表示装置と、表示装置を観察するための観察窓と、表示装置の光を観察窓に通し、観察窓から入射する外光を遮蔽するハーフミラーとを備えることが好ましい。

　ハーフミラーは表示部の光を一部反射して照度検出センサに入射させることができる。また、照度検出センサはハーフミラーと表示装置の間に配置し、ハーフミラーを介さずに表示装置の光を受光するようにしても良い。

　表示部がバックライトによって点灯する表示装置である場合、照度検出センサをバックライトに取り付け、バックライトの照度を表示部の照度として検出しても良い。

　本発明の画像表示方法は、撮像ステップ、被写体輝度検出ステップ、目標輝度算出ステップ、表示輝度検出ステップ、校正輝度算出ステップ、表示輝度校正ステップを備える。撮像ステップでは、イメージセンサが被写体を撮像して撮像信号を出力する。被写体輝度検出ステップでは、撮像信号に基づいて生成されるライブビュー画像を用いて被写体の輝度を検出する。目標輝度算出ステップでは、ライブビュー画像を表示する表示部の表示輝度として設定する目標輝度を、被写体の輝度に基づいて算出する。表示輝度検出ステップでは、目標輝度に設定された表示部近傍の照度を照度検出センサによって検出し、検出した照度に基づいて、表示部の実際の表示輝度を検出する。校正輝度算出ステップでは、目標輝度と実際の表示輝度に基づいて、実際の表示輝度を目標輝度に近づけるために表示部に設定される校正輝度を算出する。表示輝度校正ステップでは、表示部の表示輝度を校正輝度に設定することにより、実際の表示輝度を目標輝度に近づける。

　本発明の撮像装置及び画像表示方法は、被写体の明るさだけでなく、電子ビューファインダとして機能する表示部の実際の照度を検出して表示部の明るさを調節するので、被写体や周辺環境が暗い場合でも電子ビューファインダを適切な明るさで表示することができる。

撮像装置の正面図である。 撮像装置の背面図である。 撮像装置のブロック図である。 撮像装置の作用を示すフローチャートである。 階調制御部を付加した撮像装置のブロック図である。 図５に示す撮像装置の作用を示すフローチャートである。 補正部を付加した撮像装置のブロック図である。 表示タイミングと表示輝度の検出タイミングを示すタイミングチャートである。 第１表示部の別の構成を示すブロック図である。 第１表示部の更に別の構成を示すブロック図である。

［第１実施形態］
　図１において、撮像装置１０は、イメージセンサ１３等が内蔵されたほぼ直方体状の本体１１と、本体１１の前面に取り付けられた撮像レンズ１２を備えるデジタルカメラである。撮像装置１０は、撮像レンズ１２によってイメージセンサ１３に被写体の像を結像させ、イメージセンサ１３によって被写体の像を撮像し、イメージセンサ１３から出力される撮像信号に基づいて被写体の撮影画像を生成する。本体１１の上面には、例えば、撮影指示を入力するための撮影指示入力スイッチ１４、予め複数用意されている撮影モードを切り換えるためのモード切り替えダイヤル１６等が設けられている。

　図２において、本体１１の背面には、第１表示部１７、第２表示部１８、ズームキー２１、マルチファンクションキー２２等が設けられている。

　第１表示部１７は、イメージセンサ１３が所定のフレームレート（例えば６０ｆｐｓ）で逐次出力する撮像信号に基づいて生成されるライブビュー画像をほぼリアルタイムに表示する小型の表示装置であり、撮影範囲の確認やピント合わせのために使用される電子ビューファインダである。

　第２表示部１８は、第１表示部１７よりも大きい表示画面を有する液晶表示パネルであり、撮像装置１０の各種設定を行うためのメニュー画面や過去の撮影画像が表示される。撮像装置１０は、設定により、第１表示部１７の代わりに（あるいは第１表示部１７とともに）、第２表示部１８を電子ビューファインダとして機能させることも可能である。本実施形態では、第１表示部１８を電子ビューファインダとして用いる。

　ズームキー２１は、撮像レンズ１２の焦点距離を変更するズーム制御のために使用される操作キーである。マルチファンクションキー２２は、第２表示部１８に表示される各種メニューや、撮影画像の選択や決定等に使用される操作キーである。ズームキー２１やマルチファンクションキー２２は、撮影指示入力スイッチ１４やモード切り替えダイヤル１６とともに操作部２３を構成する。

　図３において、撮像装置１０は、撮像レンズ１２、イメージセンサ１３、第１表示部１７、第２表示部１８、操作部２３、センサドライバ３１、信号処理回路３２、ＲＡＭ３３、画像処理部３４、表示用画像生成部３７、被写体輝度検出部３８、表示制御部３９等を備えている。これらの撮像装置１０の各部は、バス４２を介して相互に接続されている。また、撮像装置１０の各部の一部は図示しないＣＰＵの機能として実現され、使用する制御プログラムや設定データ等はＲＯＭ４１に予め記憶されている。

　撮像レンズ１２は、複数のレンズ１２ａを有している。これらの複数のレンズ１２ａには、焦点距離の調節のために光軸Ｌ１に沿って移動するレンズ（レンズ群）と、ピント調節のために光軸Ｌ１にそって移動するフォーカシングレンズ（レンズ群）と、これらを駆動するための各種駆動機構とが含まれる。

　また、複数のレンズ１２ａには、光軸Ｌ１に対して垂直な方向に移動可能に設けられ、手振れを打ち消す向きに移動される補正レンズや、露光量を調節するための絞り等も含まれる。なお、図３では、撮像レンズ１２として３枚のレンズを示しているが、レンズの枚数は任意であり、各種光学フィルタ等のレンズ以外の光学要素や、実質的にパワーがないレンズ等を含んでいても良い。

　レンズ制御部２８は、ズームキー２１の操作されることによって操作部２３から入力されるズーム信号に基づいて撮像レンズ１２の焦点距離を調節する。また、自動的にピント調節を行う撮影モードに設定されている場合には、レンズ制御部２８は、信号処理部３１から入力される焦点評価値に基づいてフォーカシングレンズの位置を調節することにより、自動的に焦点調節（ピント合わせ）を行う。この他、レンズ制御部２８は、絞りの開口量等も調節する。

　イメージセンサ１３は、撮像レンズ１２の背後に、撮像面１３ａを撮像レンズ１２側に向けて配置されている。撮像面１３ａは、複数の画素が二次元に配列された領域である。被写体の像は、撮像面１３ａに結像される。イメージセンサ１３は、結像された被写体の像を画素毎に光電変換することによって撮像を行い、画素行毎に撮像信号を出力する。

　撮像装置１０で被写体を撮影する場合、設定により予め定められたフレームレートで逐次出力される撮像信号は、ライブビュー画像の生成に使用される。また、操作部２３（撮影指示入力スイッチ１４の押圧操作）によって撮影指示が入力され場合に出力される撮像信号は、保存用の撮影画像の生成に使用される。なお、本実施形態では、イメージセンサ１３はＣＭＯＳ型としているが、ＣＣＤ型であっても良い。

　センサドライバ３１は、イメージセンサ１３の動作を制御する。例えば、ライブビュー画像用の撮像信号を出力するためのフレームレートや、撮像信号の読み出し方式、保存用の撮影画像を撮影する場合のシャッタースピード（露光時間）等を設定に応じて制御する。

　信号処理部３２は、イメージセンサ１３が出力する撮像信号にデモザイク処理等の各種信号処理を施すことにより、画像データ（撮影画像やライブビュー画像）を生成する画像エンジンである。信号処理部３２が生成した画像データは、ＲＡＭ３３に一時的に記憶される。

　信号処理部３２は、設定によっては、入力された撮像信号に基づいて最低なホワイトバランスを検出し、画像データのホワイトバランスを自動的に調節する。また、信号処理部３２は、入力された撮像信号を用いて焦点評価値を算出する。検出したホワイトバランスや焦点評価値は、レンズ制御部２８に入力され、自動焦点調節や露光量（絞りの開口量）の調節に用いられる。

　信号処理部３２が生成した画像データが保存用の撮影画像である場合には、ＲＡＭ３３に記憶された撮影画像は、画像処理部３４によって読み出され、γ補正処理や階調変換処理等の各種画像処理が施された後、画像記憶部３６に記憶される。一方、信号処理部３２が生成した画像データがライブビュー画像である場合には、ＲＡＭ３３に記憶されるライブビュー画像は、表示用画像生成部３７に読み出される。

　表示用画像生成部３７は、ＲＡＭ３３から読み出したライブビュー画像を用いて第１表示部１７に表示するための表示用画像を生成する。表示用画像は、例えば、ライブビュー画像に、撮影モード等の設定パラメータを表す文字や記号や、インジケータ等を重畳させたものである。表示用画像生成部３７が生成した表示用画像は、ＶＲＡＭ３３ａに一時的記憶され、第１表示部１７に逐次読み出されて表示される。

　ＶＲＡＭ３３ａは、表示用画像の一時記憶のためにＲＡＭ３３内に予め確保されたメモリ領域である。もちろん、ＶＲＡＭ３３ａを、ＲＡＭ３３とは別に設けても良い。また、第２表示部１８を電子ビューファインダとして用いる設定の場合には、表示用画像生成部３７は、第２表示部１８に表示するための表示用画像を生成してＶＲＡＭ３３ａに記憶させ、第２表示部１８は、ＶＲＡＭ３３ａから表示表画像を読み出して表示する。

　第１表示部１７は、表示用画像を表示する液晶表示装置４６、ファインダレンズ４７、ハーフミラー４８、観察窓４９、照度検出センサ５１等を備える。液晶表示装置４６は、光軸Ｌ２に沿って、透明な観察窓４９を介して観察される。

　液晶表示装置４６は、表示用画像を表示する液晶パネル４６ａと、液晶パネル４６ａを背後から照明するバックライトとを有する。このバックライトは、エッジライト方式であり、液晶パネル４６ａの端近傍に設けられた白色ＬＥＤ等からなる光源４６ｂと、光源４６ｂが発する光を導光して液晶パネル４６ａを背面からほぼ均一に照明する導光板４６ｃとを有する。

　ファインダレンズ４７は、視度を調節するために光軸Ｌ２に沿って移動自在に設けられている。図３ではファインダレンズ４７として１枚のレンズを示しているが、ファインダレンズ４７は複数枚のレンズで構成されていても良い。なお、ファインダレンズ４７は、ハーフミラー４８と観察窓４９の間に配置される接眼レンズ（図示しない）等も含む。

　ハーフミラー４８は、液晶表示装置４６が発する表示光（液晶パネル４６ａを透過した光）の一部を反射して照度検出センサ５１に入射させる。また、ハーフミラー４８は、観察窓４９から入射する外光を反射するので、照度検出センサ５１には入射させない。

　照度検出センサ５１は、ハーフミラー４８を介して受光部５１ａに入射する光の光量に基づいて液晶表示装置４６の照度（少なくとも液晶表示装置４６近傍の照度）を検出する。なお、照度検出センサ５１は、被写体が暗い場合に駆動され、被写体が明るい場合には駆動されない。照度検出センサ５１による照度の検出は、液晶表示装置４６に表示用画像（ライブビュー画像）が表示されている状態で行われる。照度検出センサ５１の検出値は、検出時点での液晶表示装置４６の瞬間的な照度であり、時間積分部５２に入力される。

　時間積分部５２は、照度検出センサ５１の検出値を時間積分した値（以下、積分照度という）を算出する。時間積分部５２によって算出された積分照度は、表示制御部３９に入力され、第１表示部１７の表示輝度等を決定するために用いられる。

　被写体輝度検出部３８は、ＲＡＭ３３に記憶されたライブビュー画像を用いて被写体の輝度を検出する。被写体輝度検出部３８は、例えば、ライブビュー画像の所定範囲内の各画素の輝度を算出し、それらの平均値を算出することにより、被写体の輝度を検出する。被写体輝度検出部３８が参照する所定範囲は、照度検出センサ５１が表示用画像上で照度の検出に用いる範囲に対応する範囲である。照度検出センサ５１が表示用画像中に含まれるライブビュー画像の全範囲を参照して照度を検出する場合には、被写体輝度検出部３８はライブビュー画像の全画素の輝度の平均値を被写体輝度として検出する。

　また、被写体輝度検出部３８は、ライブビュー画像が生成される毎に被写体輝度を検出する。被写体輝度検出部３８が検出した被写体輝度は、表示制御部３９に入力され、第１表示部１７の表示輝度等を決定するために用いられる。

　表示制御部３９は、第１表示部１７に表示用画像を表示するタイミングや表示輝度、表示階調等を制御する。例えば、表示制御部３９は、イメージセンサ１３がライブビュー画像用の撮像信号と同期して第１表示部１７の表示タイミングを制御することにより、ほぼリアルタイムにライブビュー表示を行わせる。

　また、表示制御部３９は、第１表示部１７（液晶表示装置４６）の表示輝度や表示階調を適切に調節するために、目標輝度算出部５６、表示輝度検出部５７、校正輝度算出部５８を備える。

　目標輝度算出部５６は、被写体輝度検出部３８から取得する被写体輝度に基づいて、目標輝度を算出する。目標輝度は、被写体の明るさに応じた第１表示部１７の最適な表示輝度である。具体的には、目標輝度算出部５６は、取得した被写体輝度を第１閾値Ｔｈ_１（例えば５ＥＶ（Exposure Value）相当の輝度）と比較し、被写体輝度が第１閾値Ｔｈ_１以上の場合には、被写体輝度から１段分（１ＥＶ相当分）だけ低い輝度を目標輝度にする。一方、取得した被写体輝度が第１閾値Ｔｈ_１よりも小さい場合には、被写体輝度と同程度から１段分明るい輝度を目標輝度にする。本実施形態では、被写体輝度が第１閾値Ｔｈ_１よりも小さい場合は、被写体輝度を目標輝度にする。なお、ＥＶ値は、イメージセンサ１３の感度と、絞りの開口量及びシャッタスピードによって定まる露出量を表す値であり、撮影画像（ライブビュー画像）の明るさに対応する。

　表示制御部３９は、目標輝度算出部５６が算出した目標輝度を第２閾値Ｔｈ_２と比較し、液晶表示装置４６の制御態様を変更する。第２閾値Ｔｈ_２は、液晶表示装置４６の個体差が表れるか否かを識別するための値である。目標輝度が第２閾値Ｔｈ_２以上の場合には、表示制御部３９が液晶表示装置４６の表示輝度が目標輝度になるように制御すると、液晶表示装置４６の個体差によらず、表示輝度は目標輝度に一致する。一方、目標輝度が第２閾値Ｔｈ_２よりも小さい場合には、液晶表示装置４６の温度等によっては、液晶表示装置４６の個体差が表れ、液晶表示装置４６の表示輝度が目標輝度になるように制御しても、実際の表示輝度が目標輝度にならない場合がある。

　このため、目標輝度が第２閾値Ｔｈ_２以上の場合には、表示制御部３９は液晶表示装置４６の表示輝度が目標輝度になるように通常の制御を行う。一方、目標輝度が第２閾値Ｔｈ_２よりも小さい場合には、液晶表示装置４６の表示輝度が目標輝度になるように制御した後、表示輝度検出部５７及び校正輝度算出部５８を用いて、表示輝度が目標輝度に一致するようにフィードバック制御をする。

　表示輝度検出部５７は、時間積分部５２から積分照度を取得し、取得した積分照度に基づいて、第１表示部１７（液晶表示装置４６）の実際の表示輝度を検出する。液晶表示装置４６から照度検出センサ５１までの距離等、積分照度から表示輝度を算出するためのパラメータや算出式（あるいは変換のためのＬＵＴ）は、ＲＯＭ４１に予め記憶されている。

　校正輝度算出部５８は、目標輝度と実際の表示輝度に基づいて校正輝度を算出する。校正輝度は、実際の表示輝度を目標輝度に一致させる（あるいは漸近させる）ための液晶表示部４６の制御パラメータである。

　具体的には、目標輝度Ｘ_Ａと、目標輝度Ｘ_Ａになるように液晶表示装置４６を制御した場合の実際の表示輝度Ｘ_Ｂの差ΔＸ（＝Ｘ_Ａ－Ｘ_Ｂ）を算出する。そして、この差ΔＸを目標輝度Ｘ_Ａに加算した値Ｘ_Ａ＋ΔＸ（＝２Ｘ_Ａ－Ｘ_Ｂ）を校正輝度とする。例えば、目標輝度Ｘ_Ａが１００ｃｄ／ｍ^２であり、表示輝度が目標輝度Ｘ_Ａになるように制御した場合の実際の表示輝度Ｘ_Ｂが１２０ｃｄ／ｍ^２であった場合には、差ΔＸは－２０ｃｄ／ｍ^２なので、校正輝度Ｘ_Ａ＋ΔＸは８０ｃｄ／ｍ^２である。表示制御部３９は、８０ｃｄ／ｍ^２（校正輝度）になるように液晶表示装置４６を制御することによって、実際の表示輝度を目標輝度である１００ｃｄ／ｍ^２に一致させる。

　上述のように構成される撮像装置１０の作用を説明する。図４に示すように、電源を投入し、イメージセンサ１３等の撮像装置１０の各部がアクティブになると、第１表示部１７には撮影範囲がほぼリアルタイムにライブビュー表示される（Ｓ１０）。具体的には、電源が投入されると、イメージセンサ１３はライブビュー画像用の撮像信号の出力を開始する。信号処理部３２はこの撮像信号に基づいてライブビュー画像を生成し、表示用画像生成部３７は生成されたライブビュー画像に文字や記号等を重畳して表示表画像を生成する。表示制御部３９は、生成された表示用画像を液晶表示部４６に表示させる。

　一方、被写体輝度検出部３８は、信号処理部３２が生成したライブビュー画像をＲＡＭ３３から読み出して被写体輝度を検出し（Ｓ１１）、目標輝度算出部５６は、被写体輝度検出部３８が検出した被写体輝度を第１閾値Ｔｈ_１と比較して目標輝度を算出する（Ｓ１２）。表示制御部３９は、表示輝度が目標輝度になるように液晶表示装置４６を制御する（Ｓ１３）。具体的には、表示制御部３９は、表示輝度が目標輝度になるように、光源４６ｂの駆動電流等を調節する。

　また、表示制御部３９は、算出された目標輝度を第２閾値Ｔｈ_２と比較する（Ｓ１４）。目標輝度が第２閾値Ｔｈ_２以上の場合（Ｓ１４でＮｏ判定）には、液晶表示装置４６の温度特性等の個体差は殆ど表れず、表示輝度が目標輝度になるように制御すれば、実際の表示輝度はほぼ目標輝度になるので、表示輝度の校正は行わない。一方、目標輝度が第２閾値Ｔｈ_２よりも小さい場合（Ｓ１４でＹｅｓ判定）、液晶表示装置４６の温度特性等の個体差のために、表示輝度が目標輝度になるように制御しても、実際の表示輝度が目標輝度になっていない場合があるので、表示輝度を校正する。

　具体的には、目標輝度が第２閾値Ｔｈ_２よりも小さい場合、表示輝度検出部５７が時間積分部５２から取得する積分照度に基づいて、第１表示部１７の実際の表示輝度を検出する（Ｓ１５）。次いで、校正輝度算出部５８が、目標輝度と実際の表示輝度に基づいて、校正輝度を算出する（Ｓ１７）。表示制御部３９は、表示輝度が算出された校正輝度になるように液晶表示装置４６を制御することにより、実際の表示輝度を目標輝度に近づける。なお、表示制御部３９は、実際の表示輝度を校正するためのステップＳ１５～Ｓ１７を適宜繰り返し行うことにより（Ｓ１８）、実際の表示輝度を目標輝度に近づける。

　実際の表示輝度が目標輝度になったか否かの判定は、例えば、目標輝度とステップＳ１５で検出する実際の表示輝度との差を第３閾値Ｔｈ_３と比較することによって行い、この差が第３閾値Ｔｈ_３よりも小さい場合に実際の表示輝度と目標輝度が一致したと判定する。

　また、上記制御は、ユーザが設定メニューを開く操作や、過去の撮影画像を閲覧するための操作等をしてライブビュー表示が終了される（Ｓ１９でＹｅｓ判定）まで、１フレーム毎に繰り返し行われる。

　上述のように、撮像装置１０は、被写体（周辺環境）の明るさに応じて、電子ビューファインダである第１表示部１７の表示輝度を調節するので、第１表示部１７の明るさが適切に調節され、快適に撮影をすることができる。特に、被写体が暗く、液晶表示装置４６の温度特性等の個体差が表れてしまうほど第１表示部１７を暗くしなければならない場合には、撮像装置１０は、被写体輝度だけでなく、照度検出センサ５１を用いて第１表示部１７の実際の表示輝度も検出し、被写体輝度と実際の表示輝度が一致するように校正するので、常に適切な明るさでライブビュー表示をすることができる。

　また、撮像装置１０は、照度検出センサ５１の検出値をそのまま用いるのではなく、時間積分部５２によって時間積分した積分照度を用いている。これは、暗順応の時間を考慮したものである。すなわち、被写体や周辺環境が暗く変化した場合には、ユーザの目が暗順応する前に、第１表示部１７の表示輝度を直ちに被写体に一致させてしまうと、第１表示部１７が存外に暗く感じ、かえってライブビュー表示が見難くなる場合がある。撮像装置１０は積分照度を用いるようにしているので、暗順応の過程でもユーザにとって見易いライブビュー表示をすることができる。

　なお、素早くかつ正確に表示輝度を校正したい場合には、時間積分部５２を介さず、照度検出センサ５１の検出値を直に使用して第１表示部１７の表示輝度を校正しても良い。もちろん、設定により、時間積分部５２を使用するか否かをユーザが選択できるようにしても良い。また、例えば、被写体輝度の変化が所定閾値（第４閾値Ｔｈ_４）よりも大きい場合にのみ自動的に時間積分部５２を使用するようにし、それ以外の場合には照度検出センサ５１の検出値を直に使用しても良い。こうした被写体輝度の監視は、表示制御部３９が行えば良い。この場合、表示制御部３９は、被写体輝度監視部として機能する。

　なお、図４のフローにしたがって表示制御部３９が液晶表示装置４６の表示輝度を校正した後（Ｓ１５～Ｓ１７）、次のフレームのライブビュー表示をすると、再び被写体輝度に基づいた目標輝度が設定される（Ｓ１３）。また、通常は、連続するフレームのライブビュー画像では被写体の変化は少ないので、目標輝度は前フレームの目標輝度にほぼ等しい。このため、液晶表示装置４６の表示輝度を校正したにも関わらず、次のフレームでは再び表示輝度が目標輝度になるように制御されるので（Ｓ１３）、実際の表示輝度は目標輝度よりも一旦明るく（あるいは暗く）なり、再度校正される。こうした動作が繰り返されると、第１表示部１７のライブビュー表示がフレーム毎に明滅することになるので、実際の表示輝度と目標輝度の差が大きい場合には、ユーザによってはこの表示輝度の変化が気になり、撮影の妨げになることがある。

　このため、液晶表示装置４６の表示輝度を校正した後のフレームでは、被写体輝度を前フレームの被写体輝度と比較し、被写体輝度の差が所定閾値よりも小さい場合には、ステップＳ１２またはステップＳ１３で目標輝度を前フレームで算出した校正輝度（最終的な校正輝度の値）に設定して、その後の制御を行うことが好ましい。また、前フレームとの被写体輝度の差が所定閾値（第５閾値Ｔｈ_５）以上の場合には、前述と同様に、被写体輝度に応じて目標輝度を設定してその後の制御を行う。こうすると、一旦表示輝度を校正した後のイブビュー表示の明滅を抑えることができる。各フレームの被写体輝度の比較は、表示制御部３９が行えば良い。この場合、表示制御部３９は、被写体輝度比較部として機能する。

［第２実施形態］
　第１実施形態の撮像装置１０では、表示輝度を制御することにより電子ビューファインダである第１表示部１７の明るさを調節しているが、表示輝度だけでなく表示階調を組み合わせて第１表示部１７の明るさを調節することが好ましい。

　図５において、撮像装置６０は、第１実施形態の撮像装置１０（図３参照）に階調制御部６１を加えたものである。階調制御部６１は、液晶表示装置５６の表示階調を制御する。具体的には、階調制御部６１は、目標輝度を所定閾値（第６閾値Ｔｈ_６）と比較し、目標輝度が所定閾値よりも小さい場合に、液晶表示装置４６の表示階調を低下させる。目標輝度が所定閾値以上の場合には、設定により予め定められた階調で表示をするように液晶表示装置４６を制御する。例えば、液晶表示装置４６が一色当たり８ビット（２５６階調）のフルカラー表示をする事ができる液晶表示装置である場合には、目標輝度が第６閾値Ｔｈ_６よりも小さければ、表示階調を７ビット（１２８階調）に落として、第１表示部１７の明るさを低減する。

　図６に示すように、階調制御部６１による目標輝度と第６閾値Ｔｈ_６の比較（Ｓ３１）は、目標輝度と第２閾値Ｔｈ_２の比較（Ｓ１４）の後、目標輝度が第２閾値Ｔｈ_２よりも小さい場合（Ｓ１４でＹｅｓ判定）に行う。目標輝度が第６閾値Ｔｈ_６以上の場合には、階調制御部６１は液晶表示装置４６を所定階調で表示をするように制御し、その後は第１実施形態と同様に表示輝度を校正する（Ｓ１５～Ｓ１８）。一方、目標輝度が第６閾値Ｔｈ_６よりも小さい場合には、階調制御部６１は液晶表示装置４６の表示階調が低下するように制御し（Ｓ３２）、その後、表示輝度を校正する（Ｓ１５～Ｓ１８）。

　すなわち、被写体が暗く、液晶表示装置４６の温度特性等の個体差が無視できない程、目標輝度が低い場合には、基本的にはバックライトの光源４６ｂの光量を調節することにより、表示輝度を校正するが、この目標輝度が低い範囲の中でも特に目標輝度が低い場合には、単に表示輝度を調節するだけでなく、まずは表示階調を落として第１表示部１７の明るさを下げ、表示階調の低減によって暗くなった状態で表示輝度（バックライトの光源４６ｂの発光量）を調節して、第１表示部１７の明るさを校正する。こうすると、表示輝度の調節だけでは第１表示部１７の明るさを調節しきれない場合でも、第１表示部１７の明るさを適切に設定することができる。例えば、バックライトの光源４６ｂは駆動電流が小さすぎると制御精度が悪くなるが、予め表示階調を落として第１表示部１７の明るさを下げておけば、表示輝度の制御を光源４６ｂの制御精度が良い範囲内で行うことができる。

　但し、表記階調を下げると、表示画像（ライブビュー画像）の画質が低下して見難くなって場合がある。このため、上述のように、表示輝度の調節だけで第１表示部１７の明るさを校正可能な場合（Ｓ３１でＮｏ判定）には、表示輝度の調節だけで第１表示部１７の明るさの校正を行い、表示階調の制御は、表示輝度の調節だけでは第１表示部１７の明るさを校正できない場合（Ｓ３１でＹｅｓ判定）に行うことが好ましい。

　なお、撮像装置６０は、表示制御部３９に階調制御部６１を設け、第１表示部１７の表示階調を制御しているが、第１表示部１７の表示階調を制御する代わりに、第１表示部１７に表示するための表示画像の明度を制御し、通常生成する表示画像よりも低下させても良い。このように、表示画像の明度を下げる処理は、例えば表示用画像生成部３７で表示用画像を生成する時点で行うことができる。

　また、表示画像の明度を低下させると、表示階調を下げる場合と同様に表示内容が見難くなる場合があるので、表示画像の明度を下げる場合には、彩度を上げることが好ましい。これは、明度が低くても、彩度が高ければ、全体として暗くても細部を識別しやすくなるからである。また、表示画像の明度低下による視認性低下を補う場合には、彩度の代わりに、コントラストやシャープネスを上げても良い。もちろん、彩度、コントラスト、シャープネスを組み合わせて調節しても良い。

［第３実施形態］
　第１，第２実施形態の撮像装置１０，６０は、被写体輝度を検出する場合にライブビュー画像を含む表示画像を表示した状態で液晶表示装置４６の照度を検出している。このように、ライブビュー画像を含む表示画像を表示した状態で液晶表示装置４６の照度を検出すると、検出結果は表示されているライブビュー画像の内容（被写体）の影響を受ける。例えば、夜景を撮影する場合にライトアップされた建造物が含まれていると、照度検出センサ５１の検出値は、ライトアップされた建造物の明るさを反映して、全体的な（平均的な）照度よりも明るい照度を検出してしまい、校正後の第１表示部１７の明るさが被写体の全体的な明るさに合致しない場合がある。このため、照度検出センサ５１の検出値を、被写体の全体的な明るさに合致するように補正することが好ましい。

　図７において、撮像装置７０は、第１実施形態の撮像装置１０に補正部７１を付加したものである。補正部７１は、被写体の全体的な明るさに対応するものになるように、照度検出センサ５１の検出値を補正する。補正部７１は、照度検出センサ５１から検出値を、被写体輝度検出部３８から被写体輝度と被写体の最大輝度をそれぞれ取得する。補正部７１は、照度検出センサ５１の検出値を、最大輝度に対する被写体輝度の比で除することにより求められる補正検出値を時間積分部５２に入力する。具体的には、照度検出センサ５１の検出値をＩ_ＲＡＷ、被写体輝度をＢ_ＯＢＪ、ライブビュー画像の最大輝度をＢ_ＭＡＸとすると、補正検出値Ｉ_ＣＯＲは、Ｉ_ＣＯＲ＝Ｉ_ＲＡＷ／（Ｂ_ＯＢＪ／Ｂ_ＭＡＸ）＝Ｉ_ＲＡＷ×Ｂ_ＭＡＸ／Ｂ_ＯＢＪである。

　被写体に高輝度物が含まれていると、実際の検出値Ｉ_ＲＡＷが、被写体に含まれる最大輝度Ｂ_ＭＡＸに対応した照度になり、被写体の平均輝度（被写体輝度Ｂ_ＯＢＪ）に対応する照度から乖離した値になってしまう場合がある。しかし、補正検出値Ｉ_ＣＯＲは、実際の検出値Ｉ_ＲＡＷに対する補正検出値Ｉ_ＣＯＲの比Ｉ_ＣＯＲ／Ｉ_ＲＡＷが、被写体の最大輝度に対する被写体輝度（平均値）の比Ｂ_ＯＢＪ／Ｂ_ＭＡＸに一致するように算出されているので、補正検出値Ｉ_ＣＯＲは、被写体輝度Ｂ_ＯＢＪに対応する照度に近い値になる。このため、補正検出値Ｉ_ＣＯＲを用いれば、一部に高輝度物が含まれている等の被写体の部分的な特徴によらず、被写体全体を反映した第１表示部１７の表示輝度を正しく検出することができる。

　なお、図７では第１実施形態の撮像装置１０に補正部７１を付加しているが、第２実施形態の撮像装置６０に補正部７１を設けても良い。

　なお、被写体の部分的な特徴によらずに、被写体全体を反映した第１表示部１７の表示輝度を検出するために、第３実施形態の撮像装置７０では、補正部７１によって照度検出センサ５１の検出値を補正しているが、別の方法で第１表示部１７の表示輝度を検出結果が被写体の部分的な特徴に依存しないようにしても良い。

　図８に示すように、表示制御部３９は、液晶表示装置４６に一定の時間間隔で表示同期信号を入力することにより、液晶表示装置４６にライブビュー画像を含む表示用画像を順次更新して表示させる。例えば、表示制御部３９が液晶表示装置４６の表示のフレームレートを１２０ｆｐｓに制御する場合には、一枚の画像の表示時間は約８ｍｓと極めて短い。このため、例えば、１フレーム分の画像を別の画像に置き換えたとしても、通常のユーザはそれを認識できない。

　そこで、表示制御部３９が、数フレームに１度（例えば１２０フレームに一枚）だけ、第１表示部１７に表示する画像を、照度検出用画像に置き換えて表示させるように制御し、表示輝度検出部５７には照度検出用画像の表示タイミングに合わせて第１表示部１７の表示輝度を検出させる。照度検出用画像は、全画素の輝度を、被写体輝度検出部３８が検出した被写体輝度とした一様なグレースケール画像である。この照度検出用画像は、表示制御部３９の指示によって、表示用画像生成部３７で生成させる。

　このように、ユーザが認識できない短時間の間に、ライブビュー画像を含む表示用画像の代わりに照度検出用画像を表示させ、この照度検出用画像を表示した第１表示部１７の表示輝度を検出すれば、被写体の部分的な特徴に影響されずに第１表示部１７の表示輝度を検出することができる。

　なお、第１～第３実施形態の撮像装置１０，６０，７０では、ハーフミラー４８を介して液晶表示装置４６の照度を検出しているが、図９に示すように、光源４６ｂに照度検出センサ５１の受光部５１ａを直接取り付けても良い。この場合、照度検出センサ５１は光源４６ｂの照度を液晶表示装置４６の照度として検出することになるので、その検出値は液晶パネル４６ａを介した表示光によって照度検出する場合とは異なる値になる。このため、例えば、光源４６ｂの照度と液晶パネル４６ａを介した表示光の照度の対応関係を測定し、変換式やＬＵＴ等を予め保持しておく。表示輝度検出部５７では、表示輝度を検出する場合に、照度検出センサ５１の検出値あるいは時間積分部５２が出力する積分照度を、表示光による照度に換算して用いる。

　第１～第３実施形態の撮像装置１０，６０，７０では、ハーフミラー４８が照度検出センサ５１に外光が入射することを防いでいるが、図９のように、照度検出センサ５１を液晶表示パネル４６の光源４６ｂに直接取り付ける場合には、ハーフミラー４８がないので、照度検出センサ５１及び光源４６ｂに外光の入射を防止するための遮光部材８１を設けておくことが好ましい。

　図１０に示すように、ハーフミラー４８等を介さずに、受光部５１ａで液晶表示装置４６を直接臨むように照度検出センサ５１を配置しても良い。この場合、観察窓８２をハーフミラーにして第１表示部１７に外光を入射させないようにすることが好ましい。図１０のような配置は、第１表示部１７の表示部として、液晶表示装置４６の代わりに、有機ＥＬパネル等の自己発光型の表示パネルを用いる場合に好適である。

　なお、目標輝度算出部５６は、第１閾値Ｔｈ_１と比較して目標輝度を算出しているが、常に被写体輝度を目標輝度に設定しても良い。但し、検出された被写体輝度が第１閾値Ｔｈ_１以上であり、被写体が十分に明るい場合には、第１表示部１７の表示輝度を被写体輝度に厳密に一致させるよりも、若干暗く表示させたほうが見やすい表示になる場合が多い。例えば、被写体自体が明るく直視すると眩しく感じるような場合でも、第１表示部１７の表示では眩しさが抑えられる。また、眼精疲労も低減できる。このため、上述のように第１閾値Ｔｈ１と比較して目標輝度を定めることが好ましい。

　被写体輝度検出部３８がライブビュー画像を用いて被写体輝度を検出しているが、信号処理部３２で撮像信号を用いて被写体輝度を検出しても良い。この場合は、信号処理部３２が被写体輝度検出部として機能する。

　また、被写体輝度検出部３８は、逐次生成される複数のライブビュー画像からそれぞれ被写体輝度を検出しているが、必ずしも全てのライブビュー画像から被写体輝度を検出しなくても良い。例えば、所定フレームレートで逐次生成される複数のライブビュー画像のうち、一枚置きに被写体輝度の検出を行うようにしても良い。

　第１表示部１７及び第２表示部１８に液晶表示装置を使用しているが、第１表示部１７及び第２表示部１８には、例えば有機ＥＬディスプレイ等、他の表示装置を用いても良い。

　撮像レンズ１２はズームレンズであるが、撮像レンズ１２の構成は任意である。すなわち、撮像レンズ１２は、単焦点レンズでも良い。また、撮像レンズ１２は交換式のものであっても良いし、据え付けでも良い。

　撮像装置１０，６０，７０は例えばデジタルカメラであるが、デジタルカメラ以外の撮像装置、例えば、スマートフォンやタブレット端末等にも本発明は好適である。スマートフォン等の場合には、第１表示部１７のような専用の電子ビューファインダが設けられておらず、通常は第２表示部１８のようなディスプレイを電子ビューファインダとして機能させる。このため、スマートフォン等の場合には、ハーフミラー４８を用いて電子ビューファインダの前面（ユーザが観察する面）の照度を検出することはできないので、図９のように照度検出センサ５１を配置して、電子ビューファインダの照度を検出することが好ましい。

　また、スマートフォン等では、ディスプレイに設けられたタッチパネルによって操作部が構成されているが、イメージセンサ１３と電子ビューファインダとして機能させるディスプレイの明るさの制御方法は上記実施形態と同じである。すなわち、操作部２３の実現方法は任意であり、操作部２３の各部は必ずしも物理的なスイッチやキーでなくても良い。

　１０，６０，７０　撮像装置
　１１　本体
　１２　撮像レンズ
　１３　イメージセンサ
　１７　第１表示部
　１８　第２表示部
　５１　照度検出センサ

Claims (12)

1. 　被写体を撮像して撮像信号を出力するイメージセンサと、
   　前記撮像信号に基づいて生成されるライブビュー画像を設定された輝度で表示する表示部と、
   　前記表示部近傍の照度を検出する照度検出センサと、
   　前記照度検出センサの検出値に基づいて、前記表示部の実際の表示輝度を検出する表示輝度検出部と、
   　前記ライブビュー画像に基づいて前記被写体の輝度を検出する被写体輝度検出部と、
   　前記被写体の輝度に基づいて、前記表示部の表示輝度として設定される目標輝度を算出する目標輝度算出部と、
   　前記目標輝度と前記目標輝度に設定された前記表示部の前記実際の表示輝度に基づいて、前記実際の表示輝度を前記目標輝度に近づけるために前記表示部に設定される校正輝度を算出する校正輝度算出部と、を備え、
   　前記表示部の表示輝度を前記校正輝度に設定することにより、前記実際の表示輝度を前記目標輝度に近づけている撮像装置。
2. 　前記照度検出センサの検出値を時間積分する時間積分部をさらに備え、
   　前記表示輝度検出部は時間積分された前記検出値に基づいて前記実際の表示輝度を検出する請求の範囲第１項に記載の撮像装置。
3. 　前記目標輝度を所定閾値と比較し、前記目標輝度が前記所定閾値よりも小さい場合に前記表示部の表示階調を低下させる表示階調制御部をさらに備える請求の範囲第１項に記載の撮像装置。
4. 　前記照度検出センサの出力値を、前記被写体の輝度に基づいて補正する補正部をさらに備える請求の範囲第１項に記載の撮像装置。
5. 　前記補正部は、前記照度検出センサの出力値を、前記被写体の最大輝度に対する前記被写体の平均輝度の比で除した値を補正値として出力する請求の範囲第４項に記載の撮像装置。
6. 　前記表示部は、所定タイミングで前記ライブビュー画像の代わりに照度検出用画像を表示させ、
   　前記校正輝度算出部は、前記目標輝度と、前記目標輝度に設定され、かつ前記照度検出用画像を表示した前記表示部の前記実際の表示輝度に基づいて前記校正輝度を算出する請求の範囲第１～３のいずれか１項に記載の撮像装置。
7. 　前記照度検出用画像は、輝度が前記被写体の輝度に一致する画像である請求の範囲第６項に記載の撮像装置。
8. 　前記表示部は、前記ライブビュー画像を表示する表示装置と、前記表示装置を観察するための観察窓と、前記表示装置の光を前記観察窓に通し、前記観察窓から入射する外光を遮蔽するハーフミラーとを備える請求の範囲第１項に記載の撮像装置。
9. 　前記ハーフミラーは前記表示部の光を一部反射して前記照度検出センサに入射させる請求の範囲第８項に記載の撮像装置。
10. 　前記照度検出センサは、前記ハーフミラーと前記表示装置の間に配置され、前記ハーフミラーを介さずに前記表示装置の光を受光する請求の範囲第８項に記載の撮像装置。
11. 　前記表示部は、バックライトによって点灯する表示装置を有し、
    　前記照度検出センサは、前記バックライトに取り付けられており、前記バックライトの照度を前記表示部の照度として検出する請求の範囲第１項に記載の撮像装置。
12. 　イメージセンサによって被写体を撮像して撮像信号を出力する撮像ステップと、
    　前記撮像信号に基づいて生成されるライブビュー画像を用いて前記被写体の輝度を検出する被写体輝度検出ステップと、
    　前記ライブビュー画像を表示する表示部の表示輝度として設定する目標輝度を、前記被写体の輝度に基づいて算出する目標輝度算出ステップと、
    　前記目標輝度に設定された前記表示部近傍の照度を照度検出センサによって検出し、検出した前記照度に基づいて、前記表示部の実際の表示輝度を検出する表示輝度検出ステップと、
    　前記目標輝度と前記実際の表示輝度に基づいて、前記実際の表示輝度を前記目標輝度に近づけるために前記表示部に設定される校正輝度を算出する校正輝度算出ステップと、
    　前記表示部の表示輝度を前記校正輝度に設定することにより、前記実際の表示輝度を前記目標輝度に近づける表示輝度校正ステップと、
    　を備える画像表示方法。

Images