WO2007013621A1 - 撮像装置および画像処理方法 - Google Patents

Abstract

　光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることが可能な撮像装置および画像処理方法であって、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う。

Description

明 細 書

撮像装置および画像処理方法

技術分野

[0001] 本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭 載カメラ、携帯情報端末搭載カメラ、画像検査装置、 自動制御用産業カメラ等の撮像 装置および画像処理方法に関するものである。

背景技術

[0002] 近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもそ の対応が著しい。

特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体 撮像素子である CCD (Charge Coupled Device)， CMOS (Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。

[0003] このように、撮像素子に CCDや CMOSセンサを使った撮像レンズ装置は、被写体 の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出する ものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パー ソナルコンピュータ、携帯電話機、携帯情報端末（PDA Personal DigitalAssista nt)、画像検査装置、 自動制御用産業カメラ等に用レ、られている。

[0004] 図 1は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である この撮像レンズ装置 1は、光学系 2と CCDや CMOSセンサ等の撮像素子 3とを有 する。

光学系は、物体側レンズ 21 , 22、絞り 23、および結像レンズ 24を物体側（OBJS) 力 撮像素子 3側に向かって順に配置されている。

[0005] 撮像レンズ装置 1においては、図 1に示すように、ベストフォーカス面を撮像素子面 上に合致させている。

図 2A〜図 2Cは、撮像レンズ装置 1の撮像素子 3の受光面でのスポット像を示して いる。 [0006] また、位相板（Wavefront Coding optical element)により光束を規則的に分 散し、デジタル処理により復元させ被写界深度の深レ、画像撮影を可能にする等の撮 像装置が提案されている (たとえば非特許文献 1， 2、特許文献:!〜 5参照)。

また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システム が提案されている（たとえば特許文献 6参照）。

特許乂 l¾ ： Wavefrontし oding;jomtly optimized optical and digital imaging syste ms ,i3dward R.DowskiJr., Robert H.Cormack, Scott D.Sarama.

特言午文献 2： "Wavefront Coding;A modern method of achieving high performance a nd/or low cost imaging systems", Edward R.DowskiJr. 'Gregory E.Johnson.

特許文献 1 : USP6, 021 , 005

特許文献 2 : USP6, 642, 504

特許文献 3 : USP6, 525, 302

特許文献 4 : USP6, 069, 738

特許文献 5 :特開 2003— 235794号公報

特許文献 6 :特開 2004— 153497号公報

発明の開示

発明が解決しょうとする課題

[0007] 上述した各文献にて提案された撮像装置においては、その全ては通常光学系に 上述の位相板を挿入した場合の PSF (Point— Spread— Function)が一定になつ ていることが前提であり、 PSFが変化した場合は、その後のカーネルを用いたコンボ リューシヨンにより、被写界深度の深い画像を実現することは極めて難しい。

したがって、単焦点でのレンズではともかぐズーム系や AF系などのレンズでは、そ の光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな 問題を抱えている。

換言すれば、従来の撮像装置においては、適正なコンボリューシヨン演算を行うこと ができず、ワイド（Wide)時ゃテレ（Tele)時のスポット（SPOT)像のズレを引き起こす 非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。 しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計ェ 数の増大、コスト増大、レンズの大型化の問題を引き起こす。

[0008] また、上述した各文献に開示された装置においては、たとえば喑所における撮影で 、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。

したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を 用レ、るような、光学系と信号処理を含めた光学システムでは、喑所での撮影を行う場 合、ノイズが増幅してしまレ、、復元画像に影響を与えてしまうという不利益がある。

[0009] 本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、し力 ノイズの 影響が小さい復元画像を得ることが可能な撮像装置および画像処理方法を提供す ることにある。

課題を解決するための手段

[0010] 本発明の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像す る撮像素子と、前記撮像素子による画像信号に演算係数に関連付けた所定の演算 処理を行う信号処理部と、前記信号処理部の演算係数を格納するメモリと、露出制 御を行う露出制御手段と、を有し、前記信号処理部は、前記露出制御手段からの露 出情報に応じて光学的伝達関数（OTF)に対してフィルタ処理を行う。

[0011] 好適には、前記光学系は光波面変調素子を含み、前記信号処理部は、前記撮像 素子からの被写体分散画像信号より分散のない画像信号を生成する変換手段を有 する。

[0012] 好適には、前記信号処理部は、前記撮像素子からの被写体分散画像信号より分 散のなレ、画像信号を生成する変換手段を有する。

[0013] 好適には、前記信号処理部は、ノイズ低減フィルタリングを施す手段を有する。

[0014] 好適には、前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係 数が格納される。

[0015] 好適には、前記メモリ手段には、露出情報に応じた光学的伝達関数（OTF)復元の ための演算係数が格納される。

[0016] 好適には、可変絞りを有し、前記露出制御手段は、前記可変絞りを制御する。

[0017] 好適には、前記露出情報として絞り情報を含む。

[0018] 好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写 体距離情報生成手段と、を備え、前記変換手段は、前記被写体距離情報生成手段 により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成 する。

[0019] 好適には、前記撮像装置は、被写体距離に応じて少なくとも前記光波面変調素子 または前記光学系に起因する分散に対応した変換係数を少なくとも 2以上予め記憶 する変換係数記憶手段と、前記被写体距離情報生成手段により生成された情報に 基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択す る係数選択手段と、を備え、前記変換手段は、前記係数選択手段で選択された変換 係数によって、画像信号の変換を行う。

[0020] 好適には、前記撮像装置は、前記被写体距離情報生成手段により生成された情報 に基づき変換係数を演算する変換係数演算手段、を備え、前記変換手段は、前記 変換係数演算手段力も得られた変換係数によって、画像信号の変換を行う。

[0021] 好適には、前記撮像装置は、前記光学系はズーム光学系を含み、前記ズーム光学 系のズーム位置またはズーム量に応じた少なくとも 1以上の補正値を予め記憶する 補正値記憶手段と、少なくとも前記光波面変調素子または前記光学系に起因する分 散に対応した変換係数を予め記憶する第 2変換係数記憶手段と、前記被写体距離 情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体まで の距離に応じた補正値を選択する補正値選択手段と、を備え、前記変換手段は、前 記第 2変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択さ れた前記補正値とによって、画像信号の変換を行う。

[0022] 好適には、前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネ ルサイズを含む。

[0023] 好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写 体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基 づき変換係数を演算する変換係数演算手段と、を備え、前記変換手段は、前記変換 係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない 画像信号を生成する。

[0024] 好適には、前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変 数として含む。

[0025] 好適には、記憶手段を有し、前記変換係数演算手段は、求めた変換係数を前記記 憶手段に格納し、前記変換手段は、前記記憶手段に格納された変換係数によって、 画像信号の変換を行レ、分散のなレ、画像信号を生成する。

[0026] 好適には、前記変換手段は、前記変換係数に基づいてコンボリューシヨン演算を行 う。

好適には、前記撮像装置は、撮影する被写体の撮影モードを設定する撮影モード 設定手段と、を備え、前記変換手段は、前記撮影モード設定手段により設定された 撮影モードに応じて異なる変換処理を行う。

[0027] 好適には、前記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮 影モードのいずれか 1つを有し、前記マクロ撮影モードを有する場合、前記変換手段 は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側 に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行し、前記 遠景撮影モードを有する場合、前記変換手段は、通常撮影モードにおける通常変換 処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を 撮影モードに応じて選択的に実行する。

[0028] 好適には、前記撮影モード設定手段により設定される各撮影モードに応じて異なる 変換係数を記憶する変換係数記憶手段と、前記撮影モード設定手段により設定され た撮影モードに応じて前記変換係数記憶手段から変換係数を抽出する変換係数抽 出手段と、を備え、前記変換手段は、前記変換係数抽出手段から得られた変換係数 によって、画像信号の変換を行う。

[0029] 好適には、前記変換係数記憶手段は前記被写体分散像のカーネルサイズを変換 係数として含む。

[0030] 好適には、前記モード設定手段は、撮影モードを入力する操作スィッチと、前記操 作スィッチの入力情報により被写体までの距離に相当する情報を生成する被写体距 離情報生成手段と、を含み、前記変換手段は、前記被写体距離情報生成手段により 生成される情報に基づいて前記分散画像信号より分散のない画像信号に変換処理 する。 [0031] 本発明の第 2の観点の画像処理方法は、演算係数を格納する格納ステップと、光 学系を通過した被写体像を撮像素子により撮像する撮像ステップと、前記撮像素子 による画像信号に上記演算係数に関連付けた所定の演算処理を行う演算ステップと 、を有し、前記演算ステップにおいては、露出情報に応じて光学的伝達関数 (OTF) に対してフィルタ処理を行う。

発明の効果

[0032] 本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、し力もノイズの 影響が小さい復元画像を得ることができる利点がある。

図面の簡単な説明

[0033] [図 1]図 1は一般的な撮像レンズ装置の構成および光束状態を模式的に示す図であ る。

[図 2]図 2A〜図 2Cは、図 1の撮像レンズ装置の撮像素子の受光面でのスポット像を 示す図であって、図 2Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 2B が合焦点の場合（Best focus)、図 2Cが焦点が 0. 2mmずれた場合（Defocus = -0. 2mm)の各スポット像を示す図である。

[図 3]図 3は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

[図 4]図 4は、本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例 を模式的に示す図である。

[図 5]図 5は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例 を模式的に示す図である。

[図 6]図 6は、広角側の像高中心のスポット形状を示す図である。

[図 7]図 7は、望遠側の像高中心のスポット形状を示す図である。

[図 8]図 8は、波面収差制御光学系システムの原理を説明するための図である。

[図 9]図 9は、カーネルデータ ROMの格納データの一例（光学倍率）を示す図である

[図 10]図 10は、カーネルデータ ROMの格納データの他例（Fナンパ）を示す図であ る。

園 11]図 11は、露出制御装置の光学系設定処理の概要を示すフローチャートである [図 12]図 12は信号処理部と力一ネルデータ格納 ROMにつレ、ての第 1の構成例を示 す図である。

[図 13]図 13は、信号処理部とカーネルデータ格納 ROMについての第 2の構成例を 示す図である。

[図 14]図 14は、信号処理部とカーネルデータ格納 ROMについての第 3の構成例を 示す図である。

[図 15]図 15は、信号処理部とカーネルデータ格納 ROMについての第 4の構成例を 示す図である。

[図 16]図 16は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成 例を示す図である。

園 17]図 17は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を 示す図である。

[図 18]図 18は、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタ の構成例を示す図である。

[図 19]図 19は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成 例を示す図である。

園 20]図 20A〜図 20Cは、本実施形態に係る撮像素子の受光面でのスポット像を示 す図であって、図 20Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 20B が合焦点の場合（Best focus)、図 20Cが焦点が— 0. 2mmずれた場合（Defocus = _0. 2mm)の各スポット像を示す図である。

園 21]図 21Aおよび図 21Bは、本実施形態に係る撮像素子により形成される 1次画 像の MTFについて説明するための図であって、図 21Aは撮像レンズ装置の撮像素 子の受光面でのスポット像を示す図で、図 21Bが空間周波数に対する MTF特性を 示している。

[図 22]図 22は、本実施形態に係る画像処理装置における MTF補正処理を説明す るための図である。

[図 23]図 23は、本実施形態に係る画像処理装置における MTF補正処理を具体的 に説明するための図である。

[図 24]図 24は、通常の光学系の場合において物体が焦点位置にあるときと焦点位 置から外れたときの MTFのレスポンス（応答）を示す図である。

[図 25]図 25は、光波面変調素子を有する本実施形態の光学系の場合において物体 が焦点位置にあるときと焦点位置から外れたときの MTFのレスポンスを示す図である

[図 26]図 26は、本実施形態に係る撮像装置のデータ復元後の MTFのレスポンスを 示す図である。

[図 27]図 27は、インバース復元における MTF持ち上げ量 (ゲイン倍率）の説明図で ある。

[図 28]図 28は、高周波側を抑えた MTF持ち上げ量 (ゲイン倍率）の説明図である。

[図 29]図 29A〜図 29Dは、高周波側の MTF持ち上げ量を抑えたシミュレーション結 果を示す図である。

符号の説明

[0034] 100…撮像装置、 110…光学系、 120…撮像素子、 130…アナログフロントエンド 部（AFE)、 140…画像処理装置、 150…カメラ信号処理部、 180…操作部、 190· · · 露出制御装置、 111…物体側レンズ、 112…結像レンズ、 113…波面形成用光学素 子、 113a…位相板（光波面変調素子）、 142…コンボリューシヨン演算器、 143…力 一ネルデータ ROM、 144…コンボリューシヨン制御部。

発明を実施するための最良の形態

[0035] 以下、本発明の実施形態を添付図面に関連付けて説明する。

[0036] 図 3は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

[0037] 本実施形態に係る撮像装置 100は、光学系 110、撮像素子 120、アナログフロント エンド部 (AFE) 130、画像処理装置 140、カメラ信号処理部 150、画像表示メモリ 1 60、画像モニタリング装置 170、操作部 180、および露出制御装置 190を有している

[0038] 光学系 110は、被写体物体〇BJを撮影した像を撮像素子 120に供給する。

[0039] 撮像装置 120は、光学系 110で取り込んだ像が結像され、結像 1次画像情報を電 気信号の 1次画像信号 FIMとして、アナログフロントエンド部 130を介して画像処理 装置 140に出力する CCDや CMOSセンサからなる。

図 3においては、撮像素子 120を一例として CCDとして記載している。

[0040] アナログフロントエンド部 130は、タイミングジェネレータ 131、アナログ/デジタル（ AZD)コンバータ 132と、を有する。

タイミングジェネレータ 131では、撮像素子 120の CCDの駆動タイミングを生成して おり、 A/Dコンバータ 132は、 CCDから入力されるアナログ信号をデジタル信号に 変換し、画像処理装置 140に出力する。

[0041] 信号処理部の一部を構成する画像処理装置（二次元コンボリューシヨン手段） 140 は、前段の AFE130から供給される撮像画像のデジタル信号を入力し、二次元のコ ンポリューション処理を施し、後段のカメラ信号処理部（DSP) 150に渡す。

画像処理装置 140、露出制御装置 190の露出情報に応じて、光学的伝達関数 (O TF)に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。

画像処理装置 140は、撮像素子 120からの被写体分散画像信号より分散のない画 像信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減 フィルタリングを施す機能を有する。

画像処理装置 140の処理については後でさらに詳述する。

[0042] カメラ信号処理部（DSP) 150は、カラー補間、ホワイトバランス、 YCbCr変換処理 、圧縮、フアイリング等の処理を行レ、、メモリ 160への格納や画像モニタリング装置 17 0への画像表示等を行う。

[0043] 露出制御装置 190は、露出制御を行うとともに、操作部 180などの操作入力を持ち 、それらの入力に応じて、システム全体の動作を決定し、 AFE130、画像処理装置 1 40、カメラ信号処理部（DSP) 150等を制御し、システム全体の調停制御を司るもの である。

[0044] 以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に は説明する。

[0045] 図 4は、本実施形態に係るズーム光学系 110の構成例を模式的に示す図である。

この図は広角側を示している。 また、図 5は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成 例を模式的に示す図である。

そして、図 6は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形 状を示す図であり、図 7は、本実施形態に係るズーム光学系の望遠側の像高中心の スポット形状を示す図である。

[0046] 図 4および図 5のズーム光学系 110は、物体側 OBJSに配置された物体側レンズ 11 1と、撮像素子 120に結像させるための結像レンズ 112と、物体側レンズ 1 11と結像 レンズ 1 12間に配置され、結像レンズ 112による撮像素子 120の受光面への結像の 波面を変形させる、たとえば 3次元的曲面を有する位相板（Cubic Phase Plate) 力 なる光波面変調素子（波面形成用光学素子： Wavefront Coding Optical E lement)群 113を有する。また、物体側レンズ 111と結像レンズ 112間には図示しな い絞りが配置される。

たとえば、本実施形態においては、可変絞り 200が設けられ、露出制御（装置）に ぉレ、て可変絞りの絞り度（開口度）を制御する。

[0047] なお、本実施形態においては、位相板を用いた場合について説明した力 本発明 の光波面変調素子としては、波面を変形させるものであればどのようなものでもよぐ 厚みが変化する光学素子 (たとえば、上述の 3次の位相板）、屈折率が変化する光学 素子（たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚 み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ)、光の位相 分布を変調可能な液晶素子 (たとえば、液晶空間位相変調素子)等の光波面変調素 子であればよレ、。

また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分 散した画像を形成する場合について説明したが、通常の光学系として用いるレンズ で光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合 には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後 述する位相板に起因する分散に対応するのではなぐ光学系に起因する分散に対 応することとなる。

[0048] 図 4および図 5のズーム光学系 110は、デジタルカメラに用いられる 3倍ズームに光 学位相板 113aを揷入した例である。

図で示された位相板 113aは、光学系により収束される光束を規則正しく分散する 光学レンズである。この位相板を揷入することにより、撮像素子 120上ではピントのど こにも合わない画像を実現する。

換言すれば、位相板 113aによって深度の深レ、光束 (像形成の中心的役割を成す) とフレアー（ボケ部分）を形成してレ、る。

この規則的に分散した画像をデジタル処理により、ピントの合った画像に復元する 手段を波面収差制御光学系システムとレ、い、この処理を画像処理装置 140におレ、て 行う。

[0049] ここで、波面収差制御光学系システムの基本原理について説明する。

図 6に示すように、被写体の画像 fが波面収差制御光学系システム光学系 Hに入る ことにより、 g画像が生成される。

これは、次のような式で表される。

[0050] (数 1)

g = H氺 f

ただし、 *はコンボリューシヨンを表す。

[0051] 生成された画像から被写体を求めるためには、次の処理を要する。

[0052] (数 2)

f = H^_1 * g

[0053] ここで、 Hに関するカーネルサイズと演算係数について説明する。

ズームポジションを ΖΡη, ΖΡη_ 1 · · ·とする。また、それぞれの Η関数を Ηη， Ηη_ 1、 · · · ·とする。

各々のスポット像が異なるため、各々の Η関数は、次のようになる。

[0054] ほ女 3]

' c'

d， e' f

レ h， V

[0055] この行列の行数および/または列数の違レ、をカーネルサイズ、各々の数字を演算 係数とする。

ここで、各々の H関数はメモリに格納しておいても構わないし、 PSFを物体距離の 関数としておき、物体距離によって計算し、 H関数を算出することによって任意の物 体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、 H 関数を物体距離の関数として、物体距離によって H関数を直接求めても構わない。

[0056] 本実施形態においては、図 3に示すように、光学系 110からの像を撮像素子 120で 受像して、画像処理装置 140に入力させ、光学系に応じた変換係数を取得して、取 得した変換係数をもって撮像素子 120からの分散画像信号より分散のない画像信号 を生成するように構成してレ、る。

[0057] なお、本実施形態において、分散とは、上述したように、位相板 113aを揷入するこ とにより、撮像素子 120上ではピントのどこにも合わない画像を形成し、位相板 113a によって深度の深い光束 (像形成の中心的役割を成す）とフレアー（ボケ部分)を形 成する現象をレ、い、像が分散してボケ部分を形成する振る舞レ、から収差と同様の意 味合いが含まれる。したがって、本実施形態においては、収差として説明する場合も ある。

[0058] 次に、画像処理装置 140の構成および処理について説明する。

[0059] 画像処理装置 140は、図 3に示すように、生（RAW)バッファメモリ 141、コンボリュ ーシヨン演算器 142、記憶手段としてのカーネルデータ格納 ROM143、およびコン ポリューション制御部 144を有する。

[0060] コンボリューシヨン制御部 144は、コンボリューシヨン処理のオンオフ、画面サイズ、 カーネルデータの入れ替え等の制御を行い、露出制御装置 190により制御される。 [0061] また、カーネルデータ格納 ROM143には、図 9または図 10に示すように予め用意 されたそれぞれの光学系の PSFにより算出されたコンボリューシヨン用のカーネルデ ータが格納されており、露出制御装置 190によって露出設定時に決まる露出情報を 取得し、コンボリューシヨン制御部 144を通じてカーネルデータを選択制御する。 なお、露出情報には、絞り情報が含まれる。

[0062] 図 9の例では、カーネルデータ Aは光学倍率（X 1. 5)、カーネルデータ Bは光学倍 率（ X 5)、カーネルデータ Cは光学倍率（ X 10)に対応したデータとなってレ、る。

[0063] また、図 10の例では、カーネルデータ Aは絞り情報としての Fナンパ（2. 8)、カー ネルデータ Bは Fナンパ（4)、カーネルデータ Cは Fナンパ（5. 6)に対応したデータ となっている。

[0064] 図 10の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。

絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板 113 aが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難と なる。

そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフ ィルタ処理を行うことによって適切な画像復元を実現している。

[0065] 図 11は、露出制御装置 190の露出情報（絞り情報を含む）により切り替え処理のフ ローチャートである。

まず、露出情報 (RP)が検出されコンボリューシヨン制御部 144に供給される（ST1) コンボリューシヨン制御部 144においては、露出情報 RPから、カーネルサイズ、数 値演係数がレジスタにセットされる（ST2)。

そして、撮像素子 120で撮像され、 AFE130を介して二次元コンボリューシヨン演 算部 142に入力された画像データに対して、レジスタに格納されたデータに基づい てコンボリューシヨン演算が行われ、演算され変換されたデータがカメラ信号処理部 1 50に転送される（ST3)。

[0066] 以下に画像処理装置 140の信号処理部とカーネルデータ格納 ROMについてさら に具体的な例について説明する。 [0067] 図 12は、信号処理部とカーネルデータ格納 ROMについての第 1の構成例を示す 図である。なお、簡単化のために AFE等は省略している。

図 12の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図 である。

[0068] 露出設定時に決まる露出情報を取得し、コンボリューシヨン制御部 144を通じて力 一ネルデータを選択制御する。 2次元コンボリューシヨン演算部 142においては、力 一ネルデータを用レ、てコンボリューション処理を施す。

[0069] 図 13は、信号処理部とカーネルデータ格納 ROMについての第 2の構成例を示す 図である。なお、簡単化のために AFE等は省略している。

図 13の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィ ルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理 ST1を予め用意 した場合のブロック図である。

[0070] 露出設定時に決まる露出情報を取得し、コンボリューシヨン制御部 144を通じて力 一ネルデータを選択制御する。

2次元コンボリューシヨン演算部 142においては、前記ノイズ低減フィルタ ST1を施 した後、カラーコンバージョン処理 ST2によって色空間を変換、その後カーネルデー タを用いてコンボリューシヨン処理 ST3を施す。

再度ノイズ処理 ST4を行レ、、カラーコンバージョン処理 ST5によって元の色空間に 戻す。カラーコンバージョン処理は、たとえば YCbCr変換が挙げられる力 他の変換 でも構わない。

なお、再度のノイズ処理 ST4は省略することも可能である。

[0071] 図 14は、信号処理部とカーネルデータ格納 ROMについての第 3の構成例を示す 図である。なお、簡単化のために AFE等は省略している。

図 14の例は、露出情報に応じた〇TF復元フィルタを予め用意した場合のブロック 図である。

[0072] 露出設定時に決まる露出情報を取得し、コンボリューシヨン制御部 144を通じて力 一ネルデータを選択制御する。

2次元コンボリューシヨン演算部 142は、ノイズ低減処理 ST11、カラーコンバージョ ン処理 ST12の後に、前記 OTF復元フィルタを用いてコンボリューシヨン処理 ST13 を施す。

再度ノイズ処理 ST14を行レ、、カラーコンバージョン処理 ST15によって元の色空間 に戻す。カラーコンバージョン処理は、たとえば YCbCr変換が挙げられる力 他の変 換でも構わない。

なお、ノイズ低減処理 ST11、 ST14は、いずれか一方のみでもよい。

[0073] 図 15は、信号処理部とカーネルデータ格納 ROMについての第 4の構成例を示す 図である。なお、簡単化のために AFE等は省略している。

図 15の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータと して露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。 なお、再度のノイズ処理 ST4は省略することも可能である。

露出設定時に決まる露出情報を取得し、コンボリューシヨン制御部 144を通じて力 一ネルデータを選択制御する。

2次元コンボリューシヨン演算部 142においては、ノイズ低減フィルタ処理 ST21を 施した後、カラーコンバージョン処理 ST22によって色空間を変換、その後カーネノレ データを用いてコンボリューシヨン処理 ST23を施す。

再度、露出情報に応じたノイズ処理 ST24を行い、カラーコンバージョン処理 ST25 によって元の色空間に戻す。カラーコンバージョン処理は、たとえば YCbCr変換が挙 げられる力 他の変換でも構わない。

なお、ノイズ低減処理 ST21は省略することも可能である。

[0074] 以上は露出情報のみに応じて 2次元コンボリューシヨン演算部 142においてフィノレ タ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影 モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは 演算を行うことが可能となる。

[0075] 図 16は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を 示す図である。

図 16は、撮像素子 120からの被写体分散画像信号より分散のない画像信号を生 成するが画像処理装置 300の構成例を示してレ、る。 [0076] 画像処理装置 300は、図 16に示すように、コンボリューシヨン装置 301、カーネル. 数値演算係数格納レジスタ 302、および画像処理演算プロセッサ 303を有する。

[0077] この画像処理装置 300においては、物体概略距離情報検出装置 400から読み出 した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演 算プロセッサ 303では、その物体離位置に対して適正な演算で用いる、カーネルサ ィズやその演算係数をカーネル、数値算係数格納レジスタ 302に格納し、その値を 用いて演算するコンボリューシヨン装置 301にて適正な演算を行レ、、画像を復元する

[0078] 上述のように、光波面変調素子としての位相板 (Wavefront Coding optical element) を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像 処理によって適正な収差のなレ、画像信号を生成できるが、所定の焦点距離範囲外 の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差の ある画像信号となってしまう。

また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の 狭い範囲外の画像にぼけ味を出すことも可能になる。

本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情 報検出装置 400により検出し、検出した距離に応じて異なる画像補正の処理を行うこ とにように構成されている。

[0079] 上記の画像処理はコンボリューシヨン演算により行うが、これを実現するには、たと えばコンボリューション演算の演算係数を共通で 1種類記憶しておき、焦点距離に応 じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正 した演算係数で適性なコンボリューシヨン演算を行う構成をとることができる。

この構成の他にも、以下の構成を採用することが可能である。

[0080] 焦点距離に応じて、カーネルサイズやコンボリューシヨンの演算係数自体を予め記 憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューシヨン演算を行 う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離により この関数より演算係数を求め、計算した演算係数でコンボリューシヨン演算を行う構 成等、を採用することが可能である。 [0081] 図 16の構成に対応付けると次のような構成をとることができる。

[0082] 変換係数記憶手段としてのレジスタ 302に被写体距離に応じて少なくとも位相板 1 13aに起因する収差に対応した変換係数を少なくとも 2以上予め記憶する。画像処 理演算プロセッサ 303が、被写体距離情報生成手段としての物体概略距離情報検 出装置 400により生成された情報に基づき、レジスタ 302から被写体までの距離に応 じた変換係数を選択する係数選択手段として機能する。

そして、変換手段としてのコンボリューシヨン装置 301が、係数選択手段としての画 像処理演算プロセッサ 303で選択された変換係数によって、画像信号の変換を行う

[0083] または、前述したように、変換係数演算手段としての画像処理演算プロセッサ 303 力 被写体距離情報生成手段としての物体概略距離情報検出装置 400により生成さ れた情報に基づき変換係数を演算し、レジスタ 302に格納する。

そして、変換手段としてのコンボリューシヨン装置 301が、変換係数演算手段として の画像処理演算プロセッサ 303で得られレジスタ 302に格納された変換係数によつ て、画像信号の変換を行う。

[0084] または、補正値記憶手段としてのレジスタ 302にズーム光学系 110のズーム位置ま たはズーム量に応じた少なくとも 1以上の補正値を予め記憶する。この補正値には、 被写体収差像のカーネルサイズを含まれる。

第 2変換係数記憶手段としても機能するレジスタ 302に、位相板 113aに起因する 収差に対応した変換係数を予め記憶する。

そして、被写体距離情報生成手段としての物体概略距離情報検出装置 400により 生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ 3 03が、補正値記憶手段としてのレジスタ 302から被写体までの距離に応じた補正値 を選択する。

変換手段としてのコンボリューシヨン装置 301が、第 2変換係数記憶手段としてのレ ジスタ 302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッ サ 303により選択された補正値とに基づいて画像信号の変換を行う。

[0085] 図 17は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す 図である。

図 17は、撮像素子 120からの被写体分散画像信号より分散のない画像信号を生 成するが画像処理装置 300Aの構成例を示してレ、る。

[0086] 画像処理装置 300Aは、図 16と同様に、図 17に示すように、コンボリューシヨン装 置 301、カーネル ·数値演算係数格納レジスタ 302、および画像処理演算プロセッサ 303を有する。

[0087] この画像処理装置 300Aにおいては、ズーム情報検出装置 500から読み出したズ ーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセ ッサ 303では、露出情報およびそのズーム位置に対して適正な演算で用いる、カー ネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ 302に格納し、 その値を用いて演算するコンボリューシヨン装置 301にて適正な演算を行い、画像を 復元する。

[0088] 上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装 置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異な る。このため、位相板より得られる焦点ズレ画像 (スポット画像）を後段の DSP等でコ ンポリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に 応じて異なるコンボリューシヨン演算が必要となる。

そこで、本実施形態においては、ズーム情報検出装置 500を設け、ズーム位置に 応じて適正なコンボリューシヨン演算を行レ、、ズーム位置によらず適性な焦点合わせ 画像を得るように構成されてレ、る。

[0089] 画像処理装置 300Aにおける適正なコンボリーシヨン演算には、コンボリューシヨン の演算係数をレジスタ 302に共通で 1種類記憶しておく構成をとることができる。 この構成の他にも、以下の構成を採用することが可能である。

[0090] 各ズーム位置に応じて、レジスタ 302に補正係数を予め記憶しておき、この補正係 数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューシヨン演算を 行う構成、各ズーム位置に応じて、レジスタ 302にカーネルサイズやコンボリューショ ンの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数 でコンボリューシヨン演算行う構成、ズーム位置に応じた演算係数を関数としてレジス タ 302に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算し た演算係数でコンボリューシヨン演算を行う構成等、を採用することが可能である。

[0091] 図 17の構成に対応付けると次のような構成をとることができる。

[0092] 変換係数記憶手段としてのレジスタ 302にズーム光学系 110のズーム位置または ズーム量に応じた位相板 1 13aに起因する収差に対応した変換係数を少なくとも 2以 上予め記憶する。画像処理演算プロセッサ 303が、ズーム情報生成手段としてのズ ーム情報検出装置 500により生成された情報に基づき、レジスタ 302からズーム光学 系 110のズーム位置またはズーム量に応じた変換係数を選択する係数選択手段とし て機能する。

そして、変換手段としてのコンボリューシヨン装置 301が、係数選択手段としての画 像処理演算プロセッサ 303で選択された変換係数によって、画像信号の変換を行う

[0093] または、前述したように、変換係数演算手段としての画像処理演算プロセッサ 303 力 ズーム情報生成手段としてのズーム情報検出装置 500により生成された情報に 基づき変換係数を演算し、レジスタ 302に格納する。

そして、変換手段としてのコンボリューシヨン装置 301が、変換係数演算手段として の画像処理演算プロセッサ 303で得られレジスタ 302に格納された変換係数によつ て、画像信号の変換を行う。

[0094] または、補正値記憶手段としてのレジスタ 302にズーム光学系 110のズーム位置ま たはズーム量に応じた少なくとも 1以上の補正値を予め記憶する。この補正値には、 被写体収差像のカーネルサイズを含まれる。

第 2変換係数記憶手段としても機能するレジスタ 302に、位相板 113aに起因する 収差に対応した変換係数を予め記憶する。

そして、ズーム情報生成手段としてのズーム情報検出装置 400により生成されたズ ーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ 303が、補正 値記憶手段としてのレジスタ 302からズーム光学系のズーム位置またはズーム量に 応じた補正値を選択する。

変換手段としてのコンボリューシヨン装置 301が、第 2変換係数記憶手段としてのレ ジスタ 302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッ サ 303により選択された補正値とに基づいて画像信号の変換を行う。

[0095] 図 18に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構 成例を示す。

この例では、物体距離情報とズーム情報で 2次元的な情報を形成し、露出情報が 奥行きのような情報を形成してレ、る。

[0096] 図 19は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を 示す図である。

図 19は、撮像素子 120からの被写体分散画像信号より分散のない画像信号を生 成する画像処理装置 300Bの構成例を示してレ、る。

[0097] 画像処理装置 300Bは、図 16および図 17と同様に、図 19に示すように、コンボリュ ーシヨン装置 301、記憶手段としてのカーネル.数値演算係数格納レジスタ 302、お よび画像処理演算プロセッサ 303を有する。

[0098] この画像処理装置 300Bにおいては、物体概略距離情報検出装置 600から読み出 した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演 算プロセッサ 303では、その物体離位置に対して適正な演算で用いる、カーネルサ ィズやその演算係数をカーネル、数値算係数格納レジスタ 302に格納し、その値を 用いて演算するコンボリューシヨン装置 301にて適正な演算を行レ、、画像を復元する

[0099] この場合も上述のように、光波面変調素子としての位相板 (Wavefront Coding optic al element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内 に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距 離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体の み収差のある画像信号となってしまう。

また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の 狭い範囲外の画像にぼけ味を出すことも可能になる。

本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情 報検出装置 600により検出し、検出した距離に応じて異なる画像補正の処理を行うこ とにように構成されている。

[0100] 上記の画像処理はコンボリューシヨン演算により行うが、これを実現するには、コン ポリューション演算の演算係数を共通で 1種類記憶しておき、物体距離に応じて補正 係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算 係数で適性なコンボリューシヨン演算を行う構成、物体距離に応じた演算係数を関数 として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演 算係数でコンボリューシヨン演算を行う構成、物体距離に応じて、カーネルサイズゃコ ンポリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイ ズゃ演算係数でコンボリューシヨン演算を行う構成等、を採用することが可能である。

[0101] 本実施形態においては、上述したように、 DSCのモード設定 (ポートレイト、無限遠

(風景）、マクロ）に応じて画像処理を変更する。

[0102] 図 19の構成に対応付けると次のような構成をとることができる。

[0103] 前述したように、変換係数演算手段としての画像処理演算プロセッサ 303を通して 操作部 180の撮影モード設定部 700により設定される各撮影モードに応じて異なる 変換係数を変換係数記憶手段としてのレジスタ 302に格納する。

画像処理演算プロセッサ 303が、撮影モード設定部 700の操作スィッチ 701により 設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情 報検出装置 600により生成された情報に基づき、変換係数記憶手段としてのレジスタ 302から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ 303が変 換係数抽出手段とて機能する。

そして、変換手段としてのコンボリューシヨン装置 301が、レジスタ 302に格納された 変換係数によって、画像信号の撮影モードに応じた変換処理を行う。

[0104] なお、図 4や図 5の光学系は一例であり、本発明は図 4や図 5の光学系に対して用 レ、られるものとは限らなレ、。また、スポット形状についても図 6および図 7は一例であり 、本実施形態のスポット形状は、図 6および図 7に示すものとは限らない。

また、図 9および図 10のカーネルデータ格納 ROMに関しても、光学倍率、 Fナン バゃそれぞれのカーネルのサイズ、値に対して用いられるものとは限らなレ、。また用 意するカーネルデータの数についても 3個とは限らない。 図 18のように 3次元、さらには 4次元以上とすることで格納量が多くなる力 種々の 条件を考慮してより適したものを選択することができるようになる。情報としては、上述 した露出情報、物体距離情報、ズーム情報、撮像モード情報等であればよい。

[0105] なお、上述のように、光波面変調素子としての位相板 (Wavefront Coding optical ele ment)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し 画像処理によって適正な収差のなレ、画像信号を生成できるが、所定の焦点距離範 圏外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収 差のある画像信号となってしまう。

また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の 狭い範囲外の画像にぼけ味を出すことも可能になる。

[0106] 本実施形態においては、波面収差制御光学系システムを採用し、高精細な画質を 得ることが可能で、し力も、光学系を簡単化でき、コスト低減を図ることが可能となって いる。

以下、この特徴について説明する。

[0107] 図 20A〜図 20Cは、撮像素子 120の受光面でのスポット像を示している。

図 20Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 20Bが合焦点の 場合（Best focus)、図 20Cが焦点が— 0· 2mmずれた場合（Defocus =— 0· 2m m)の各スポット像を示してレ、る。

図 20A〜図 20Cからもわかるように、本実施形態に係る撮像装置 100においては、 位相板 113aを含む波面形成用光学素子群 113によって深度の深い光束 (像形成の 中心的役割を成す）とフレアー (ボケ部分)が形成される。

[0108] このように、本実施形態の撮像装置 100において形成された 1次画像 FIMは、深度 が非常に深レ、光束条件にしてレ、る。

[0109] 図 21Aおよび図 21Bは、本実施形態に係る撮像レンズ装置により形成される 1次画 像の変調伝達関数（MTF : Modulation Transfer Function)について説明する ための図であって、図 21Aは撮像レンズ装置の撮像素子の受光面でのスポット像を 示す図で、図 21Bが空間周波数に対する MTF特性を示している。

本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナル プロセッサ（Digital Signal Processor)からなる画像処理装置 140の補正処理に 任せるため、図 21 Aおよび図 21Bに示すように、 1次画像の MTFは本質的に低い値 になっている。

[0110] 画像処理装置 140は、上述したように、撮像素子 120による 1次画像 FIMを受けて 、 1次画像の空間周波数における MTFをいわゆる持ち上げる所定の補正処理等を 施して高精細な最終画像 FNLIMを形成する。

[0111] 画像処理装置 140の MTF補正処理は、たとえば図 22の曲線 Aで示すように、本 質的に低い値になっている 1次画像の MTFを、空間周波数をパラメータとしてエッジ 強調、クロマ強調等の後処理にて、図 22中曲線 Bで示す特性に近づく（達する）よう な被正を行う。

図 22中曲線 Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子 を用いずに波面を変形させない場合に得られる特性である。

なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

[0112] 本実施形態においては、図 22に示すように、光学的に得られる空間周波数に対す る MTF特性曲線 Aに対して、最終的に実現したレ、MTF特性曲線 Bを達成するため には、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（1次画 像）に対して補正をかける。

たとえば、図 22の MTF特性の場合、空間周波数に対するエッジ強調の曲線は、図 23に示すようになる。

[0113] すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でェ ッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことによ り、所望の MTF特性曲線 Bを仮想的に実現する。

[0114] このように、実施形態に係る撮像装置 100は、基本的に、 1次画像を形成する光学 系 110および撮像素子 120と、 1次画像を高精細な最終画像に形成する画像処理 装置 140からなり、光学系システムの中に、波面成形用の光学素子を新たに設ける 、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したも のを設けることにより、結像の波面を変形（変調）し、そのような波面を CCDや CMOS センサからなる撮像素子 120の撮像面（受光面）に結像させ、その結像 1次画像を、 画像処理装置 140を通して高精細画像を得る画像形成システムである。

本実施形態では、撮像素子 120による 1次画像は深度が非常に深い光束条件にし ている。そのために、 1次画像の MTFは本質的に低い値になっており、その MTFの 補正を画像処理装置 140で行う。

[0115] ここで、本実施形態における撮像装置 100における結像のプロセスを、波動光学的 に考察する。

物点の 1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき 、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な 形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象 を取り扱う場合に便利である。

結像面における波動光学的 MTFを扱うとき、結像光学系の射出瞳位置における波 面情報が重要となる。

MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。そ の波動光学的強度分布は波動光学的振幅分布を 2乗して得られるが、その波動光 学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。

さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差)そのものから であることから、その光学系 110を通して波面収差が厳密に数値計算できれば MTF が計算できることになる。

[0116] したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意 に結像面における MTF値は変更可能である。

本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主で ある力 まさに phase (位相、光線に沿った光路長）に増減を設けて目的の波面形成 を行っている。

そして、 目的の波面形成を行えば、射出瞳からの射出光束は、図 20A〜図 20Cに 示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成 される。

この光束状態の MTFは空間周波数の低いところでは低い値を示し、空間周波数 の高レ、ところまでは何とか解像力は維持してレ、る特徴を示してレ、る。 すなわち、この低い MTF値 (または、幾何光学的にはこのようなスポット像の状態） であれば、エリアジングの現象を発生させないことになる。

つまり、ローパスフィルタが必要ないのである。

そして、後段の DSP等からなる画像処理装置 140で MTF値を低くしている原因の フレアー的画像を除去すれば良いのである。それによつて MTF値は著しく向上する

[0117] 次に、本実施形態および従来光学系の MTFのレスポンスについて考察する。

[0118] 図 24は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から 外れたときの MTFのレスポンス（応答）を示す図である。

図 25は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦 点位置にあるときと焦点位置から外れたときの MTFのレスポンスを示す図である。 また、図 26は、本実施形態に係る撮像装置のデータ復元後の MTFのレスポンスを 示す図である。

[0119] 図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置 力 外れた場合でも MTFのレスポンスの変化が光波面変調素子を挿入してない光 学径よりも少なくなる。

この光学系によって結像された画像を、コンボリューシヨンフィルタによる処理によつ て、 MTFのレスポンスが向上する。

[0120] 以上説明したように、本実施形態によれば、 1次画像を形成する光学系 110および 撮像素子 120と、 1次画像を高精細な最終画像に形成する画像処理装置 140とを含 み、画像処理装置 140において、露出制御装置 190からの露出情報に応じて光学 的伝達関数（〇TF)に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト 低減を図ることができ、し力 ノイズの影響が小さい復元画像を得ることができる利点 力 ^sある。

また、コンボリューシヨン演算時に用いるカーネルサイズやその数値演算で用いら れる係数を可変とし、操作部 180等の入力により知り、適性となるカーネルサイズや 上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレ ンズ設計ができ、かつ精度の高いコンボリューシヨンによる画像復元が可能となる利 点がある。

また、難度が高 高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズ を駆動させること無ぐ撮影したい物体に対してピントが合レ、、背景はぼかすといった 、レ、わゆる自然な画像を得ることができる利点がある。

そして、本実施形態に係る撮像装置 100は、デジタルカメラやカムコーダ一等の民 生機器の小型、軽量、コストを考慮されたズームレンズの波面収差制御光学系システ ムに使用することが可能である。

[0121] また、本実施形態においては、結像レンズ 112による撮像素子 120の受光面への 結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子 1 20による 1次画像 FIMを受けて、 1次画像の空間周波数における MTFをいわゆる持 ち上げる所定の補正処理等を施して高精細な最終画像 FNLIMを形成する画像処 理装置 140とを有することから、高精細な画質を得ることが可能となるという利点があ る。

また、光学系 110の構成を簡単化でき、製造が容易となり、コスト低減を図ることが できる。

[0122] ところで、 CCDや CMOSセンサを撮像素子として用いた場合、画素ピッチから決ま る解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジン グのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。 画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性 能なレンズ系を必要とする。

[0123] しかし、上述したように、 CCDや CMOSセンサを撮像素子として用いた場合、エリ アジングが発生する。

現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からな るローパスフィルタを併用し、エリアジングの現象の発生を避けている。

このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタ そのものが結晶でできているため、高価であり、管理が大変である。また、光学系に 使用することは光学系をより複雑にしているという不利益がある。

[0124] 以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわら ず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑に しなければならなレ、。複雑にすれば、製造が困難になったりし、また高価なローパス フィルタを利用したりするとコストアップにつながる。

しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象 の発生を避けることができ、高精細な画質を得ることができる。

[0125] なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レン ズよりに配置した例を示した力 絞りと同一あるいは絞りより結像レンズ側に配置して も前記と同様の作用効果を得ることができる。

[0126] また、図 4や図 5の光学系は一例であり、本発明は図 4や図 5の光学系に対して用 レ、られるものとは限らない。また、スポット形状についても図 6および図 7は一例であり

、本実施形態のスポット形状は、図 6および図 7に示すものとは限らない。

また、図 9および図 10のカーネルデータ格納 ROMに関しても、光学倍率、 Fナン バゃそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用 意するカーネルデータの数についても 3個とは限らない。

[0127] ところで、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノィ ズも同時に増幅してしまう。

したがって、たとえば上述した位相変調素子とその後の信号処理を用いるような、 光学系と信号処理を含めた光学システムでは、喑所での撮影を行う場合、ノイズが増 幅してしまい、復元画像に影響を与えてしまうおそれがある。

そこで、画像処理装置で用いるフィルタのサイズやその数値、ゲイン倍率を可変とし

、露出情報によって適正な演算係数を対応させることにより、ノイズの影響が小さい復 元画像を得ることが可能となる。

[0128] たとえばデジタルカメラを例に説明すると、撮影モードが夜景時に、図 27に示すよう な光学伝達関数 Hのインバース復元 1/Hでボケ画像に周波数変調を施す。

すると、特に ISO感度でゲインが掛かったノイズ (特に高周波成分）に対しても周波 数変調を施すことになり、さらにノイズ成分が強調され、復元画はノイズの目立つ画と なってしまう。

これは、暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時 に増幅してしまうためであり、復元画像に影響を与えてしまう可能性がある。

ここで、ゲイン倍率について説明すると、ゲイン倍率とはフィルタで MTFに周波数変 調を施す際の倍率であり、ある周波数に着目したときの MTFの持ち上げ量である。つ まり、ぼけ MTF値が a、復元後 MTF値を bとするとゲイン倍率は b/aとなる。たとえば、 図 27の例で点像 (MTFが 1)に復元する場合を考えるとゲイン倍率は 1/aとなる。

[0129] そこで、図 28に示すように、高周波側でのゲイン倍率を下げた形で周波数変調を 施すことが本発明のさらなる特徴である。このようにすることで、図 27と比べて特に高 周波のノイズに対する周波数変調は抑えられ、よりノイズの抑圧された画像を得ること 力 Sできる。図 28に示すように、この時の MTF値が a、復元後の MTF値を （ く b)とす ると、ゲイン倍率は b' /aとなり、インバース復元時よりもゲイン倍率は小さくなる。この ように、暗所での撮影等で露出量が小さくなつた時に、高周波側のゲイン倍率を下げ ることにより、適正な演算係数を対応させることができ、ノイズの影響が小さい復元画 像を得ることが可能となる。

[0130] 図 29 (A)〜（D)は上記ノイズ抑圧効果のシミュレーション結果である。図 29 (A)は ボケ画であり、図 29 (B)がボケ画にノイズを加算したものである。図 29 (C)は図 29 (B )に対してインバース復元した結果を示し、図 29 (D)がゲイン倍率を下げて復元した 結果である。

これらの図からゲイン倍率を下げて復元した結果の方がノイズの影響を抑えて復元 されることがわかる。ゲイン倍率を下げることは、若干のコントラスト低下に繋がるが、 これは後段画像処理のエッジ強調などでコントラスト上げればカバーすることができる 産業上の利用可能性

[0131] 本発明の撮像装置および画像処理方法は、光学系を簡単化でき、コスト低減を図 ること力 Sでき、し力もノイズの影響が小さい復元画像を得ることが可能なことから、デジ タルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、 自動制御用産業カメラ等に適用可能である。

Claims

請求の範囲

[1] 光学系と、

前記光学系を通過した被写体像を撮像する撮像素子と、

前記撮像素子による画像信号に演算係数に関連付けた所定の演算処理を行う信 号処理部と、

前記信号処理部の演算係数を格納するメモリ手段と、

露出制御を行う露出制御手段と、を有し、

前記信号処理部は、前記露出制御手段からの露出情報に応じて光学的伝達関数 (OTF)に対してフィルタ処理を行う

撮像装置。

[2] 前記光学系は光波面変調素子を含み、

前記信号処理部は、前記撮像素子からの被写体分散画像信号より分散のない画 像信号を生成する変換手段を有する

請求項 1記載の撮像装置。

[3] 前記信号処理部は、前記撮像素子からの被写体分散画像信号より分散のない画 像信号を生成する変換手段を有する

請求項 1記載の撮像装置。

[4] 前記信号処理部は、ノイズ低減フィルタリングを施す手段を有する

請求項 1に記載の撮像装置。

[5] 前記メモリ手段には、露出情報に応じたノイズ低減処理のための演算係数が格納さ れる

請求項 1に記載の撮像装置。

[6] 前記メモリ手段には、露出情報に応じた光学的伝達関数（OTF)復元のための演 算係数が格納される

請求項 1に記載の撮像装置。

[7] 前期露出情報に応じた OTF復元は、露出情報に応じて周波数変調のゲイン倍率 を変えて周波数変調を施す

請求項 6に記載の撮像装置。

[8] 露出量が小さくなると高周波側のゲイン倍率を下げる

請求項 7に記載の撮像装置。

[9] 可変絞りを有し、

前記露出制御手段は、前記可変絞りを制御する

請求項 1に記載の撮像装置。

[10] 前記露出情報として絞り情報を含む

請求項 1に記載の撮像装置。

[11] 前記撮像装置は、

被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備 え、

前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づい て前記分散画像信号より分散のない画像信号を生成する

請求項 2に記載の撮像装置。

[12] 前記撮像装置は、

被写体距離に応じて少なくとも前記光波面変調素子または前記光学系に起因す る分散に対応した変換係数を少なくとも 2以上予め記憶する変換係数記憶手段と、 前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記 憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え 前記変換手段は、前記係数選択手段で選択された変換係数によって、画像信号 の変換を行う

請求項 11に記載の撮像装置。

[13] 前記撮像装置は、

前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算す る変換係数演算手段、を備え、

前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像 信号の変換を行う

請求項 11に記載の撮像装置。

[14] 前記撮像装置は、

前記光学系はズーム光学系を含み、

前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも 1以上の補正 値を予め記憶する補正値記憶手段と、

少なくとも前記光波面変調素子または前記光学系に起因する分散に対応した変 換係数を予め記憶する第 2変換係数記憶手段と、

前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶 手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、 前記変換手段は、前記第 2変換係数記憶手段から得られた変換係数と、前記補 正値選択手段から選択された前記補正値とによって、画像信号の変換を行う 請求項 2に記載の撮像装置。

[15] 前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネルサイズを 含む

請求項 14に記載の撮像装置。

[16] 前記撮像装置は、

被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、 前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算す る変換係数演算手段と、を備え、

前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像 信号の変換を行レ、分散のなレ、画像信号を生成する

請求項 2に記載の撮像装置。

[17] 前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変数として含む 請求項 16に記載の撮像装置。

[18] 記憶手段を有し、

前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、 前記変換手段は、前記記憶手段に格納された変換係数によって、画像信号の変 換を行レ、分散のなレ、画像信号を生成する

請求項 16に記載の撮像装置。

[19] 前記変換手段は、前記変換係数に基づいてコンボリューシヨン演算を行う 請求項 16に記載の撮像装置。

[20] 前記撮像装置は、

撮影する被写体の撮影モードを設定する撮影モード設定手段と、を備え、 前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて 異なる変換処理を行う

請求項 2に記載の撮像装置。

[21] 前記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードの いずれか 1つを有し、

前記マクロ撮影モードを有する場合、前記変換手段は、通常撮影モードにおける 通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換 処理と、を撮影モードに応じて選択的に実行し、

前記遠景撮影モードを有する場合、前記変換手段は、通常撮影モードにおける通 常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処 理と、を撮影モードに応じて選択的に実行する

請求項 20に記載の撮像装置。

[22] 前記撮影モード設定手段により設定される各撮影モードに応じて異なる変換係数 を記憶する変換係数記憶手段と、

前記撮影モード設定手段により設定された撮影モードに応じて前記変換係数記憶 手段から変換係数を抽出する変換係数抽出手段と、を備え、

前記変換手段は、前記変換係数抽出手段から得られた変換係数によって、画像信 号の変換を行う

請求項 20に記載の撮像装置。

[23] 前記変換係数記憶手段は前記被写体分散像のカーネルサイズを変換係数として 含む

請求項 22に記載の撮像装置。

[24] 前記モード設定手段は、

撮影モードを入力する操作スィッチと、 前記操作スィッチの入力情報により被写体までの距離に相当する情報を生成す る被写体距離情報生成手段と、を含み、

前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づい て前記分散画像信号より分散のない画像信号に変換処理する

請求項 20に記載の撮像装置。

演算係数を格納する格納ステップと、

光学系を通過した被写体像を撮像素子により撮像する撮像ステップと、 前記撮像素子による画像信号に上記演算係数に関連付けた所定の演算処理を行 う演算ステップと、を有し、

前記演算ステップにおいては、露出情報に応じて光学的伝達関数（OTF)に対して フィルタ処理を行う

画像処理方法。