JP2002288653A - 画像処理装置，方法，プログラム及び記録媒体 - Google Patents
画像処理装置，方法，プログラム及び記録媒体Info
- Publication number
- JP2002288653A JP2002288653A JP2001084099A JP2001084099A JP2002288653A JP 2002288653 A JP2002288653 A JP 2002288653A JP 2001084099 A JP2001084099 A JP 2001084099A JP 2001084099 A JP2001084099 A JP 2001084099A JP 2002288653 A JP2002288653 A JP 2002288653A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- iterative calculation
- residual
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 画像に左右されない高精度な画像復元処理が
可能な画像処理装置，方法等を提供する。 【解決手段】 撮像された劣化画像と、撮像時又は撮像
以前に得られた劣化関数と、から反復計算を用いて画像
復元を行う画像処理方法において、反復計算(＃１３〜
＃１６)での反復毎に残差を計算し(＃１５)、計算され
た前回の残差と今回の残差との変化率を計算し、計算さ
れた残差変化率がある閾値以下になったときに反復計算
が収束したと判定する(＃１６)。
可能な画像処理装置，方法等を提供する。 【解決手段】 撮像された劣化画像と、撮像時又は撮像
以前に得られた劣化関数と、から反復計算を用いて画像
復元を行う画像処理方法において、反復計算(＃１３〜
＃１６)での反復毎に残差を計算し(＃１５)、計算され
た前回の残差と今回の残差との変化率を計算し、計算さ
れた残差変化率がある閾値以下になったときに反復計算
が収束したと判定する(＃１６)。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理装置，方
法，プログラム及び記録媒体に関するものであり、更に
詳しくは、撮像装置(デジタルカメラ等)で得られた劣化
画像を原画像に近い画像に復元する画像処理装置及び方
法、並びに画像復元用の画像処理プログラム及びそれを
記録した記録媒体に関するものである。
法，プログラム及び記録媒体に関するものであり、更に
詳しくは、撮像装置(デジタルカメラ等)で得られた劣化
画像を原画像に近い画像に復元する画像処理装置及び方
法、並びに画像復元用の画像処理プログラム及びそれを
記録した記録媒体に関するものである。
【０００２】
【従来の技術】デジタルカメラ等の撮像装置で得られる
画像(以下「採取画像」という。)には、通常、ピンボ
ケ，手ぶれ，収差等の劣化がある。一般的な画像復元処
理では、その劣化を取り除いて採取画像を原画像に近い
画像に復元するために、反復計算が行われる。
画像(以下「採取画像」という。)には、通常、ピンボ
ケ，手ぶれ，収差等の劣化がある。一般的な画像復元処
理では、その劣化を取り除いて採取画像を原画像に近い
画像に復元するために、反復計算が行われる。
【０００３】
【発明が解決しようとする課題】上記反復計算において
反復毎に残差を計算し、その計算結果が予め設定された
閾値を下回るまで収束判定を行うようにした場合、画像
によっては反復回数の過不足が生じてノイズ等が発生
し、所望の復元画像が得られないことがある。また、反
復回数を予め設定する方法も提案されているが(特開平
６−５４１７２号公報等)、反復回数を何に基づいて決
定すれば高精度の画像復元が可能になるのかは、未だ知
られていない。
反復毎に残差を計算し、その計算結果が予め設定された
閾値を下回るまで収束判定を行うようにした場合、画像
によっては反復回数の過不足が生じてノイズ等が発生
し、所望の復元画像が得られないことがある。また、反
復回数を予め設定する方法も提案されているが(特開平
６−５４１７２号公報等)、反復回数を何に基づいて決
定すれば高精度の画像復元が可能になるのかは、未だ知
られていない。
【０００４】本発明はこのような状況に鑑みてなされた
ものであって、その目的は、画像に左右されない高精度
な画像復元処理が可能な画像処理装置，方法，プログラ
ム及び記録媒体を提供することにある。
ものであって、その目的は、画像に左右されない高精度
な画像復元処理が可能な画像処理装置，方法，プログラ
ム及び記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、第１の発明の画像処理装置は、撮像された劣化画像
と、撮像時又は撮像以前に得られた劣化関数と、から反
復計算を用いて画像復元を行う画像処理装置において、
前記反復計算での反復毎に残差を計算する残差計算手段
と、前記残差計算手段で計算された前回の残差と前記残
差計算手段で計算された今回の残差との変化率を計算す
る残差変化率計算手段と、前記残差変化率計算手段で計
算された残差変化率がある閾値以下になったときに反復
計算が収束したと判定する収束判定手段と、を有するこ
とを特徴とする。
に、第１の発明の画像処理装置は、撮像された劣化画像
と、撮像時又は撮像以前に得られた劣化関数と、から反
復計算を用いて画像復元を行う画像処理装置において、
前記反復計算での反復毎に残差を計算する残差計算手段
と、前記残差計算手段で計算された前回の残差と前記残
差計算手段で計算された今回の残差との変化率を計算す
る残差変化率計算手段と、前記残差変化率計算手段で計
算された残差変化率がある閾値以下になったときに反復
計算が収束したと判定する収束判定手段と、を有するこ
とを特徴とする。
【０００６】第２の発明の画像処理装置は、上記第１の
発明の構成において、前記残差計算手段が、画像の全体
又は一部のみについて計算を行うことを特徴とする。
発明の構成において、前記残差計算手段が、画像の全体
又は一部のみについて計算を行うことを特徴とする。
【０００７】第３の発明の画像処理装置は、撮像された
劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理装置
において、復元条件に応じて前記反復計算の回数を決定
する反復計算回数決定手段を有することを特徴とする。
劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理装置
において、復元条件に応じて前記反復計算の回数を決定
する反復計算回数決定手段を有することを特徴とする。
【０００８】第４の発明の画像処理装置は、上記第３の
発明の構成において、前記反復計算回数決定手段が、劣
化関数のサイズに応じて前記反復計算の回数を決定する
ことを特徴とする。
発明の構成において、前記反復計算回数決定手段が、劣
化関数のサイズに応じて前記反復計算の回数を決定する
ことを特徴とする。
【０００９】第５の発明の画像処理装置は、上記第３の
発明の構成において、前記反復計算回数決定手段が、撮
影環境に応じて前記反復計算の回数を決定することを特
徴とする。
発明の構成において、前記反復計算回数決定手段が、撮
影環境に応じて前記反復計算の回数を決定することを特
徴とする。
【００１０】第６の発明の画像処理装置は、上記第３の
発明の構成において、前記反復計算回数決定手段が、撮
影条件に応じて前記反復計算の回数を決定することを特
徴とする。
発明の構成において、前記反復計算回数決定手段が、撮
影条件に応じて前記反復計算の回数を決定することを特
徴とする。
【００１１】第７の発明の画像処理装置は、撮像された
劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理装置
において、画質に応じて前記反復計算の回数を決定する
反復計算回数決定手段を有することを特徴とする。
劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理装置
において、画質に応じて前記反復計算の回数を決定する
反復計算回数決定手段を有することを特徴とする。
【００１２】第８の発明の画像処理装置は、上記第７の
発明の構成において、前記反復計算回数決定手段が、ノ
イズレベルに応じて前記反復計算の回数を決定すること
を特徴とする。
発明の構成において、前記反復計算回数決定手段が、ノ
イズレベルに応じて前記反復計算の回数を決定すること
を特徴とする。
【００１３】第９の発明の画像処理装置は、上記第７の
発明の構成において、前記反復計算回数決定手段が、劣
化関数のサイズに応じて前記反復計算の回数を決定する
ことを特徴とする。
発明の構成において、前記反復計算回数決定手段が、劣
化関数のサイズに応じて前記反復計算の回数を決定する
ことを特徴とする。
【００１４】第１０の発明の画像処理方法は、撮像され
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、前記反復計算での反復毎に残差を計算し、計
算された前回の残差と今回の残差との変化率を計算し、
計算された残差変化率がある閾値以下になったときに反
復計算が収束したと判定することを特徴とする。
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、前記反復計算での反復毎に残差を計算し、計
算された前回の残差と今回の残差との変化率を計算し、
計算された残差変化率がある閾値以下になったときに反
復計算が収束したと判定することを特徴とする。
【００１５】第１１の発明の画像処理方法は、上記第１
０の発明の構成において、前記残差の計算を画像の全体
又は一部のみについて行うことを特徴とする。
０の発明の構成において、前記残差の計算を画像の全体
又は一部のみについて行うことを特徴とする。
【００１６】第１２の発明の画像処理方法は、撮像され
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、復元条件に応じて前記反復計算の回数を決定
することを特徴とする。
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、復元条件に応じて前記反復計算の回数を決定
することを特徴とする。
【００１７】第１３の発明の画像処理方法は、上記第１
２の発明の構成において、劣化関数のサイズに応じて前
記反復計算の回数を決定することを特徴とする。
２の発明の構成において、劣化関数のサイズに応じて前
記反復計算の回数を決定することを特徴とする。
【００１８】第１４の発明の画像処理方法は、上記第１
２の発明の構成において、撮影環境に応じて前記反復計
算の回数を決定することを特徴とする。
２の発明の構成において、撮影環境に応じて前記反復計
算の回数を決定することを特徴とする。
【００１９】第１５の発明の画像処理方法は、上記第１
２の発明の構成において、撮影条件に応じて前記反復計
算の回数を決定することを特徴とする。
２の発明の構成において、撮影条件に応じて前記反復計
算の回数を決定することを特徴とする。
【００２０】第１６の発明の画像処理方法は、撮像され
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、画質に応じて前記反復計算の回数を決定する
ことを特徴とする。
た劣化画像と、撮像時又は撮像以前に得られた劣化関数
と、から反復計算を用いて画像復元を行う画像処理方法
において、画質に応じて前記反復計算の回数を決定する
ことを特徴とする。
【００２１】第１７の発明の画像処理方法は、上記第１
６の発明の構成において、ノイズレベルに応じて前記反
復計算の回数を決定することを特徴とする。
６の発明の構成において、ノイズレベルに応じて前記反
復計算の回数を決定することを特徴とする。
【００２２】第１８の発明の画像処理方法は、上記第１
６の発明の構成において、劣化関数のサイズに応じて前
記反復計算の回数を決定することを特徴とする。
６の発明の構成において、劣化関数のサイズに応じて前
記反復計算の回数を決定することを特徴とする。
【００２３】第１９の発明の画像処理プログラムは、撮
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、前
記反復計算での反復毎に残差を計算するステップと、計
算された前回の残差と今回の残差との変化率を計算する
ステップと、計算された残差変化率がある閾値以下にな
ったときに反復計算が収束したと判定するステップと、
をコンピュータに実行させるためのものである。
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、前
記反復計算での反復毎に残差を計算するステップと、計
算された前回の残差と今回の残差との変化率を計算する
ステップと、計算された残差変化率がある閾値以下にな
ったときに反復計算が収束したと判定するステップと、
をコンピュータに実行させるためのものである。
【００２４】第２０の発明の画像処理プログラムは、上
記第１９の発明の構成において、前記残差の計算を画像
の全体又は一部のみについて行うことを特徴とする。
記第１９の発明の構成において、前記残差の計算を画像
の全体又は一部のみについて行うことを特徴とする。
【００２５】第２１の発明の画像処理プログラムは、撮
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、復
元条件に応じて前記反復計算の回数を決定することを特
徴とする。
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、復
元条件に応じて前記反復計算の回数を決定することを特
徴とする。
【００２６】第２２の発明の画像処理プログラムは、上
記第２１の発明の構成において、劣化関数のサイズに応
じて前記反復計算の回数を決定することを特徴とする。
記第２１の発明の構成において、劣化関数のサイズに応
じて前記反復計算の回数を決定することを特徴とする。
【００２７】第２３の発明の画像処理プログラムは、上
記第２１の発明の構成において、撮影環境に応じて前記
反復計算の回数を決定することを特徴とする。
記第２１の発明の構成において、撮影環境に応じて前記
反復計算の回数を決定することを特徴とする。
【００２８】第２４の発明の画像処理プログラムは、上
記第２１の発明の構成において、撮影条件に応じて前記
反復計算の回数を決定することを特徴とする。
記第２１の発明の構成において、撮影条件に応じて前記
反復計算の回数を決定することを特徴とする。
【００２９】第２５の発明の画像処理プログラムは、撮
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、画
質に応じて前記反復計算の回数を決定することを特徴と
する。
像された劣化画像と、撮像時又は撮像以前に得られた劣
化関数と、から反復計算を用いた画像復元をコンピュー
タに実行させるための画像処理プログラムであって、画
質に応じて前記反復計算の回数を決定することを特徴と
する。
【００３０】第２６の発明の画像処理プログラムは、上
記第２５の発明の構成において、ノイズレベルに応じて
前記反復計算の回数を決定することを特徴とする。
記第２５の発明の構成において、ノイズレベルに応じて
前記反復計算の回数を決定することを特徴とする。
【００３１】第２７の発明の画像処理プログラムは、上
記第２５の発明の構成において、劣化関数のサイズに応
じて前記反復計算の回数を決定することを特徴とする。
記第２５の発明の構成において、劣化関数のサイズに応
じて前記反復計算の回数を決定することを特徴とする。
【００３２】第２８の発明のコンピュータ読み取り可能
な記録媒体は、上記第１９〜第２７のいずれか一つの発
明の画像処理プログラムを記録したものである。
な記録媒体は、上記第１９〜第２７のいずれか一つの発
明の画像処理プログラムを記録したものである。
【００３３】
【発明の実施の形態】以下、本発明を実施した画像処理
装置，方法，プログラム及び記録媒体を、図面を参照し
つつ説明する。本発明は、撮影画像に生じた画像劣化の
情報(以下「劣化関数」という。)を装置の画像入力部等
から得た上で、劣化を受けた採取画像から反復計算を利
用して劣化前画像(以下「復元画像」という。)を推定す
る画像復元処理に関するものであり、特に反復計算の終
了判定方法に関するものである。この画像復元処理の原
理は、例えば、文献「M.Elad and A.Feuer;Super-Resol
ution of An Image Sequence - Adaptive Filtering Ap
proach;Technion - Israel Institute of Technology,4
April 1997」に記載されている。なお、上記劣化関数
には、例えば、手ぶれ，ピンボケ，収差，光学ローパス
フィルタ等に関して撮像時又は撮像以前に得られる情報
が含まれる。
装置，方法，プログラム及び記録媒体を、図面を参照し
つつ説明する。本発明は、撮影画像に生じた画像劣化の
情報(以下「劣化関数」という。)を装置の画像入力部等
から得た上で、劣化を受けた採取画像から反復計算を利
用して劣化前画像(以下「復元画像」という。)を推定す
る画像復元処理に関するものであり、特に反復計算の終
了判定方法に関するものである。この画像復元処理の原
理は、例えば、文献「M.Elad and A.Feuer;Super-Resol
ution of An Image Sequence - Adaptive Filtering Ap
proach;Technion - Israel Institute of Technology,4
April 1997」に記載されている。なお、上記劣化関数
には、例えば、手ぶれ，ピンボケ，収差，光学ローパス
フィルタ等に関して撮像時又は撮像以前に得られる情報
が含まれる。
【００３４】《第１の実施の形態》まず、本発明に係る
第１の実施の形態を説明する。図１に、第１の実施の形
態に係るデジタルカメラ(10)の外観を示す。図１(A)は
デジタルカメラ(10)の正面側外観を示しており、図１
(B)はデジタルカメラ(10)の背面部(100)を示している。
図１(A)において、12は撮影レンズ、13は内蔵の撮像Ｃ
ＣＤ(Charge Coupled Device)、14はレリーズボタン、1
5はファインダー窓、16は記録メディア、17は記録メデ
ィア(16)の挿入口、18は撮影モード設定キー、19は液晶
パネル、101は測距窓である。また図１(B)において、10
2は画像処理設定キー、103は液晶モニターである。
第１の実施の形態を説明する。図１に、第１の実施の形
態に係るデジタルカメラ(10)の外観を示す。図１(A)は
デジタルカメラ(10)の正面側外観を示しており、図１
(B)はデジタルカメラ(10)の背面部(100)を示している。
図１(A)において、12は撮影レンズ、13は内蔵の撮像Ｃ
ＣＤ(Charge Coupled Device)、14はレリーズボタン、1
5はファインダー窓、16は記録メディア、17は記録メデ
ィア(16)の挿入口、18は撮影モード設定キー、19は液晶
パネル、101は測距窓である。また図１(B)において、10
2は画像処理設定キー、103は液晶モニターである。
【００３５】撮影モード設定キー(18)では、液晶パネル
(19)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(102)では、液晶モニター(103)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(10)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(13)で撮影した画像を普通に記録メディア(16)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(10)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(102)でデ
ジタルカメラ(10)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
(19)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(102)では、液晶モニター(103)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(10)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(13)で撮影した画像を普通に記録メディア(16)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(10)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(102)でデ
ジタルカメラ(10)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
【００３６】図２はデジタルカメラ(10)のブロック図で
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図２を用
いて説明する。図２において、40はＣＰＵ(central pro
cessing unit)、41はＡ／Ｄコンバータ、42はＲＡＭ(ra
ndom access memory)、44は測距部、46は撮影レンズ駆
動部、47は絞り駆動部、48は絞り、50は画像復元部であ
る。
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図２を用
いて説明する。図２において、40はＣＰＵ(central pro
cessing unit)、41はＡ／Ｄコンバータ、42はＲＡＭ(ra
ndom access memory)、44は測距部、46は撮影レンズ駆
動部、47は絞り駆動部、48は絞り、50は画像復元部であ
る。
【００３７】まず、ユーザーは撮影モード設定キー(18)
で、露光条件等の選択・設定を行う。デジタルカメラ(1
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(14)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(1
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(13)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(16)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
で、露光条件等の選択・設定を行う。デジタルカメラ(1
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(14)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(1
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(13)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(16)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
【００３８】図３は、画像復元部(50)による復元シーケ
ンスのフローを示している。以下、図３を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な仮定した劣化前画像(以下「初期画像」とい
う。)を作成する(＃１１)。初期画像の作成方法として
は、例えばボケのようにシャープエッジが劣化している
場合には、エッジ強調フィルタリングを行うことによっ
て初期画像を作成してもよいし、あるいは何の処理も行
わずに採取画像をそのまま初期画像としても構わない。
初期画像作成後、その初期画像Ｘ0(i,j)を撮影時に得ら
れた劣化関数Ｈを用いて劣化させ、採取画像Ｙ(i,j)と
の差(残差Ｄ0)を算出する(＃１２)。これは以下の式
で表される。
ンスのフローを示している。以下、図３を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な仮定した劣化前画像(以下「初期画像」とい
う。)を作成する(＃１１)。初期画像の作成方法として
は、例えばボケのようにシャープエッジが劣化している
場合には、エッジ強調フィルタリングを行うことによっ
て初期画像を作成してもよいし、あるいは何の処理も行
わずに採取画像をそのまま初期画像としても構わない。
初期画像作成後、その初期画像Ｘ0(i,j)を撮影時に得ら
れた劣化関数Ｈを用いて劣化させ、採取画像Ｙ(i,j)と
の差(残差Ｄ0)を算出する(＃１２)。これは以下の式
で表される。
【００３９】
【数１】 ただし、i,j：自然数、Ｍ：縦の画素数、Ｎ：横の画素
数である。
数である。
【００４０】算出した残差Ｄ0は、初期画像Ｘ0(i,j)と
共に、ＲＡＭ(42)に一時記憶しておく(＃１３)。残差算
出後、ＲＡＭ(42)に一時記憶された初期画像Ｘ0(i,j)，
撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)から画
像修正を行い、初期画像Ｘ0(i,j)を更新して新しい画像
Ｘ1(i,j)(以下「更新画像」という。)を作成する(＃１
４)。続いて、Ｘ1(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)
から残差Ｄ1を算出する(＃１５)。これは以下の式で
表される。
共に、ＲＡＭ(42)に一時記憶しておく(＃１３)。残差算
出後、ＲＡＭ(42)に一時記憶された初期画像Ｘ0(i,j)，
撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)から画
像修正を行い、初期画像Ｘ0(i,j)を更新して新しい画像
Ｘ1(i,j)(以下「更新画像」という。)を作成する(＃１
４)。続いて、Ｘ1(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)
から残差Ｄ1を算出する(＃１５)。これは以下の式で
表される。
【００４１】
【数２】 ただし、ｎ：反復回数(ｎ＝１，２，…)、i,j：自然
数、Ｍ：縦の画素数、Ｎ：横の画素数である。
数、Ｍ：縦の画素数、Ｎ：横の画素数である。
【００４２】残差Ｄ1の算出後、ＲＡＭ(42)に一時記憶
された残差Ｄ0と算出された残差Ｄ1について、以下の関
係式が成り立つか否かを判定する(＃１６)。 Ｄn-1−Ｄn＜Ｋ×Ｄn-1 … ただし、Ｋ＜１：定数、ｎ＝１，２，…である。
された残差Ｄ0と算出された残差Ｄ1について、以下の関
係式が成り立つか否かを判定する(＃１６)。 Ｄn-1−Ｄn＜Ｋ×Ｄn-1 … ただし、Ｋ＜１：定数、ｎ＝１，２，…である。
【００４３】ここでＫは、例えば１／４００に設定すれ
ばよいが、それに限らない。ステップ＃１６の収束判定
でＮＯならば、２回目の反復計算を行うべく、ステップ
＃１３に戻ってＲＡＭ(42)に一時記憶されていた残差Ｄ
0と初期画像Ｘ0(i,j)を削除して、新しく算出された残
差Ｄ1と更新された更新画像Ｘ1(i,j)をＲＡＭ(42)に一
時記憶する。ＲＡＭ(42)に一時記憶された更新画像Ｘ
1(i,j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,
j)から画像修正を行い、初期画像Ｘ1(i,j)を更新して新
しい更新画像Ｘ2(i,j)を作成する(＃１４)。続いて、Ｘ
2(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)から式を用い
て残差Ｄ2を算出し(＃１５)、ＲＡＭ(42)に一時記憶さ
れた残差Ｄ1と算出された残差Ｄ2において、前記関係式
が成り立つか否かを判定する(＃１６)。ステップ＃１
６の収束判定でＮＯならば、ステップ＃１３に戻って同
様の手順を繰り返す。ステップ＃１６の収束判定でＹＥ
Ｓならば、ＲＡＭ(42)に記憶されている更新画像Ｘ
n-1(i,j)を復元画像として記録メディア(16)に記録する
(＃１７)。
ばよいが、それに限らない。ステップ＃１６の収束判定
でＮＯならば、２回目の反復計算を行うべく、ステップ
＃１３に戻ってＲＡＭ(42)に一時記憶されていた残差Ｄ
0と初期画像Ｘ0(i,j)を削除して、新しく算出された残
差Ｄ1と更新された更新画像Ｘ1(i,j)をＲＡＭ(42)に一
時記憶する。ＲＡＭ(42)に一時記憶された更新画像Ｘ
1(i,j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,
j)から画像修正を行い、初期画像Ｘ1(i,j)を更新して新
しい更新画像Ｘ2(i,j)を作成する(＃１４)。続いて、Ｘ
2(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)から式を用い
て残差Ｄ2を算出し(＃１５)、ＲＡＭ(42)に一時記憶さ
れた残差Ｄ1と算出された残差Ｄ2において、前記関係式
が成り立つか否かを判定する(＃１６)。ステップ＃１
６の収束判定でＮＯならば、ステップ＃１３に戻って同
様の手順を繰り返す。ステップ＃１６の収束判定でＹＥ
Ｓならば、ＲＡＭ(42)に記憶されている更新画像Ｘ
n-1(i,j)を復元画像として記録メディア(16)に記録する
(＃１７)。
【００４４】上記のように、反復計算での反復毎に残差
を計算し、計算された前回の残差と今回の残差との変化
率を計算し、計算された残差変化率がある閾値以下にな
ったときに反復計算が収束したと判定することにより、
画像に左右されない高精度な画像復元処理が可能とな
る。また、本実施の形態ではデジタルカメラ(10)が上述
した復元シーケンスのルーチンを実行しうるように構成
されているが、これがソフトウェアとしてＣＤ−ＲＯＭ
等の記憶媒体やネットワークを介してコンピュータ(パ
ーソナルコンピュータ等)に読み込まれるような構成に
して、コンピュータ側で画像復元処理を実行するように
してもよく、通信ネットワークを介して画像復元処理を
実行するようにしてもよい。これは後述する他の実施の
形態についても同様である。
を計算し、計算された前回の残差と今回の残差との変化
率を計算し、計算された残差変化率がある閾値以下にな
ったときに反復計算が収束したと判定することにより、
画像に左右されない高精度な画像復元処理が可能とな
る。また、本実施の形態ではデジタルカメラ(10)が上述
した復元シーケンスのルーチンを実行しうるように構成
されているが、これがソフトウェアとしてＣＤ−ＲＯＭ
等の記憶媒体やネットワークを介してコンピュータ(パ
ーソナルコンピュータ等)に読み込まれるような構成に
して、コンピュータ側で画像復元処理を実行するように
してもよく、通信ネットワークを介して画像復元処理を
実行するようにしてもよい。これは後述する他の実施の
形態についても同様である。
【００４５】《第２の実施の形態》次に、本発明に係る
第２の実施の形態を説明する。図４に、第２の実施の形
態に係るデジタルカメラ(20)の外観を示す。図４(A)は
デジタルカメラ(20)の正面側外観を示しており、図４
(B)はデジタルカメラ(20)の背面部(200)を示している。
図４(A)において、22は撮影レンズ、23は内蔵の撮像Ｃ
ＣＤ、24はレリーズボタン、25はファインダー窓、26は
記録メディア、27は記録メディア(26)の挿入口、28は撮
影モード設定キー、29は液晶パネル、201は測距窓であ
る。また図４(B)において、202は画像処理設定キー、20
3は液晶モニターである。
第２の実施の形態を説明する。図４に、第２の実施の形
態に係るデジタルカメラ(20)の外観を示す。図４(A)は
デジタルカメラ(20)の正面側外観を示しており、図４
(B)はデジタルカメラ(20)の背面部(200)を示している。
図４(A)において、22は撮影レンズ、23は内蔵の撮像Ｃ
ＣＤ、24はレリーズボタン、25はファインダー窓、26は
記録メディア、27は記録メディア(26)の挿入口、28は撮
影モード設定キー、29は液晶パネル、201は測距窓であ
る。また図４(B)において、202は画像処理設定キー、20
3は液晶モニターである。
【００４６】撮影モード設定キー(28)では、液晶パネル
(29)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(202)では、液晶モニター(203)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(20)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(23)で撮影した画像を普通に記録メディア(26)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(20)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(202)でデ
ジタルカメラ(20)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
(29)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(202)では、液晶モニター(203)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(20)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(23)で撮影した画像を普通に記録メディア(26)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(20)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(202)でデ
ジタルカメラ(20)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
【００４７】図５はデジタルカメラ(20)のブロック図で
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図５を用
いて説明する。図５において、40はＣＰＵ、41はＡ／Ｄ
コンバータ、42はＲＡＭ、44は測距部、46は撮影レンズ
駆動部、47は絞り駆動部、48は絞り、50は画像復元部で
ある。
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図５を用
いて説明する。図５において、40はＣＰＵ、41はＡ／Ｄ
コンバータ、42はＲＡＭ、44は測距部、46は撮影レンズ
駆動部、47は絞り駆動部、48は絞り、50は画像復元部で
ある。
【００４８】まず、ユーザーは撮影モード設定キー(28)
で、露光条件等の選択・設定を行う。デジタルカメラ(2
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(24)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(2
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(23)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(26)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
で、露光条件等の選択・設定を行う。デジタルカメラ(2
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(24)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(2
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(23)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(26)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
【００４９】図６は、画像復元部(50)による復元シーケ
ンスのフローを示している。以下、図６を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な初期画像を作成する(＃２１)。初期画像の作成
方法としては、例えばボケのようにシャープエッジが劣
化している場合には、エッジ強調フィルタリングを行う
ことによって初期画像を作成してもよいし、あるいは何
の処理も行わずに採取画像をそのまま初期画像としても
構わない。続いて、残差の算出範囲を決定する(＃２
２)。
ンスのフローを示している。以下、図６を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な初期画像を作成する(＃２１)。初期画像の作成
方法としては、例えばボケのようにシャープエッジが劣
化している場合には、エッジ強調フィルタリングを行う
ことによって初期画像を作成してもよいし、あるいは何
の処理も行わずに採取画像をそのまま初期画像としても
構わない。続いて、残差の算出範囲を決定する(＃２
２)。
【００５０】画像が劣化するとき、最も影響を受ける場
所はシャープエッジがある場所(以下「エッジ部」とい
う。)であり、反対にテクスチャのない場所(以下「非エ
ッジ部」という。)では画像劣化の影響をほとんど受け
ない。言い換えると、画像復元処理で復元したい場所は
画像のエッジ部である。そこで、残差の算出する範囲を
画像の全体ではなく、特に復元したい場所−画像のエッ
ジ部−でのみ定義する。そのために採取画像のgradient
画像を、エッジ抽出フィルタを用いて作成する。エッジ
抽出フィルタには、例えばPrewittの方法やSobelの方法
を利用することができる。作成したgradient画像をいく
つかの小ブロックに分割して、各ブロック毎に輝度値の
平均を計算し、最も大きな平均値をもつ小ブロックを残
差算出範囲とする。ここでは、gradient画像を採取画像
から作成したが、初期画像から作成しても同等の結果を
得ることができる。残差算出範囲決定後、初期画像Ｘ
0(i,j)を撮影時に得られた劣化関数Ｈを用いて劣化さ
せ、採取画像Ｙ(i,j)との差(残差Ｄ0)を算出する(＃２
３)。これは以下の式で表される。
所はシャープエッジがある場所(以下「エッジ部」とい
う。)であり、反対にテクスチャのない場所(以下「非エ
ッジ部」という。)では画像劣化の影響をほとんど受け
ない。言い換えると、画像復元処理で復元したい場所は
画像のエッジ部である。そこで、残差の算出する範囲を
画像の全体ではなく、特に復元したい場所−画像のエッ
ジ部−でのみ定義する。そのために採取画像のgradient
画像を、エッジ抽出フィルタを用いて作成する。エッジ
抽出フィルタには、例えばPrewittの方法やSobelの方法
を利用することができる。作成したgradient画像をいく
つかの小ブロックに分割して、各ブロック毎に輝度値の
平均を計算し、最も大きな平均値をもつ小ブロックを残
差算出範囲とする。ここでは、gradient画像を採取画像
から作成したが、初期画像から作成しても同等の結果を
得ることができる。残差算出範囲決定後、初期画像Ｘ
0(i,j)を撮影時に得られた劣化関数Ｈを用いて劣化さ
せ、採取画像Ｙ(i,j)との差(残差Ｄ0)を算出する(＃２
３)。これは以下の式で表される。
【００５１】
【数３】 ただし、i,j：自然数、Ｍ１：小ブロックの縦の画素
数、Ｎ１：小ブロックの横の画素数である。
数、Ｎ１：小ブロックの横の画素数である。
【００５２】算出した残差Ｄ0は、初期画像Ｘ0(i,j)と
共に、ＲＡＭ(42)に一時記憶しておく(＃２４)。残差算
出後、ＲＡＭ(42)に一時記憶された初期画像Ｘ0(i,j)，
撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)から画
像修正を行い、初期画像Ｘ0(i,j)を更新して新しい画像
Ｘ1(i,j)(以下「更新画像」という。)を作成する(＃２
５)。続いて、Ｘ1(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)
から残差Ｄ1を算出する(＃２６)。これは以下の式で
表される。
共に、ＲＡＭ(42)に一時記憶しておく(＃２４)。残差算
出後、ＲＡＭ(42)に一時記憶された初期画像Ｘ0(i,j)，
撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)から画
像修正を行い、初期画像Ｘ0(i,j)を更新して新しい画像
Ｘ1(i,j)(以下「更新画像」という。)を作成する(＃２
５)。続いて、Ｘ1(i,j)，劣化関数Ｈ，採取画像Ｙ(i,j)
から残差Ｄ1を算出する(＃２６)。これは以下の式で
表される。
【００５３】
【数４】 ただし、ｎ：反復回数(ｎ＝１，２，…)、i,j：自然
数、Ｍ１：小ブロックの縦の画素数、Ｎ１：小ブロック
の横の画素数である。
数、Ｍ１：小ブロックの縦の画素数、Ｎ１：小ブロック
の横の画素数である。
【００５４】残差Ｄ1の算出後、ＲＡＭ(42)に一時記憶
された残差Ｄ0と算出された残差Ｄ1について、以下の関
係式が成り立つか否かを判定する(＃２７)。 Ｄn-1−Ｄn＜Ｋ×Ｄn-1 … ただし、Ｋ＜１：定数、ｎ＝１，２，…である。
された残差Ｄ0と算出された残差Ｄ1について、以下の関
係式が成り立つか否かを判定する(＃２７)。 Ｄn-1−Ｄn＜Ｋ×Ｄn-1 … ただし、Ｋ＜１：定数、ｎ＝１，２，…である。
【００５５】ここでＫは、例えば１／４００に設定すれ
ばよいが、それに限らない。ステップ＃２７の収束判定
でＮＯならば、２回目の反復を行うべく、ステップ＃２
４に戻ってＲＡＭ(42)に一時記憶されていた残差Ｄ0と
初期画像Ｘ0(i,j)を削除して、新しく算出された残差Ｄ
1と更新された更新画像Ｘ1(i,j)をＲＡＭ(42)に一時記
憶する。ＲＡＭ(42)に一時記憶された更新画像Ｘ1(i,
j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)か
ら画像修正を行い、初期画像Ｘ1(i,j)を更新して新しい
更新画像Ｘ2(i,j)を作成する(＃２５)。続いて、Ｘ2(i,
j)，劣化関数Ｈ，採取画像Ｙ(i,j)から式を用いて残
差Ｄ2を算出し(＃２６)、ＲＡＭ(42)に一時記憶された
残差Ｄ1と算出された残差Ｄ2において、前記関係式が
成り立つか否かを判定する(＃２７)。ステップ＃２７の
収束判定でＮＯならば、ステップ＃２４に戻って同様の
手順を繰り返す。ステップ＃２７の収束判定でＹＥＳな
らば、ＲＡＭ(42)に記憶されている更新画像Ｘn-1(i,j)
を復元画像として記録メディア(26)に記録する(＃２
８)。上記のように反復計算の対象となる領域を縮小す
れば、全体で残差を計算するよりも精度良く復元画像を
作成することができ、なおかつ、演算時間の短縮が可能
になる。
ばよいが、それに限らない。ステップ＃２７の収束判定
でＮＯならば、２回目の反復を行うべく、ステップ＃２
４に戻ってＲＡＭ(42)に一時記憶されていた残差Ｄ0と
初期画像Ｘ0(i,j)を削除して、新しく算出された残差Ｄ
1と更新された更新画像Ｘ1(i,j)をＲＡＭ(42)に一時記
憶する。ＲＡＭ(42)に一時記憶された更新画像Ｘ1(i,
j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ(i,j)か
ら画像修正を行い、初期画像Ｘ1(i,j)を更新して新しい
更新画像Ｘ2(i,j)を作成する(＃２５)。続いて、Ｘ2(i,
j)，劣化関数Ｈ，採取画像Ｙ(i,j)から式を用いて残
差Ｄ2を算出し(＃２６)、ＲＡＭ(42)に一時記憶された
残差Ｄ1と算出された残差Ｄ2において、前記関係式が
成り立つか否かを判定する(＃２７)。ステップ＃２７の
収束判定でＮＯならば、ステップ＃２４に戻って同様の
手順を繰り返す。ステップ＃２７の収束判定でＹＥＳな
らば、ＲＡＭ(42)に記憶されている更新画像Ｘn-1(i,j)
を復元画像として記録メディア(26)に記録する(＃２
８)。上記のように反復計算の対象となる領域を縮小す
れば、全体で残差を計算するよりも精度良く復元画像を
作成することができ、なおかつ、演算時間の短縮が可能
になる。
【００５６】《第３の実施の形態》次に、本発明に係る
第３の実施の形態を説明する。図７に、第３の実施の形
態に係るデジタルカメラ(30)の外観を示す。図７(A)は
デジタルカメラ(30)の正面側外観を示しており、図７
(B)はデジタルカメラ(30)の背面部(300)を示している。
図７(A)において、32は撮影レンズ、33は内蔵の撮像Ｃ
ＣＤ、34はレリーズボタン、35はファインダー窓、36は
記録メディア、37は記録メディア(36)の挿入口、38は撮
影モード設定キー、39は液晶パネル、301は測距窓であ
る。また図７(B)において、302は画像処理設定キー、30
3は液晶モニターである。
第３の実施の形態を説明する。図７に、第３の実施の形
態に係るデジタルカメラ(30)の外観を示す。図７(A)は
デジタルカメラ(30)の正面側外観を示しており、図７
(B)はデジタルカメラ(30)の背面部(300)を示している。
図７(A)において、32は撮影レンズ、33は内蔵の撮像Ｃ
ＣＤ、34はレリーズボタン、35はファインダー窓、36は
記録メディア、37は記録メディア(36)の挿入口、38は撮
影モード設定キー、39は液晶パネル、301は測距窓であ
る。また図７(B)において、302は画像処理設定キー、30
3は液晶モニターである。
【００５７】撮影モード設定キー(38)では、液晶パネル
(39)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(302)では、液晶モニター(303)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(30)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(33)で撮影した画像を普通に記録メディア(36)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(30)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(302)でデ
ジタルカメラ(30)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
(39)と併せて、露光条件(絞り優先，シャッタースピー
ド優先等)の設定，マクロ撮影の切り替え，ズーム等の
設定ができるようになっている。また、画像処理設定キ
ー(302)では、液晶モニター(303)と併せて、画像復元処
理の必要性の判断ができるようになっている。このデジ
タルカメラ(30)は、通常のデジタルカメラと同様に、Ｃ
ＣＤ(33)で撮影した画像を普通に記録メディア(36)に記
録することができる。これ以外に、画像復元処理機能を
持っている。この機能は、取得した劣化関数からデジタ
ルカメラ(30)が自動で機能させるようになっている。も
ちろん、画像復元処理前に画像処理設定キー(302)でデ
ジタルカメラ(30)がユーザーに画像復元処理の必要性を
判断させるようにしても構わない。
【００５８】図８はデジタルカメラ(30)のブロック図で
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図８を用
いて説明する。図８において、40はＣＰＵ、41はＡ／Ｄ
コンバータ、42はＲＡＭ、44は測距部、46は撮影レンズ
駆動部、47は絞り駆動部、48は絞り、50は画像復元部で
ある。
あり、細い矢印は制御データの流れを示しており、太い
矢印は画像データの流れを示している。以下、図８を用
いて説明する。図８において、40はＣＰＵ、41はＡ／Ｄ
コンバータ、42はＲＡＭ、44は測距部、46は撮影レンズ
駆動部、47は絞り駆動部、48は絞り、50は画像復元部で
ある。
【００５９】まず、ユーザーは撮影モード設定キー(38)
で、露光条件等の選択・設定を行う。デジタルカメラ(3
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(34)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(3
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(33)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(36)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
で、露光条件等の選択・設定を行う。デジタルカメラ(3
0)の設定が終わると、ユーザーは被写体を確認してレリ
ーズボタン(34)を押す。すると、測距部(44)で被写体距
離が測定される。測距結果に基づいて、適当な被写体に
合焦させるように撮影レンズ駆動部(46)が撮影レンズ(3
2)を駆動し、絞り駆動部(47)が絞り(48)を適当な値に設
定する。そして、ＣＣＤ(33)での積分が行われ、画像デ
ータが読み出される。読み出された画像データは、パイ
プライン方式で、Ａ／Ｄコンバータ(41)でデジタルデー
タに変換され、ＲＡＭ(42)に一時記憶される。続いて、
画像復元部(50)がＲＡＭ(42)に記憶された採取画像を用
いて画像復元処理を行う。これについては後で詳しく説
明する。できあがった１枚の復元画像は、記録メディア
(36)に記録される。以上が、採取画像から復元画像を作
成する場合の流れである。
【００６０】図９は、画像復元部(50)による復元シーケ
ンスのフローを示している。以下、図９を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な初期画像を作成する(＃３１)。初期画像の作成
方法としては、例えばボケのようにシャープエッジが劣
化している場合には、エッジ強調フィルタリングを行う
ことによって初期画像を作成してもよいし、あるいは何
の処理も行わずに採取画像をそのまま初期画像としても
構わない。続いて、反復計算終了の判定条件を決定する
(＃３２)。
ンスのフローを示している。以下、図９を用いて説明す
る。ＲＡＭ(42)に記憶された採取画像から画像復元処理
に必要な初期画像を作成する(＃３１)。初期画像の作成
方法としては、例えばボケのようにシャープエッジが劣
化している場合には、エッジ強調フィルタリングを行う
ことによって初期画像を作成してもよいし、あるいは何
の処理も行わずに採取画像をそのまま初期画像としても
構わない。続いて、反復計算終了の判定条件を決定する
(＃３２)。
【００６１】撮影時に得られた劣化関数は、２次元フィ
ルタの形で表すことができる(以下「劣化フィルタ」と
いう。)。例えば、図１０(A)中の矢印で示すような手ぶ
れが生じたときの劣化フィルタは、図１０(B)に示すよ
うになる。また、カメラ等の撮像装置に既に組み込まれ
ている光学ローパスフィルタの場合には、その劣化フィ
ルタは図１０(C)に示すようになる。図１０(B),(C)のよ
うに、劣化フィルタは、その劣化の程度に応じてフィル
タのサイズが異なる。画像復元処理において、反復回数
は劣化フィルタのサイズに大きく依存する。先に挙げた
光学ローパスフィルタのようにフィルタサイズが小さい
劣化の場合は反復回数が少なく、反対に手ぶれのように
フィルタサイズが大きい劣化の場合は反復回数が非常に
増加する。
ルタの形で表すことができる(以下「劣化フィルタ」と
いう。)。例えば、図１０(A)中の矢印で示すような手ぶ
れが生じたときの劣化フィルタは、図１０(B)に示すよ
うになる。また、カメラ等の撮像装置に既に組み込まれ
ている光学ローパスフィルタの場合には、その劣化フィ
ルタは図１０(C)に示すようになる。図１０(B),(C)のよ
うに、劣化フィルタは、その劣化の程度に応じてフィル
タのサイズが異なる。画像復元処理において、反復回数
は劣化フィルタのサイズに大きく依存する。先に挙げた
光学ローパスフィルタのようにフィルタサイズが小さい
劣化の場合は反復回数が少なく、反対に手ぶれのように
フィルタサイズが大きい劣化の場合は反復回数が非常に
増加する。
【００６２】そこで、Ｍ×Ｎのフィルタサイズに対し
て、画像復元処理の反復回数ＩＴＥＲを以下の式で定
義する。この式によれば前述した光学ローパスフィル
タの場合の反復回数は１０回となり(式参照)、横方向
手ぶれの場合の反復回数は２２回となる(式参照)。 ＩＴＥＲ＝[２．５×(Ｍ＋Ｎ)] … ＩＴＥＲ＝[２．５×(２＋２)]＝１０回 … ＩＴＥＲ＝[２．５×(５＋４)]＝２２回 … ただし、[ ]：ガウス記号である。
て、画像復元処理の反復回数ＩＴＥＲを以下の式で定
義する。この式によれば前述した光学ローパスフィル
タの場合の反復回数は１０回となり(式参照)、横方向
手ぶれの場合の反復回数は２２回となる(式参照)。 ＩＴＥＲ＝[２．５×(Ｍ＋Ｎ)] … ＩＴＥＲ＝[２．５×(２＋２)]＝１０回 … ＩＴＥＲ＝[２．５×(５＋４)]＝２２回 … ただし、[ ]：ガウス記号である。
【００６３】ここではほんの一例を紹介したが、計算方
法はこれに限らない。また、フィルタサイズに応じて反
復回数を計算させたが、予め記憶部(不図示)に記憶して
あるテーブルを利用して反復回数を決定しても構わな
い。また、フィルタサイズによって反復回数を制御する
のではなく、画像のノイズレベルに応じて反復回数を制
御してもよい。これについて説明する。
法はこれに限らない。また、フィルタサイズに応じて反
復回数を計算させたが、予め記憶部(不図示)に記憶して
あるテーブルを利用して反復回数を決定しても構わな
い。また、フィルタサイズによって反復回数を制御する
のではなく、画像のノイズレベルに応じて反復回数を制
御してもよい。これについて説明する。
【００６４】ノイズレベルについては、個々のカメラに
応じて予め設定することが可能である。そこで、このカ
メラ固有のノイズレベルを記憶部(不図示)に記憶してお
く。また、ノイズレベルは撮影時の感度に応じて変化す
る。一般に、感度が通常の２倍になればノイズレベルは
２倍になる。更に温度センサー(不図示)を用いて温度を
測定する。一般に温度が高くなればノイズレベルが大き
くなる。つまり、図１１に示すように固有のノイズレベ
ル，撮影感度，撮影時の温度から反復回数が決定され
る。ここでは、カメラ固有のノイズレベルを予め設定し
ているが、採取画像から随時、ノイズレベルを測定して
も構わない。さらに、前述したフィルタサイズとノイズ
レベルの両方を考慮すれば、より効果的に反復回数を制
御することが可能である。
応じて予め設定することが可能である。そこで、このカ
メラ固有のノイズレベルを記憶部(不図示)に記憶してお
く。また、ノイズレベルは撮影時の感度に応じて変化す
る。一般に、感度が通常の２倍になればノイズレベルは
２倍になる。更に温度センサー(不図示)を用いて温度を
測定する。一般に温度が高くなればノイズレベルが大き
くなる。つまり、図１１に示すように固有のノイズレベ
ル，撮影感度，撮影時の温度から反復回数が決定され
る。ここでは、カメラ固有のノイズレベルを予め設定し
ているが、採取画像から随時、ノイズレベルを測定して
も構わない。さらに、前述したフィルタサイズとノイズ
レベルの両方を考慮すれば、より効果的に反復回数を制
御することが可能である。
【００６５】反復計算終了の判定条件決定後、判定条件
と初期画像Ｘ0(i,j)をＲＡＭ(42)に一時記憶しておく
(＃３３)。次に、ＲＡＭ(42)に一時記憶された初期画像
Ｘ0(i,j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ
(i,j)から画像修正を行い、初期画像Ｘ0(i,j)を更新し
て新しい画像Ｘ1(i,j)(以下「更新画像」という。)を作
成する(＃３４)。続いて、ＲＡＭ(42)に一時記憶された
判定条件を用いて反復計算の終了判定を行う(＃３５)。
と初期画像Ｘ0(i,j)をＲＡＭ(42)に一時記憶しておく
(＃３３)。次に、ＲＡＭ(42)に一時記憶された初期画像
Ｘ0(i,j)，撮影時に得られた劣化関数Ｈ，採取画像Ｙ
(i,j)から画像修正を行い、初期画像Ｘ0(i,j)を更新し
て新しい画像Ｘ1(i,j)(以下「更新画像」という。)を作
成する(＃３４)。続いて、ＲＡＭ(42)に一時記憶された
判定条件を用いて反復計算の終了判定を行う(＃３５)。
【００６６】ステップ＃３５の終了判定結果がＮＯなら
ば、ステップ＃３３に戻ってＲＡＭ(42)に一時記憶され
ていた初期画像Ｘ0(i,j)を削除して、更新された更新画
像Ｘ 1(i,j)をＲＡＭ(42)に一時記憶する。ＲＡＭ(42)に
一時記憶された更新画像Ｘ1(i,j)，撮影時に得られた劣
化関数Ｈ，採取画像Ｙ(i,j)から画像修正を行い、初期
画像Ｘ1(i,j)を更新して新しい更新画像Ｘ2(i,j)を作成
する(＃３４)。続いて、ＲＡＭ(42)に一時記憶されてい
る判定条件を用いてステップ＃３５の終了判定を行い、
ＮＯならば、ステップ＃３３に戻って同様の手順を繰り
返す。ステップ＃３５の終了判定でＹＥＳならば、ＲＡ
Ｍ(42)に記憶されている更新画像Ｘn-1(i,j)を復元画像
として記録メディア(36)に記録する(＃３６)。上記のよ
うに劣化関数サイズ等の復元条件に応じて反復回数を制
御したりノイズレベル等の画質に応じて反復回数を制御
したりすれば、残差を計算する必要がないため、演算時
間の短縮が可能になる。
ば、ステップ＃３３に戻ってＲＡＭ(42)に一時記憶され
ていた初期画像Ｘ0(i,j)を削除して、更新された更新画
像Ｘ 1(i,j)をＲＡＭ(42)に一時記憶する。ＲＡＭ(42)に
一時記憶された更新画像Ｘ1(i,j)，撮影時に得られた劣
化関数Ｈ，採取画像Ｙ(i,j)から画像修正を行い、初期
画像Ｘ1(i,j)を更新して新しい更新画像Ｘ2(i,j)を作成
する(＃３４)。続いて、ＲＡＭ(42)に一時記憶されてい
る判定条件を用いてステップ＃３５の終了判定を行い、
ＮＯならば、ステップ＃３３に戻って同様の手順を繰り
返す。ステップ＃３５の終了判定でＹＥＳならば、ＲＡ
Ｍ(42)に記憶されている更新画像Ｘn-1(i,j)を復元画像
として記録メディア(36)に記録する(＃３６)。上記のよ
うに劣化関数サイズ等の復元条件に応じて反復回数を制
御したりノイズレベル等の画質に応じて反復回数を制御
したりすれば、残差を計算する必要がないため、演算時
間の短縮が可能になる。
【００６７】
【発明の効果】以上説明したように本発明によれば、残
差変化率に基づいて収束判定が行われることにより、画
像に左右されない高精度な画像復元処理が可能となる。
さらに、反復計算の対象となる領域を縮小すれば、演算
時間の短縮が可能になる。また、劣化関数サイズ等の復
元条件に応じた反復回数制御やノイズレベル等の画質に
応じた反復回数制御により、演算時間の短縮が可能とな
る。
差変化率に基づいて収束判定が行われることにより、画
像に左右されない高精度な画像復元処理が可能となる。
さらに、反復計算の対象となる領域を縮小すれば、演算
時間の短縮が可能になる。また、劣化関数サイズ等の復
元条件に応じた反復回数制御やノイズレベル等の画質に
応じた反復回数制御により、演算時間の短縮が可能とな
る。
【図１】第１の実施の形態に係るデジタルカメラを示す
外観図。
外観図。
【図２】第１の実施の形態の概略構成を示すブロック
図。
図。
【図３】第１の実施の形態の復元シーケンスを示すフロ
ーチャート。
ーチャート。
【図４】第２の実施の形態に係るデジタルカメラを示す
外観図。
外観図。
【図５】第２の実施の形態の概略構成を示すブロック
図。
図。
【図６】第２の実施の形態の復元シーケンスを示すフロ
ーチャート。
ーチャート。
【図７】第３の実施の形態に係るデジタルカメラを示す
外観図。
外観図。
【図８】第３の実施の形態の概略構成を示すブロック
図。
図。
【図９】第３の実施の形態の復元シーケンスを示すフロ
ーチャート。
ーチャート。
【図１０】２次元フィルタとして表される劣化関数を説
明するための模式図。
明するための模式図。
【図１１】反復回数を決定するための判定条件を示すブ
ロック図。
ロック図。
10,20,30 …デジタルカメラ 16,26,36 …記録メディア 40 …ＣＰＵ 42 …ＲＡＭ 50 …画像復元部 102,202,302 …画像処理設定キー
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA11 BA01 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CE06 CG01 5C022 AA13 AB21 AB55 AC42 AC69
Claims (28)
- 【請求項１】 撮像された劣化画像と、撮像時又は撮像
以前に得られた劣化関数と、から反復計算を用いて画像
復元を行う画像処理装置において、 前記反復計算での反復毎に残差を計算する残差計算手段
と、 前記残差計算手段で計算された前回の残差と前記残差計
算手段で計算された今回の残差との変化率を計算する残
差変化率計算手段と、 前記残差変化率計算手段で計算された残差変化率がある
閾値以下になったときに反復計算が収束したと判定する
収束判定手段と、 を有することを特徴とする画像処理装置。 - 【請求項２】 前記残差計算手段が、画像の全体又は一
部のみについて計算を行うことを特徴とする請求項１記
載の画像処理装置。 - 【請求項３】 撮像された劣化画像と、撮像時又は撮像
以前に得られた劣化関数と、から反復計算を用いて画像
復元を行う画像処理装置において、 復元条件に応じて前記反復計算の回数を決定する反復計
算回数決定手段を有することを特徴とする画像処理装
置。 - 【請求項４】 前記反復計算回数決定手段が、劣化関数
のサイズに応じて前記反復計算の回数を決定することを
特徴とする請求項３記載の画像処理装置。 - 【請求項５】 前記反復計算回数決定手段が、撮影環境
に応じて前記反復計算の回数を決定することを特徴とす
る請求項３記載の画像処理装置。 - 【請求項６】 前記反復計算回数決定手段が、撮影条件
に応じて前記反復計算の回数を決定することを特徴とす
る請求項３記載の画像処理装置。 - 【請求項７】 撮像された劣化画像と、撮像時又は撮像
以前に得られた劣化関数と、から反復計算を用いて画像
復元を行う画像処理装置において、 画質に応じて前記反復計算の回数を決定する反復計算回
数決定手段を有することを特徴とする画像処理装置。 - 【請求項８】 前記反復計算回数決定手段が、ノイズレ
ベルに応じて前記反復計算の回数を決定することを特徴
とする請求項７記載の画像処理装置。 - 【請求項９】 前記反復計算回数決定手段が、劣化関数
のサイズに応じて前記反復計算の回数を決定することを
特徴とする請求項７記載の画像処理装置。 - 【請求項１０】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いて画
像復元を行う画像処理方法において、 前記反復計算での反復毎に残差を計算し、計算された前
回の残差と今回の残差との変化率を計算し、計算された
残差変化率がある閾値以下になったときに反復計算が収
束したと判定することを特徴とする画像処理方法。 - 【請求項１１】 前記残差の計算を画像の全体又は一部
のみについて行うことを特徴とする請求項１０記載の画
像処理方法。 - 【請求項１２】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いて画
像復元を行う画像処理方法において、 復元条件に応じて前記反復計算の回数を決定することを
特徴とする画像処理方法。 - 【請求項１３】 劣化関数のサイズに応じて前記反復計
算の回数を決定することを特徴とする請求項１２記載の
画像処理方法。 - 【請求項１４】 撮影環境に応じて前記反復計算の回数
を決定することを特徴とする請求項１２記載の画像処理
方法。 - 【請求項１５】 撮影条件に応じて前記反復計算の回数
を決定することを特徴とする請求項１２記載の画像処理
方法。 - 【請求項１６】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いて画
像復元を行う画像処理方法において、 画質に応じて前記反復計算の回数を決定することを特徴
とする画像処理方法。 - 【請求項１７】 ノイズレベルに応じて前記反復計算の
回数を決定することを特徴とする請求項１６記載の画像
処理方法。 - 【請求項１８】 劣化関数のサイズに応じて前記反復計
算の回数を決定することを特徴とする請求項１６記載の
画像処理方法。 - 【請求項１９】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いた画
像復元をコンピュータに実行させるための画像処理プロ
グラムであって、 前記反復計算での反復毎に残差を計算するステップと、
計算された前回の残差と今回の残差との変化率を計算す
るステップと、計算された残差変化率がある閾値以下に
なったときに反復計算が収束したと判定するステップ
と、をコンピュータに実行させるための画像処理プログ
ラム。 - 【請求項２０】 前記残差の計算を画像の全体又は一部
のみについて行うことを特徴とする請求項１９記載の画
像処理プログラム。 - 【請求項２１】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いた画
像復元をコンピュータに実行させるための画像処理プロ
グラムであって、 復元条件に応じて前記反復計算の回数を決定することを
特徴とする画像処理プログラム。 - 【請求項２２】 劣化関数のサイズに応じて前記反復計
算の回数を決定することを特徴とする請求項２１記載の
画像処理プログラム。 - 【請求項２３】 撮影環境に応じて前記反復計算の回数
を決定することを特徴とする請求項２１記載の画像処理
プログラム。 - 【請求項２４】 撮影条件に応じて前記反復計算の回数
を決定することを特徴とする請求項２１記載の画像処理
プログラム。 - 【請求項２５】 撮像された劣化画像と、撮像時又は撮
像以前に得られた劣化関数と、から反復計算を用いた画
像復元をコンピュータに実行させるための画像処理プロ
グラムであって、 画質に応じて前記反復計算の回数を決定することを特徴
とする画像処理プログラム。 - 【請求項２６】 ノイズレベルに応じて前記反復計算の
回数を決定することを特徴とする請求項２５記載の画像
処理プログラム。 - 【請求項２７】 劣化関数のサイズに応じて前記反復計
算の回数を決定することを特徴とする請求項２５記載の
画像処理プログラム。 - 【請求項２８】 請求項１９〜２７のいずれか１項に記
載の画像処理プログラムを記録したコンピュータ読み取
り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001084099A JP2002288653A (ja) | 2001-03-23 | 2001-03-23 | 画像処理装置，方法，プログラム及び記録媒体 |
| US10/101,728 US7079179B2 (en) | 2001-03-23 | 2002-03-21 | Image processing apparatus for performing image restoration |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001084099A JP2002288653A (ja) | 2001-03-23 | 2001-03-23 | 画像処理装置，方法，プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002288653A true JP2002288653A (ja) | 2002-10-04 |
Family
ID=18939823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001084099A Pending JP2002288653A (ja) | 2001-03-23 | 2001-03-23 | 画像処理装置，方法，プログラム及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7079179B2 (ja) |
| JP (1) | JP2002288653A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
| JP2010061541A (ja) * | 2008-09-05 | 2010-03-18 | Toshiba Corp | 劣化画像復元方法、劣化画像復元装置、及び、プログラム |
| US7848587B2 (en) | 2006-06-30 | 2010-12-07 | Eastman Kodak Company | Image-processing system and image-processing program |
| US8036481B2 (en) | 2006-07-14 | 2011-10-11 | Eastman Kodak Company | Image processing apparatus and image restoration method and program |
| JP2015228155A (ja) * | 2014-06-02 | 2015-12-17 | 日本電気株式会社 | 情報処理装置、情報処理システム、画像処理方法、及び、プログラム |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| US20010008418A1 (en) * | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
| EP1530156B1 (en) * | 2003-11-07 | 2012-03-14 | Mitsubishi Electric Information Technology Centre Europe B.V. | Visual object detection |
| US20050226525A1 (en) * | 2004-03-31 | 2005-10-13 | Fujitsu Limited | Image magnification device and image magnification method |
| JP4345651B2 (ja) * | 2004-11-29 | 2009-10-14 | セイコーエプソン株式会社 | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
| US20070031058A1 (en) * | 2005-06-08 | 2007-02-08 | Canamet Canadian National Medical Technologies Inc. | Method and system for blind reconstruction of multi-frame image data |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| JP2008021271A (ja) * | 2006-07-14 | 2008-01-31 | Eastman Kodak Co | 画像処理装置、画像復元方法、およびプログラム |
| JP4965179B2 (ja) * | 2006-07-27 | 2012-07-04 | イーストマン コダック カンパニー | 画像処理装置 |
| CN100437640C (zh) * | 2006-08-01 | 2008-11-26 | 北京航空航天大学 | 基于自适应判决反馈均衡技术的盲图像复原方法 |
| TW201248541A (en) * | 2011-05-20 | 2012-12-01 | Huang-Jia Shi | Recovery method of fractal pattern segment |
| TWI500412B (zh) * | 2012-11-09 | 2015-09-21 | Iner Aec Executive Yuan | 一種影像品質的改善處理方法及其造影系統 |
| JP6381376B2 (ja) * | 2014-09-02 | 2018-08-29 | キヤノン株式会社 | 撮像装置、カメラシステム、画像処理装置および画像処理プログラム |
| JP6555881B2 (ja) * | 2014-12-19 | 2019-08-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3302731B2 (ja) | 1992-06-02 | 2002-07-15 | 大日本印刷株式会社 | 画像拡大方法 |
| US5790709A (en) * | 1995-02-14 | 1998-08-04 | Ben-Gurion, University Of The Negev | Method and apparatus for the restoration of images degraded by mechanical vibrations |
| SE9601229D0 (sv) * | 1996-03-07 | 1996-03-29 | B Ulf Skoglund | Apparatus and method for providing reconstruction |
| US5925875A (en) * | 1996-04-26 | 1999-07-20 | Lockheed Martin Ir Imaging Systems | Apparatus and method for compensating for fixed pattern noise in planar arrays |
| JPH09298683A (ja) * | 1996-04-26 | 1997-11-18 | Sony Corp | 映像信号処理方法及び映像信号処理装置 |
| KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
| US6822758B1 (en) * | 1998-07-01 | 2004-11-23 | Canon Kabushiki Kaisha | Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process |
| US6633686B1 (en) * | 1998-11-05 | 2003-10-14 | Washington University | Method and apparatus for image registration using large deformation diffeomorphisms on a sphere |
| US6546117B1 (en) * | 1999-06-10 | 2003-04-08 | University Of Washington | Video object segmentation using active contour modelling with global relaxation |
| US6628715B1 (en) * | 1999-01-15 | 2003-09-30 | Digital Video Express, L.P. | Method and apparatus for estimating optical flow |
| US6470097B1 (en) * | 1999-01-22 | 2002-10-22 | Siemens Corporation Research, Inc. | Total variational blind image restoration from image sequences |
-
2001
- 2001-03-23 JP JP2001084099A patent/JP2002288653A/ja active Pending
-
2002
- 2002-03-21 US US10/101,728 patent/US7079179B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7848587B2 (en) | 2006-06-30 | 2010-12-07 | Eastman Kodak Company | Image-processing system and image-processing program |
| JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
| US8036481B2 (en) | 2006-07-14 | 2011-10-11 | Eastman Kodak Company | Image processing apparatus and image restoration method and program |
| JP2010061541A (ja) * | 2008-09-05 | 2010-03-18 | Toshiba Corp | 劣化画像復元方法、劣化画像復元装置、及び、プログラム |
| JP2015228155A (ja) * | 2014-06-02 | 2015-12-17 | 日本電気株式会社 | 情報処理装置、情報処理システム、画像処理方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7079179B2 (en) | 2006-07-18 |
| US20020164082A1 (en) | 2002-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002288653A (ja) | 画像処理装置，方法，プログラム及び記録媒体 | |
| JP5596138B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
| JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
| JP4872797B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| CN101765862B (zh) | 图像处理器、图像处理方法、数码相机和成像装置 | |
| JP2002300459A (ja) | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 | |
| JP4760918B2 (ja) | 撮像装置、被写体追従方法、及びプログラム | |
| EP2019547A2 (en) | Image pickup device and control method thereof | |
| JP5468404B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| JP5237721B2 (ja) | 撮像装置 | |
| CN102131052B (zh) | 用于数字照相机的自动聚焦控制的方法和装置 | |
| WO2017045558A1 (zh) | 景深调节方法、装置及终端 | |
| JP2016140030A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
| US20030103145A1 (en) | Method for image data print control, electronic camera and camera system | |
| JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
| CN101998060B (zh) | 通过使用自动聚焦确定抖动图像的方法和设备 | |
| JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
| JP2002300384A (ja) | 画像復元装置、画像復元方法、プログラム及び記録媒体 | |
| CN113873160B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN112785535B (zh) | 一种获取夜景光轨图像的方法、装置以及可手持终端 | |
| CN109996005A (zh) | 一种聚焦校正方法及装置 | |
| JP2001197355A (ja) | デジタル撮像装置および画像復元方法 | |
| JP5484129B2 (ja) | 撮像装置 | |
| JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2019096364A (ja) | 画像評価装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |