JP5752011B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、１枚の画像を複数の領域に分割し、領域ごとに画像処理を行い、再び１枚の画像に合成する画像処理技術に関する。

近年、画像解析技術が進歩し、画像から個々の被写体を識別することが可能となってきた。この技術を用いることで、特許文献１に開示されているように、個々の被写体領域ごとに高画質化処理を行うということが考えられる。

また、画像処理の対象画像から得られる画像情報だけでなく、測距センサから得られる測距情報を基に画像処理を行う方法が知られている。特許文献２では、画像を分割したそれぞれの領域に対して、画像解析結果とデフォーカス情報を用いて画像処理を行い、疑似ボケ画像を作成している。

このように、１枚の画像を分割し、領域ごとに画像処理を行い、再び１枚の画像に合成する画像処理方法が知られている。

特開２００９−０５００３５号公報 特開２００３−０８７５４５号公報

上述したように、領域ごとに画像処理を行った場合、画面全体に画像処理を行った場合と比較して、より高画質な画像が得られたり、背景領域をぼかしたりすることができる。しかしながら、領域ごとの画像処理では、必ず領域境界が存在し、その不連続性は高画質化効果や疑似ボケ効果を阻害してしまうおそれがある。

また、写真での表現において、絞りや構図などのユーザの意図を画像合成の際に反映することも必要である。

本発明は、上述した課題に鑑みてなされ、その目的は、領域ごとに画像処理を行った後に再び１枚の画像を作成する際に、絞りや構図などのユーザの意図を反映させつつ、領域境界の不連続性を低減する画像処理技術を実現することである。

上述した解題を解決し、目的を達成するために、本発明の画像処理装置は、画像内の複数の領域に異なる画像処理を施し、当該画像処理が施された画像を合成する画像処理装置において、前記複数の領域のシーン情報を取得する第１のシーン情報取得手段と、前記シーン情報を取得した際の領域境界部分におけるシーン情報を取得する第２のシーン情報取得手段と、前記第１のシーン情報取得手段により取得したシーン情報に対応したパラメータで画像の前記複数の領域それぞれに画像処理を施す画像処理手段と、前記シーン情報及び前記領域境界部分におけるシーン情報に基づいて、前記画像処理手段で画像処理された複数の画像を合成する合成比率を算出する算出手段と、前記合成比率に基づいて前記画像処理手段により画像処理された複数の画像を合成する合成手段と、を有する。

本発明によれば、領域ごとに画像処理を行った後に再び１枚の画像を作成する際に、境界の不連続性を低減することができる。また、絞りや構図などのユーザの意図を合成の際に反映できる。

本実施形態の画像処理装置のブロック図。 本実施形態の画像処理方法の説明図。 実施形態１の合成比率の算出方法の説明図。 実施形態２の合成比率の算出方法の説明図。 実施形態３の合成比率の算出方法の説明図。 実施形態４の合成比率の算出方法の説明図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

＜装置構成＞図１を参照して、後述する各実施形態の合成比率の算出方法を実現する画像処理装置の構成について説明する。

図１に示すように、本実施形態の画像処理装置は、第１のシーン情報取得部１０、第２のシーン情報取得部２０、画像処理部３０、合成比率算出部４０、画像合成部５０を有する。また、本実施形態の画像処理装置は、圧縮部６０、記録部７０、制御部８０、メモリ９０、インタフェース（Ｉ／Ｆ）１００を有する。

第１のシーン情報取得部１０は、入力画像における複数の領域ごとにシーン情報を取得する。第２のシーン情報取得部２０は、上記領域ごとにシーン情報を取得した際の領域境界部分におけるシーン情報を取得する。ここでシーン情報とは、被写体情報や色温度情報、距離情報やデフォーカス情報や周波数情報や色相情報や輝度情報、彩度情報などに限定されず、本発明の趣旨を逸脱しない範囲で適する情報を用いることとする。また、本画像処理装置は、デジタルカメラ等の撮像装置の一部でもよく、撮像装置から独立したパーソナルコンピュータなどで実現されてもよい。

ただし、第１のシーン情報取得部１０と第２のシーン情報取得部２０からシーン情報を取得する処理順序は、どちらを先に取得してもよい。また、画像処理部３０は、第１のシーン情報取得部１０からシーン情報を取得した後で、画像合成部５０で合成を行う前であれば、どの処理順序で画像処理を行ってもよい。

図１において、入力画像とその入力画像に対応する領域ごとのシーン情報、領域境界部分のシーン情報は予めメモリ９０に蓄えられており、第１のシーン情報取得部１０と第２のシーン情報取得部２０はメモリ９０からシーン情報を取得する。このとき、入力画像のシーン識別は事前に行われており、入力画像とその入力画像に対応する領域ごとのシーン情報、領域境界部分のシーン情報はメモリに蓄えられている、もしくは、記録媒体に保存されていて必要に応じてメモリ９０に展開される。また、領域ごとのシーン情報取得部１０と第２のシーン情報取得部２０は、入力画像のシーン識別を適宜行い、その結果としてシーン情報を取得してもよい（図２（ａ）のＳ１とＳ２）。

画像処理部３０では、入力画像に対して、第１のシーン情報取得部１０から取得したシーン情報に対応したパラメータを用いて画像処理を行う。この第１のシーン情報取得部１０から取得したシーン情報に対応したパラメータを用いて生成された画像をシーン対応画像と呼ぶ。ここで、入力画像がＲＡＷデータであった場合には現像処理も施すなど、入力画像に応じて必要な画像処理をそれぞれ施す。つまり、本発明の対象となる画像は、現像処理後のＪＰＥＧデータだけでなく、現像処理前のＲＡＷデータなども含みうる（図２（ａ）のＳ３）。

合成比率算出部４０では、第１のシーン情報取得部１０、第２のシーン情報取得部２０から取得したシーン情報を用いて、シーン対応画像の合成比率を算出する（図２（ａ）のＳ４）。まず、第１のシーン情報取得部１０から取得したシーン情報と第２のシーン情報取得部２０から取得したシーン情報に対応して、合成比率を変化させる合成比率変化領域Ａ１を決める（Ｉ）。合成比率変化領域Ａ１は、領域ごとにシーン情報を取得した際の領域境界を中心に決めてもよく、領域境界を端とする領域内に決めてもよく、領域境界を端とする領域外に決めてもよく、本発明の趣旨を逸脱しない範囲で適当な領域を決めることができる。次に、第１のシーン情報取得部１０から取得したシーン情報と第２のシーン情報取得部２０から取得したシーン情報に対応して、合成比率変化領域Ａ１における合成比率の変化のさせ方を決める（ＩＩ）。図２（ｂ）では、変化のさせ方を直線で表しているが、曲線で表してもよく、本発明は合成比率の変化のさせ方を限定するものではない。最後に、合成比率変化領域以外の領域Ａ２の合成比率を任意の値に決める（ＩＩＩ）。図２（ｂ）では、任意の値として領域内を１００、領域外を０として表しているが、本発明の趣旨を逸脱しない範囲においてどのような値を取ってもよく、また領域内・領域外ともに一定値である必要はない。ちなみに、合成比率の算出において、合成比率の算出順序、つまり、（Ｉ）合成比率変化領域Ａ１の決定、（ＩＩ）合成比率の変化のさせ方の決定、（ＩＩＩ）合成比率変化領域以外の領域Ａ２の任意の値の決定順序は上記順序と異なってもよい（図２（ａ）のＳ４）。

画像合成部５０では、合成比率算出部４０の算出結果に基づいて、シーン対応画像を基準となる画像に合成する（図２（ａ）のＳ５）。このとき、基準となる画像は、ある特定のパラメータで画像処理を行った画像でもよく、複数のシーンをそれぞれ合成してできた画像でもよく、いずれかに限定するものではない。

上述したように、１枚の画像を複数の領域に分割し、領域ごとに画像処理を行い、再び１枚の画像に合成する際に、合成比率を算出し、その算出結果に基づいて領域ごとの画像合成を行うことで、まず、領域境界の不連続性を低減することができる。また、領域ごとのシーン情報や領域境界部分のシーン情報を合成比率の算出に用いることで、絞りや構図などのユーザの意図を反映した自然な印象の合成画像を得ることができる。

画像合成部５０で合成された画像は、メモリ９０に蓄える、もしくは、圧縮部６０でＪＰＥＧ等の方法で圧縮し、記録部７０にてフラッシュメモリ等の記録媒体に記録される。

各部で用いられる画像データやシーン情報などのデータはメモリ９０に蓄えられ、制御部８０によって各部が制御される。場合によってはユーザ操作による指示などがＩ／Ｆ１００を介して画像処理装置へ入力される。

［実施形態１］以下、図１及び図３を参照して、実施形態１による、領域境界部分のデフォーカス情報を用いた画像の合成比率の算出方法について、第１のシーン情報取得部１０からシーンＸの情報が図３（ａ）のように取得された場合を例に説明する。また、第２のシーン情報取得部２０から、例えば、図３（ｂ）のような黒いほどデフォーカス量の絶対値が小さいデフォーカス情報（デフォーカスマップ）が取得されたとする。つまり、領域境界部分（ａ）はデフォーカス量の絶対値が小さく、領域境界部分（ｂ）はデフォーカス量の絶対値が大きい。このとき、デフォーカス情報を取得する方法として、入力画像と連続して撮影した深い被写界深度の画像と入力画像を比較して取得してもよく、デフォーカス情報を検出する装置から取得してもよく、その手段は限定しない。

上記条件の場合の、領域境界部分（ａ）と領域境界部分（ｂ）における合成比率の算出方法について説明する（図３（ｃ））。

まず、第１のシーン情報取得部１０から取得したシーンＸに対応した合成比率変化領域Ａ１＿Ｘ’を求める。合成比率変化領域Ａ１＿Ｘ’は、シーン情報で適応的に変化させることが望ましいが、どのようなシーン情報に対しても固定してよい。

次に、デフォーカス量の絶対値が小さい領域境界部分（ａ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では１倍としたものを合成比率変化領域Ａ１＿Ｘ−（ａ）とする。また、デフォーカス量の絶対値が大きい領域境界部分（ｂ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では２倍としたものを合成比率変化領域Ａ１＿Ｘ−（ｂ）とする（図３（ｃ））。デフォーカス情報に対応した合成比率変化領域Ａ１＿Ｘ’の幅の変化のさせ方は、上記例に限定されず、デフォーカス情報で適応的に変化させることが望ましいが、どのようなデフォーカス情報に対しても固定してよい。

さらに、第１のシーン情報取得部１０から取得したシーン情報と第２のシーン情報取得部２０から取得したデフォーカス情報に対応して、合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方を本例では直線とする（図３（ｃ））。合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方は、上記例に限定されず、領域ごとのシーン情報やデフォーカス情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報や、どのようなデフォーカス情報に対しても固定してよい。

最後に、合成比率変化領域以外の領域Ａ２＿Ｘの合成比率を領域内の任意の値として１００、領域外の任意の値として０とする（図３（ｃ））。任意の値は、上記例に限定されず、領域ごとのシーン情報やデフォーカス情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報や、どのようなデフォーカス情報に対しても固定してよい。

このようにして求めた合成比率算出結果（図３（ｄ）：黒いほど合成比率が高い）に基づいて、画像合成部５０においてシーン対応画像の合成を行う。

［実施形態２］以下、図１及び図４を参照して、実施形態２による、領域境界部分の周波数情報を用いた画像の合成比率の算出方法について、第１のシーン情報取得部１０からシーンＸの情報が図４（ａ）のように取得された場合を例に説明する。また、第２のシーン情報取得部２０から、例えば、図４（ｂ）のような黒いほど高周波である周波数情報（周波数マップ）が取得されたとする。つまり、領域境界部分（ａ）は低周波部分であり、領域境界部分（ｂ）は高周波部分である。このとき、周波数情報を取得する方法として、入力画像に対して空間周波数分析を行って取得してもよく、周波数情報を検出する装置から取得してもよく、その手段は限定しない。

上記条件の場合の、領域境界部分（ａ）と領域境界部分（ｂ）における合成比率の算出方法について説明する（図４（ｃ））。

まず、第１のシーン情報取得部１０から取得したシーンＸに対応した合成比率変化領域Ａ１＿Ｘ’を求める。合成比率変化領域Ａ１＿Ｘ’は、シーン情報で適応的に変化させることが望ましいが、どのようなシーン情報に対しても固定してよい。

次に、低周波部分の領域境界部分（ａ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では２倍としたものを合成比率変化領域Ａ１＿Ｘ−（ａ）とする。また、高周波部分の領域境界部分（ｂ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では１倍としたものを合成比率変化領域Ａ１＿Ｘ−（ｂ）とする（図４（ｃ））。周波数情報に対応した合成比率変化領域Ａ１＿Ｘ’の幅の変化のさせ方は、上記例に限定されず、周波数情報で適応的に変化させることが望ましいが、のような周波数情報に対しても固定してよい。

さらに、第１のシーン情報取得部１０から取得したシーン情報と第２のシーン情報取得部２０から取得した周波数情報に対応して、合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方を本例ではＳ字曲線とする（図４（ｃ））。合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方は、上記例に限定されず、領域ごとのシーン情報や周波数情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報や、どのような周波数情報に対しても固定してよい。

最後に、合成比率変化領域以外の領域Ａ２＿Ｘの合成比率を領域内の任意の値として１００、領域外の任意の値として０とする（図４（ｃ））。任意の値は、上記例に限定されず、領域ごとのシーン情報や周波数情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報や、どのような周波数情報に対しても固定してよい。

このようにして求めた合成比率算出結果（図４（ｄ）：黒いほど合成比率が高い）に基づいて、画像合成部５０においてシーン対応画像の合成を行う。

［実施形態３］以下、図１及び図５を参照して、実施形態３による、領域境界部分の色差情報を用いたシーン対応画像の合成比率算出方法について、第１のシーン情報取得部１０からシーンＸの情報が図５（ａ）のように取得された場合を例に説明する。また、第２のシーン情報取得部２０から、例えば、図５（ｂ）のような黒いほど色差量が大きい色差情報（色差マップ）が取得されたとする。つまり、領域境界部分（ａ）は色差量が大きく、領域境界部分（ｂ）は色差量が小さい。このとき、色差情報を取得する方法として、入力画像のＬ＊ａ＊ｂ＊表色系やＲＧＢ表色系などのある表色系の色空間におけるユークリッド距離を取得してもよく、色差情報を検出する装置から取得してもよく、その手段は限定しない。

上記条件の場合の、領域境界部分（ａ）と領域境界部分（ｂ）における合成比率の算出方法について説明する（図５（ｃ））。

まず、第１のシーン情報取得部１０から取得したシーンＸに対応した合成比率変化領域Ａ１＿Ｘ’を求める。合成比率変化領域Ａ１＿Ｘ’は、シーン情報で適応的に変化させることが望ましいが、どのようなシーン情報に対しても固定してよい。

次に、色差量が大きい領域境界部分（ａ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では１倍としたものを合成比率変化領域Ａ１＿Ｘ−（ａ）とする。また、色差が小さい領域境界部分（ｂ）では合成比率変化領域Ａ１＿Ｘ’の幅を本例では２倍としたものを合成比率変化領域Ａ１＿Ｘ−（ｂ）とする（図５（ｃ））。色差情報に対応した合成比率変化領域Ａ１＿Ｘ’の幅の変化のさせ方は、上記例に限定されず、色差情報で適応的に変化させることが望ましいが、どのような色差情報に対しても固定してよい。

さらに、第１のシーン情報取得部１０から取得したシーン情報と第２のシーン情報取得部２０から取得した色差情報に対応して、合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方を本例では上凸曲線する（図５（ｃ））。合成比率変化領域Ａ１＿Ｘにおける合成比率の変化のさせ方は、上記例に限定されず、領域ごとのシーン情報や色差情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報や、どのような色差情報に対しても固定してよい。

最後に、合成比率変化領域以外の領域Ａ２＿Ｘの合成比率を領域内の任意の値として１００、領域外の任意の値として０とする（図５（ｃ））。任意の値は、上記例に限定されず、領域ごとのシーン情報や色差情報で適応的に変化させることが望ましいが、どのような領域ごとのシーン情報に対しても固定してよく、どのような色差情報に対しても固定してよい。

このようにして求めた合成比率算出結果（図５（ｄ）：黒いほど合成比率が高い）に基づいて、画像合成部５０においてシーン対応画像の合成を行う。

［実施形態４］以下、図１及び図６を参照して、実施形態４による、第１のシーン情報取得部１０から得られるシーン情報が複数のシーンを含む場合について説明する。

本例では、第１のシーン情報取得部１０からシーンＸ、シーンＹ、シーンＺの情報として、それぞれの領域の分割数（粗さもしくは細かさ）についての情報も取得するものとする。このとき、シーンＸは入力画像を４分割した領域からシーン情報を取得し、シーンＹは入力画像を１６分割した領域からシーン情報を取得し、シーンＺは入力画像を６４分割した領域からシーン情報を取得したと仮定した場合について説明する（図６（ａ））。また、説明を簡素化するために、シーンＸ、シーンＹ、シーンＺは上記分割数以外の情報は同じものと仮定し、分割数以外の情報から決まる合成比率の変化領域を１次的合成比率変化領域Ａ１＿ｔとする。

上記条件の場合の、シーンＸ、シーンＹ、シーンＺにおける合成比率の算出方法について説明する（図６（ｂ））。

また、第１のシーン情報取得部１０から取得したシーン情報に対応した合成比率変化領域Ａ１’は、分割数についての情報も加味する。上記の例においては、シーンＸの合成比率変化領域Ａ１＿Ｘ’は１次的合成比率変化領域Ａ１＿ｔの幅を本例では３倍にしたものとする。シーンＹの合成比率変化領域Ａ１＿Ｙ’は１次的合成比率変化領域Ａ１＿ｔの幅を本例では２倍にしたものとする。シーンＺの合成比率変化領域Ａ１＿Ｚ’は１次的合成比率変化領域Ａ１＿ｔの幅を本例では１倍にしたものとする。つまり、分割数が少ない領域ほど合成比率の変化領域の幅を広くする。ただし、合成比率変化領域Ａ１’の幅の変化のさせ方は、本発明の趣旨を逸脱しない範囲において、特定の方法や値に限定されるものではない。

さらに、第１のシーン情報取得部１０から取得したシーン情報に対応した合成比率変化領域Ａ１における合成比率の変化のさせ方は、分割数についての情報についても加味する。上記の例においては、シーンＸの合成比率の変化のさせ方は本例では上に凸の曲線とし、シーンＹの合成比率の変化のさせ方は本例では直線とし、シーンＺの合成比率の変化のさせ方は本例では下に凸の曲線とする。ただし、合成比率の変化のさせ方は、本発明の趣旨を逸脱しない範囲において、特定の方法に限定されるものではない。

画像合成部５０におけるシーン対応画像の合成順序は、分割数が少ない領域から順に合成し、上記の例においては、シーンＸ、シーンＹ、シーンＺの順に合成を行う。

一方、第１のシーン情報取得部１０から分割数が同じ領域のシーン情報を複数の領域から取得した場合、第１のシーン情報取得部１０からさらに距離情報を取得し、距離の遠いシーンから順に合成する。

ただし、本発明は、１シーンごとにシーン対応画像を合成する場合だけに限らず、複数シーンのシーン対応画像の合成比率を１度に算出し、１度に合成する場合も含むものとする。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (10)

1. 画像内の複数の領域に異なる画像処理を施し、当該画像処理が施された画像を合成する画像処理装置において、
   前記複数の領域のシーン情報を取得する第１のシーン情報取得手段と、
   前記シーン情報を取得した際の領域境界部分におけるシーン情報を取得する第２のシーン情報取得手段と、
   前記第１のシーン情報取得手段により取得したシーン情報に対応したパラメータで画像の前記複数の領域それぞれに画像処理を施す画像処理手段と、
   前記シーン情報及び前記領域境界部分におけるシーン情報に基づいて、前記画像処理手段で画像処理された複数の画像を合成する合成比率を算出する算出手段と、
   前記合成比率に基づいて前記画像処理手段により画像処理された複数の画像を合成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記算出手段は、前記シーン情報と前記領域境界部分におけるシーン情報に対応して、前記合成比率の変化する変化領域と前記合成比率の変化のさせ方を変えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２のシーン情報取得手段から得られる情報は、画像のデフォーカス情報、画像の周波数情報、画像の色差情報の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１のシーン情報取得手段から得られる情報は、それぞれの領域のシーンを評価する際の画像の分割数の情報を含むことを特徴とする請求項１記載の画像処理装置。
5. 前記算出手段は、前記分割数が少ないシーン情報に対応する領域ほど合成比率の変化領域の幅を広くすることを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、前記分割数に応じて当該分割数で評価されたシーン情報に対応する領域の、合成比率が変化する変化領域における合成比率の変化のさせ方を変えることを特徴とする請求項４に記載の画像処理装置。
7. 前記合成手段は、より少ない分割数で評価されたシーン情報に対応する領域の画像から順に合成を行うことを特徴とする請求項４に記載の画像処理装置。
8. 画像内の複数の領域に異なる画像処理を施し、当該画像処理が施された画像を合成する画像処理方法であって、
   前記複数の領域のシーン情報を取得する第１のシーン情報取得工程と、
   前記シーン情報を取得した際の領域境界部分におけるシーン情報を取得する第２のシーン情報取得工程と、
   前記第１のシーン情報取得工程により取得したシーン情報に対応したパラメータで画像の前記複数の領域それぞれに画像処理を施す画像処理工程と、
   前記シーン情報及び前記領域境界部分におけるシーン情報に基づいて、前記画像処理工程で画像処理された複数の画像を合成する合成比率を算出する算出工程と、
   前記合成比率に基づいて前記画像処理工程にて画像処理された複数の画像を合成する合成工程と、を有することを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
10. コンピュータを、請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを記憶した記憶媒体。