JP2013257844A - 画像変換装置、画像変換方法及びプログラム - Google Patents

Abstract

【課題】元の写真画像から、単にタッチを絵画調とするだけでなく、人間が手描きしたような絵画としての自然さを備えた画像に変換すること。
【解決手段】画像を入力する外部通信部４と、入力した画像から輪郭線を抽出し、抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形し、入力した画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形し、変形処理した輪郭線と変形処理した領域画像を合成し、合成した画像を画調変換するＣＰＵ１とを備える。
【選択図】図１

Description

本発明は、撮影等により得た写真画像を絵画調の画像に変換する画像変換装置、画像変換方法及びプログラムに関する。

従来から、カメラの撮影で得た写真画像を元に、イラスト画や油彩、水彩、鉛筆画、パステル画など美術的な絵画調の画像に変換する絵画調変換技術が種々知られている。その中には、例えば基準色と色勾配、アートブラシ等を設定して、ブラシストロークの軌跡を描画したり、輪郭画素群が並ぶ方向を選択することでその選択方向に並ぶ画素値を平均化し、絵画風の筆使いのタッチを真似る方法がある（例えば、特許文献１）。

特開２０００−３５７２３９号公報

しかし、上述したような絵画調変換技術では、写真よりは絵画に近いタッチの、いわゆる「絵画調」の画像をある程度自動生成できるが、少し離れた地点から眺めてみると、被写体や構図などの形状、配置など、カメラで機械的に撮影された元のデジタル画像の印象と大差がなく、人間が手書きで描いたような趣きや描写や表現、タッチ、作風等を持つような自然な絵画調画像への自動変換は難しいという不具合があった。

本発明は上記のような事情に鑑みてなされたもので、その目的とするところは、元の写真画像から、単にタッチを絵画調とするだけでなく、人間が手描きしたような絵画としての自然さを備えた画像に変換することが可能な画像変換装置、画像変換方法及びプログラムを提供することにある。

本発明の一態様は、元画像から輪郭線を抽出する輪郭抽出手段と、上記輪郭抽出手段で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理手段と、上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理手段と、上記第１の処理手段で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成手段と、上記合成手段で得た画像を画調変換する画調変換手段とを備えたことを特徴とする。

本発明によれば、元の写真画像から輪郭線を抽出し、抽出した輪郭線と例えば顔領域など所定の領域に対してそれぞれ予め設定した変換でのゆらぎ処理等を加えた後にそれらを合成した上で絵画調変換することにより、元の写真画像から、単にタッチを絵画調とするだけでなく、人間が手描きしたような絵画としての自然さを備えた画像に変換することが可能となる。

本発明の一実施形態に係る画像変換装置全体の構成を示すブロック図。 同実施形態に係る画像変換装置による画像変換方法の概要を示すフローチャート。 同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第１の変換方法を示す図。 同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第２の変換方法を示す図。 同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第３の変換方法を示す図。 同実施形態に係る手書き風の第１の絵画調変換の処理内容を示すフローチャート。 同実施形態に係る元の顔画像と目的顔画像とからモーフィング合成で中間顔画像を生成する概念を示す図。 同実施形態に係るモーフィング変換による顔画像の合成処理を説明する図。 同実施形態に係るモーフィング（内挿）変換とカリカチュア（外挿）変換による絵画調変換のバリエーションを説明する図。 同実施形態に係るモーフィング変換及びワーピング変形の処理内容を示すフローチャート。 同実施形態に係る手書き風の第２の絵画調変換の処理内容を示すフローチャート及び状態遷移図。 同実施形態に係る手描き風の第３の絵画調変換の処理内容を示すフローチャート。 同実施形態に係る図１１のステップＳ４１１でのアフィン変換による画像の変形処理を説明する図。 同実施形態に係る手書き風の第１の絵画調変換の具体例として、手描きラインとワープ変換により画像を変形する処理過程を説明する図。 同実施形態に係る手書き風の第２の絵画調変換の具体例として、一部領域グリッドを変形した場合の画像変形処理過程を説明する図。

以下、本発明の一実施形態について図面を参照して詳細に説明する。

図１は、本実施形態に係る画像変換装置のハードウェア機能回路構成を示すブロック図である。同図で、１はこの装置全体の動作制御を司るＣＰＵであり、このＣＰＵ１に対して表示部２、タッチ入力部３、外部通信部４、メインメモリ５、及びプログラムメモリ６が接続される。

表示部２は、例えばバックライト付きの透過型カラー液晶パネルとその駆動部とで構成される。この表示部２上に一体にしてタッチ入力部３が設けられる。

タッチ入力部３は、スペーサーを挟んだ一対の透明電極シートとその駆動部で構成され、手指あるいは図示しない専用のスタライスペンによる筆記操作等に応じて画像に対するポイント指示操作をした場合に随時その操作位置座標を時系列に検出し、検出結果を上記ＣＰＵ１へ出力する。

外部通信部４は、オリジナル画像となる画像情報を入力、あるいは変換後の画調変換された画像情報を出力するための入出力部として機能し、具体的には、例えばメモリカードを装着するためのメモリカードリーダー／ライター、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備えたＵＳＢコントローラ、ＩＥＥＥ８０２．１１ｂ／１１ｇ／１１ｎ規格に則った無線ＬＡＮ通信部等などで構成する。

メインメモリ５は、上記外部通信部４から入力されたオリジナル画像となる画像情報を記憶するための入力バッファ５Ａ、変換後の画調変換された画像情報を表示、出力させるための出力バッファ５Ｂ、各種演算に使用されるワークエリア５Ｃを含む。

プログラムメモリ６は、後述する各種フローチャートを実現するための動作プログラムや各種固定データ等を記憶するもので、後述するモーフィング（Ｍｏｒｐｈｉｎｇ）変換、ワーピング（Ｗａｒｐｉｎｇ）変換で使用するための目的顔情報等を複数記憶した画像記憶部６Ａを有する。
この画像記憶部６Ａには、目的顔情報等の他に、後述するカリカチュア画像用の顔部品イラストを格納したライブラリーも記憶するものとする。

次に上記実施形態の動作について説明する。
図２は、本実施形態に係る画像変換装置で実行する、画調変換に伴う基本的な処理内容を示すフローチャートである。同処理は、ＣＰＵ１がプログラムメモリ６に記憶した動作プログラムや各所固定データ等を読出してメインメモリ５のワークエリア５Ｃに展開した上で実行する。

図２は、外部通信部４を介してオリジナルとなる画像情報を入力し、当該画像情報をメインメモリ５の入力バッファ５Ａに保持した時点から実行される。

その実行当初にＣＰＵ１は、元の画像から輪郭抽出処理を実行して輪郭線画像を作成する（ステップＳ１）。

合わせてＣＰＵ１は、抽出した輪郭画像からさらに人物の顔領域を顔認識処理により抽出する（ステップＳ２）。

ＣＰＵ１は、上記ステップＳ１で抽出した輪郭線画像に対して、予め選択して設定しておいた変形方式、例えばアフィン変形変換、もしくは上記顔認識で抽出した顔領域に対するモーフィング（Ｍｏｒｐｈｉｎｇ）補間変換、ワーピング（Ｗａｒｐｉｎｇ）移動変換、もしくはそれらの変換係数に乱数やゆらぎを加えた変形変換を施す（ステップＳ３）。

この輪郭線画像の変形変換を施す際にＣＰＵ１は、上記変換された輪郭線画像における線情報の一次元分布のフラクタル次元が所定の範囲、例えば印象派絵画相当の１．５〜１．６の範囲に収まるか、もしくは、輝度（明度）情報の二次元分布のフラクタル次元が所定の範囲、例えば印象派絵画相当の２．３〜２．４の範囲に入るように変形変換を施して、より自然な分布の絵画調画像を生成する。

例えば、選択したのがモーフィング変換であった場合、基準画像をＩ_ｇ、画像記憶部６Ａに記憶している参照画像、例えば平均顔画像をＩ_ｒ、内挿補間係数をαとすると、モーフィング変換（内挿補間変換）式は、
Ｉ_ｓ＝αＩ_ｒ＋(1.0−α)Ｉ_ｇ
（但し、０＜α＜１）
となる。

次いでＣＰＵ１は、上記ステップＳ３で用いたものと同等の変換式に基づいて、オリジナル画像の領域画像にも同じ変形を施す（ステップＳ４）。

このときＣＰＵ１は、領域画像（色彩画像）の変形変換を施す際に、色相または彩度の二次元分布の冗長度が所定の範囲、例えば印象派絵画相当の０．４〜０．５の範囲に入るように、変形変換を施す。

その後にＣＰＵ１は、変換した領域画像に対して色数もしくは階調数を減らす処理、または、色彩や色度の近い領域を統合して領域の数を減らすような処理を施す（ステップＳ５）。

さらにＣＰＵ１は、上記ステップＳ２での顔認識処理により画像中から人物の顔領域を抽出することができたか否かを判断する（ステップＳ６）。

画像中に顔領域があると判断した場合、ＣＰＵ１は該当する人物の領域画像を抽出または切抜き抽出し、人物の頭と身体との比率（ｎ等身）を求め、それが所定の比率に近づくように、人物の頭領域画像を相対的に拡大処理すると共に、人物のその他身体部分を相対的に縮小処理して、ｍ（ｍ＜ｎ）等身のデフォルメされた比率（プロポーション）の人物像に変換する（ステップＳ７）。
このとき、頭部分だけでなく、手足、指など、身体の端や先端部分を相対的に拡大処理するようにしても良い。

そして、比率を変形した人物の領域画像と、その他の領域画像（背景）とを合成する（ステップＳ７）。

また上記ステップＳ７での、比率を変換してのデフォルメ処理に代えて、カリカチュア変換によるデフォルメ処理を行なうものとしても良い。この場合、人物の頭または顔の領域画像を抽出または切抜いて抽出し、抽出した人物の頭または顔の領域画像を、予め記憶した標準の頭または顔の領域画像を基準に、差異が強調されるようにカリカチュア変換（モーフィングの逆の変換）して、個性を強調してデフォルメした頭または顔の領域画像を生成する。

例えば、基準画像をＩ_ｇ、画像記憶部６Ａに記憶している参照画像、例えば平均顔画像をＩ_ｒ、外装補間係数をβ（β＞０）とすると、カリカチュア変換式は、
Ｉ_s＝−β（Ｉ_ｒ−Ｉ_ｇ）＋Ｉ_ｇ
＝Ｉ_ｇ＋β（Ｉ_ｇ−Ｉ_ｒ）
＝（１＋β）Ｉ_ｇ−βＩ_ｒ
となる。

その結果、続く上記ステップＳ８では、カリカチュア変形した人物の領域画像と、その他の領域画像（背景）とを合成する。

さらに必要によっては、画像中の画素値などの特徴量に応じて、視覚的な注目点領域などを推定検出し、主要被写体領域を抽出するか、もしくは撮影時のフォーカス検出枠の領域を含む被写体領域を、主要被写体領域として抽出するものとしてもよい。

この場合、抽出した主要被写体の領域画像を前景領域として、相対的に拡大するとともに、その他の領域画像を背景領域として相対的に縮小し、その後に前景領域と背景領域とを合成することで、遠近感あるいは奥行きの深さを強調した画像を合成できる。

その後ＣＰＵ１は、上記ステップＳ６，Ｓ７の処理の実行の有無に拘わらず、画像全体の輪郭線に対して手書き風の歪みを持った変形変換と、この輪郭線を変形した後の各領域画像に対して色数もしくは階調数を減らす処理、または、色彩や色度の近い領域を統合して領域の分割数を減らすような減数処理を実行し、上記変形された輪郭線画像と、変形及び色数が減数処理された領域画像とを合成することで、絵画調画像を生成し（ステップＳ９）、以上でこの画調変換に伴う基本的な一連の処理を終了する。

生成した画像に関しては、必要により表示部２で表示し、あるいは外部通信部４を介して外部に出力、あるいはメモリカードに記憶させるなどしても良い。

またこの画像変換装置が、例えばデジタルカメラに内蔵される機能の一部であり、外部通信部４が撮影により得た画像データファイルの記録媒体であるメモリカードを装着するリーダー／ライターであった場合には、外部通信部４を介して記録媒体としてのメモリカードに記録して保存することができる。

次に上記ステップＳ３，Ｓ４で実行する、輪郭線に対する手書き風のゆがみを持った変換処理の概要について図３乃至図５を用いて説明する。
図３（Ａ）は、直線や線分を歪みを持った線に変換するべく、凹凸、ランダム、バラツキを用いて手描き風の線（輪郭線など）に変換する第１の方法を示す。
これを簡単に説明すると、
（１）２つの点Ａ，Ｂを決める。
（２）点Ａと点Ｂを端点として中間点Ｃを計算する。
（３）点Ｃの位置を元の位置から乱数を用いてずらす。
（４）点Ａと点Ｃ、点Ｃと点Ｂの間に対しても、上記（２），（３）の処理を行ない、中間点Ｄ，Ｅを出す。
（５）それぞれの点に対して、上記（２），（３）の処理を繰り返し、２点間の距離が所定値以下になれば２点をつなぐ。
これにより、線を手描き風の線に変形処理することができる。

図３（Ｂ）では、上述した直線の場合と同様に、所定間隔をおいて決めた２つの点の間に中間点を決め、この中間点の位置をずらすという処理を繰り返すことにより、（１）で示す円や曲線を（２）に示すように歪みを持った線に変換する例を示す。

これにより、手描き風の円や曲線に変形処理することができる。

図３（Ｃ）では、（１）で示す１本の線分を、（２），（３）の複数の曲線や複数ストロークの束に変換する例を示している。
これにより、手描き風の線に変形処理することができる。

図４は、描き方、運筆、ストロークに基づいて手描き風の線に変換する第２の方法を示す。ここでは、滑らかな線を、ゆらぎや分布にバラツキのある複数ストロークの束に変換する場合を示す。

すなわち、図４（Ａ）では、（１）で示す滑らかな曲線において中間点を規準として（２）に示すように短い曲線を沿わせて設け、そののち、（３）の用に複数本の途切れたストロークの束に変換している。

図４（Ｂ）では、（１）で示す屈曲点、連結点を、（２）に示すように交差した折れ曲がりに変換し、さらにそれを（３）で示すように複数ストロークによる折れ曲がり点に変換する。

図４（Ｃ）では、（１）に示す右上がりの曲線において、その両端を制御点Ｐ１，Ｐ４として曲率を換えた曲線に変更する。ここで、手描きでは、右上がりは浅い曲率に描きやすいことから、（２）に示すように曲率を浅く（大半径に）変更する。これにより、（３）に示すようにあらたな制御点Ｐ１′，Ｐ４′で表す手描き風の右上がり曲線になる。

図４（Ｄ）では、（１）に示す右下がりの曲線においても、その両端を制御点Ｐ１，Ｐ４として曲率を換えた曲線に変更する。ここでは、手描きでは、右下がりは深い曲率に描きやすいことから、（２）に示すように曲率を深く（小半径に）変更する。これにより、（３）に示すようにあらたな制御点Ｐ１′，Ｐ４′で表す手描き風の右下がり曲線になる。

図４（Ｅ）では、（１）に示すように滑らかな曲線を、ストローク数、変形量、移動量、乱数、分布、偏差等をパラメータで設定調整可能とすることにより、（２），（３）で示すように複数本の途切れたストロークの束に変更する。この場合、パラメータの設定により任意の調整が可能となる。

図５は、線の太さや濃さ、面の密度を可変する、手描き風の線の描き方に変換する第３の方法を示す。
図５（Ａ）では、（１）に示す元の線において複数個所に設けた点での描かれる線の太さを（２）で示すように適宜設定して変更して変換する。線の上側に位置する数値「０．０」〜「１．０」が線の濃さを示すパラメータの数値、下側の数値が描かれる線の太さを示すパラメータの数値であり、その設定の仕方によって（３）で示すような変換例が得られる。

図５（Ｂ）は、上記図５（Ａ）で説明した例を利用し、さらに線の太さ等のアクセントを持たせて変換した例を示す。同図で（１）に示す元画像に対し、メリハリ感を強調した（２）に示すような画像を得ることができる。

図５（Ｃ）は、（１）に示す太さが一定の平坦な輪郭線を、（２）に示すように太さに対して変化やゆらぎを持たせた輪郭線とした場合を示す。

図５（Ｄ）は、輪郭線に加え、輪郭線周辺の面や線の密度、テクスチャーなどを可変した例を示す。（１）に示す元画像に対し、（２），（３）で示す画像では輪郭線周辺の面や線の密度、テクスチャーを変えることで対象物の陰影を強調した画像を得る例を示す。

次いで、上記ステップＳ３，Ｓ４で実行する、ゆらぎを加える変換についてさらに詳述する。
すなわち、車や家電などの工業製品や工業デザインの分野では、一般になめらかな曲線が美しいとされ、多く利用されている。一方、手描きのスケッチやイラスト画、絵本、コミックなどでは、なめらかな曲線ばかりではなく、強弱のある線やふるえのある線など、手描きや手描き風の曲線が多く見られる。

例えば、絵本やコミックシリーズなど一見滑らかな線で描いたように見える絵や画像でも、よく観察すると、手描きによる震えた美しい曲線が多く残してあるのが見られる。

一般に、滑らかな曲線と手描きの曲線を比較すると、それぞれをフーリエ解析したり、点の位置情報のみを用いるＧ型記述子、点と点との角度情報のみを用いるＺ型記述子、点と点との間の方向ベクトルを用いるＰ型記述子などのフーリエ記述子で記述するなどして、周波数領域で違いを見ると、機械的に滑らかな曲線では、高周波領域でも単調でなだらかな周波数ｖｓパワースペクトル特性（横軸に空間周波数、縦軸にパワースペクトル）を有しているのに対して、手描き曲線では、空間周波数６４（＝2＾6）以上の高周波領域でふるえや揺らぎが大きくなることなどが知られている。

このような特徴を考慮して、直線や滑らかな曲線から、手描き風の震えた曲線を自動作成するには、例えば、次のようなゆらぎ処理を付加する変換を行えば良い。

または、さらに、そのような揺らぎや震えを付加した線の候補から、空間周波数の特徴である、高周波域でふるえや揺らぎが大きいことなど、手描き風の曲線の条件に合うものを選別すれば良い。

これを詳述すると、
（１）直線に歪みやゆらぎを持たせる。
例えば、直線上の点Ａ（ｘ１，ｙ１）と端Ｂ（ｘ２，ｙ２）との間の中間点Ｃを取り、その中間点Ｃの位置を元の位置C（ｘ３，ｙ３）から点Ｃ′（ｘ３′，ｙ３′）に、少しずつランダムにずらして移動する変換を行なう。
点Ａの２次元座標を（ｘ１，ｙ１）、点Ｂの同座標を（ｘ２，ｙ２）とすると、
点Ｃの座標（ｘ３，ｙ３）＝((ｘ１＋ｘ２)/２，(ｙ１＋ｙ２)/２)
となる。
これに、それぞれ任意の確率Ｘ（またはＹ）で乱数Ｓ（またはＴ）を加えて（負の場合は減じて）ずらし移動すると、
点Ｃ′の座標（ｘ３′，ｙ３′）
＝(ｘ３＋Ｘ＊Ｓ，ｙ３＋Ｙ＊Ｔ)
＝((ｘ１＋ｘ２)/２＋Ｘ＊Ｓ，(ｙ１＋ｙ２)/２＋Ｙ＊Ｔ)
となる。
これをさらに点Ａと新しい中間点Ｃ′との間に、さらに新しい中間点を作って次々と繰返す。新しい点は必ずしも中間点でなくても良く、ランダムに作っても良い。

（２）対象の線が、円や円弧、曲線の一部の場合には、
（２−１）円周や円弧上に２点Ａ，Ｂを取り、その点から中心点（ｘ０，ｙ０）と、半径Ｒを求める、任意の確率Ｘ（またはＹ）で乱数Ｓ（またはＴ）を加える（負の時は減じる）。
すなわち、
ｘｉ＝ｘ０＋Ｒcos(ｉ＊θ)＋Ｘ＊Ｓ，
ｙ１＝ｙ０＋Ｒsin(ｉ＊θ)＋Ｙ＊Ｔ
（２−２）その点を順次つなぎ、以上を繰返す。
このとき、確率Ｘ，Ｙが低く、数値Ｓ，Ｔが小さい場合には、ほとんど歪みの少ない滑らかな円や円弧ができるが、確率Ｘ，Ｙが高く、また数値Ｓ，Ｔを大きくすると、歪みやバラツキの大きい、ギザギザな円や円弧ができる。したがって、確率Ｘ，Ｙと乱数Ｓ，Ｔの大きさを調整することで、滑らか度合やゆらぎの度合を調節することができる。

（３）滑らかな曲線やＢスプライン近似曲線を、手描き風の歪みのある曲線に変換する。すなわち、滑らかな曲線のフーリエ変換、または、フーリエ記述子など、周波数特性が、周波数６４（＝2＾6）以上の高周波領域で、ゆらぎやバラツキが大きくなるように変換加工する。例えば、
（３−１）手本となる手描き曲線（サンプル）の輪郭線の、Ｐ型フーリエ記述子を計算し、周波数領域で記述する。
（３−２）周波数領域で記述した手描き曲線に、ハイパスフィルタ処理を施し、所定周波数（＝空間周波数６４）以上の高周波数領域を抽出する。
（３−３）対象となる曲線またはその折れ線近似、Ｂスプライン曲線近似など滑らかな曲線を、同様にＰ型フーリエ記述子を計算し、周波数領域で記述する。
（３−４）滑らかな曲線の周波数特性の高周波数領域に、上記（３−２）で抽出した手描き曲線の空間周波数６４以上の高周波数領域を加える。
（３−５）上記（３−４）の周波数特性を逆フーリエ変換して、時間領域に戻すと、対象となる滑らかな曲線を、手描き風に変換した曲線が得られる。

（４）実際の手描き時の肘や腕、手首の運動のしやすさ、制約、描く方向や線の特徴、正しく描きやすい線、描きにくい線や方向など、運筆条件に基づいて写真画像や元の滑らかな曲線をラフスケッチ風の手書き曲線に変換する。
具体的には、
（４−１）閾値を超えて長い曲線を、短い曲線の連結に変換する。
（４−２）1本の滑らかなストロークを、複数の短い曲線の束に変換する。
（４−３）曲がり角や複雑なストロークの曲線を、単純なストロークの複数連結に変換する。
（４−４）曲がり角や曲率の大きい箇所のストロークを多くする。
（４−５）ストロークに乱数やゆらぎを加える。
（４−６）ストロークの位置を揺らがせる（平行移動）。
（４−７）滑らかな連結に対し、（繰り返しなぞるように）類似の新しいストロークを加える。
（４−８）急な連結や折れ曲りに対し、ストロークを交差させる、分割する、ストロークを突き出させる。
（４−９）右利きの人では、右上がりの曲線は肘を動かし易く、線を描き易いが、弧が浅くなりがちであるので、円弧の半径が長くなる傾向にあるため、右上りの滑らかな線を意図的にやや浅い円弧に変換、具体的には弧の半径を大きくする。
（４−１０）逆に右利きの人では、右下がりの曲線は肘を動かしにくく、手首を動かすので、弧が深くなりがちであり、右下りの滑らかな線を意図的にやや深い円弧に変換、具体的には弧の半径を短くする。
これらは閾値や乱数、揺らぎ、移動の大小、円弧の浅深（半径の伸縮）を調整することで、手描きのタッチや作風を調整できる。

以上のような絵画調変換処理を施すと、より人間が手描きで描いたような、より人間的な絵画調画像を得ることができる。
すなわち、
(i)単に画質や調子、タッチなどが絵画調なだけでなく、より人間が手描きで描いたような、より人間的な絵画調の画像に変換生成することができる。
(ii)上記の変換を行なう際に、併せて線情報の一次元分布のフラクタル次元や、輝度情報の二次元分布のフラクタル次元、色相または彩度の分布の冗長度などが所定の範囲に入るように変換を行なうことによって、より自然な画像や人間の手描き画像に近い絵画調画像に変換できる。

(iii)併せて人間が手書きで描いた場合に多く見られるように、人物の顔や頭部、身体の手足や端部などを強調や拡大したようなデフォルメ画像、人物の顔などの個性や標準顔との差異を誇張したようなデフォルメ画像、前景を拡大する一方で背景を縮小して遠近感や三次元的な奥行きなどを強調したような画像、などに変換した画像を自動生成し、その後に絵画調変換処理を行なうことで、人間の手描きの絵画により近づくような処理を施すことが可能となる。

次に、主として上記ステップＳ３，Ｓ４で実行する具体的な画像変換処理に関し、特に顔領域の画像等をモーフィング変換またはカリカチュア変形変換により変換する場合を手書き風の第１の絵画調変換として、図６に示す処理内容のフローチャートを用いて詳述する。

図６の処理当初には、人物の顔領域を構成する目鼻口眉、輪郭など顔部品の配置など、多数の特徴点に応じて、複数のメッシュ構造に分割する顔のメッシュモデルを生成する（ステップＳ１０１）。

次いで、プログラムメモリ６の画像記憶部６Ａから平均顔、美人顔、有名人顔などといった予め選択されている目的顔の画像（Ｉ_１）を読出して設定するか、またはユーザ操作に応じて選択してものを読出して設定する（ステップＳ１０２）。

これに対して、上記ステップＳ２で抽出した元画像の顔領域を入力画像（Ｉ_０）として与える（ステップＳ１０３）。

この入力した入力画像（Ｉ_０）中から目、鼻、口、眉、輪郭、頭髪などの顔部品を認識する（ステップＳ１０４）。

認識した結果に基づき、まず入力された顔の輪郭の縦横サイズを算出する（ステップＳ１０５）。

次いで顔の輪郭サイズに合わせて、顔メッシュモデルの大きさ、縦横比を設定する（ステップＳ１０６）。

入力画像（Ｉ_０）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、入力顔の特徴点を表すメッシュ（Ｆ_０）を作成する（ステップＳ１０７）。

一方で目的画像（Ｉ_１）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、目的顔の特徴点を表すメッシュ（Ｆ_１）を作成する（ステップＳ１０８）。

次いで、入力画像（Ｉ_０）のメッシュ（Ｆ_０）と目的画像（Ｉ_１）のメッシュ（Ｆ_１）とによるワープ変形処理を行なう（ステップＳ１０９）。

このワープ変形処理においては、
メッシュ（Ｆ_０）を変形させてメッシュ（Ｆ_１）に対応させるワープ関数Ｗ_０~を算出する（ステップＳ１０９ａ）、
メッシュ（Ｆ_１）を変形させてメッシュ（Ｆ_０）に対応させるワープ関数Ｗ_１~を算出する（ステップＳ１０９ｂ）、
ワープ関数Ｗ_０~により画像Ｉ_０(p)上の点ｐをワープ変形して、変形中間画像Ｉ_０(p:t)を作成する（ステップＳ１０９ｃ）、
ワープ関数Ｗ_１~により画像Ｉ_１(q)上の点ｑをワープ変形して、変形中間画像Ｉ_１(ｑ:t)を作成する（ステップＳ１０９ｄ）、
変形中間画像Ｉ_０(p:t)、及びＩ_１~(q:t)から、補間処理または補外処理などにより、中間画像（またはカリカチュア強調画像）Ｉ(r:t)を算出する（ステップＳ１０９ｅ）。

ワープ変形変換処理後、ワープ変形された入力顔画像から、線情報画像（輪郭画像）及び色情報画像(領域画像)を抽出する（ステップＳ１１０）。

次いで、色情報画像に色数もしくは階調数を減らす処理、または色彩の近い領域を順次統合して領域数を減らす処理であるポスタライズ処理を施す（ステップＳ１１１）。

最後に、輪郭線の画像と上記ポスタライズ処理を施した色情報画像とを合成し（ステップＳ１１２）、以上で手書き風の第１の絵画調変換処理を終了する。

次に、上記ステップＳ３で実行する顔領域の具体的な画像変換処理に関し、特に顔領域をモーフィング変換により変換する場合の基本概念について図７により説明する。
図７は、元の顔画像と画像記憶部６Ａから読出す目的顔画像との平均となる顔画像を生成するべくモーフィング合成をする場合を示す図である。ここでは、図７（Ａ）で示す元の顔画像と、図７（Ｂ）で示す目的顔画像（ここでは女性２（平均顔））とを５０：５０の割合でモーフィング変換を施し、各特徴点の中間画像を合成することにより、図７（Ｃ）に示すような顔画像を算出できる。

図８は、上記ステップＳ３でモーフィング変換により顔画像の変形を行なう場合の処理を説明する図である。
図８（Ａ）に元画像ｆを示す。図８（Ｂ）に目的画像ｇを示す。

図８（Ｃ），（Ｅ）に示すように、元画像ｆの特徴点に基づいて、メッシュＭ_Ｓを生成する。

一方で図８（Ｄ），（Ｆ）に示すように目的画像ｇの特徴点に基づいて、メッシュＭ_Ｔを生成する。

これらメッシュＭ_Ｓ及びメッシュＭ_Ｔとから、図８（Ｇ）に示すように線形補間によりメッシュＭ_ｉを生成する。

次に、上記図８（Ｅ）で得たメッシュＭ_Ｓと上記図８（Ｇ）で得たメッシュＭ_ｉとを用いて、元画像ｆ内の各メッシュの画像Ｉ_Ｓの各点をワープ（変形変換）した画像Ｉ_１を図８（Ｈ）に示すように生成する。

一方で、上記図８（Ｆ）で得たメッシュＭ_Ｔと上記図８（Ｇ）で得た中間メッシュＭ_ｉとを用いて、目的画像内の各メッシュの画像Ｉ_Ｔの各点をワープ（変形変換）した画像Ｉ_２を図８（Ｉ）に示すように生成する。

さらに、上記図８（Ｈ）で得たメッシュ画像Ｉ_１と、上記図８（Ｉ）で得たメッシュ画像Ｉ_２の画素値（輝度、色差信号）をクロス・ディゾルブ混合、または、まばらな中間点の画素を線形補間して、図８（Ｊ）に示すようなモーフィング合成画像Ｉ_３を合成する。
図８（Ｋ）は、上記図８（Ｊ）で示したモーフィング合成の結果得られる顔画像である。

次に図９により、モーフィング（内挿）変換とカリカチュア（外挿）変換を用いて入力顔画像を絵画調変換する場合のバリエーションについて説明する。
図９において、図９（Ａ）に示す元の顔画像に対し、図９（Ｂ）に示す平均顔を目的顔とした場合、内挿補間によるモーフィング合成で図９（Ｄ）に示すような、端正顔とも称される補間顔画像が得られる。

一方で、図９（Ａ）に示す元の顔画像に対し、図９（Ｂ）に示す平均顔を目的顔とした場合、平均顔を基準として元の顔画像が中間となるような外挿・カリカチュア合成を行なうと、図９（Ｃ）に示すようなカリカチェア画像が得られる。

図９（Ｅ）は、上記図９（Ｃ）のカリカチェア画像を絵画調変換処理、例えば色数の減数処理、または色の統合処理、ポスタライズ処理、メディアンフィルタ処理、バイラテラルフィルタ処理などを行なった上で得られるカリカチェア絵画調の顔画像である。

図９（Ｆ）は、上記図９（Ａ）の元の顔画像をそのまま絵画調変換処理を行なうことにより得られる通常の絵画調の顔画像である。図９（Ｇ）は、上記図９（Ｄ）で示した平均顔との補間画像に対して上記絵画調変換処理を行なうことにより得られる、端整顔の絵画調の顔画像を示す。

この図９に示すように、平均顔との内挿補間によるモーフィングでは、平均顔との中間画像、すなわち美人顔や端整顔に近づけた顔、あるいはアンチ・カリカチェア画像を合成できる一方で、逆に、外挿によるモーフィングでは、平均顔から離れた個人差や個性が強調されたカリカチェア画像を合成できる。

参考までに、図１０により顔画像に対するモーフィング変換及びワーピング変換の具体的な処理内容を説明する。

その当初には元画像（Ｉ_０）を入力すると共に（ステップＳ２０１）、対象となる目的画像（Ｉ_１）を入力する（ステップＳ２０２）。

これら入力した顔画像に基づいて、それぞれ顔の目鼻口など多数の特徴点で複数メッシュなどに分割する顔メッシュモデルを生成する（ステップＳ２０３）。

次いで、元画像Ｉ_０の特徴点を、自動的、またユーザの修正操作に応じてメッシュモデルに割り付け、元の顔画像の特徴点を表すメッシュ（Ｆ_０）を作成する（ステップＳ２０４）。

同じく目的画像（Ｉ_１）の特徴点を、自動的、またはユーザ修正操作に応じてメッシュモデルに割り付け、目的の顔画像の特等点を表すメッシュ（Ｆ_１）を作成する（ステップＳ２０５）。

これら元の顔画像の特徴点を表すメッシュ（Ｆ_０）と目的の顔画像の特等点を表すメッシュ（Ｆ_１）とによりワープ変形処理を行なう（ステップＳ２０６）。

このワープ変形処理は、メッシュ（Ｆ_０）を変形させてメッシュ（Ｆ_１）に対応させるワープ関数Ｗ_０~、及び、メッシュ（Ｆ_１）を変形させてメッシュ（Ｆ_０）に対応させるワープ関数Ｗ_１~を算出する。例えば
Ｗ_０~（p;t)＝（１−Ｔ_０(p;t)）・ｐ＋Ｔ_０(p;t)・Ｗ_０(p)
Ｗ_１~（q;t)＝Ｔ_１(q;t)・ｑ＋（１−Ｔ_１(q;t)）・Ｗ_１(q)
（但し、Ｔ_０(p;t)：画像（Ｉ_０）上の点ｐを時間(t)後に、画像（Ｉ_１）上の点ｑに変換する変換関数、
Ｔ_１(q;t):画像（Ｉ_１）上の点ｑを時間(t)後に、画像（Ｉ_０）上の点ｐに変換する変換関数。）
その後、各種のマッピング／ワーピング技法での変形変換処理のいずれかを予め設定した内容に従って実行する（ステップＳ２０７〜Ｓ２１１）。

ステップＳ２０７で示す重心マッピング法では、空間を三角メッシュで分割し、重心座標を用いて、三角形のペア間でマッピングを行なう。

ステップＳ２０８で示すフィールドベース・マッピング法では、点、線、ボックスなど特徴点のペア（対）で１マッピングを定義する。

ステップＳ２０９で示すＲＢＦ法では、アフィン変換と距離関数をアンカーとするラジアル要素とでワープ関数を定義する。

ステップＳ２１０で示す自由形状変形法では、形の周りに制御格子点を用意し、格子を変形させることで、中の形を滑らかに変形させる。

ステップＳ２１１では、マルチパス・スプライン・メッシュ法を用いる。

上記ワープ関数Ｗ_０~により画像Ｉ_０(p)上の点ｐをワーピング処理して、以下に定義する変形中間画像Ｉ_０(p:t)、すなわち
Ｉ_０~（p;t)＝Ｗ_０(p;t)・（１−Ｔ_０(p;t)）・Ｉ_０(p)
を生成する（ステップＳ２１２）。

その後、ワープ関数Ｗ_１~により画像Ｉ_１(q)上の点qをワーピング処理して、以下に定義する変形中間画像Ｉ_１(q:t)、すなわち
Ｉ_１~（q;t)＝Ｗ_１(q;t)・（Ｔ_１(q;t)）・Ｉ_１(q)
を生成する（ステップＳ２１３）。

次いで、上記算出した変形中間画像Ｉ_０(p;t)、及び、Ｉ_１~(q;t)から補間処理またはクロスリゾルブ混合処理して、以下に定義する中間画像Ｉ (r;t)、すなわち
Ｉ (r;t)＝Ｉ_０~(r;t)＋Ｉ_１~(r;t)
を作成し（ステップＳ２１４）、以上の各ステップの処理を実行することにより元の顔画像に対するモーフィング変換、及びワーピング算出を行ない、以上でこの図１０の処理を完了して、上記図２の処理に戻る。

また、上記図６での説明に代わるものとして、図１１により手書き風の第２の絵画調変換の処理内容を示すフローチャートと具体例の状態遷移図についても説明する。

図１１の処理当初には、人物の顔領域を構成する目鼻口眉、輪郭など顔部品の配置など、多数の特徴点に応じて、複数のメッシュ構造に分割する顔のメッシュモデルを生成する（ステップＳ３０１）。

次いで、プログラムメモリ６の画像記憶部６Ａから平均顔、美人顔、有名人顔などといった予め選択された目的顔の画像（Ｉ_１）を読出して設定するか、またはユーザ操作に応じて選択してものを読出して設定する（ステップＳ３０２）。

これに対して、上記ステップＳ６で顔領域ありと判断した、既にユーザ入力による変形処理を経た元画像の顔領域を入力画像（Ｉ_０）として与える（ステップＳ３０３）。
図１１（Ａ）は、このとき用いられる元の顔画像（Ｉ_０）を例示する。

この入力した入力画像（Ｉ_０）中から目、鼻、口、眉、輪郭、頭髪などの顔部品を認識する（ステップＳ３０４）。
図１１（Ｂ）は、こうして認識された顔の輪郭、眉、目、鼻、口等を矩形の枠で示した状態を示す。

認識した結果に基づき、まず入力された顔の輪郭の縦横サイズを算出する（ステップＳ３０５）。

次いで顔の輪郭サイズに合わせて、顔メッシュモデルの大きさ、縦横比を設定する（ステップＳ３０６）。

入力画像（Ｉ_０）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、入力顔の特徴点を表すメッシュ（Ｆ_０）を作成する（ステップＳ３０７）。
図１１（Ｃ）は、こうして作成したメッシュモデル（Ｆ_０）を例示している。

一方で目的画像（Ｉ_１）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、目的顔の特徴点を表すメッシュ（Ｆ_１）を作成する（ステップＳ３０８）。

こうして作成したメッシュモデル（Ｆ_０）とメッシュモデル（Ｆ_１）とによりワープ変形処理を行なう（ステップＳ３０９）。ここでは、入力顔画像（Ｉ_０）と目的顔画像（Ｉ_１）とにより内挿（補間）画像（またはカリカチュア外挿画像）Ｉ(r:t)を作成する。

次にワープ変形した元の顔画像から、目、鼻、口、眉、輪郭、髪型など顔の部品を認識する（ステップＳ３１０）。

認識した顔の各部分についてその特徴（例えば目であればその形状、大きさ、間隔等）を抽出し（ステップＳ３１１）、抽出した結果に基づいて顔の各部分に類似する顔部品イラスト画像を、プログラムメモリ６の画像記憶部６Ａに予め記憶されている顔部品イラストのライブラリーから検索して選択する（ステップＳ３１２）。
図１１（Ｄ）は、画像記憶部６Ａに予め記憶されている顔部品イラストのライブラリーの内容を例示している。

画像記憶部６Ａから選択した顔部品イラストを、元の顔画像の顔部品の大きさ・縦横比を合わせて補正し、該当顔部品の位置に置き換える（ステップＳ３１３）。
図１１（Ｅ）は、こうして元の顔画像に置き換えられた顔のイラスト画像を例示する。

さらに、顔以外の背景を含む画像を、色数あるいは階調数を減らす処理、または色彩の近い領域を統合する処理、絵画調変換処理、ポスタライズ処理を含むバイラテラルフィルタ処理等を施す（ステップＳ３１４）。

そして、上記ステップＳ３１３で得た顔部品イラストに置き換えた顔画像と、上記ステップＳ３１４で得た画調変換された背景画像とを合成することで、手描き風の絵画調変換を実行し（ステップＳ３１５）、以上で手書き風の第２の絵画調変換処理を終了する。
図１１（Ｅ）は、合成後の絵画調変換されたイラスト画像の一部を例示する。

このような図１１に示した変換処理の方法によっても、前述した実施形態と同様に、元の写真画像から、人間が手描きで描いたような、より人間的な絵画調の画像を変換によって生成できる。

以上のように、選択された画像を手本としてオリジナル画像（対象画像）に対する自由な変形や絵画変換は、以下のようにして行なわれる。

（１）手本画像（Ａ′）を参照して、対象画像（Ｂ）に変形処理を施し、変形した絵画調画像（Ｂ′）を生成する。
（１−１）カメラ撮影された画像ファイルや保存済み画像ファイルの中から、デフォルメ変形したい画像や絵画調変換したい画像など、対象画像ファイル（Ｂ）を選択する。
（１−２）入力された画像や保存済み画像ファイルの中から、変換の手本としたい画像ファイル（Ａ’）を選択する。
（１−３）手本の画像（Ａ′）と変換対象の画像（Ｂ）のそれぞれで、輪郭線画像と領域画像を抽出する。
（１−４）手本画像（Ａ′）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（ａ′_１、・・・、ａ′_ｎ）選択する。

（１−５）変換対象画像（Ｂ）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（ｂ_１、・・・、ｂ_ｎ）選択する。
（１−６）手本画像中の小矩形セグメント（ａ′_ｉ）と、変換対象画像中の小矩形セグメント（ｂ_ｉ）において、所定の特徴の差異やその度合を算出して変換式及びそのパラメータを推定する。
（１−７）推定された変換式及びパラメータに基づいて、対象画像（Ｂ）の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像（Ｂ′）を生成する。
（１−８）対象画像の元画像とは別に、デフォルメ変形や絵画調変換された画像を別の画像ファイルとして、画像メモリー媒体に保存記録する。

（２）手本となる画像の元画像（Ａ）と処理後画像（Ａ′）とを参照して、対象画像（Ｂ）に変形処理を施して、変形画像（Ｂ′）を生成する。
（２−１）デフォルメ変形や絵画調変換したい対象画像ファイル（Ｂ）を選択する。
（２−２）ユーザが所望する変換の手本とする画像の、元画像ファイル（Ａ）とその処理後画像（Ａ′）とを選択する。
（２−３）手本画像の元画像（Ａ）と変換対象の画像（Ｂ）のそれぞれで、輪郭線画像と領域画像を抽出する。
（２−４）手本となる元画像（Ａ）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（ａ_１、・・・、ａ_ｎ）選択する。

（２−５） 手本となる処理後画像（Ａ′）において、それに対応する領域の矩形セグメントを（ａ′_１、・・・、ａ′_ｎ）とする。
（２−６）変換対象の画像（Ｂ）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（ｂ_１、・・・、ｂ_ｎ）選択する。
（２−７）手本となる元画像（Ａ）中の小矩形セグメント（ａ_ｉ）と、手本となる処理後画像（Ａ′）中の小矩形セグメント（ａ’_ｉ）において、所定の特徴の差異やその度合を算出して、変形式や変換式、及びそのパラメータを推定する。
（２−８）推定された変換式及びパラメータに基づいて、対象画像（Ｂ）全体に対して、デフォルメ変形処理及びまたは絵画調変換処理を施し、変換処理後画像（Ｂ′）を生成する。

（３）上記の変換を施す際に、対象画像（Ｂ）における輪郭線画像における線情報の一次元分布のフラクタル次元が、手本画像（Ａ′）におけるその値に近づくように変換を施して、手本と同じような特徴をもつ絵画調画像を生成する。
（３−１）または、輝度情報の二次元分布のフラクタル次元が、手本画像（Ａ’）のその値に近づくようにするか、もしくは色相または彩度情報の二次元分布の冗長度が手本画像（Ａ′）のその値に近づくように変換を施す。

（４）上記で、手本画像（ＡまたはＡ′）及び変換対象となる画像（Ｂ）から小サイズの矩形セグメントを複数、選択抽出する際に、各画像中の画素値など特徴量に応じて、視角を引きつける注目点領域を推定検出して、主要被写体領域を抽出する。
（４−１）もしくは撮影時のフォーカス検出枠の対応領域を含む被写体領域を、主要被写体領域として抽出する。

手本画像（ＡまたはＡ′）及び変換対象画像（Ｂ）から選択抽出する矩形セグメントは、少なくとも一つは各画像中の主要被写体領域（Ａ_１またはＡ′_１、及び、Ｂ_１）から選択し、他の少なくとも一つは各画像中の主要被写体を除く背景領域（Ａ_２またはＡ′_２、及びＢ_２）から選択する。

各画像の主要被写体領域中の矩形セグメントにおける、変換前後の所定の特徴の差異やその変化度合を算出して、主要被写体領域に対する変換式及びパラメータを推定し、各画像の背景領域中の矩形セグメントにおける、変換前後の所定の特徴の差異やその変化度合を算出して、背景領域に対する変換式及びパラメータを推定する。

そして、対象画像（Ｂ）に変換を施す際に、対象画像（Ｂ）の主要被写体領域（Ｂ_１）に対しては、主要被写体領域（Ａ_１→Ａ′_１）に対する変換式及びパラメータを、対象画像（Ｂ）の背景領域（Ｂ_２)に対しては、背景領域（Ａ_２→Ａ′_２）に対する変換式及びパラメータを適用して変換処理を施すと良い。

次に図１２により上記図６、図１１に代わる手描き風の第３の絵画調変換について説明する。
図１３において、ＣＰＵ１はまず撮影画像など対象となる画像情報を外部通信部４からを入力する（ステップＳ４０１）。

ＣＰＵ１は、入力した画像情報から輪郭線を抽出した上で、主要な被写体領域、あるいは人物の顔、顔部品等の検出を行なう（ステップＳ４０２）。

次いで、ＣＰＵ１は検出した入力画像の線情報から、水平線、垂直線、放射線などを検出し、１〜３点透視図法における消失点（ＶＰ）等を推定する（ステップＳ４０３）。

その後、ＣＰＵ１は上記ステップＳ４０２の処理で人物の顔、顔部品等を検出できたか否かを判断する（ステップＳ４０４）。

検出できた場合、ＣＰＵ１はさらに透視図法における消失点などが推定できたか否かを判断する（ステップＳ４０５）。

ここで推定できたと判断した場合、次いでＣＰＵ１は検出された顔の特徴点と透視図法の消失点に応じて、画像を分割するメッシュモデルを生成する（ステップＳ４０６）。

また上記ステップＳ４０４で入力画像の線情報から人物の顔、顔部品等を検出できなかったと判断した場合、ＣＰＵ１は背景中の透視図法の消失点、または領域毎の奥行き距離情報等に応じて、画像を分割するメッシュモデルを生成する（ステップＳ４０９）。

また上記ステップＳ４０５で透視図法における消失点などが推定できたなかったと判断した場合、次にＣＰＵ１は検出された顔の特徴点に応じて、画像を複数メッシュに分割するメッシュモデルを生成する（ステップＳ４０８）。

上記ステップＳ４０８，Ｓ４０６，Ｓ４０９いずれかの処理後にＣＰＵ１は、選択された絵画調の画風や変換手法、またはユーザがタッチパネルやマウスで描画入力したフリーラインなどに沿って、変換後の目的メッシュモデルを設定する（ステップＳ４０７）。

その後、ＣＰＵ１は元画像のメッシュモデルと予め画像記憶部６Ａに記憶される目的画像のメッシュモデルとから、変形に相当するワープ変形関数を算出する（ステップＳ４１０）。

さらにＣＰＵ１は、生成メッシュモデルに基づいて、入力画像を変形／変換合成処理を行なう（ステップＳ４１１）。すなわち、ＣＰＵ１はモーフィング補間合成／ワープ変形処理、アフィン変換処理（拡大縮小・平行移動・回転・せん断等）、透視変換処理、その他の変形変換処理のいずれか予めユーザにより選択去り設定されている変換処理を行なう。

その後ＣＰＵ１は、変形した入力画像から、輪郭部分の線情報と領域画像の色情報との抽出分離を行なう（ステップＳ４１２）。

分離した線情報に関しては、まず輪郭線などの線情報を所定の密度に間引き、残った線情報をＢ−スパイラル曲線などの滑らかな曲線に変換する処理を行なう（ステップＳ４１３）。

こうして得た曲線群に対し、さらにＣＰＵ１は連続線を手描き風の複数本の短線やストロークの束に変換する処理、及び手描き風の曲率、傾斜、長さ、ばらつきを有するストロークの線に変換する（ステップＳ４１４）。

その後ＣＰＵ１は、滑らかな線を凹凸、ゆらぎの線に変換する処理、及び太さが可変する線などに変換する処理を実行する（ステップＳ４１５）。さらにＣＰＵ１は、線情報のフラクタル次元、粗密度など、手描き風線情報の評価計数を計測し（ステップＳ４１６）、その評価計数が手描き風相当の所定条件を満足するか否かを判断する（ステップＳ４１７）。

評価計数が手描き風相当の所定条件を満足していないと判断した場合、ＣＰＵ１は上記ステップＳ１４３からの処理に戻り、以後評価計数が手描き風相当の所定条件を満足すると判断するまで、上記ステップＳ４１３〜Ｓ４１７の処理を繰返し実行する。

一方でＣＰＵ１は、上記ステップＳ４１２で抽出して分離した領域画像の色情報に対し、色数または階調数の減数処理、または色彩の近い領域を統合する処理、中間値フィルタ処理、ポスタライズ処理などにより絵画調に変換する（ステップＳ４１９）。

その後ＣＰＵ１は、絵画調に変換した色情報画像の色彩の数、階調の数、色彩分布の複雑さ、２次元の明度変化のフラクタル次元など、絵画風色情報の評価計数を計測する（ステップＳ４２０）。その計測の結果に対してＣＰＵ１は、評価計数が絵画調相当の所定条件を満足するか否かを判断する（ステップＳ４２１）。

満足しないと判断した場合にＣＰＵ１は、上記ステップＳ４１９からの処理に戻り、以後評価計数が絵画調相当の所定条件を満足すると判断するまで、上記ステップＳ４１９〜Ｓ４２１の処理を繰返し実行する。

上記ステップＳ４１７で輪郭部分の線情報に対する評価計数が手描き風相当の所定条件を満足すると判断し、且つ上記ステップＳ４２１で領域画像の色情報に対する評価計数が絵画調相当の所定条件を満足すると判断した場合、ＣＰＵ１はその時点で手描きスケッチ風の輪郭線などの線情報画像と、絵画調変換された色情報画像とを合成し（ステップＳ４１８）、以上で手書き風の第３の絵画調変換処理を終了する。
次に上記図１３により上記図１２のステップＳ４１１でのアフィン変換による画像の変形処理を説明する。

図１３（Ａ）に示すような元画像を、図１３（Ｂ）〜図１３（Ｅ）で示すように、拡大縮小、平行移動、回転、スキュー（せん断）処理する状態を示している。

アフィン変換では、画像の拡大縮小、回転、平行移動、などをまとめて３×３の行列式を使って変換できる。変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ′，ｙ′）とすると、アフィン変換は同時座標形を用いて図１３（Ａ）に示すような行列式で表すことができる。

図１３（Ｂ）では、元画像に対して拡大縮小する場合を示す。ｘ軸方向の拡大率をＳｘ、ｙ軸方向の拡大率をＳｙとすると、拡大縮小のアフィン変換式は図１３（Ｂ）に示す行列式で表すことができる。同図（Ｂ）では、元画像をｙ軸方向に拡大（Ｓｙ＞１）した場合の画像を例示している。

図１３（Ｃ）では、元画像に対して平行移動する場合を示す。ｘ軸方向に沿った移動量をＴｘ、ｙ軸方向に沿った移動量をＴｙとすると、平行移動のアフィン変換式は図１３（Ｃ）に示す行列式で表すことができる。同図（Ｃ）では、元画像をｘ軸方向、ｙ軸方向共にプラス方向に平行移動（Ｔｘ＞０，Ｔｙ＞０）した場合の画像を例示している。

図１３（Ｄ）では、元画像に対して回転する場合を示す。原点を中心として反時計回りに角度θだけ回転するアフィン変換式は、図１３（Ｄ）に示す行列式で表すことができる。同図（Ｄ）では、元画像を反時計方向にθ°（θ＞０）分だけ回転した場合の画像を例示している。

図１３（Ｅ）では、元画像に対してスキュー（せん断）する場合を示す。直方形の画像を変更四辺形の画像に変換するせん断のためのアフィン変換式は、ｘ軸方向にせん断する場合、及びｙ軸方向にせん断する場合共に、図１３（Ｅ）に示す行列式で表すことができる。同図（Ｅ）では、元画像をｘ軸方向にθ°（θ＞０）分だけせん断した場合の画像を例示している。

図１４は、手書き風の第１の絵画調変換を行なった場合の具体例として、手描きラインとワープ変換により画像を変形する処理過程を説明する図である。
図１４（Ａ）に示す元画像に対して、グリッドに分割した状態を図１４（Ｂ）で示す。

ここでは、１点透視法による消失点ＶＰと垂直水平線、消失点ＶＰからの放射線で分割したグリッドの場合を示している。

図１４（Ｃ）は、ユーザが表示部２で表示された画像に対してタッチ入力等で変形指示を入力している状態を示す。一部の対角線や水平線、垂直線等に対して描いた変形指示ラインに応じて、他領域のグリッドも自動的に略相似的に変形させるものとする。

図１４（Ｄ）は、変形指示に応じてグリッドを変形させた状態を示す。ＣＰＵ１は、この変形に対してそれに対応するワープ変形関数を算出する。

図１４（Ｅ）は、上記図１４（Ｄ）の変形に応じた領域画像の変形状態を例示する。これら該変形指示に基づくワープ関数に応じて、各領域画像をワープ変形処理し、さらに、色数減数処理、輪郭強調などにより絵画調に変換する。

図１４（Ｆ）は、こうして変形指示ライン自動生成された、手描き風の絵画調画像を例示している。

図１５は、手書き風の第２の絵画調変換を行なった場合の具体例として、一部領域グリッドを変形した場合の画像変形処理過程を説明する図である。
この図１５（Ａ−１）〜図１５（Ａ−３）で示すように、表示部２上のタッチ入力部３を２本の手指で同時に広げるように操作することで領域分割グリッド（正方等分割）に対する変形を指示し、一部を膨張／収縮／歪曲変形したグリッドを得られるものとする。

このような操作に応じて、図１５（Ｂ）に示す元の画像を用い、膨張／収縮／歪曲変形されたグリッドに基づいてグリッド毎に画像をワーピング変形処理することで、図１５（Ｃ）に示すような画像が得られる。

さらに、この画像に対して凹凸ゆらぎ変換を施すことで、図１５（Ｄ）に示すようにさらに手書き風の絵画調画像が得られる。実際に、この図１５（Ｄ）に示す画像の一部を図１５（Ｄ−１）及び図１５（Ｄ−２）で抽出して示すように、あたかも手書きの画像のように画像中の線にゆらぎを生じており、画像全体がワープ変形変換による膨張／収縮／歪曲を生じていることと相まって、きわめて手書き風の絵画調変換が実現できている。

以上詳述した如く本実施形態によれば、元の写真画像から輪郭線を抽出し、抽出した輪郭線と例えば顔領域など所定の領域に対してそれぞれ予め設定した変換でのゆらぎ処理等を加えた後にそれらを合成した上で絵画調変換することにより、元の写真画像から、単にタッチを絵画調とするだけでなく、人間が手描きしたような絵画としての自然さを備えた画像に変換することが可能となる。

また本実施形態によれば、対象画像（オリジナル画像）と予め用意した手本画像（選択した手本としたい絵画調画像）との特徴の違いや、または手本における元画像と変換後画像との特徴の違いに基づいて、単に画質や調子、タッチなどが絵画調となるだけでなく、ユーザが所望する手本画像に近い画調の絵画調の画像を自動的に変換して生成でき、これにより、人間が手描きで描いたような、より人間的な絵画調画像を生成できる。

加えて、上記変換を行なう際に、合わせて線情報の一次元分布のフラクタル次元や、輝度（濃淡）情報の二次元分布のフラクタル次元、色相または彩度の分布の冗長度などが、手本画像のそれらの値に近づくように、または所定の範囲に入るように変換を行なうことによって、手本画像に近い画風の絵画調画像や、より自然な、手描き画像に近い絵画調画像に変換できる。

さらに、あわせて人間が手書きで描いた場合に多く見られるように、人物の顔や頭部、身体の手足や端部などを強調や拡大したようなデフォルメ画像、人物の顔などの個性や標準顔との差異を誇張したようなデフォルメ画像、前景を拡大する一方で背景を縮小して遠近感や三次元的な奥行きなどを強調したような画像などに変換した画像を自動生成し、その後に絵画調変換処理を行なうことで、人間が手描きしたような絵画により近づくような処理を施すことも可能となる。

また、対象画像および手本画像において、主要被写体領域と背景領域とを抽出し、主要な被写体と背景のそれぞれにふさわしい変換式やパラメータを適用して、手本画像に近い変換処理を施すことができる。

なお、上記実施形態は画像変換装置に適用した場合について説明したものであるが、本発明は単体の装置に限らず、デジタルカメラやデジタルフォトフレーム、スマートフォン、電子ブック等に予め組込まれた一機能、あるいは随時インストールされるアプリケーションプログラムであっても同様に実現可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、元画像から輪郭線を抽出する輪郭抽出手段と、上記輪郭抽出手段で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理手段と、上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理手段と、上記第１の処理手段で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成手段と、上記合成手段で得た画像を画調変換する画調変換手段とを備えたことを特徴とする。

請求項２記載の発明は、元画像から輪郭線を抽出する輪郭抽出工程と、上記輪郭抽出工程で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理工程と、上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理工程と、上記第１の処理工程で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成工程と、上記合成工程で得た画像を画調変換する画調変換工程とを有したことを特徴とする。

請求項３記載の発明は、コンピュータが実行するプログラムであって、上記コンピュータを、元画像から輪郭線を抽出する輪郭抽出手段、上記輪郭抽出手段で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理手段、上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理手段、上記第１の処理手段で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成手段、及び上記合成手段で得た画像を画調変換する画調変換手段として機能させることを特徴とする。

１…ＣＰＵ、２…表示部、３…タッチ入力部、４…外部通信部、５…メインメモリ、５Ａ…入力バッファ、５Ｂ…出力バッファ、５Ｃ…ワークエリア、６…プログラムメモリ、６Ａ…画像記憶部。

Claims (3)

1. 元画像から輪郭線を抽出する輪郭抽出手段と、
   上記輪郭抽出手段で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理手段と、
   上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理手段と、
   上記第１の処理手段で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成手段と、
   上記合成手段で得た画像を画調変換する画調変換手段と
   を備えたことを特徴とする画像変換装置。
2. 元画像から輪郭線を抽出する輪郭抽出工程と、
   上記輪郭抽出工程で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理工程と、
   上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理工程と、
   上記第１の処理工程で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成工程と、
   上記合成工程で得た画像を画調変換する画調変換工程と
   を有したことを特徴とする画像変換方法。
3. コンピュータが実行するプログラムであって、
   上記コンピュータを、
   元画像から輪郭線を抽出する輪郭抽出手段、
   上記輪郭抽出手段で抽出した輪郭線に対して予め設定した変換式によりゆらぎ処理を加えて変形する第１の処理手段、
   上記元画像の所定の領域に上記予め設定した変換式によりゆらぎ処理を加えて変形する第２の処理手段、
   上記第１の処理手段で変形処理した輪郭線と上記第２の処理手段で変形処理した領域画像を合成する合成手段、及び
   上記合成手段で得た画像を画調変換する画調変換手段
   として機能させることを特徴とするプログラム。

Images