WO2001048693A1

WO2001048693A1 - Signal processing device and method, and recording medium

Info

Publication number: WO2001048693A1
Application number: PCT/JP2000/009421
Authority: WO
Inventors: Tetsujiro Kondo; Junichi Ishibashi; Takashi Sawao; Seiji Wada; Tohru Miyake; Takahiro Nagano; Naoki Fujiwara
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-12-28
Filing date: 2000-12-28
Publication date: 2001-07-05
Anticipated expiration: 2002-06-28
Also published as: US20060221211A1; EP1164545A4; EP1840827B1; KR20020009567A; US7576780B2; EP1840826B1; EP1852823B1; CN1658238A; DE60042588D1; EP1840828B1; US20060227220A1; EP1852823A2; CA2646789A1; KR100725192B1; US7583292B2; US7525574B2; CN100370485C; EP1840827A1; DE60045673D1; EP1840825A1

Description

明細書信号処理装置および方法、並びに記録媒体技術分野本発明は、信号処理装置および方法、並びに記録媒体に関し、特に、センサにより検出した信号と現実世界との違いを考慮した信号処理装置および方法、並びに記録媒体に関する。背景技術現実世界における事象をセンサで検出し、画像、音声、温度、圧力、加速度、またはにおいに対応するデータなどの、センサが出力するサンプリングデ一夕を処理する技術が広く利用されている。

例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。

例えば、静止している所定の背景の前で移動する物体を C C D等を用いたビデォカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。すなわち、センサである C C Dで現実世界を検出した時に、サンプリングデ一夕である画像には歪みが生じている。

従来、このような動きボケを抑制するのに、例えば、電子シャツ夕の速度を速め、露光時間を短くするようにしている。

しかしながら、このようにシャッ夕速度を速める方法は、撮像を行う前にビデォカメラのシャツ夕速度を調整する必要がある。従って、既に得られたボケた画像を補正して、鮮明な画像を得ることはできない。

また、静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態を検出することは、考えられていなかった。

また、空間と時間軸を有する現実社会の情報がセンサにより取得され、デ一夕化される。センサが取得したデータは、現実社会の情報を、現実社会より低い次元の時空間に射影して得られた情報である。従って、射影して得られた情報は、射影により発生する歪みを有している。換言すれば、センサが出力するデ一夕は、現実社会の情報に対して歪みを有している。さらに、デ一夕は、射影による歪みを有しているが、これを補正するための有意情報を含んでいる。このようなセンサで取得したサンプリングデ一夕に対する従来の信号処理では、センサで取得したサンプリングデータを最も信頼できるデータと考え、その後の伝送、記録、再生等における信号処理では、伝送等による劣化を考慮してオリジナルデータに近づけることしか考えられていなかった。

従来は、センサが出力するサンプリングデ一夕を最も信頼できるデ一夕と考えていたため、サンプリングデータより高質なデ一夕を作成したり、サンプリングデ一夕から、射影による歪みを考慮したり、その中に射影により埋もれた有意情報を抽出する等の信号処理は全くされていなかった。発明の閧示本発明の目的は、ボケた画像などの検出信号に含まれる動きボケの量を調整することができるようにすることにある。

本発明の他の目的は、背景の画像および移動する物体の画像など複数のォブジェク卜の混ざり合いの状態を示す混合比を検出することができるようにすることを目的とする。

本発明の他の目的は、センサが出力するサンプリングデータから歪みを除去したり、有意情報を抽出することができる信号処理装置を提供することを目的とする。例えば、画像であれば検出信号に含まれる動きボケの量を調整することができるようにすることを目的とする。

本発明は、それそれ時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データから成る画像データを処理する画像処理装置において、前記画像データにおいて前景オブジェクトを構成する前景ォブジェクト成分のみからなる前景領域と、前記画像データにおいて背景ォブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像デ —夕において前記前景オブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景オブジェクトの動き方向先端部側に形成されるカバ一ドバックグラウンド領域および前記前景オブジェクトの動き方向後端部側に形成されるアンカバードバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバ一ドバックグラウンド領域の外側端部から前記アンカバ一ドバックグラウンド領域の外側端部までの、前記前景オブジェク卜の動き方向と一致する少なくとも 1つの直線上に乗る画素デ一夕からなる処理単位を決定する処理単位決定手段と、前記処理単位に基づいて決定される前記処理単位内の画素の画素値と、前記混合領域における前記前景オブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式を生成する正規方程式生成手段と、前記正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景オブジェクト成分を生成する演算手段とを備えることを特徴とする。

また、本発明は、それそれ時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データから成る画像デ一夕を処理する画像処理方法において、前記画像デ一夕において前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、前記画像データにおいて背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像データにおいて前記前景ォブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景ォブジェク卜の動き方向先端部側に形成されるカバ一ドバックグラウンド領域および前記前景オブジェクトの動き方向後端部側に形成されるアンカバ一ドバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバ一ドバックグラウンド領域の外側端部から前記アンカバ一ドパックグラウンド領域の外側端部までの、前記前景オブジェクトの動き方向と一致する少なくとも 1つの直線上に乗る画素デ一夕からなる処理単位を決定する処理単位決定ステツプと、前記処理単位に基づいて決定される前記処理単位内の画素の画素値と、前記混合領域における前記前景ォブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式を生成する正規方程式生成ステツブと、前記正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景オブジェクト成分を生成する演算ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、それそれ時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データから成る画像デ一夕を処理する画像処理用のプログラムであって、前記画像データにおいて前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、前記画像データにおいて背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像デ一夕において前記前景オブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景オブジェク卜の動き方向先端部側に形成されるカバードバックグラウンド領域および前記前景オブジェクトの動き方向後端部側に形成されるアンカバードバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバ一ドバックグラウンド領域の外側端部から前記アンカバ一ドバックグラウンド領域の外側端部までの、前記前景ォブジェク卜の動き方向と一致する少なくとも 1つの直線上に乗る画素デ一夕からなる処理単位を決定する処理単位決定ステツブと、前記処理単位に基づいて決定される前記処理単位内の画素の画素値と、前記混合領域における前記前景オブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式を生成する正規方程式生成ステップと、前記正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景オブジェクト成分を生成する演算ステツプとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出データを処理する信号処理装置において、注目している前記サンプルデータである注目サンプルデータが存在する注目検出データの前または後の検出データに存在する前記サンプルデータを、現実世界における前景となるオブジェクトに対応する前景サンプルデータとして抽出する前景サンブルデータ抽出手段と、前記注目検出デ一夕より後または前の検出データに存在する前記サンプルデータを、現実世界における背景となるオブジェクトに対応する背景サンプルデータとして抽出する背景サンプルデ一夕抽出手段と、前記注目サンプルデ一夕、前記前景サンプルデ一夕、および前記背景サンブルデータを基に、前記注目サンプルデータの混合比を検出する検出手段とを含むことを特徴とする。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出データを処理する信号処理方法において、注目している前記サンプルデ一夕である注目サンプルデータが存在する注目検出デ一夕の前または後の検出デ一夕に存在する前記サンプルデータを、現実世界における前景となるオブジェクトに対応する前景サンプルデータとして抽出する前景サンプルデータ抽出ステップと、前記注目検出データより後または前の検出データに存在する前記サンプルデ一夕を、現実世界における背景となるオブジェクトに対応する背景サンプルデータとして抽出する背景サンブルデータ抽出ステップと、前記注目サンプルデータ、前記前景サンブルデ一夕、および前記背景サンブルデータを基に、前記注目サンプルデ一夕の混合比を検出する検出ステツプとを含むことを特徴とする。

また、本発明に係る記録媒体は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデ一タから成る所定期間毎の検出デ一夕を処理する信号処理用のプログラムであつて、注目している前記サンプルデータである注目サンプルデータが存在する注目検出データの前または後の検出データに存在する前記サンブルデータを、現実世界における前景となるオブジェクトに対応する前景サンプルデ一夕として抽出する前景サンプルデータ抽出ステツブと、前記注目検出データより後または前の検出データに存在する前記サンプルデ一夕を、現実世界における背景となるオブジェクトに対応する背景サンブルデ一夕として抽出する背景サンプルデ一夕抽出ステップと、前記注目サンプルデ一夕、前記前景サンプルデ —夕、および前記背景サンブルデ一夕を基に、前記注目サンプルデ一夕の混合比を検出する検出ステップとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出デ一夕を処理する信号処理装置において、前記検出データに基づいて静動判定を行う静動判定手段と、静動判定の結果に基づいて、現実世界における複数のオブジェクトが混ざり合ったサンプルデータを含む混合領域を検出する検出手段とを含むことを特徴とする。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出デ一夕を処理する信号処理方法において、前記検出データに基づいて静動判定を行う静動判定ステップと、静動判定の結果に基づいて、現実世界における複数のォブジェクトが混ざり合ったサンプルデ一夕を含む混合領域を検出する検出ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出デ一夕を処理する信号処理用のプログラムであつて、前記検出データに基づいて静動判定を行う静動判定ステップと、静動判定の結果に基づいて、現実世界における複数のオブジェクトが混ざり合ったサンブルデ一夕を含む混合領域を検出する検出ステップとを含むことを特徴とするコンビュー夕が読み取り可能なプログラムが記録されている。

また、本発明に係る信号処理装置は、第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、前記センサによって検出することで得た前記第 1の次元より少ない第 2の次元の第 2の信号を取得する取得手段と、前記第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報を前記第 2の信号から抽出する信号処理手段とを備えることを特徴とする。

また、本発明に係る記録媒体は、第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、前記センサによって検出することで得た前記第 1の次元より少ない第 2の次元の第 2の信号を取得する取得ステツプと、前記第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報を前記第 2の信号から抽出する信号処理ステツプとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている。

また、本発明に係る信号処理装置は、第 1の次元を有する現実世界の信号である第 1の信号をセンサによって検出することにより得た、前記第 1の次元に比較し次元が少ない第 2の次元を有し、前記第 1の信号に対する歪を含む第 2 の信号を取得する取得手段と、前記第 2の信号に基づく信号処理を行うことにより、前記第 2の信号に比して前記歪の軽減された第 3の信号を生成する信号処理手段とを備えることを特徴とす。

また、本発明に係る信号処理装置は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、前記検出信号の内、前景オブジェクトを構成する前景ォブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景ォブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定手段と、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段と、前記領域特定手段の特定結果と前記混合比とに基づいて、前記前景オブジェクトと、前記背景ォブジェクトとを分離する分離手段とを含むことを特徴とする。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステツプと、前記領域特定ステツプの処理の特定結果と前記混合比とに基づいて、前記前景オブジェクトと、前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、時間積分効果を有する所定の数の検出素子から成るセンサによつて取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前記検出信号の内、前景オブジェクトを構成する前景ォブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景ォブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップと、前記領域特定ステツブの処理の特定結果と前記混合比とに基づいて、前記前景ォブジェクトと、前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている。また、本発明に係る信号処理装置は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、前記検出信号の内、前景オブジェクトを構成する前景ォブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景ォブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定手段と、前記領域特定手段の特定結果に基づいて、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段とを含むことを特徴とする。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景ォブジヱクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、前記領域特定ステツプの処理の特定結果に基づいて、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前記検出信号の内、前景オブジェクトを構成する前景ォブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景ォブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステツプと、前記領域特定ステツブの処理の特定結果に基づいて、少なくとも前記混合領域における前記前景ォブジェクト成分と前記背景ォブジェクト成分との混合比を検出する混合比検出ステップとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、前景オブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景オブジェクト成分とが混合されて成る前記混合領域における、前記前景ォブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段と、前記混合比に基づいて、前記前景オブジェクトと前記背景ォブジェクトとを分離する分離手段とを含むことを特徴とする。

また、本発明は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、前景ォブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景オブジェクト成分とが混合されて成る前記混合領域における、前記前景ォブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップと、前記混合比に基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前景オブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景オブジェクト成分とが混合されて成る前記混合領域における、前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステツプと、前記混合比に基づいて、前記前景ォブジェクトと前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている。図面の簡単な説明図 1は、本発明の原理を説明する図である。

図 2は、本発明を適用するシステムの構成例を示すプロック図である。図 3は、図 2の信号処理部の構成例を示すプロヅク図である。

図 4は、図 2のシステムの動作を説明するフ口一チャートである。

図 5は、図 4のステップ S 1で取得される画像の例を示す図である。

図 6は、混合領域の画素値を説明する図である。

図 7は、図 6の区間 D 1乃至 D 3において背景の画像成分を減算して得られる結果を説明する図である。

図 8は、動きボケの構造を説明する図である。

図 9は、図 2のシステムの他の処理例を説明するフローチャートである。図 1 0は、信号処理部 1 2を示すブロック図である。

図 1 1は、センサによる撮像を説明する図である。

図 1 2は、画素の配置を説明する図である。

図 1 3は、検出素子の動作を説明する図である。

図 1 4 A， Bは、動いている前景に対応するォブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図 1 5は、背景領域、前景領域、混合領域、カバ一ドバックグラウンド領域、およびアンカバ一ドバックグラウンド領域を説明する図である。

図 1 6は、静止している前景に対応するォブジェクトおよび静止している背景に対応するォブジヱクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。

図 1 7は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 1 8は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 1 9は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 2 0は、前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。

図 2 1は、画素と画素値を時間方向に展開したモデルとの対応を示す図である。

図 2 2は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 2 3は、画素値を時間方向に展閧し、シャッ夕時間に対応する期間を分割したモデル図である。

図 2 4は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 2 5は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 2 6は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 2 7は、動きボケの量の調整の処理を説明するフローチヤ一トである。図 2 8は、領域特定部 1 0 3の構成の一例を示すプロック図である。

図 2 9は、前景に対応するォブジェク卜が移動しているときの画像を説明する図である。図 3 0は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 3 1は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 3 2は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 3 3は、領域判定の条件を説明する図である。

図 3 4 A , B , C , Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 5は、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 3 6は、領域特定の処理を説明するフローチヤ一トである。

図 3 7は、混合比算出部 1 0 4の構成の一例を示すブロック図である。図 3 8は、理想的な混合比ひの例を示す図である。

図 3 9は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 4 0は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 4 1は、前景の成分の相関を利用した近似を説明する図である。

図 4 2は、 C， N、および Pの関係を説明する図である。

図 4 3は、推定混合比処理部 2 0 1 の構成を示すブロック図である。

図 4 4は、推定混合比の例を示す図である。

図 4 5は、混合比算出部 1 0 4の他の構成を示すプロック図である。

図 4 6は、混合比の算出の処理を説明するフ口一チャートである。

図 4 7は、推定混合比の演算の処理を説明するフローチャートである。図 4 8は、前景背景分離部 1 0 5の構成の一例を示すプロック図である。図 4 9 A , Bは、入力画像、前景成分画像、および背景成分画像を示す図である。

図 5 0は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。図 5 1は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 5 2は、画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 5 3は、分離部 2 5 1の構成の一例を示すブロック図である。

図 5 4 A， Bは、分離された前景成分画像、および背景成分画像の例を示す図である。

図 5 5は、前景と背景との分離の処理を説明するフローチャートである。図 5 6は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。図 5 7は、処理単位を説明する図である。

図 5 8は、前景成分画像の画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 5 9は、前景成分画像の画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 6 0は、前景成分画像の画素値を時間方向に展開し、シャッ夕時間に対応する期間を分割したモデル図である。

図 6 1は、前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 6 2は、動きボケ調整部 1 0 6の他の構成を示す図である。

図 6 3は、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明するフローチャートである。

図 6 4は、信号処理部 1 2の機能の他の構成を示すプロック図である。図 6 5は、合成部 3 7 1の構成を示す図である。

図 6 6は、信号処理部 1 2の機能の更に他の構成を示すプロック図である。図 6 7は、混合比算出部 4 0 1の構成を示すプロック図である。

図 6 8は、前景背景分離部 4 0 2の構成を示すプロック図である。

図 6 9は、信号処理部 1 2の機能の他の構成を示すプロック図である。図 7 0は、合成部 4 3 1の構成を示す図である。

図 7 1は、本発明に係る信号処理装置の構成例を示す図である。図 7 2は、信号処理部 4 5 2による動きボケの量の調整の処理を説明するフ口—チヤ—トである。

図 7 3は、本発明に係る信号処理装置の構成例を示す図である。

図 7 4は、圧力エリアセンサ 5 0 1の構成を示す図である。

図 7 5は、圧力エリアセンサ 5 0 1に加えられる荷重を説明する図である。図 7 6は、圧力エリアセンサ 5 0 1が出力する重量デ一夕の例を説明する図である。

図 7 7は、信号処理部 5 0 2が実行する荷重の算出の処理を説明するフローチャートである。

図 7 8は、信号処理部 1 2の他の機能として、 1 フレームあたりの画素数を增加させた画像を生成する構成を示すプロック図である。

図 7 9は、画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。

図 8 0は、領域 A乃至 rに入力される光に対応する画像の成分を説明する図である。

図 8 1 A， B , C， Dは、 1つの画素の 2つの領域に対応する画像の成分の算出を説明する図である。

図 8 2は、入力画像の例を示す図である。

図 8 3は、水平倍密画像の例を示す図である。

図 8 4は、垂直倍密画像の例を示す図である。

図 8 5は、倍密画像の例を示す図である。

図 8 6は、図 7 8に構成を示す信号処理部 1 2の倍密画像の生成の処理を説明するフローチャートである。発明を実施するための最良の形態図 1は、本発明の原理を表している。同図に示すように、空間と時間軸を有する現実社会 1の情報である第 1の信号がセンサ 2により取得され、デ一夕化される。センサ 2が取得したデータ 3である検出信号は、現実社会 1の情報を、現実社会より低い次元の時空間に射影して得られた情報である。従って、射影して得られた情報は、射影により発生する歪みを有している。換言すれば、センサ 2が出力するデータ 3は、現実社会 1 の情報に対して歪みを有している。また、データ 3は、射影による歪みを有しているが、これを補正するための有意情報を含んでいる。

そこで、本発明においては、センサ 2が出力したデータを信号処理部 4において信号処理することで、その歪みが除去されるか、低減されるか、または調整される。または、本発明においては、センサ 2が出力したデータを信号処理部 4において信号処理することで、有意情報が抽出される。

図 2は、本発明が適用される信号処理装置の構成例を表している。センサ 1 1は、例えば、ビデオカメラで構成され、現実社会の画像を撮像し、得られた画像データを信号処理部 1 2に出力する。信号処理部 1 2は、例えば、パ一ソナルコンビユー夕などで構成され、センサ 1 1 より入力されたデータを処理し、射影により発生する歪みの量を調整したり、射影により埋もれた有意情報の含まれる領域を特定したり、更に特定した領域から有意情報を抽出したり、抽出した有意情報に基づいて、入力されたデ一夕を処理したりする。

ここで言う有意情報は、例えば、後述する混合比である。

なお、射影により埋もれた有意情報の含まれる領域を示す情報も有意情報と考えることができる。ここでは、後述する領域情報が有意情報に相当する。ここで言う有意情報の含まれる領域は、例えば、後述する混合領域である。信号処理部 1 2は、例えば、図 3に示すように構成される。 CPU ( CentrA 1 Processing Uuit) 2 1は、 ROM ( Re A d Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RA M ( R A ndom A ccess Memory) 2 3には、 CPU 2 1 が実行するプログラムゃデ一夕などが適宜記憶される。これらの CPU 2 1 、 ROM 2 2、および RA M 2 3 は、バス 2 4により相互に接続されている。

CPU 2 1 にはまた、バス 2 4 を介して入出力ィン夕フエース 2 5が接続されている。入出力イン夕フェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7 が接続されている。 CPU 2 1 は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7に出力する。

入出力ィンタフエース 2 5に接続されている記憶部 2 8は、例えばハードデイスクなどで構成され、 CPU 2 1 が実行するプログラムや各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサ 1 1 の出力を取り込む取得部として働く。

また、通信部 2 9 を介してプログラムを取得し、記憶部 2 8に記憶してもよい。

入出力イン夕フェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムゃデ一夕は、必要に応じて記憶部 2 8 に転送され、記憶される。

次に、図 4のフローチヤ一トを参照して、この信号処理装置が記憶媒体である記憶部 2 8に記憶されたプログラムに基づいて行う動作について説明する。最初に、ステツブ S 1 において、センサ 1 1 により取得された、被写体の画像を通信部 2 9等を介して取得する。信号処理部 1 2の CPU 2 1は、取得した画像データを記憶部 2 8に供給し、記憶させる。

図 5は、このようにして取得された画像デ一夕に対応する画像を表している < この例においては、背景 6 1の前に前景 6 2が配置された画像となっている。前景 6 2は、この例の場合、おもちゃの飛行機とされ、静止している背景 6 1 の前で所定の速度で、図中右方向に移動している。その結果、前景 6 2の画像は、いわゆる動きボケの生じた画像となっている。これに対して、背景 6 1の画像は静止しているので、動きボケのない鮮明な画像となる。そして、混合領域 6 3は、背景 6 1 というオブジェクトと、前景 6 2 というオブジェクトが混合した状態の画像となっている。

次に、ステップ S 2 において、 CPU 2 1は、オブジェクトの混合領域を検出する。図 5の例の場合、混合領域 6 3が、オブジェクトが混合されている領域として検出される。

CPU 2 1は、ステップ S 3において、オブジェクトが混合されているか否かを判定する。オブジェクトが混合されていない場合、すなわち混合領域 6 3 がない場合、この情報処理装置における処理対象ではないので、処理は終了される。

これに対して、ステップ S 3において、オブジェクトが混合されていると判定された場合、ステップ S 4に進み、 CPU 2 1は、検出された混合領域のォブジェク卜の混合比を求める。混合比は、例えば、前景 6 2の背景 6 1に対する動きべクトルを求め、その動きべクトルから混合領域 6 3において、混合比が 0乃至 1に変化するようにあてはめることによって、求めることができる。さらに、ステップ S 5において、 CPU 2 1は、求まった混合比から、複数のオブジェクトが混合した混合領域 6 3においてオブジェクトを分離する処理を実行する。

以上の処理について、図 5の画像を例としてさらに説明する。今、図 5の混合領域 6 3の右端の一部である部分 6 3 Aの 1ライン上の画素データをプロヅトすると、図 6に示すようになる。図 6において、横軸は X座標（図 5における水平方向の座標）を表し、縦軸はその座標における画素値を表している。曲線 L 1は、第 1の夕ィミングのライン上の画素値を表しており、曲線 L 2 は、次のタイミングの対応するライン上の画素値を表している。以下同様に、曲線 3はさらにその次のタイミングの、曲線 L 4はさらにその次の夕ィミングの、それぞれ対応するラインの画素値を表している。換言すれば、図 6は、連続する 4つのタイミングの対応するライン上の画素値の変化を表している。曲線 L 1は、時間的に最初のタイミングを表しており、この状態においては、まだ前景 6 2が撮像されていない。従って、曲線 1は、背景 6 1の画素を表している。

曲線 1上においては、 X座標 1 4 0付近において画素値は約 7 5であるが、 X座標 1 4 5において、画素値は約 1 3 0まで増加する。その後、画素値は低下し、 X座標 1 4 9付近において、画素値は約 1 2 0となる。 X座標が増加するにつれて、画素値はその後再び増加し、 X座標 1 5 4付近において、画素値はほぼ 1 6 0となっている。その後、画素値は低下し、 X座標 1 6 2付近で、約 1 3 0となる。その後、 X座標 1 6 5付近において画素値が約 1 8 0となり、 X座標 1 7 0付近において、画素値は再び約 1 2 5まで低下している。その後、 X座標 1 Ί 2付近においては、画素値が約 1 7 5まで増加し、その後は X座標 1 7 8付近において、画素値は約 6 0まで低下する。その後、 X座標 1 7 8乃至 1 9 5までの区間は、画素値の値が 6 0乃至 8 0の間で若干変化している。そして、 X座標 1 9 5付近よりさらに右側の座標においては、画素値が再び 1 6 0前後まで増加している。

次のフレームの曲線 L 2においては、 X座標 1 4 5付近まで約 2 0 0の画素値で一定であるが、 X座標 1 4 5から X座標 1 6 0まで徐々に画素値が低下し、 X座標 1 6 0では、画素値は約 1 2 5となっている。その後の変化は、曲線 1 と同様となる。

曲線 L 3の画素値は、 X座標 1 5 8付近まで画素値 2 0 0でほぼ一定であるが、その後、 X座標 1 6 2付近において、約 1 8 0まで低下した後、 X座標 1 6 4付近においては、再び画素値は、約 1 9 0まで増加している。その後、ほぼ曲線 L 1 と同様に変化している。

曲線 L 4の画素値は、 X座標 1 4 0付近から X座標 1 Ί 0付近まで、約 2 0 0の一定の画素値となっているが、 X座標 1 7 0付近から X座標 1 8 0付近まで急激に画素値は低下し、 X座標 1 7 0付近では約 7 0となっている。その後の変化は、曲線 L 1 と同様となっている。

このように、曲線 L 2乃至 L 4の画素値が変化するのは、曲線 L 1の状態においては、背景 6 1だけの画像であつたところに、前景 6 2の画像が、その移動に伴って（時間の経過に伴って）次第に増加してきたことに起因する。

すなわち、曲線 L 1 と、その直後のタイミングの曲線 L 2を比較して明らかなように、曲線 L 2乃至曲線 L 4の値は、 X座標 1 4 7付近までほぼ同一である。曲線 L 2の値は、 X座標 1 4 7付近から、曲線 L 3 , L 4と異なった値となり、 X座標 1 5 9付近で、曲線 1の値とほぼ同一となる。それ以降の X座標における曲線 L 2の画素値は、曲線 L 1における場合とほぼ同一となっている。すなわち、 X座標 1 4 6から X座標 1 5 9までの区間 D 1に対応する領域 R 1における曲線 L 2の値は、前景 6 2の先端が 1単位の期間において、区間 D 1の左端から右端まで移動したことを表している。

同様に、 X座標 1 5 9から X座標 1 7 2までの区間 D 2に対応する領域 R 2 における、次のタイミングの曲線 L 3の画素値は、前景 6 2の先端がその間に移動してきた画像に対応している。さらに、 X座標 1 Ί 2から X座標 1 8 4までの区間 D 3に対応する領域 R 3における、曲線 L 4の画素値は、前景 6 2の先端がその間に移動してきたことを表している。

従って、区間 D 1において、曲線 L 2の画素値から、曲線 L 1の画素値に対して、背景 6 1に対する前景 6 2の混合比に基づく重み付けを施した値を減算すると、図 7に示すような曲線 L I 1が得られる。この曲線 L I 1は、混合領域 6 3において、前景 6 2の画素から背景 6 1に相当する値を減算していることになるので、画素値 0の背景上での前景の画像となる。なお、図 7における横軸は、位置を表し（左端は図 6における区間 D 1の左端に対応し、右端は図 6の区間 D 1における右端に対応する）、縦軸は、抽出された前景の画素値を表している。

同様に、図 6の区間 D 2において、曲線!： 3の画素値から、混合比で重み付けした曲線 L 1 の画素値を減算すると、図 7における曲線 L 1 2が得られ、図 6の区間 D 3において、曲線 4から、混合比で重み付けした曲線 L 1の画素値を減算すると、図 7における曲線 L 1 3が得られる。図 7に示すように、曲線 L 1 2と曲線 L 1 3は、曲線 L 1 1 とほぼ一致した曲線となっている。このことは、前景 6 2が 3つの単位のタイミングの期間に渡ってほぼ一定の速度で移動しており、重み付け減算によって、真っ黒な背景、すなわち、画素値 0 の背景上での前景画素値が正しく求められたことを示す。

以上の動作を画素に注目して説明すると、図 8に示すようになる。同図において、横軸は、部分 6 3 Aの X座標を表し、縦軸は、上から下方向に向かう時間軸を表している。この例では、動き量が 5であるので、 1露光時間（シャヅ夕時間）内に、 t 1乃至 t 5に対応する時間で露光が行われる。 b 1乃至 b f は、背景 6 1の各画素の画素値を表している。八 1乃至八 6は、前景 6 2の画素値を表す。

すなわち、タイミング t 1において、背景 6 1の画素 b 3乃至 b 8の位置に、前景 6 2の画素 A 1乃至 A 6が表れ、タイミング t 2においては、この前景 6 2の画素 A 1乃至 A 6が、 1画素分右方向に、すなわち、背景 6 1の画素 b 4 乃至 b 9の位置に移動している。

以下、同様に、タイミング t 3乃至タイミング t 5に時間が進むに従って、前景 6 2の画素 A 1乃至 A 6は、順次右方向に 1画素分ずつ移動している。この場合、夕ィミング t 1乃至 t 5の各ラインの画素を平均して得られる画素値 y 1乃至 y f が、撮像の結果得られる画素（動きボケした画素）となり、その値は、次式で表される。

y₈ = ^'(a2+a₃+a₄ + a₅+a₆) (6) y₉ = j'(a₃+a4+a₅+a₆)+ 'b₉ (7)

なお、 y l , y 2 , y d， y e , y f は、それぞれ、背景の画素 b l， b 2 , b d， b e， b f に等しい。

背景の画素 b 1乃至 b f を除去すれば、混合領域 6 3における背景 6 1 と前景 6 2を分離することができる。すなわち、複数のオブジェクトを分離することができる。さらに、背景の画素 b 1乃至 b f は、前後のシャッタ時間（フレ —ム）の画素値を用いるなどして、既知であるとしておき、前景 6 2の画素 A 1乃至 A 6を、上記した式を、例えば最小自乗法などを用いて解くことで、求めることができる。これにより、動きボケを除いた前景の画像を得ることができる。すなわち、射影された実社会の情報における歪みを軽減することができる。そして、さらに、解像度創造などの処理により、鮮明な画像を創造することができる。

以上の図 4においては、確定論的な処理を行うようにしたが、すなわち、前の処理を基にして、前の処理の結果が正しいものとして次の処理を行うようにしたが、統計論的に処理を行うことも可能である。図 9は、この場合の処理例を表している。

すなわち、この統計論的処理を行う場合には、ステップ S 2 1において、 CPU 2 1は画像デ一夕を取得する。この処理は、図 4のステップ S 1 における処理と同様の処理である。

次に、ステップ S 2 2において、 CPU 2 1は、ステップ S 2 1で取得した画像データから前景と背景の混合比を求める処理を行う。そして、ステップ S 2 3において、 CPU 2 1は、ステップ S 2 2で求められた混合比に基づいて、背景と前景を分離する処理を実行する。

このように、統計論的処理に基づく場合、図 4のステップ S 2 3における場合のような物体の境界であるのか否かの判定処理が不要となるため、より迅速に前景と背景を分離することが可能となる。

以上のようにして、背景 6 1の前で移動している前景 6 2の画像を撮像した場合に得られる動きボケの生じた画像から、鮮明な前景 6 2の画像を分離抽出することができる。

次に、確定論的な処理により、センサにより取得されたデータから、有意情報が埋もれている領域を特定したり、埋もれた有意情報を抽出する処理を行う信号処理装置についてより具体的な例を挙げて説明する。以下の例において、 CCDラインセンサまたは CCDェリァセンサがセンサに対応し、領域情報や混合比が有意情報に対応し、混合領域において、前景と背景が混合していることや動きボケが歪みに対応する。

図 1 0は、信号処理部 1 2を示すブロック図である。なお、信号処理部 1 2の各機能をハードウヱァで実現するか、ソフトゥヱァで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い, ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサ 1 1の撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。

この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。

信号処理部 1 2に供給された入力画像は、オブジェクト抽出部 1 0 1、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に供給される。

オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部 1 0 2に供給する。ォブジヱクト抽出部 1 0 1は、例えば、入力画像に含まれる前景のオブジェク卜に対応する画像オブジェク卜の輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる背景のオブジェク卜に対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部 1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェク卜との差から、背景のォブジヱクトに対応する画像ォブジェクトを粗く抽出する。

また、例えば、オブジェクト抽出部 1 0 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像ォブジェクトを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、例えば、プロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きべクトルを算出して、算出した動きべクトルおよび動きべクトルの位置情報（動きべクトルに対応する画素の位置を特定する情報）を動きボケ抽出部 1 0 6に供給する。

動き検出部 1 0 2が出力する動きべクトルには、動き量 Vに対応する情報が含まれるている。

また、例えば、動き検出部 1 0 2は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きぺクトルを動きボケ調整部 1 0 6に出力するようにしてもよい。

動き量 Vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェク卜の画像が、あるフレームを基準として次のフレ一ムにおいて 4画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェク卜の画像の動き量 Vは、 4とされる。

なお、オブジェクト抽出部 1 0 1および動き検出部 1 0 2は、動いているォブジェクトに対応した動きボケ量の調整を動きボケ調整部 1 0 6で行う場合に用いられる。

領域特定部 1 0 3は、入力された画像の画素のそれそれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6に供給する。

混合比算出部 1 0 4は、入力画像、および領域特定部 1 0 3から供給された領域情報を基に、混合領域 6 3に含まれる画素に対応する混合比（以下、混合比 αと称する）を算出して、算出した混合比を前景背景分離部 1 0 5に供給する。

混合比ひは、後述する式（ 1 3 ) に示されるように、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。

前景背景分離部 1 0 5は、領域特定部 1 0 3から供給された領域情報、および混合比算出部 1 0 4から供給された混合比ひを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。なお、分離された前景成分画像を最終的な出力とすることも考えられる。従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。

動きボケ調整部 1 0 6は、動きべクトルからわかる動き量 Vおよび領域情報を基に、前景成分画像に含まれる 1以上の画素を示す処理単位を決定する。処理単位は、動きボケの量の調整の処理の対象となる 1群の画素を指定するデ一夕である。

動きボケ調整部 1 0 6は、信号処理部 1 2に入力された動きボケ調整量、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きボケを除去する、動きボケの量を減少させる、または動きポケの量を増加させるなど前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を選択部 1 0 7に出力する。動きベクトルとその位置情報は使わないこともある。

選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 0 5から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 1 1乃至図 2 6を参照して、信号処理部 1 2に供給される入力画像について説明する。

図 1 1は、センサによる撮像を説明する図である。センサ 1 1は、例えば、固体撮像素子である CCD ( ChA rge-Coupled Device) エリアセンサを備えた CCD ビデオカメラなどで構成される。現実世界における、前景に対応するォブジェクトは、現実世界における、背景に対応するオブジェクトと、センサ 1 1 との間を、例えば、図中の左側から右側に水平に移動する。

センサ 1 1は、前景に対応するォブジェクトを、背景に対応するォブジェクトと共に撮像する。センサ 1 1は、撮像した画像を 1 フレーム単位で出力する。例えば、センサ 1 1は、 1秒間に 3 0フレームから成る画像を出力する。センサ 1 1の露光時間は、 1 / 3 0秒とすることができる。露光時間は、センサ 1 1が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。図 1 2は、画素の配置を説明する図である。図 1 2中において、 A乃至 Iは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、センサ 1 1上に配置されている。センサ 1 1が画像を撮像するとき、 1つの検出素子は、画像を構成する 1つの画素に対応する画素値を出力する。例えば、検出素子の X方向の位置は、画像上の横方向の位置に対応し、検出素子の Y方向の位置は、画像上の縦方向の位置に対応する。

図 1 3に示すように、例えば、 CCD である検出素子は、シャツ夕時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッ夕時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツ夕時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデ一夕などの画素値に変換されて出力される。従って、センサ 1 1から出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャツ夕時間について積分した結果である、 1次元の空間に射影された値を有する。

信号処理部 1 2は、このような.センサ 1 1の蓄積の動作により、出力信号に埋もれてしまった有意な情報、例えば、混合比ひを抽出する。信号処理部 1 2 は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きポケの量などを調整する。また、信号処理部 1 2は、前景の画像ォブジェクトと背景の画像オブジェクトとが混ざり合うことにより生ずる歪みの量を調整する。

図 1 4は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェク卜とを撮像して得られる画像を説明する図である。図 1 4 Aは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図 1 4 Aに示す例において、前景に対応するォブジェクトは、画面に対して水平に左から右に動いている。

図 1 4 Bは、図 1 4 Aに示す画像の 1つのラインに対応する画素値を時間方向に展開したモデル図である。図 1 4 Bの横方向は、図 1 4 Aの空間方向 Xに対応している。

背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェク卜に対応する画像の成分のみから、その画素値が構成されている。

混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバ一ドバックグラウンド領域およびアンカバ一ドバックグラウンド領域に分類される。カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェク卜の進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバ一ドバックグラウンド領域を含む画像が、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に入力画像として入力される。

図 1 5は、以上のような、背景領域、前景領域、混合領域、力パ一ドバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図 1 4に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバ一ドバックグラウンド領域は、前景から背景に変化する部分である。

図 1 6は、静止している前景に対応する才ブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 1 6に示す F01乃至 F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図 1 6に示す B01乃至 B04の画素値は、静止している背景のォブジェクトに対応する画素の画素値である。

図 1 6における縦方向は、図中の上から下に向かって時間が経過する。図 1 6中の矩形の上辺の位置は、センサ 1 1が入力された光の電荷への変換を開始する時刻に対応し、図 1 6中の矩形の下辺の位置は、センサ 1 1が入力された光の電荷への変換を終了する時刻に対応する。すなわち、図 1 6中の矩形の上辺から下辺までの距離は、シャッ夕時間に対応する。

以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。

図 1 6における横方向は、図 1 4で説明した空間方向 X に対応する。より具体的には、図 1 6に示す例において、図 1 6中の" F01 " と記載された矩形の左辺から" B04" と記載された矩形の右辺までの距離は、画素のピッチの 8 倍、すなわち、連続している 8つの画素の間隔に対応する。

前景のオブジェクトおよび背景のオブジェク卜が静止している場合、シャッタ時間に対応する期間において、センサ 1 1に入力される光は変化しない。ここで、シャツ夕時間に対応する期間を 2つ以上の同じ長さの期間に分割する。例えば、仮想分割数を 4とすると、図 1 6に示すモデル図は、図 1 7に示すモデルとして表すことができる。仮想分割数は、前景に対応するォブジェク卜のシャツタ時間内での動き量 vなどに対応して設定される。例えば、 4である動き量 Vに対応して、仮想分割数は、 4とされ、シャッタ時間に対応する期間は 4つに分割される。

図中の最も上の行は、シャツ夕が開いて最初の、分割された期間に対応する。図中の上から 2番目の行は、シャッ夕が開いて 2番目の、分割された期間に対応する。図中の上から 3番目の行は、シャツ夕が開いて 3番目の、分割された期間に対応する。図中の上から 4番目の行は、シャツ夕が開いて 4番目の、分割された期間に対応する。

以下、動き量 V に対応して分割されたシャッ夕時間をシャタ時間/ V とも称する。

前景に対応するォブジェク卜が静止しているとき、センサ 1 1に入力される光は変化しないので、前景の成分 FOl/vは、画素値 F01 を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェク卜が静止しているとき、前景の成分 F02/Vは、画素値 F02 を仮想分割数で除した値に等しく、前景の成分 F03/vは、画素値 F03を仮想分割数で除した値に等しく、前景の成分 F04/v は、画素値 F04を仮想分割数で除した値に等しい。

背景に対応するォブジェクトが静止しているとき、センサ 1 1に入力される光は変化しないので、背景の成分 BOl/vは、画素値 B01 を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェク卜が静止しているとき、背景の成分 B02/Vは、画素値 B02を仮想分割数で除した値に等しく、 B03/Vは、画素値 B03を仮想分割数で除した値に等しく、 B04/Vは、画素値 B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェク卜が静止している場合、シャツ夕時間に対応する期間において、センサ 1 1に入力される前景のオブジェク卜に対応する光が変化しないので、シャツ夕が開いて最初の、シャツ夕時間/ V に対応する前景の成分 FO l/v と、シャツ夕が開いて 2番目の、シャツ夕時間/ V に対応する前景の成分 FOl/v と、シャツ夕が開いて 3番目の、シャツ夕時間/ V に対応する前景の成分 FOl/v と、シャヅ夕が開いて 4番目の、シャツ夕時間/ V に対応する前景の成分 FO l/vとは、同じ値となる。 F02/v乃至 F04/vも、 FO l/v と同様の関係を有する。

背景に対応するオブジェク卜が静止している場合、シャッタ時間に対応する期間において、センサ 1 1に入力される背景のオブジェク卜に対応する光は変化しないので、シャツ夕が開いて最初の、シャツ夕時間/ V に対応する背景の成分 Β01/ν と、シャツ夕が開いて 2番目の、シャツ夕時間/ V に対応する背景の成分 Β01/ν と、シャツ夕が閧いて 3番目の、シャツ夕時間/ V に対応する背景の成分 Β01/ν と、シャヅ夕が開いて 4番目の、シャツタ時間/ V に対応する背景の成分 Β01/ν とは、同じ値となる。 B02/v乃至 B04/v も、同様の関係を有する。

次に、前景に対応するォブジェクトが移動し、背景に対応するォブジェクトが静止している場合について説明する。

図 1 8は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバ一ドバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 8において、前景の動き量 Vは、 4である。 1 フレームは短い時間なので、前景に対応するオブジェク卜が剛体であり、等速で移動していると仮定することができる。図 1 8において、前景に対応するォブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動する。

図 1 8において、最も左側の画素乃至左から 4番目の画素は、前景領域に属する。図 1 8において、左から 5番目乃至左から 7番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 8において、最も右側の画素は、背景領域に属する。

前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバ一ドバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッ夕時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図 1 8中に太線枠を付した画素値 Mは、式（ 1 1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 1 )

例えば、左から 5番目の画素は、 1つのシャツ夕時間 /V に対応する背景の成分を含み、 3つのシャツタ時間/ v に対応する前景の成分を含むので、左から 5番目の画素の混合比ひは、 1/4である。左から 6番目の画素は、 2つのシャッタ時間/ V に対応する背景の成分を含み、 2つのシャツタ時間/ V に対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7番目の画素は、 3つのシャツ夕時間/ V に対応する背景の成分を含み、 1つのシャツタ時間/ V に対応する前景の成分を含むので、左から 7番目の画素の混合比 αは、 3/4である。

前景に対応するォブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 8中の左から 4番目の画素の、シャヅ夕が開いて最初の、シャツタ時間/ V の前景の成分 F07/v は、図 1 8中の左から 5番目の画素の、シャツ夕が鬨いて 2番目のシャツタ時間/ V に対応する前景の成分に等しい。同様に、前景の成分 F07/vは、図 1 8中の左から 6番目の画素の、シャヅ夕が開いて 3番目のシャツ夕時間/ V に対応する前景の成分と、図 1 8中の左から 7番目の画素の、シャッ夕が開いて 4番目のシャヅ夕時間/ Vに対応する前景の成分とに、それそれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 8中の左から 3番目の画素の、シャツ夕が閧いて最初のシャツ夕時間 /ν の前景の成分 F06/v は、図 1 8中の左から 4番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ V に対応する前景の成分に等しい。同様に、前景の成分 F06/vは、図 1 8中の左から 5番目の画素の、シャツ夕が開いて 3番目のシャツ夕時間/ V に対応する前景の成分と、図 1 8中の左から 6番目の画素の、シャツ夕が開いて 4番目のシャヅ夕時間/ V に対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェク卜が、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 8中の左から 2番目の画素の、シャツ夕が開いて最初のシャツタ時間 /ν の前景の成分 F05/v は、図 1 8中の左から 3番目の画素の、シャツ夕が閧いて 2番目のシャツタ時間/ v のに対応する前景の成分に等しい。同様に、前景の成分 F05/vは、図 1 8中の左から 4番目の画素の、シャツタが閧いて 3番目のシャヅ夕時間/ V に対応する前景の成分と、図 1 8中の左から 5番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ Vに対応する前景の成分とに、それそれ等しい。

前景に対応するォブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 8中の最も左側の画素の、シャツ夕が開いて最初のシャツ夕時間/ V の前景の成分 F04/vは、図 1 8中の左から 2番目の画素の、シャヅ夕が開いて 2番目のシャツタ時間/ V に対応する前景の成分に等しい。同様に、前景の成分 F04/vは、図 1 8中の左から 3番目の画素の、シャツ夕が開いて 3番目のシャッ夕時間/ V に対応する前景の成分と、図 1 8中の左から 4番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ V に対応する前景の成分とに、それそれ等しい。

動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図 1 9は、前景が図中の右側に向かって移動する場合の、アンカバ一ドバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 9において、前景の動き量 Vは、 4である。 1 フレームは短い時間なので、前景に対応するオブジェク卜が剛体であり、等速で移動していると仮定することができる。図 1 9において、前景に対応するオブジェク卜の画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に移動する。

図 1 9において、最も左側の画素乃至左から 4番目の画素は、背景領域に属する。図 1 9において、左から 5番目乃至左から 7番目の画素は、アンカバ一ドバヅクグラウンドである混合領域に属する。図 1 9において、最も右側の画素は、前景領域に属する。

背景に対応するォブジェクトを覆っていた前景に対応するォブジェク卜が時間の経過と共に背景に対応するォブジェク卜の前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツ夕時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図 1 9中に太線枠を付した画素値 M'は、式（ 1 2 ) で表される。

M'=F02/v+F01/v+B26/v+B26/v ( 1 2 )

例えば、左から 5番目の画素は、 3つのシャツ夕時間 /V に対応する背景の成分を含み、 1つのシャツ夕時間/ V に対応する前景の成分を含むので、左から 5番目の画素の混合比ひは、 3/4である。左から 6番目の画素は、 2つのシャッ夕時間/ V に対応する背景の成分を含み、 2つのシャツ夕時間/ V に対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7番目の画素は、 1つのシャツ夕時間/ V に対応する背景の成分を含み、 3つのシャツ夕時間/ V に対応する前景の成分を含むので、左から 7番目の画素の混合比ひは、 1/4である。

式（ 1 1 ) および式（ 1 2 ) をより一般化すると、画素値 Mは、式（ 1 3 ) で表される。

ここで、ひは、混合比である。 Bは、背景の画素値であり、 Fi/vは、前景の成分である。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 9中の左から 5番目の画素の、シャヅ夕が開いて最初の、シャツ夕時間/ V の前景の成分 FOl/v は、図 1 9中の左から 6番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ V に対応する前景の成分に等しい。同様に、 FOl/vは、図 1 9中の左から 7番目の画素の、シャッ夕が閧いて 3番目のシャッタ時間/ V に対応する前景の成分と、図 1 9中の左から 8番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ V に対応する前景の成分とに、それそれ等しい。前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が 4であるので、例えば、図 1 9中の左から 6番目の画素の、シャヅタが開いて最初の、シャツ夕時間/ V の前景の成分 F02/v は、図 1 9中の左から 7番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ V に対応する前景の成分に等しい。同様に、前景の成分 F02/vは、図 1 9中の左から 8番目の画素の、シャツ夕が開いて 3番目のシャツ夕時間/ V に対応する前景の成分に等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 9中の左から 7番目の画素の、シャツ夕が開いて最初の、シャツ夕時間/ V の前景の成分 F03/v は、図 1 9中の左から 8番目の画素の、シャヅ夕が開いて 2番目のシャツ夕時間/ V に対応する前景の成分に等しい。

図 1 7乃至図 1 9の説明において、仮想分割数は、 4であるとして説明したが、仮想分割数は、動き量 Vに対応する。動き量 Vは、一般に、前景に対応するオブジェク卜の移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動しているとき、動き量 Vは、 4とされる。動き量 Vに対応し、仮想分割数は、 4とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 6画素分左側に表示されるように移動しているとき、動き量 Vは、 6とされ、仮想分割数は、 6とされる。図 2 0および図 2 1に、以上で説明した、前景領域、背景領域、カバ一ドバックグラウンド領域若しくはアンカバ一ドバックグラウンド領域から成る混合領域と、分割されたシャッ夕時間に対応する前景の成分および背景の成分との関係を示す。

図 2 0は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図 2 0に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。

フレーム #n+ l は、フレーム #nの次のフレームであり、フレーム #n+2は、フレーム #n+ lの次のフレームである。

フレーム #n乃至フレーム #n+2のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量 Vを 4として、抽出された画素の画素値を時間方向に展開したモデルを図 2 1に示す。

前景領域の画素値は、前景に対応するオブジェク卜が移動するので、シャツ夕時間/ V の期間に対応する、 4つの異なる前景の成分から構成される。例えば、図 2 1 に示す前景領域の画素のうち最も左側に位置する画素は、 F01/v,F02/v,F03/v、および F04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するオブジェクトが静止しているので、シャツタ時間に対応する期間において、センサ 1 1に入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

カバ一ドバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、ォブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 2 2は、静止している背景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレ一ム#n は、フレーム #n- l の次のフレームであり、フレーム #n+ l は、フレーム #n の次のフレームである。他のフレームも同様に称する。

図 2 2に示す B01乃至 B 12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム #η· 1乃至フレーム n+ 1において、対応する画素の画素値は、変化しない。例えば、フレーム #n- lにおける B05の画素値を有する画素の位置に対応する、フレーム #nにおける画素、およびフレーム #n+ lにおける画素は、それそれ、 B05の画素値を有する。

図 2 3は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 2 3に示すモデルは、カバ一ドバヅクグラウンド領域を含む。

図 2 3において、前景に対応するォブジェク卜が、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、前景の動き量 Vは、 4であり、仮想分割数は、 4である。例えば、図 2 3中のフレーム #n- l の最も左側の画素の、シャツ夕が開いて最初のシャヅタ時間/ Vの前景の成分は、 F 12/vとなり、図 2 3中の左から 2番目の画素の、シャッ夕が閧いて 2番目のシャヅタ時間/ Vの前景の成分も、 F12/v となる。図 2 3中の左から 3番目の画素の、シャツ夕が開いて 3番目のシャツタ時間/ V の前景の成分、および図 2 3中の左から 4番目の画素の、シャツタが開いて 4番目のシャヅ夕時間/ Vの前景の成分は、 F12/vとなる。

図 2 3中のフレーム #n- l の最も左側の画素の、シャツ夕が開いて 2番目のシャッ夕時間/ Vの前景の成分は、 F ll/vとなり、図 2 3中の左から 2番目の画素の、シャツ夕が開いて 3番目のシャツ夕時間/ Vの前景の成分も、 F ll/vとなる。図 2 3中の左から 3番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ Vの前景の成分は、 F ll/vとなる。

図 2 3中のフレーム #n- l の最も左側の画素の、シャツ夕が開いて 3番目のシャッ夕時間/ Vの前景の成分は、 F lO/vとなり、図 2 3中の左から 2番目の画素の、シャツ夕が閧いて 4番目のシャツ夕時間/ Vの前景の成分も、 FlO/vとなる。図 2 3中のフレーム #η· 1 の最も左側の画素の、シャツ夕が閧いて 4番目のシャツ夕時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェク卜が静止しているので、図 2 3中のフレーム #η· 1 の左から 2番目の画素の、シャッ夕が開いて最初のシャッタ時間/ V の背景の成分は、 BO l/v となる。図 2 3中のフレーム #n- l の左から 3番目の画素の、シャツ夕が開いて最初および 2番目のシャツ夕時間/ Vの背景の成分は、 B02/v となる。図 2 3中のフレーム #n- l の左から 4番目の画素の、シャツ夕が開いて最初乃至 3番目のシャッタ時間/ Vの背景の成分は、 B03/Vとなる。

図 2 3中のフレーム #n- l において、最も左側の画素は、前景領域に属し、左側から 2番目乃至 4番目の画素は、カバードバックグラウンド領域である混合領域に属する。

図 2 3中のフレーム #n- l の左から 5番目の画素乃至 1 2番目の画素は、背景領域に属し、その画素値は、それそれ、 B04乃至 B 11 となる。

図 2 3中のフレーム #n の左から 1番目の画素乃至 5番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツ夕時間/ Vの前景の成分は、 F05/V乃至 F 12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 2 3中のフレーム #n の左から 5番目の画素の、シャツ夕が開いて最初のシャヅ夕時間/ Vの前景の成分は、 F 12/vとなり、図 2 3中の左から 6番目の画素の、シャツ夕が鬨いて 2番目のシャヅタ時間/ Vの前景の成分も、 F 12/v となる。図 2 3中の左から 7番目の画素の、シャツ夕が開いて 3番目のシャヅ夕時間/ V の前景の成分、および図 2 3中の左から 8番目の画素の、シャツタが閧いて 4番目のシャヅ夕時間/ Vの前景の成分は、 F 12/vとなる。

図 2 3中のフレーム #n の左から 5番目の画素の、シャツ夕が開いて 2番目のシャッタ時間/ Vの前景の成分は、 F l l/vとなり、図 2 3中の左から 6番目の画素の、シャツ夕が開いて 3番目のシャヅタ時間/ Vの前景の成分も、 F ll/vとなる。図 2 3中の左から 7番目の画素の、シャツタが閧いて 4番目のシャツ夕時間/ Vの前景の成分は、 F l l/vとなる。

図 2 3中のフレーム #n の左から 5番目の画素の、シャツ夕が閧いて 3番目のシャツ夕時間/ Vの前景の成分は、 F lO/vとなり、図 2 3中の左から 6番目の画素の、シャツ夕が閧いて 4番目のシャヅタ時間/ Vの前景の成分も、 F lO/vとなる。図 2 3中のフレ一ム #n の左から 5番目の画素の、シャツタが閧いて 4 番目のシャッ夕時間/ vの前景の成分は、 F09/Vとなる。

背景に対応するォブジェクトが静止しているので、図 2 3中のフレーム #n の左から 6番目の画素の、シャヅ夕が閧ぃて最初のシャツタ時間/ V の背景の成分は、 B05/v となる。図 2 3中のフレーム #n の左から 7番目の画素の、シャッ夕が閧いて最初および 2番目のシャツ夕時間/ Vの背景の成分は、 B06/vとなる。図 2 3中のフレーム #n の左から 8番目の画素の、シャツ夕が開いて最初乃至 3番目の、シャツタ時間/ Vの背景の成分は、 B07/vとなる。

図 2 3中のフレーム #n において、左側から 6番目乃至 8番目の画素は、力バードバックグラウンド領域である混合領域に属する。

図 2 3中のフレーム #n の左から 9番目の画素乃至 1 2番目の画素は、背景領域に属し、画素値は、それそれ、 B08乃至 B 11 となる。

図 2 3中のフレーム #n+ lの左から 1番目の画素乃至 9番目の画素は、前景領域に属する。フレーム #n+ lの前景領域における、シャツ夕時間/ Vの前景の成分は、 FO l/v乃至 F 12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 2 3中のフレーム #n+ lの左から 9番目の画素の、シャツ夕が開いて最初のシャッタ時間/ Vの前景の成分は、 F 12/Vとなり、図 2 3中の左から 1 0 番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ V の前景の成分も、 F 12/vとなる。図 2 3中の左から 1 1番目の画素の、シャツ夕が開いて 3番目のシャツ夕時間/ Vの前景の成分、および図 2 3中の左から 1 2番目の画素の、シャツ夕が開いて 4番目のシャヅ夕時間/ Vの前景の成分は、 F 12/vとなる。図 2 3中のフレ一ム#n+ lの左から 9番目の画素の、シャヅ夕が開いて 2番目のシャッ夕時間/ Vの期間の前景の成分は、 F l l/vとなり、図 2 3中の左から 1 0番目の画素の、シャツ夕が鬨いて 3番目のシャツ夕時間/ V の前景の成分も、 F l l/vとなる。図 2 3中の左から 1 1番目の画素の、シャツ夕が閧いて 4 番目の、シャツタ時間/ Vの前景の成分は、 F ll/vとなる。

図 2 3中のフレーム #n+ lの左から 9番目の画素の、シャツ夕が開いて 3番目の、シャッ夕時間/ Vの前景の成分は、 F l O/vとなり、図 2 3中の左から 1 0 番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ v の前景の成分も、 F lO/v となる。図 2 3中のフレーム #n+ l の左から 9番目の画素の、シャツ夕が鬨いて 4番目のシャヅタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 2 3中のフレーム #n+ lの左から 1 0番目の画素の、シャツ夕が開いて最初のシャツタ時間/ Vの背景の成分は、 B09/v となる。図 2 3中のフレーム #τι+ 1の左から 1 1番目の画素の、シャツ夕が開いて最初および 2番目のシャツタ時間/ V の背景の成分は、 B lO/v となる。図 2 3中のフレーム #n+ lの左から 1 2番目の画素の、シャヅタが鬨いて最初乃至 3番目の、シャヅ夕時間/ Vの背景の成分は、 B ll/vとなる。

図 2 3中のフレーム #n+ l において、左側から 1 0番目乃至 1 2番目の画素は、カバ一ドバックグラウンド領域である混合領域に対応する。

図 2 4は、図 2 3に示す画素値から前景の成分を抽出した画像のモデル図である。

図 2 5は、静止している背景と共に図中の右側に移動するォブジヱクトに対応する前景を撮像した画像の 3つのフレ一ムの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 2 5において、アンカバ一ドバヅクグラウンド領域が含まれている。

図 2 5において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するォブジェクトが、次のフレームにおいて 4画素分右側に表示されるように移動しているので、動き量 Vは、 4である。

例えば、図 2 5中のフレーム #n- l の最も左側の画素の、シャツ夕が開いて最初の、シャツ夕時間/ Vの前景の成分は、 F 13/vとなり、図 2 5中の左から 2 番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ V の前景の成分も、 F 13/vとなる。図 2 5中の左から 3番目の画素の、シャヅ夕が開いて 3番目のシャッ夕時間/ V の前景の成分、および図 2 5中の左から 4番目の画素の、シャッタが開いて 4番目のシャツ夕時間/ Vの前景の成分は、 F 13/vとなる。図 2 5中のフレーム #n- l の左から 2番目の画素の、シャツタが開いて最初のシャツ夕時間/ Vの前景の成分は、 F 14/vとなり、図 2 5中の左から 3番目の画素の、シャツ夕が開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 14/vとなる。図 2 5中の左から 3番目の画素の、シャツ夕が開いて最初の、シャツタ時間/ Vの前景の成分は、 F 15/vとなる。

背景に対応するォブジェクトが静止しているので、図 2 5中のフレーム #η· 1 の最も左側の画素の、シャツ夕が閧いて 2番目乃至 4番目の、シャツ夕時間/ V の背景の成分は、 B25/v となる。図 2 5中のフレーム #η· 1 の左から 2番目の画素の、シャツ夕が開いて 3番目および 4番目の、シャツ夕時間/ V の背景の成分は、 B26/v となる。図 2 5中のフレーム #n- l の左から 3番目の画素の、シャヅ夕が開いて 4番目のシャヅタ時間/ Vの背景の成分は、 B27/vとなる。図 2 5中のフレーム #η· 1 において、最も左側の画素乃至 3番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 2 5中のフレーム #η · 1 の左から 4番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景の成分は、 F 13/V乃至 F24/vのいずれかである。

図 2 5中のフレーム #n の最も左側の画素乃至左から 4番目の画素は、背景領域に属し、画素値は、それそれ、 B25乃至 B28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 2 5中のフレーム #n の左から 5番目の画素の、シャツ夕が開いて最初のシャヅ夕時間/ Vの前景の成分は、 F 13/vとなり、図 2 5中の左から 6番目の画素の、シャツ夕が鬨いて 2番目のシャツ夕時間/ Vの前景の成分も、 F 13/v となる。図 2 5中の左から 7番目の画素の、シャツ夕が開いて 3番目のシャツ夕時間/ V の前景の成分、および図 2 5中の左から 8番目の画素の、シャヅ夕が閧いて 4番目のシャッタ時間/ Vの前景の成分は、 F 13/vとなる。

図 2 5中のフレーム #n の左から 6番目の画素の、シャツ夕が閧いて最初のシャッ夕時間/ Vの前景の成分は、 F 14/vとなり、図 2 5中の左から 7番目の画素の、シャツ夕が開いて 2番目のシャツ夕時間/ Vの前景の成分も、 F 14/vとなる。図 2 5中の左から 8番目の画素の、シャヅ夕が開いて最初のシャヅ夕時間 /vの前景の成分は、 F 15/vとなる。

背景に対応するォブジェクトが静止しているので、図 2 5中のフレーム #n の左から 5番目の画素の、シャツ夕が開いて 2番目乃至 4番目のシャツ夕時間 /vの背景の成分は、 B29/v となる。図 2 5中のフレーム #nの左から 6番目の画素の、シャツ夕が閧いて 3番目および 4番目のシャツ夕時間/ V の背景の成分は、 B30/v となる。図 2 5中のフレーム #n の左から 7番目の画素の、シャヅタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B3 1 /vとなる。

図 2 5中のフレーム #nにおいて、左から 5番目の画素乃至 7番目の画素は、アンカバ一ドバックグラウンド領域である混合領域に属する。

図 2 5中のフレーム #n の左から 8番目の画素乃至 1 2番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツ夕時間/ Vの期間に対応する値は、 F 13/v乃至 F20/vのいずれかである。

図 2 5中のフレーム #n+ lの最も左側の画素乃至左から 8番目の画素は、背景領域に属し、画素値は、それそれ、 B25乃至 B32となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 2 5中のフレーム #n+ lの左から 9番目の画素の、シャツ夕が開いて最初のシャヅ夕時間/ Vの前景の成分は、 F 13/vとなり、図 2 5中の左から 1 0 番目の画素の、シャツ夕が開いて 2番目のシャツタ時間/ V の前景の成分も、 F 13/vとなる。図 2 5中の左から 1 1番目の画素の、シャツ夕が鬨いて 3番目のシャツ夕時間/ Vの前景の成分、および図 2 5中の左から 1 2番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ Vの前景の成分は、 F 13/vとなる。図 2 5中のフレーム #n+ lの左から 1 0番目の画素の、シャツ夕が開いて最初のシャッタ時間/ Vの前景の成分は、 F 14/vとなり、図 2 5中の左から 1 1番目の画素の、シャツ夕が開いて 2番目のシャヅタ時間/ Vの前景の成分も、 F 14/v となる。図 2 5中の左から 1 2番目の画素の、シャツ夕が閧いて最初のシャヅ夕時間/ Vの前景の成分は、 F 15/vとなる。

背景に対応するォブジェク卜が静止しているので、図 2 5中のフレーム #n+ lの左から 9番目の画素の、シャツ夕が開いて 2番目乃至 4番目の、シャッ夕時間/ Vの背景の成分は、 B33/V となる。図 2 5中のフレーム #n+ lの左から 1 0番目の画素の、シャツ夕が開いて 3番目および 4番目のシャツ夕時間/ V の背景の成分は、 B34/v となる。図 2 5中のフレーム #n+ lの左から 1 1番目の画素の、シャツ夕が開いて 4番目のシャツ夕時間/ Vの背景の成分は、 B35/v となる。

図 2 5中のフレーム #n+ l において、左から 9番目の画素乃至 1 1番目の画素は、アンカバ一ドバックグラウンド領域である混合領域に属する。

図 2 5中のフレーム #n+ lの左から 1 2番目の画素は、前景領域に属する。フレーム #n+ l の前景領域における、シャヅタ時間/ V の前景の成分は、 F13/V 乃至 F16/vのいずれかである。

図 2 6は、図 2 5に示す画素値から前景の成分を抽出した画像のモデル図である。

図 1 0に戻り、領域特定部 1 0 3は、複数のフレームの画素値を用いて、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバ一ドバヅクグラウンド領域に属することを示すフラグを画素毎に対応付けて、領域情報として、混合比算出部 1 0 4および動きボケ調整部 1 0 6に供給する。

混合比算出部 1 0 4は、複数のフレームの画素値、および領域情報を基に、混合領域に含まれる画素について画素毎に混合比ひを算出し、算出した混合比ひを前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、複数のフレームの画素値、領域情報、および混合比ひを基に、前景の成分のみからなる前景成分画像を抽出して、動きポケ調整部 1 0 6に供給する。

動きボケ調整部 1 0 6は、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きベクトル、および領域特定部 1 0 3 から供給された領域情報を基に、前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を出力する。

図 2 7のフローチャートを参照して、信号処理部 1 2による動きボケの量の調整の処理を説明する。ステップ S 1 0 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラゥンド領域、またはアンカバ一ドバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定の処理の詳細は、図 3 6のフローチャートを参照して後述する。領域特定部 1 0 3は、生成した領域情報を混合比算出部 1 0 4に供給する。

なお、ステップ S 1 0 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、または混合領域（カバ一ドバックグラウンド領域、またはアンカバードバックグラウンド領域の区別をしない）のいずれかに属するかを示す領域情報を生成するようにしてもよい。この場合において、前景背景分離部 1 0 5および動きボケ調整部 1 0 6は、動きベクトルの方向を基に、混合領域がカバ一ドバックグラウンド領域であるか、またはァンカバ一ドバックグラウンド領域であるかを判定する。例えば、動きべクトルの方向に対応して、前景領域、混合領域、および背景領域と順に並んでいるとき、その混合領域は、カバードバックグラウンド領域と判定され、動きべクトルの方向に対応して、背景領域、混合領域、および前景領域と順に並んでいるとき、その混合領域は、アンカバードバックグラウンド領域と判定される。ステップ S 1 0 2において、混合比算出部 1 0 4は、入力画像および領域情報を基に、混合領域に含まれる画素毎に、混合比ひを算出する。混合比算出の処理の詳細は、図 4 6のフローチャートを参照して後述する。混合比算出部 1 0 4は、算出した混合比ひを前景背景分離部 1 0 5に供給する。

ステップ S 1 0 3において、前景背景分離部 1 0 5は、領域情報、および混合比ひを基に、入力画像から前景の成分を抽出して、前景成分画像として動きボケ調整部 1 0 6に供給する。

ステップ S 1 0 4において、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動き方向に並ぶ連続した画素であって、アンカバ一ドバックグラウンド領域、前景領域、およびカバ一ドバックグラウンド領域のいずれかに属するものの画像上の位置を示す処理単位を生成し、処理単位に対応する前景成分に含まれる動きボケの量を調整する。動きボケの量の調整の処理の詳細については、図 6 3のフローチャートを参照して後述する。ステップ S 1 0 5において、信号処理部 1 2は、画面全体について処理を終了したか否かを判定し、画面全体について処理を終了していないと判定された場合、ステップ S 1 0 4に進み、処理単位に対応する前景の成分を対象とした動きボケの量の調整の処理を繰り返す。

ステップ S 1 0 6において、画面全体について処理を終了したと判定された場合、処理は終了する。

このように、信号処理部 1 2は、前景と背景を分離して、前景に含まれる動きボケの量を調整することができる。すなわち、信号処理部 1 2は、前景の画素の画素値であるサンプルデータに含まれる動きボケの量を調整することができる。

以下、領域特定部 1 0 3、混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6のそれそれの構成の一例について説明する。

図 2 8は、領域特定部 1 0 3の構成の一例を示すプロック図である。フレームメモリ 1 2 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 1 2 1は、処理の対象がフレーム #nであるとき、フレーム #nの 2つ前のフレームであるフレーム #n-2、フレーム #n の 1 つ前のフレームであるフレーム #n- l、フレーム #n、フレーム #nの 1つ後のフレームであるフレーム #n+ l、およびフレーム #ιιの 2つ後のフレームであるフレーム #n+2を記憶する。

静動判定部 1 2 2— 1は、フレーム #_n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+2の画素の画素値、およびフレーム #n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素の画素値をフレームメモリ 1 2 1から読み出して、読み出した画素値の差の絶対値を算出する。静動判定部 1 2 2 — 1は、フレーム #n+2の画素値とフレ一ム#n+ l の画素値との差の絶対値が、予め設定している閾値 Th より大きいか否かを判定し、差の絶対値が閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 1 2 3— 1に供給する。フレーム #n+2 の画素の画素値とフレーム #n+ l の画素の画素値との差の絶対値が閾値 Th以下であると判定された場合、静動判定部 1 2 2 — 1は、静止を示す静動判定を領域判定部 1 2 3— 1に供給する。静動判定部 1 2 2 — 2は、フレ一ム#n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素の画素値、およびフレーム #n の対象となる画素の画素値をフレームメモリ 1 2 1から読み出して、画素値の差の絶対値を算出する。静動判定部 1 2 2 — 2は、フレーム #n+ l の画素値とフレーム #n の画素値との差の絶対値が、予め設定している閾値 Th より大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 1 2 3 — 1および領域判定部 1 2 3 — 2に供給する。フレーム #n+ lの画素の画素値とフレーム #nの画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 1 2 2 — 2は、静止を示す静動判定を領域判定部 1 2 3 — 1および領域判定部 1 2 3 - 2に供給する。

静動判定部 1 2 2 — 3は、フレーム #n の領域特定の対象である画素の画素値、およびフレーム #n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #η· 1 の画素の画素値をフレームメモリ 1 2 1から読み出して、画素値の差の絶対値を算出する。静動判定部 1 2 2 — 3は、フレーム #n の画素値とフレーム #n - l の画素値との差の絶対値が、予め設定している閾値 Th より大きいか否かを判定し、画素値の差の絶対値が、閾値 Th より大きいと判定された場合、動きを示す静動判定を領域判定部 1 2 3 — 2および領域判定部 1 2 3 — 3に供給する。フレーム #nの画素の画素値とフレーム #n- lの画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 1 2 2 — 3は、静止を示す静動判定を領域判定部 1 2 3 — 2および領域判定部 1 2 3 — 3に供給する。

静動判定部 1 2 2 — 4は、フレーム #n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n - l の画素の画素値、およびフレーム #n の領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n-2 の画素の画素値をフレームメモリ 1 2 1から読み出して、画素値の差の絶対値を算出する。静動判定部 1 2 2 — 4は、フレーム #η · 1 の画素値とフレ一ム# 2の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 1 2 3 — 3に供給する。フレーム #η· 1 の画素の画素値とフレーム #n-2の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 1 2 2 — 4は、静止を示す静動判定を領域判定部 1 2 3— 3に供給する。

領域判定部 1 2 3— 1は、静動判定部 1 2 2 — 1から供給された静動判定が静止を示し、かつ、静動判定部 1 2 2 — 2から供給された静動判定が動きを示しているとき、フレーム #n における領域特定の対象である画素がアンカバ一ドバックグラウンド領域に属すると判定し、領域の判定される画素に対応するァンカバ一ドバックグラウンド領域判定フラグに、アンカバ一ドバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 1 2 3— 1は、静動判定部 1 2 2 — 1から供給された静動判定が動きを示すか、または、静動判定部 1 2 2 — 2から供給された静動判定が静止を示しているとき、フレーム #n における領域特定の対象である画素がアンカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するアンカバ一ドバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 1 2 3— 1は、このように" 1 " または" 0 " が設定されたアンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給する。

領域判定部 1 2 3— 2は、静動判定部 1 2 2 — 2から供給された静動判定が静止を示し、かつ、静動判定部 1 2 2— 3から供給された静動判定が静止を示しているとき、フレーム #n における領域特定の対象である画素が静止領域に属すると判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す'' 1 " を設定する。

領域判定部 1 2 3— 2は、静動判定部 1 2 2 — 2から供給された静動判定が動きを示すか、または、静動判定部 1 2 2 — 3から供給された静動判定が動きを示しているとき、フレーム #n における領域特定の対象である画素が静止領域に属しないと判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属しないことを示す" 0 " を設定する。領域判定部 1 2 3— 2は、このように" 1 " または" 0 " が設定された静止領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給する。

領域判定部 1 2 3— 2は、静動判定部 1 2 2 — 2から供給された静動判定が動きを示し、かつ、静動判定部 1 2 2 — 3から供給された静動判定が動きを示しているとき、フレーム #n における領域特定の対象である画素が動き領域に属すると判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。

領域判定部 1 2 3— 2は、静動判定部 1 2 2 — 2から供給された静動判定が静止を示すか、または、静動判定部 1 2 2 — 3から供給された静動判定が静止を示しているとき、フレーム #n における領域特定の対象である画素が動き領域に属しないと判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属しないことを示す" 0 " を設定する。

領域判定部 1 2 3— 2は、このように" 1 " または" 0 " が設定された動き領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給する。

領域判定部 1 2 3— 3は、静動判定部 1 2 2 — 3から供給された静動判定が動きを示し、かつ、静動判定部 1 2 2 _ 4から供給された静動判定が静止を示しているとき、フレーム #n における領域特定の対象である画素がカバ一ドバックグラウンド領域に属すると判定し、領域の判定される画素に対応するカバ ―ドバックグラウンド領域判定フラグに、カバ一ドバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 1 2 3— 3は、静動判定部 1 2 2 — 3から供給された静動判定が静止を示すか、または、静動判定部 1 2 2 — 4から供給された静動判定が動きを示しているとき、フレーム #n における領域特定の対象である画素がカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 1 2 3 — 3は、このように" 1 " または" 0 " が設定されたカバ一ドバヅクグラウンド領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給する。判定フラグ格納フレームメモリ 1 2 4は、領域判定部 1 2 3 — 1 から供給されたアンカパ一ドバックグラウンド領域判定フラグ、領域判定部 1 2 3 — 2から供給された静止領域判定フラグ、領域判定部 1 2 3— 2から供給された動き領域判定フラグ、および領域判定部 1 2 3— 3から供給されたカバ一ドバックグラウンド領域判定フラグをそれそれ記憶する。

判定フラグ格納フレームメモリ 1 2 4は、記憶しているアンカバ一ドバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバ一ドバックグラウンド領域判定フラグを合成部 1 2 5に供給する。合成部 1 2 5は、判定フラグ格納フレームメモリ 1 2 4から供給された、ァンカバ ―ドバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバ一ドバックグラウンド領域判定フラグを基に、各画素が、ァンカバ一ドバックグラウンド領域、静止領域、動き領域、およびカバ一ドバックグラウンド領域のいずれかに属することを示す領域情報を生成し、判定フラグ格納フレームメモリ 1 2 6に供給する。

判定フラグ格納フレームメモリ 1 2 6は、合成部 1 2 5から供給された領域情報を記憶すると共に、記憶している領域情報を出力する。

次に、領域特定部 1 0 3の処理の例を図 2 9乃至図 3 3を参照して説明する < 前景に対応するオブジェクトが移動しているとき、オブジェクトに対応する画像の画面上の位置は、フレーム毎に変化する。図 2 9に示すように、フレーム# において、 Yn(x,y)で示される位置に位置するォブジェクトに対応する画像は、次のフレームであるフレーム #n+ l において、 Yn+ l (x,y)に位置する。前景のオブジェク卜に対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図を図 3 0に示す。例えば、前景のォブジェク卜に対応する画像の動き方向が画面に対して水平であるとき、図 3 0におけるモデル図は、 1 つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。

図 3 0において、フレーム #nにおけるラインは、フレーム #n+ l におけるラインと同一である。

フレーム #n において、左から 2番目の画素乃至 1 3番目の画素に含まれているオブジェクトに対応する前景の成分は、フレニム #n+ lにおいて、左から 6番目乃至 1 7番目の画素に含まれる。

フレーム #n において、カバ一ドバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバ一ドバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム #n+ l において、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバ一ドバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。

図 3 0に示す例において、フレーム #n に含まれる前景の成分が、フレーム #n+ lにおいて 4画素移動しているので、動き量 Vは、 4である。仮想分割数は、動き量 Vに対応し、 4である。

次に、注目しているフレームの前後における混合領域に属する画素の画素値の変化について説明する。

図 3 1に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #nにおいて、カバ一ドバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素である。動き量 Vが 4であるので、 1つ前のフレーム #n - l において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ前のフレーム #n-2 において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレーム #n - l の左から 1 5番目の画素の画素値は、フレーム #n-2 の左から 1 5番目の画素の画素値から変化しない。同様に、フレーム #n- l の左から 1 6番目の画素の画素値は、フレーム #η·2 の左から 1 6番目の画素の画素値から変化せず、フレ一ム# 1の左から 1 7番目の画素の画素値は、フレ一ム #ιι-2の左から 1 7 番目の画素の画素値から変化しない。

すなわち、フレ一ム#n における力バードバックグラウンド領域に属する画素に対応する、フレーム #η· 1およびフレーム #η· 2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従って、フレーム #nにおける混合領域に属する画素に対応する、フレーム #n - l およびフレーム #η·2 の画素に対する静動判定は、静動判定部 1 2 2— 4により、静止と判定される。

フレーム #η におけるカバ一ドバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #η- 1 における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #η における混合領域に属する画素、および対応するフレーム #η- 1 の画素に対する静動判定は、静動判定部 1 2 2 — 3 により、動きと判定される。

このように、領域判定部 1 2 3— 3は、静動判定部 1 2 2 — 3から動きを示す静動判定の結果が供給され、静動判定部 1 2 2 — 4から静止を示す静動判定の結果が供給されたとき、対応する画素がカバードバックグラウンド領域に属すると判定する。

図 3 2に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #ηにおいて、アンカバードバックグラウンド領域に含まれる画素は、左から 2番目乃至 4番目の画素である。動き量 Vが 4であるので、 1つ後のフレーム #η+ 1において、左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ後のフレーム #η+2において、左から 2番目乃至 4 番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレーム #η+2 の左から 2番目の画素の画素値は、フレーム #η+ 1の左から 2番目の画素の画素値から変化しない。同様に、フレーム #η+2の左から 3番目の画素の画素値は、フレーム #η+ 1 の左から 3番目の画素の画素値から変化せず、フレーム #η+2の左から 4番目の画素の画素値は、フレーム #η+ 1の左から 4番目の画素の画素値から変化しない。

すなわち、フレーム #η におけるアンカバ一ドバヅクグラウンド領域に属する画素に対応する、フレーム #η+ 1およびフレーム #η+2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従って、フレーム #η における混合領域に属する画素に対応する、フレーム #ιι+ 1およびフレーム #η+2の画素に対する静動判定は、静動判定部 1 2 2— 1により、静止と判定される。フレーム #n におけるアンカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #n+ l における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #n における混合領域に属する画素、および対応するフレーム #n+ lの画素に対する静動判定は、静動判定部 1 2 2 — 2により、動きと判定される。

このように、領域判定部 1 2 3 — 1は、静動判定部 1 2 2 — 2から動きを示す静動判定の結果が供給され、静動判定部 1 2 2 — 1から静止を示す静動判定の結果が供給されたとき、対応する画素がアンカバードバックグラウンド領域に属すると判定する。

図 3 3は、フレーム #n における領域特定部 1 0 3の判定条件を示す図である。フレーム #n の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n -2の画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- lの画素とが静止と判定され、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- l の画素と、フレーム #n の画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #n の判定の対象となる画素がカバードバックグラウンド領域に属すると判定する。

フレーム #n の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η· 1 の画素と、フレーム #η の画素とが静止と判定され、フレーム #η の画素と、フレーム #η の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η+ 1の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム #ηの判定の対象となる画素が静止領域に属すると判定する。

フレーム #η の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η· 1 の画素と、フレーム #η の画素とが動きと判定され、フレーム #η の画素と、フレーム #η の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η+ 1 の画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #ηの判定の対象となる画素が動き領域に属すると判定する。

フレーム #ηの画素と、フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η+ 1の画素とが動きと判定され、フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素と、フレーム #n の判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+2の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム #n の判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する。

図 3 4は、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 3 4 Aにおいて、カバ一ドバックグラウンド領域に属すると判定された画素は、白で表示されている。図 3 4 Bにおいて、アンカバードバックグラウンド領域に属すると判定された画素は、白で表示されている。

図 3 4 Cにおいて、動き領域に属すると判定された画素は、白で表示されている。図 3 4 Dにおいて、静止領域に属すると判定された画素は、白で表示されている。

図 3 5は、判定フラグ格納フレームメモリ 1 2 6が出力する領域情報の内、混合領域を示す領域情報を画像として示す図である。図 3 5において、カバ一ドバックグラウンド領域またはアンカバ一ドバヅクグラウンド領域に属すると判定された画素、すなわち混合領域に属すると判定された画素は、白で表示されている。判定フラグ格納フレームメモリ 1 2 6が出力する混合領域を示す領域情報は、混合領域、および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る部分を示す。

次に、図 3 6のフローチャートを参照して、領域特定部 1 0 3の領域特定の処理を説明する。ステップ S 1 2 1において、フレームメモリ 1 2 1は、判定の対象となるフレーム #n を含むフレーム #n-2 乃至フレーム #n+2 の画像を取得する。

ステップ S 1 2 2において、静動判定部 1 2 2 — 3は、フレーム #n- l の画素とフレーム #n の同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 1 2 3に進み、静動判定部 1 2 2 — 2は、フレーム #n の画素とフレーム #n+ lの同一位置の画素とで、静止か否かを判定する。

ステップ S 1 2 3において、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、静止と判定された場合、ステップ S 1 2 4に進み、領域判定部 1 2 3 — 2は、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。領域判定部 1 2 3 — 2は、静止領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給し、手続きは、ステヅプ S 1 2 5に進む。

ステップ S 1 2 2において、フレーム #n- lの画素とフレーム #nの同一位置の画素とで、動きと判定された場合、または、ステップ S 1 2 3において、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、動きと判定された場合、フレーム #n の画素が静止領域には属さないので、ステップ S 1 2 4の処理はスキップされ、手続きは、ステップ S 1 2 5に進む。

ステップ S 1 2 5において、静動判定部 1 2 2 — 3は、フレーム #n- l の画素とフレーム #n の同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 1 2 6に進み、静動判定部 1 2 2 — 2は、フレーム #n の画素とフレーム #n+ lの同一位置の画素とで、動きか否かを判定する。

ステップ S 1 2 6において、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、動きと判定された場合、ステップ S 1 2 7に進み、領域判定部 1 2 3— 2は、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。領域判定部 1 2 3— 2は、動き領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給し、手続きは、ステヅブ S 1 2 8に進む。

ステップ S 1 2 5において、フレーム #n- lの画素とフレーム #nの同一位置の画素とで、静止と判定された場合、または、ステップ S 1 2 6において、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、静止と判定された場合、フレーム #n の画素が動き領域には属さないので、ステップ S 1 2 7の処理はスキップされ、手続きは、ステヅブ S 1 2 8に進む。

ステップ S 1 2 8において、静動判定部 1 2 2 — 4は、フレーム #η·2 の画素とフレーム #n- l の同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 1 2 9に進み、静動判定部 1 2 2— 3は、フレーム #n- l の画素とフレーム #nの同一位置の画素とで、動きか否かを判定する。

ステップ S 1 2 9において、フレーム #n- lの画素とフレーム #nの同一位置の画素とで、動きと判定された場合、ステップ S 1 3 0に進み、領域判定部 1 2 3 - 3は、領域の判定される画素に対応するカバ一ドバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 1 2 3 — 3は、カバ一ドバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給し、手続きは、ステップ S 1 3 1 に進む。

ステップ S 1 2 8において、フレーム #η·2の画素とフレーム #η- 1の同一位置の画素とで、動きと判定された場合、または、ステップ S 1 2 9において、フレーム #η- 1の画素とフレーム #ηの同一位置の画素とで、静止と判定された場合、フレ一ム#nの画素がカバードバックグラウンド領域には属さないので、ステップ S 1 3 0の処理はスキヅプされ、手続きは、ステヅブ S 1 3 1 に進む。ステップ S 1 3 1 において、静動判定部 1 2 2 — 2は、フレーム #η の画素とフレーム #η+ 1 の同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 1 3 2に進み、静動判定部 1 2 2— 1は、フレーム #η+ 1 の画素とフレーム #η+2の同一位置の画素とで、静止か否かを判定する。

ステップ S 1 3 2において、フレーム #η+ 1の画素とフレーム #η+2の同一位置の画素とで、静止と判定された場合、ステップ S 1 3 3に進み、領域判定部 1 2 3 - 1は、領域の判定される画素に対応するアンカバ一ドバックグラウンド領域判定フラグに、アンカバ一ドバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 1 2 3— 1は、アンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 1 2 4に供給し、手続きは、ステップ S 1 3 4に進む。

ステップ S 1 3 1 において、フレーム #ηの画素とフレーム #η+ 1の同一位置の画素とで、静止と判定された場合、または、ステップ S 1 3 2において、フレーム #η+ 1の画素とフレーム #η+2の同一位置の画素とで、動きと判定された場合、フレーム #η の画素がアンカバ一ドバヅクグラウンド領域には属さないので、ステップ S 1 3 3の処理はスキヅブされ、手続きは、ステップ S 1 3 4 に進む。

ステップ S 1 3 4において、領域特定部 1 0 3は、フレーム #η の全ての画素について領域を特定したか否かを判定し、フレーム #n の全ての画素について領域を特定していないと判定された場合、手続きは、ステップ S 1 2 2に戻り、他の画素について、領域特定の処理を繰り返す。

ステップ S 1 3 4において、フレーム #n の全ての画素について領域を特定したと判定された場合、ステップ S 1 3 5に進み、合成部 1 2 5は、判定フラグ格納フレームメモリ 1 2 4に記憶されているアンカバードバックグラウンド領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、混合領域を示す領域情報を生成し、更に、各画素が、アンカバ一ドバックグラゥンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を判定フラグ格納フレームメモリ 1 2 6に設定し、処理は終了する。

このように、領域特定部 1 0 3は、フレームに含まれている画素のそれそれについて、動き領域、静止領域、アンカバ一ドバックグラウンド領域、またはカバードバックグラウンド領域に属することを示す領域情報を生成することができる。

なお、領域特定部 1 0 3は、アンカバードバックグラウンド領域およびカバ一ドバックグラウンド領域に対応する領域情報に論理和を適用することにより、混合領域に対応する領域情報を生成して、フレームに含まれている画素のそれそれについて、動き領域、静止領域、または混合領域に属することを示すフラグから成る領域情報を生成するようにしてもよい。

前景に対応するオブジェクトがテクスチャを有す場合、領域特定部 1 0 3は、より正確に動き領域を特定することができる。

領域特定部 1 0 3は、動き領域を示す領域情報を前景領域を示す領域情報として、また、静止領域を示す領域情報を背景領域を示す領域情報として出力することができる。

なお、背景に対応するォブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した領域を特定する処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、領域特定部 1 0 3は、この動きに対応して画像全体をシフ卜させ、背景に対応するオブジェク卜が静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、領域特定部 1 0 3は、動きに対応した画素を選択して、上述の処理を実行する。

図 3 7は、混合比算出部 1 0 4の構成の一例を示すプロック図である。推定混合比処理部 2 0 1は、入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 2 0 3に供給する。

推定混合比処理部 2 0 2は、入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 2 0 3に供給する。

前景に対応するオブジェクトがシャツタ時間内に等速で動いていると仮定できるので、混合領域に属する画素の混合比ひは、以下の性質を有する。すなわち、混合比ひは、画素の位置の変化に対応して、直線的に変化する。画素の位置の変化を 1次元とすれば、混合比ひの変化は、直線で表現することができ、画素の位置の変化を 2次元とすれば、混合比ひの変化は、平面で表現することができる。

なお、 1フレームの期間は短いので、前景に対応するォブジェクトが剛体であり、等速で移動していると仮定が成り立つ。

この場合、混合比ひの傾きは、前景のシャツ夕時間内での動き量 Vの逆比となる。

理想的な混合比ひの例を図 3 8に示す。理想的な混合比ひの混合領域における傾き 1は、動き量 Vの逆数として表すことができる。

図 3 8に示すように、理想的な混合比ひは、背景領域において、 1の値を有し、前景領域において、 0の値を有し、混合領域において、 0を越え 1未満の値を有する。

図 3 9の例において、フレーム #nの左から 7番目の画素の画素値 C06は、フレーム #n- lの左から 7番目の画素の画素値 P06を用いて、式（ 1 4 ) で表すことができる。 C06 = B06/v + B06/v + F01/v + F02/v

= P06/v + P06/v + FOl/v + F02/v

= 2/vP06+∑Fi/v (14) 式（ 1 4 ) において、画素値 C06を混合領域の画素の画素値 Mと、画素値 P06 を背景領域の画素の画素値 B と表現する。すなわち、混合領域の画素の画素値 Mおよび背景領域の画素の画素値 Bは、それそれ、式（ 1 5 ) および式（ 1 6 ) のように表現することができる。

M=C06 ( 1 5 )

B=P06 ( 1 6 )

式（ 1 4 ) 中の 2/vは、混合比ひに対応する。動き量 Vが 4なので、フレーム#nの左から 7番目の画素の混合比ひは、 0.5となる。

以上のように、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレーム #nの前のフレーム #n-lの画素値 Pを背景領域の画素値と見なすことで、混合比ひを示す式（ 1 3 ) は、式（ 1 7 ) のように書き換えられる。

C= . P+f ( 1 7 )

式（ 1 7 ) の f は、注目している画素に含まれる前景の成分の和 Σ ί/ν である。式（ 1 7 ) に含まれる変数は、混合比ひおよび前景の成分の和 fの 2つである。

同様に、アンカバ一ドバックグラウンド領域における、動き量 Vが 4であり、時間方向の仮想分割数が 4である、画素値を時間方向に展開したモデルを図 4 0に示す。

ァンカバ一ドバックグラウンド領域におい、上述したカバードバックグラゥンド領域における表現と同様に、注目しているフレーム #ηの画素値 Cを混合領域の画素値と見なし、フレーム #ηの後のフレーム #η+1 の画素値 Ν を背景領域の画素値と見なすことで、混合比ひを示す式（ 1 3 ) は、式（ 1 8 ) のように表現することができる。

C= . N+f ( 1 8 ) なお、背景のォブジェク卜が静止しているとして説明したが、背景のォブジェク卜が動いている場合においても、背景の動き量 Vに対応させた位置の画素の画素値を利用することにより、式（ 1 4 ) 乃至式（ 1 8) を適用することができる。例えば、図 3 9において、背景に対応するォブジェク卜の動き量 V が 2であり、仮想分割数が 2であるとき、背景に対応するォブジェクトが図中の右側に動いているとき、式（ 1 6 ) における背景領域の画素の画素値 Bは、画素値 P04とされる。

式（ 1 7 ) および式（ 1 8 ) は、それそれ 2つの変数を含むので、そのままでは混合比ひを求めることができない。ここで、画像は一般的に空間的に相関が強いので近接する画素同士でほぼ同じ画素値となる。

そこで、前景成分は、空間的に相関が強いので、前景の成分の和 f を前または後のフレームから導き出せるように式を変形して、混合比ひを求める。図 4 1のフレーム #nの左から 7番目の画素の画素値 Mcは、式（ 1 9 ) で表すことができる。

Mc = ·Β06 +∑Fi/v (19)

▼ i = ll

式（ 1 9 ) の右辺第 1項の 2/vは、混合比ひに相当する。式（ 1 9 ) の右辺第 2項は、後のフレーム #n+lの画素値を利用して、式（2 0 ) のように表すこととする。

12 10

∑Fi/v = i3-∑Fi/v (20)

i = ll i:

ここで、前景の成分の空間相関を利用して、式（ 2 1 ) が成立するとする。

F=F05=F06=F07=F08=F09=F10=F11=F12 ( 2 1 ) 式（ 2 0 ) は、式（ 2 1 ) を利用して、式（ 2 2 ) のように置き換えることができる。 12

∑Fi/v = -^-.F

i=ii V

= β ^ ¥ (²²) 結果として、は、式（ 2 3 ) で表すことができる。

/3=2/4 ( 2 3 )

一般的に、式（ 2 1 ) に示すように混合領域に関係する前景の成分が等しいと仮定すると、混合領域の全ての画素について、内分比の関係から式（ 2 4 ) が成立する。

β=1· ( 2 4 )

式（ 2 4 ) が成立するとすれば、式（ 1 7 ) は、式（ 2 5 ) に示すように展閧することができる。

= ·Ρ+(1- )·Ν <²⁵>

同様に、式（ 2 4 ) が成立するとすれば、式（ 1 8 ) は、式（ 2 6 ) に示すように展開することができる。

C = -N+f

r+v-i

= Of-N+(l- ¾)-∑Fi/v

= α·Ν+(1-α)·ρ (26)

式（ 2 5 ) および式（ 2 6 ) において、 C， N、および Pは、既知の画素値なので、式（ 2 5 )および式（ 2 6 ) に含まれる変数は、混合比ひのみである。式（ 2 5 ) および式（ 2 6 ) における、 C, N、および Pの関係を図 4 2に示す。 C は、混合比ひを算出する、フレーム #nの注目している画素の画素値である。 N は、注目している画素と空間方向の位置が対応する、フレーム #n+l の画素の画素値である。 Pは、注目している画素と空間方向の位置が対応する、フレーム #n-lの画素の画素値である。

従って、式（ 2 5) および式（ 2 6 ) のそれそれに 1つの変数が含まれることとなるので、 3つのフレームの画素の画素値を利用して、混合比ひを算出することができる。式（ 2 5 ) および式（ 2 6 ) を解くことにより、正しい混合比ひが算出されるための条件は、混合領域に関係する前景の成分が等しい、すなわち、前景のオブジェクトが静止しているとき撮像された前景の画像ォブジェク卜において、前景のオブジェクトの動きの方向に対応する、画像オブジェク卜の境界に位置する画素であって、動き量 Vの 2倍の数の連続している画素の画素値が、一定であることである。

以上のように、カバードバックグラウンド領域に属する画素の混合比ひは、式（ 2 7 ) により算出され、アンカバ一ドパックグラウンド領域に属する画素の混合比ひは、式（ 2 8 ) により算出される。

a=(C-N)/(P-N) ( 2 7 )

ひ =(C-P)/(N-P) ( 2 8 )

図 4 3は、推定混合比処理部 2 0 1の構成を示すプロック図である。フレームメモリ 2 2 1は、入力された画像をフレーム単位で記憶し、入力画像として入力されているフレームから 1つ後のフレームをフレームメモリ 2 2 2および混合比演算部 2 2 3に供給する。

フレームメモリ 2 2 2は、入力された画像をフレーム単位で記憶し、フレームメモリ 2 2 1から供給されているフレームから 1つ後のフレームを混合比演算部 2 2 3に供給する。

従って、入力画像としてフレーム #n+l が混合比演算部 2 2 3に入力されているとき、フレームメモリ 2 2 1は、フレーム #n を混合比演算部 2 2 3に供給し、フレームメモリ 2 2 2は、フレーム #n-l を混合比演算部 2 2 3に供給する。

混合比演算部 2 2 3は、式（ 2 7 ) に示す演算により、フレーム #n の注目している画素の画素値 C、注目している画素と空間的位置が対応する、フレームの画素の画素値 N、および注目している画素と空間的位置が対応する、フレーム #n- lの画素の画素値 Pを基に、注目している画素の推定混合比を算出して、算出した推定混合比を出力する。例えば、背景が静止しているとき、混合比演算部 2 2 3は、フレーム #n の注目している画素の画素値 C、注目している画素とフレーム内の位置が同じ、フレーム #n+ lの画素の画素値 N、および注目している画素とフレーム内の位置が同じ、フレーム #η· 1 の画素の画素値 P を基に、注目している画素の推定混合比を算出して、算出した推定混合比を出力する。

このように、推定混合比処理部 2 0 1は、入力画像を基に、推定混合比を算出して、混合比決定部 2 0 3に供給することができる。

なお、推定混合比処理部 2 0 2は、推定混合比処理部 2 0 1が式（ 2 7 ) に示す演算により、注目している画素の推定混合比を算出するのに対して、式（ 2 8 ) に示す演算により、注目している画素の推定混合比を算出する部分が異なることを除き、推定混合比処理部 2 0 1 と同様なので、その説明は省略する。図 4 4は、推定混合比処理部 2 0 1により算出された推定混合比の例を示す図である。図 4 4に示す推定混合比は、等速で動いているオブジェクトに対応する前景の動き量 Vが 1 1である場合の結果を、 1ラインに対して示すものである。

推定混合比は、混合領域において、図 3 8に示すように、ほぼ直線的に変化していることがわかる。

図 3 7に戻り、混合比決定部 2 0 3は、領域特定部 1 0 3から供給された、混合比ひの算出の対象となる画素が、前景領域、背景領域、カバードパックグラウンド領域、またはアンカバ一ドバックグラウンド領域のいずれかに属するかを示す領域情報を基に、混合比ひを設定する。混合比決定部 2 0 3は、対象となる画素が前景領域に属する場合、 0を混合比ひに設定し、対象となる画素が背景領域に属する場合、 1を混合比 αに設定し、対象となる画素がカバ一ドバックグラウンド領域に属する場合、推定混合比処理部 2 0 1から供給された推定混合比を混合比ひに設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 2 0 2から供給された推定混合比を混合比ひに設定する。混合比決定部 2 0 3は、領域情報を基に設定した混合比ひを出力する。

図 4 5は、混合比算出部 1 0 4の他の構成を示すプロック図である。選択部 2 3 1は、領域特定部 1 0 3から供給された領域情報を基に、カバードバックグラウンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 2 3 2に供給する。選択部 2 3 1は、領域特定部 1 0 3から供給された領域情報を基に、アンカバ一ドバックグラウンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 2 3 3に供給する。

推定混合比処理部 2 3 2は、選択部 2 3 1から入力された画素値を基に、式

( 2 7 ) に示す演算により、カバ一ドバヅクグラウンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 2 3 4に供給する。

推定混合比処理部 2 3 3は、選択部 2 3 1から入力された画素値を基に、式

( 2 8 ) に示す演算により、アンカバードバックグラウンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 2 3 4 に供給する。

選択部 2 3 4は、領域特定部 1 0 3から供給された領域情報を基に、対象となる画素が前景領域に属する場合、 0である推定混合比を選択して、混合比ひに設定し、対象となる画素が背景領域に属する場合、 1である推定混合比を選択して、混合比ひに設定する。選択部 2 3 4は、対象となる画素がカバ一ドバックグラウンド領域に属する場合、推定混合比処理部 2 3 2から供給された推定混合比を選択して混合比ひに設定し、対象となる画素がアンカバードバヅクグラウンド領域に属する場合、推定混合比処理部 2 3 3から供給された推定混合比を選択して混合比ひに設定する。選択部 2 3 4は、領域情報を基に選択して設定した混合比ひを出力する。

このように、図 4 5に示す他の構成を有する混合比算出部 1 0 4は、画像の含まれる画素毎に混合比ひを算出して、算出した混合比ひを出力することができる。

図 4 6のフローチャートを参照して、図 3 7に構成を示す混合比算出部 1 0 4の混合比ひの算出の処理を説明する。ステップ S 1 5 1 において、混合比算出部 1 0 4は、領域特定部 1 0 3から供給された領域情報を取得する。ステツプ S 1 5 2において、推定混合比処理部 2 0 1 は、カバ一ドバックグラウンド領域に対応するモデルにより推定混合比の演算の処理を実行し、算出した推定混合比を混合比決定部 2 0 3に供給する。混合比推定の演算の処理の詳細は、図 4 7のフローチャートを参照して、後述する。

ステップ S 1 5 3において、推定混合比処理部 2 0 2は、アンカバ一ドバヅクグラウンド領域に対応するモデルにより推定混合比の演算の処理を実行し、算出した推定混合比を混合比決定部 2 0 3に供給する。

ステップ S 1 5 4において、混合比算出部 1 0 4は、フレーム全体について、混合比ひを推定したか否かを判定し、フレーム全体について、混合比ひを推定していないと判定された場合、ステップ S 1 5 2に戻り、次の画素について混合比ひを推定する処理を実行する。

ステップ S 1 5 4において、フレーム全体について、混合比ひを推定したと判定された場合、ステップ S 1 5 5に進み、混合比決定部 2 0 3は、画素が、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す、領域特定部 1 0 3から供給された領域情報を基に、混合比ひを設定する。混合比決定部 2 0 3は、対象となる画素が前景領域に属する場合、 0を混合比ひに設定し、対象となる画素が背景領域に属する場合、 1 を混合比ひに設定し、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 2 0 1 から供給された推定混合比を混合比ひに設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 2 0 2から供給された推定混合比を混合比ひに設定し、処理は終了する。

このように、混合比算出部 1 0 4は、領域特定部 1 0 3から供給された領域情報、および入力画像を基に、各画素に対応する特徴量である混合比ひを算出することができる。

図 4 5に構成を示す混合比算出部 1 0 4の混合比ひの算出の処理は、図 4 6 のフローチヤ一トで説明した処理と同様なので、その説明は省略する。次に、図 4 6のステップ S 1 5 2に対応する、カバ一ドバックグラウンド領域に対応するモデルによる混合比推定の処理を図 4 7のフローチャートを参照して説明する。

ステップ S 1 7 1 において、混合比演算部 2 2 3は、フレームメモリ 2 2 1 から、フレーム #nの注目画素の画素値 Cを取得する。

ステップ S 1 7 2 において、混合比演算部 2 2 3は、フレームメモリ 2 2 2 から、注目画素に対応する、フレーム #n- lの画素の画素値 Pを取得する。ステップ S 1 7 3において、混合比演算部 2 2 3は、入力画像に含まれる注目画素に対応する、フレーム #n+ lの画素の画素値 Nを取得する。

ステップ S 1 7 4において、混合比演算部 2 2 3は、フレーム #n の注目画素の画素値 C、フレーム #n- lの画素の画素値 P、およびフレーム #n+ lの画素の画素値 Nを基に、推定混合比を演算する。

ステヅプ S 1 7 5において、混合比演算部 2 2 3は、フレーム全体について、推定混合比を演算する処理を終了したか否かを判定し、フレーム全体について、推定混合比を演算する処理を終了していないと判定された場合、ステップ S 1 7 1 に戻り、次の画素について推定混合比を算出する処理を繰り返す。

ステップ S 1 7 5において、フレーム全体について、推定混合比を演算する処理を終了したと判定された場合、処理は終了する。

このように、推定混合比処理部 2 0 1は、入力画像を基に、推定混合比を演算することができる。

図 4 6のステップ S 1 5 3におけるアンカバ一ドバヅクグラウンド領域に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する式を利用した、図 4 7のフローチャートに示す処理と同様なので、その説明は省略する。

なお、図 4 5に示す推定混合比処理部 2 3 2および推定混合比処理部 2 3 3 は、図 4 7に示すフローチャートと同様の処理を実行して推定混合比を演算するので、その説明は省略する。

また、背景に対応するォブジェク卜が静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した混合比ひを求める処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、推定混合比処理部 2 0 1は、背景の動きに対応して画像全体をシフトさせ、背景に対応するオブジェクトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる背景の動きを含んでいるとき、推定混合比処理部 2 0 1は、混合領域に属する画素に対応する画素として、背景の動きに対応した画素を選択して、上述の処理を実行する。

なお、図 3 7または図 4 5に示す混合比算出部 1 0 4の構成は、一例である。また、混合比算出部 1 0 4は、全ての画素について、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理のみを実行して、算出された推定混合比を混合比ひとして出力するようにしてもよい。この場合において、混合比ひは、カバ一ドバヅクグラウンド領域に属する画素について、背景の成分の割合を示し、アンカバードバックグラウンド領域に属する画素について、前景の成分の割合を示す。アンカバ一ドバックグラウンド領域に属する画素について、このように算出された混合比ひと 1 との差分の絶対値を算出して、算出した絶対値を混合比ひに設定すれば、信号処理部 1 2は、アンカバードバックグラウンド領域に属する画素について、背景の成分の割合を示す混合比ひを求めることができる。

なお、同様に、混合比算出部 1 0 4は、全ての画素について、アンカバ一ドバックグラウンド領域に対応するモデルによる混合比推定の処理のみを実行して、算出された推定混合比を混合比ひとして出力するようにしてもよい。次に、前景背景分離部 1 0 5について説明する。図 4 8は、前景背景分離部 1 0 5の構成の一例を示すプロック図である。前景背景分離部 1 0 5に供給された入力画像は、分離部 2 5 1、スィッチ 2 5 2、およびスイッチ 2 5 4に供給される。力パードバックグラウンド領域を示す情報、およびアンカバードバックグラウンド領域を示す、領域特定部 1 0 3から供給された領域情報は、分離部 2 5 1に供給される。前景領域を示す領域情報は、スィッチ 2 5 2に供給される。背景領域を示す領域情報は、スィッチ 2 5 4に供給される。

混合比算出部 1 0 4から供給された混合比ひは、分離部 2 5 1に供給される _c 分離部 2 5 1は、カバ一ドバックグラウンド領域を示す領域情報、アンカバ一ドバックグラウンド領域を示す領域情報、および混合比ひを基に、入力画像から前景の成分を分離して、分離した前景の成分を合成部 2 5 3に供給するとともに、入力画像から背景の成分を分離して、分離した背景の成分を合成部 2 5 5に供給する。

スィッチ 2 5 2は、前景領域を示す領域情報を基に、前景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる前景に対応する画素のみを合成部 2 5 3に供給する。

スィッチ 2 5 4·は、背景領域を示す領域情報を基に、背景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる背景に対応する画素のみを合成部 2 5 5に供給する。

合成部 2 5 3は、分離部 2 5 1から供給された前景に対応する成分、スイツチ 2 5 2から供給された前景に対応する画素を基に、前景成分画像を合成し、合成した前景成分画像を出力する。前景領域と混合領域とは重複しないので、合成部 2 5 3は、例えば、前景に対応する成分と、前景に対応する画素とに論理和の演算を適用して、前景成分画像を合成する。

合成部 2 5 3は、前景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、前景成分画像の合成の処理において、前景成分画像を格納（上書き）する。従って、合成部 2 5 3が出力する前景成分画像の内、背景領域に対応する画素には、画素値として 0が格納されている。

合成部 2 5 5は、分離部 2 5 1から供給された背景に対応する成分、スイツチ 2 5 4から供給された背景に対応する画素を基に、背景成分画像を合成して、合成した背景成分画像を出力する。背景領域と混合領域とは重複しないので、合成部 2 5 5は、例えば、背景に対応する成分と、背景に対応する画素とに論理和の演算を適用して、背景成分画像を合成する。

合成部 2 5 5は、背景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、背景成分画像の合成の処理において、背景成分画像を格納（上書き）する。従って、合成部 2 5 5が出力する背景成分画像の内、前景領域に対応する画素には、画素値として 0が格納されている。

図 4 9は、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図である。図 4 9 Aは、表示される画像の模式図であり、図 4 9 Bは、図 4 9 Aに対応する前景領域に属する画素、背景領域に属する画素、および混合領域に属する画素を含む 1ラインの画素を時間方向に展鬨したモデル図を示す。

図 4 9 Aおよび図 4 9 Bに示すように、前景背景分離部 1 0 5から出力される背景成分画像は、背景領域に属する画素、および混合領域の画素に含まれる背景の成分から構成される。

図 4 9 Aおよび図 4 9 Bに示すように、前景背景分離部 1 0 5から出力される前景成分画像は、前景領域に属する画素、および混合領域の画素に含まれる前景の成分から構成される。

混合領域の画素の画素値は、前景背景分離部 1 0 5により、背景の成分と、前景の成分とに分離される。分離された背景の成分は、背景領域に属する画素と共に、背景成分画像を構成する。分離された前景の成分は、前景領域に属する画素と共に、前景成分画像を構成する。

このように、前景成分画像は、背景領域に対応する画素の画素値が 0とされ、前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。同様に、背景成分画像は、前景領域に対応する画素の画素値が 0とされ、背景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。

次に、分離部 2 5 1が実行する、混合領域に属する画素から前景の成分、および背景の成分を分離する処理について説明する。

図 5 0は、図中の左から右に移動するオブジェクトに対応する前景を含む、 2つのフレームの前景の成分および背景の成分を示す画像のモデルである。図 5 0に示す画像のモデルにおいて、前景の動き量 Vは 4であり、仮想分割数は、 4とされている。

フレーム #n において、最も左の画素、および左から 1 4番目乃至 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #n において、左から 2番目乃至 4番目の画素は、背景の成分および前景の成分を含み、アンカバ一ドバックグラウンド領域に属する。フレーム #n において、左から 1 1番目乃至 1 3番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #n において、左から 5番目乃至 1 0番目の画素は、前景の成分のみから成り、前景領域に属する。

フレーム #n+lにおいて、左から 1番目乃至 5番目の画素、および左から 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #n+l において、左から 6番目乃至 8番目の画素は、背景の成分および前景の成分を含み、アンカバ一ドバックグラウンド領域に属する。フレーム #n+lにおいて、左から 1 5番目乃至 1 7番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #n+l において、左から 9 番目乃至 1 4番目の画素は、前景の成分のみから成り、前景領域に属する。図 5 1は、カバ一ドバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 5 1において、ひ 1乃至ひ 1 8は、フレーム#n における画素のそれそれに対応する混合比である。図 5 1において、左から 1 5番目乃至 1 7番目の画素は、カバードバックグラウンド領域に属する ₍ フレーム #nの左から 1 5番目の画素の画素値 C15は、式（ 2 9 ) で表される。

C15=B15/v+F09/v+F08/v+F07/v

=ひ 15 · B15+F09/v+F08/v+F07/v

=a 15-P15+F09/v+F08/v+F07/v ( 2 9 ) ここで、ひ 15は、フレーム #ηの左から 1 5番目の画素の混合比である。 P15 は、フレーム #η·1の左から 1 5番目の画素の画素値である。

式（ 2 9 ) を基に、フレーム #η の左から 1 5番目の画素の前景の成分の和 fl5は、式（ 3 0 ) で表される。

fl5=F09/v+F08/v+F07/v

=C15-ひ 15-P15 ( 3 0 )

同様に、フレーム #nの左から 1 6番目の画素の前景の成分の和 Π6は、式 ( 3 1 )で表され、フレーム #nの左から 1 7番目の画素の前景の成分の和 fl7 は、式（ 3 2 ) で表される。

fl6=Cl6-a 16-P16 ( 3 1 )

fl7=C17-ひ 17·Ρ17 (3 2 )

このように、カバ一ドバックグラウンド領域に属する画素の画素値 C に含まれる前景の成分 fcは、式（ 3 3 ) で計算される。

fc=C-a ·Ρ ( 3 3 )

Ρは、 1つ前のフレームの、対応する画素の画素値である。

図 5 2は、アンカバ一ドバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 5 2において、ひ 1乃至ひ 1 8は、フレーム #ηにおける画素のそれそれに対応する混合比である。図 5 2において、左から 2番目乃至 4番目の画素は、アンカバードバックグラウンド領域に属する。

フレーム #ηの左から 2番目の画素の画素値 C02は、式（ 34)で表される。

C02=B02/v+B02/v+B02/v+F01/v

= «2-B02+F01/v

=ひ 2-N02+F01/V ( 3 4 ) ここで、ひ 2は、フレーム #nの左から 2番目の画素の混合比である。 N02は、フレーム #n+lの左から 2番目の画素の画素値である。

式（ 3 4 ) を基に、フレーム #nの左から 2番目の画素の前景の成分の和 f02 は、式（ 3 5) で表される。

f02=F01/v

=C02-ひ 2·Ν02 ( 3 5 ) 同様に、フレーム #ηの左から 3番目の画素の前景の成分の和 f03は、式（ 3 6 ) で表され、フレーム #nの左から 4番目の画素の前景の成分の和 f04は、式（ 3 7 ) で表される。

f03=C03-a3-N03 ( 3 6 )

f04=C04-ひ 4·Ν04 ( 3 7 )

このように、アンカバードバックグラウンド領域に属する画素の画素値 C に含まれる前景の成分 fuは、式（ 3 8 ) で計算される。 fu=C-ひ · Ν ( 3 8 )

Nは、 1つ後のフレームの、対応する画素の画素値である。

このように、分離部 2 5 1は、領域情報に含まれる、カバ一ドバックグラウンド領域を示す情報、およびアンカバードバックグラウンド領域を示す情報、並びに画素毎の混合比ひを基に、混合領域に属する画素から前景の成分、および背景の成分を分離することができる。

図 5 3は、以上で説明した処理を実行する分離部 2 5 1の構成の一例を示すブロック図である。分離部 2 5 1 に入力された画像は、フレームメモリ 3 0 1 に供給され、混合比算出部 1 0 4から供給されたカバ一ドバックグラウンド領域およびアンカバ一ドバックグラウンド領域を示す領域情報、並びに混合比ひは、分離処理ブロック 3 0 2に入力される。

フレームメモリ 3 0 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 3 0 1は、処理の対象がフレーム #nであるとき、フレーム #nの 1 つ前のフレームであるフレーム #n- l、フレーム #n、およびフレーム #nの 1 つ後のフレームであるフレーム #n+ l を記憶する。

フレームメモリ 3 0 1は、フレーム #n- l、フレーム #n、およびフレ一 Λ #η+ 1 の対応する画素を分離処理プロック 3 0 2に供給する。

分離処理ブロック 3 0 2は、カバードバックグラウンド領域およびアンカバ一ドバックグラウンド領域を示す領域情報、並びに混合比ひを基に、フレームメモリ 3 0 1 から供給されたフレーム #η- 1、フレーム #η、およびフレーム #η+ 1 の対応する画素の画素値に図 5 1および図 5 2 を参照して説明した演算を適用して、フレーム #η の混合領域に属する画素から前景の成分および背景の成分を分離して、フレームメモリ 3 0 3に供給する。

分離処理プロック 3 0 2は、アンカバード領域処理部 3 1 1、カバード領域処理部 3 1 2、合成部 3 1 3、および合成部 3 1 4で構成されている。

アンカバ一ド領域処理部 3 1 1の乗算器 3 2 1は、混合比ひを、フレームメモリ 3 0 1 から供給されたフレーム #η+ 1 の画素の画素値に乗じて、スイッチ 3 2 2に出力する。スィヅチ 3 2 2は、フレームメモリ 3 0 1 から供給されたフレーム #ηの画素（フレーム #η+ 1の画素に対応する）がアンカバ一ドバヅクグラウンド領域であるとき、閉じられ、乗算器 3 2 1 から供給された混合比ひを乗じた画素値を演算器 3 2 2および合成部 3 1 4に供給する。スィツチ 3 2 2から出力されるフレーム #n+ l の画素の画素値に混合比ひを乗じた値は、フレーム #nの対応する画素の画素値の背景の成分に等しい。

演算器 3 2 3は、フレームメモリ 3 0 1 から供給されたフレーム #n の画素の画素値から、スィッチ 3 2 2から供給された背景の成分を減じて、前景の成分を求める。演算器 3 2 3は、アンカバードバックグラウンド領域に属する、フレーム #nの画素の前景の成分を合成部 3 1 3に供給する。

カバ一ド領域処理部 3 1 2の乗算器 3 3 1は、混合比ひを、フレームメモリ 3 0 1 から供給されたフレーム #n- l の画素の画素値に乗じて、スィッチ 3 3 2に出力する。スィッチ 3 3 2は、フレームメモリ 3 0 1 から供給されたフレ一ム#nの画素（フレーム #n- lの画素に対応する）がカバ一ドバックグラウンド領域であるとき、閉じられ、乗算器 3 3 1 から供給された混合比ひを乗じた画素値を演算器 3 3 3および合成部 3 1 4に供給する。スィツチ 3 3 2から出力されるフレーム #n- l の画素の画素値に混合比ひを乗じた値は、フレーム #n の対応する画素の画素値の背景の成分に等しい。

演算器 3 3 3は、フレームメモリ 3 0 1 から供給されたフレーム #n の画素の画素値から、スィッチ 3 3 2から供給された背景の成分を減じて、前景の成分を求める。演算器 3 3 3は、カバードバックグラウンド領域に属する、フレ —ム #nの画素の前景の成分を合成部 3 1 3に供給する。

合成部 3 1 3は、フレーム #n の、演算器 3 2 3から供給された、アンカバ ―ドバックグラウンド領域に属する画素の前景の成分、および演算器 3 3 3から供給された、カバードバックグラウンド領域に属する画素の前景の成分を合成して、フレームメモリ 3 0 3に供給する。

合成部 3 1 4は、フレーム #n の、スイッチ 3 2 2から供給された、アンカバードバックグラウンド領域に属する画素の背景の成分、およびスィッチ 3 3 2から供給された、カバードバヅクグラウンド領域に属する画素の背景の成分を合成して、フレームメモリ 3 0 3に供給する。

フレームメモリ 3 0 3は、分離処理プロヅク 3 0 2から供給された、フレーム#nの混合領域の画素の前景の成分と、背景の成分とをそれそれに記憶する。フレームメモリ 3 0 3は、記憶しているフレーム #n の混合領域の画素の前景の成分、および記憶しているフレーム #n の混合領域の画素の背景の成分を出力する。

特徴量である混合比ひを利用することにより、画素値に含まれる前景の成分と背景の成分とを完全に分離することが可能になる。

合成部 2 5 3は、分離部 2 5 1から出力された、フレーム #n の混合領域の画素の前景の成分と、前景領域に属する画素とを合成して前景成分画像を生成する。合成部 2 5 5は、分離部 2 5 1から出力された、フレーム #n の混合領域の画素の背景の成分と、背景領域に属する画素とを合成して背景成分画像を生成する。

図 5 4は、図 5 0のフレーム #n に対応する、前景成分画像の例と、背景成分画像の例を示す図である。

図 5 4 Aは、図 5 0のフレーム #n に対応する、前景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景が分離される前において、背景の成分のみから成っていたので、画素値が 0とされる。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、アンカバ一ドバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 5番目乃至 1 0 番目の画素は、前景の成分のみから成るので、そのまま残される。

図 5 4 Bは、図 5 0のフレーム #n に対応する、背景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景とが分離される前において、背景の成分のみから成っていたので、そのまま残される。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、アンカバ一ドバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバ一ドバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 5番目乃至 1 0 番目の画素は、前景と背景とが分離される前において、前景の成分のみから成つていたので、画素値が 0とされる。

次に、図 5 5に示すフローチャートを参照して、前景背景分離部 1 0 5による前景と背景との分離の処理を説明する。ステップ S 2 0 1において、分離部 2 5 1のフレームメモリ 3 0 1は、入力画像を取得し、前景と背景との分離の対象となるフレーム #n を、その前のフレーム #n- l およびその後のフレーム #n+l と共に記憶する。

ステップ S 2 0 2において、分離部 2 5 1の分離処理プロック 3 0 2は、混合比算出部 1 0 4から供給された領域情報を取得する。ステップ S 2 0 3において、分離部 2 5 1の分離処理プロック 3 0 2は、混合比算出部 1 0 4から供給された混合比ひを取得する。

ステップ S 2 0 4において、アンカバード領域処理部 3 1 1は、領域情報および混合比ひを基に、フレームメモリ 3 0 1から供給された、アンカバ一ドパックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。ステップ S 2 0 5において、アンカバ一ド領域処理部 3 1 1は、領域情報および混合比ひを基に、フレームメモリ 3 0 1から供給された、アンカバ一ドバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。ステップ S 2 0 6において、カバ一ド領域処理部 3 1 2は、領域情報および混合比ひを基に、フレームメモリ 3 0 1から供給された、カバ一ドバックグラゥンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 2 0 7において、カバ一ド領域処理部 3 1 2は、領域情報および混合比 αを基に、フレームメモリ 3 0 1から供給された、カバ一ドバヅクグラゥンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 2 0 8において、合成部 3 1 3は、ステップ S 2 0 5の処理で抽出されたアンカバードバックグラウンド領域に属する画素の前景の成分と、ステツプ S 2 0 7の処理で抽出されたカバ一ドバヅクグラウンド領域に属する画素の前景の成分とを合成する。合成された前景の成分は、合成部 2 5 3に供給される。更に、合成部 2 5 3は、スィッチ 2 5 2を介して供給された前景領域に属する画素と、分離部 2 5 1から供給された前景の成分とを合成して、前景成分画像を生成する。

ステップ S 2 0 9において、合成部 3 1 4は、ステップ S 2 0 4の処理で抽出されたアンカバードバックグラウンド領域に属する画素の背景の成分と、ステツプ S 2 0 6の処理で抽出されたカバードバヅクグラウンド領域に属する画素の背景の成分とを合成する。合成された背景の成分は、合成部 2 5 5に供給される。更に、合成部 2 5 5は、スィッチ 2 5 4を介して供給された背景領域に属する画素と、分離部 2 5 1から供給された背景の成分とを合成して、背景成分画像を生成する。

ステップ S 2 1 0において、合成部 2 5 3は、前景成分画像を出力する。ステツプ S 2 1 1において、合成部 2 5 5は、背景成分画像を出力し、処理は終了する。

このように、前景背景分離部 1 0 5は、領域情報および混合比ひを基に、入力画像から前景の成分と、背景の成分とを分離し、前景の成分のみから成る前景成分画像、および背景の成分のみから成る背景成分画像を出力することができる。

次に、前景成分画像からの動きボケの量の調整について説明する。

図 5 6は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報、および領域特定部 1 0 3から供給された領域情報は、処理単位決定部 3 5 1およびモデル化部 3 5 2に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、足し込み部 3 5 4に供給される。

処理単位決定部 3 5 1は、動きべクトルとその位置情報、および領域情報を基に、動きべクトルと共に、生成した処理単位をモデル化部 3 5 2に供給する。処理単位決定部 3 5 1は、生成した処理単位を足し込み部 3 5 4に供給する。処理単位決定部 3 5 1が生成する処理単位は、図 5 7に例を示すように、前景成分画像のカバ一ドバックグラウンド領域に対応する画素から始まり、アンカバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、またはアンカバードバックグラウンド領域に対応する画素から始まり、カバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。処理単位は、例えば、左上点（処理単位で指定される画素であつて、画像上で最も左または最も上に位置する画素の位置）および右下点の 2 つのデータから成る。

モデル化部 3 5 2は、動きべクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 3 5 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 5 8に示すような、画素値と前景の成分との対応を指定するモデルを選択するようにしても良い。

例えば、処理単位に対応する画素の数が 1 2でありシャツ夕時間内の動き量 Vが 5であるときにおいては、モデル化部 3 5 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4 番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 3 5 2は、予め記憶してあるモデルから選択するのではなく、動きべクトル、および処理単位が供給されたとき、動きべクトル、および処理単位を基に、モデルを生成するようにしてもよい。

モデル化部 3 5 2は、選択したモデルを方程式生成部 3 5 3に供給する。方程式生成部 3 5 3は、モデル化部 3 5 2から供給されたモデルを基に、方程式を生成する。図 5 8に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 Vが 5であり、仮想分割数が 5であるときの、方程式生成部 3 5 3が生成する方程式について説明する。

前景成分画像に含まれるシャッタ時間/ V に対応する前景成分が FOl/v乃至 F08/vであるとき、 FOl/v乃至 F08/v と画素値 C01乃至 C12 との関係は、式 ( 3 9 ) 乃至式（ 5 0 ) で表される。

C01=F01/v ( 3 9 )

C02=F02/v+F01/v (4 0 )

C03=F03/v+F02/v+F01/v (4 1 )

C04=F04/v+F03/v+F02/v+F01/v (4 2 )

C05=F05/v+F04/v+F03/v+F02/v+F01/v (4 3 )

C06=F06/v+F05/v+F04/v+F03/v+F02/v (44 )

C07=F07/v+F06/v+F05/v+F04/v+F03/v (4 5 )

C08=F08/v+F07/v+F06/v+F05/v+F04/v ( 4 6 )

C09=F08/v+F07/v+F06/v+F05/v (4 7 )

C10=F08/v+F07/v+F06/v ( 4 8 )

Cll=F08/v+F07/v (4 9 )

C12=F08/v ( 5 0 ) 方程式生成部 3 5 3は、生成した方程式を変形して方程式を生成する。方程式生成部 3 5 3が生成する方程式を、式（ 5 1 ) 乃至式（ 6 2 ) に示す。 C01 = l · FOl/v+0 · F02/v+0 · F03/v+0 · F04/v+0 · F05/v

+0 · F06/V+0 · F07/v+0 · F08/v ( 5 1 ) C02=l · FOl/v+1 · F02/v+0 · F03/v+0 · F04/v+0 · F05/v

+0 · F06/v+0 · F07/v+0 · F08/v ( 5 2 ) C03 = l · FOl/v+1 · F02/v+l · F03/v+0 · F04/v+0 · F05/v

+0 · F06/v+0 · F07/v+0 · F08/v ( 5 3 ) C04=l · FOl/v+1 · F02/v+l · F03/v+l · F04/v+0 · F05/v

+0 · F06/v+0 · F07/v+0 · F08/v ( 54 ) C05 = l · FOl/v+1 · F02/v+l · F03/v+l · F04/v+l · F05/v

+0 · F06/v+0 · F07/v+0 · F08/v ( 5 5 ) C06=0 · FOl/v+1 · F02/V+1 · F03/v+l · F04/v+l · F05/v 曇】 ( 9 9 ) « ( 9 ) ^

¾¾^ 譴¾"1^^^ 案画目¾ 、^ 、 ^ （ 9 ) ^

10=}

(Ρ9)

80

° ^ '

ΐ ¥5 ^ o ^κ ^^ - θ ? Λ

©2 °4 ¾S¾©»喜 Jjl ¥} ϊ ^ °94練 W 丟 ΐ 、〖、 ^ ¾ © ° ¾軎¾ 挲画、^ ί 、 ^ （ ε 9 ) ¾ΐ

10=ι

(€9)

80 ·辇つ：？ ( S 9 ) ¥ 、《 ( 2 9 ) ^Sii ( I S ) ( 2 9 ) Λ/8( · l+NLOd · 0+Λ/9( · 0+

N90d · 0+Λ/ · 0+^Λ/80Λ · 0+^Λ/ · 0+^Λ / · 0=ΖΐΟ ( ΐ 9 ) ^Λ/8( · Ι+NLOd · ΐ+^Λ/9( · 0+

八/ · 0+Λ/ · 0+^Λ/謝 · · 0+八/觀 · 0=ΪΤΟ

( 0 9 ) ^Λ/8( · l+NLOd · τ+Λ / · ΐ +

八/ ·

( 6 9 ) · ϊ+Λ/ od · T+A/90d · Τ +

N90d · l+N Od · 0+^Λ/εθΛ · 0+^Λ/ · 0+ /Ϊ( · 0=600 ( 8 ) ^Λ/幅 · l+ /LOd · Ϊ+Λ/90Λ · Τ +

^A/90d · l+ VOd · ΐ+Λ/ · 0+NZOd · 0+^Λ/ΤΟΛ · 0=800 ( 1 9 ) ^Λ/803 · 0+^Λ/10Λ · Τ+^Λ/90.ί · Τ +

^Λ/90Λ · ΐ+Λ/ · · 1+ΝΖΟ . · 0+八/ · 0=Α0Ο

( 9 9 ) ^Λ/80 · O+NLOd · 0+^A/90J · ΐ +

LL ΐひ 60/00df/ェ:) d £698 OAV

ここで、最小自乗法を適用するため、誤差の自乗和 E を式（ 6 6 ) に示すように定義する。

E =∑ ei² (66)

j= i

誤差が最小になるためには、誤差の自乗和 Eに対する、変数 Fkによる偏微分の値が 0になればよい。式（ 6 7 ) を満たすように Fkを求める。

dFk — ^ ί k

12 08

= 2 ·∑ {(Cy -∑ai/.Fi/_v)-(-«kj/v) = 0 (67)

j=01 i=0J

式（ 6 7 ) において、動き量 vは固定値であるから、式（ 6 8 ) を導くことができる。

12 08

∑ akj · (Cy -∑aij-Fi/y) = 0 (68)

j-01 i=0J

式（ 6 8 ) を展開して、移項すると、式（ 6 9 ) を得る。

12 08 12

∑ («kj -∑aij'Fi) = v ·∑ «kj · Cj (69)

j=01 i=01 j=01

式（ 6 9 )の kに 1乃至 8の整数のいずれか 1つを代入して得られる 8つの式に展開する。得られた 8つの式を、行列により 1つの式により表すことができる。この式を正規方程式と呼ぶ。

このような最小自乗法に基づく、方程式生成部 3 5 3が生成する正規方程式の例を式（ 7 0 ) に示す。

式（ 7 0 ) を A ' F=v ' C と表すと、 C, A ,v が既知であり、 F は未知である。また、 A，vは、モデル化の時点で既知だが、 Cは、足し込み動作において画素値を入力することで既知となる。

最小自乗法に基づく正規方程式により前景成分を算出することにより、画素 Cに含まれている誤差を分散させることができる。

方程式生成部 3 5 3は、このように生成された正規方程式を足し込み部 3 5 4に供給する。

足し込み部 3 5 4は、処理単位決定部 3 5 1から供給された処理単位を基に、前景成分画像に含まれる画素値 C を、方程式生成部 3 5 3から供給された行列の式に設定する。足し込み部 3 5 4は、画素値 C を設定した行列を演算部 3 5 5に供給する。

演算部 3 5 5は、掃き出し法（G A uss-JordA nの消去法）などの解法に基づく処理により、動きボケが除去された前景成分 Fi/v を算出して、動きボケが除去された前景の画素値である、 0乃至 8の整数のいずれかの iに対応する Fiを算出して、図 5 9に例を示す、動きボケが除去された画素値である Fiから成る、動きボケが除去された前景成分画像を動きボケ付加部 3 5 6および選択部 3 5 7に出力する。

なお、図 5 9に示す動きボケが除去された前景成分画像において、 C03乃至 C10のそれそれに F01乃至 F08のそれそれが設定されているのは、画面に対する前景成分画像の位置を変化させないためであり、任意の位置に対応させることができる。

動きポケ付加部 3 5 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 v'や、動き量 V と無関係の値の動きボケ調整量 v'を与えることで、動きボケの量を調整することができる。例えば、図 6 0に示すように、動きボケ付加部 3 5 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分 Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01 ) /v'とされ、画素値 C03は、 ( F01+F02 ) /v'とされ、画素値 C04は、（F01+F02+F03 ) /v'とされ、画素値 C05は、（F02+F03+F04) /v'とされる。

動きポケ付加部 3 5 6は、動きボケの量を調整した前景成分画像を選択部 3 5 7に供給する。

選択部 3 5 7は、例えば使用者の選択に対応した選択信号を基に、演算部 3 5 5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 3 5 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、動きボケ調整部 1 0 6は、選択信号および動きボケ調整量 v' を基に、動きボケの量を調整することができる。

また、例えば、図 6 1に示すように、処理単位に対応する画素の数が 8であり、動き量 Vが 4であるとき、動きポケ調整部 1 0 6は、式（ 7 1 ) に示す行列の式を生成する。

動きボケ調整部 1 0 6は、このように処理単位の長さに対応した数の式を立てて、動きボケの量が調整された画素値である Fiを算出する。同様に、例えば、処理単位に含まれる画素の数が 1 0 0あるとき、 1 0 0個の画素に対応する式を生成して、 Fiを算出する。

図 6 2は、動きボケ調整部 1 0 6の他の構成を示す図である。図 5 6に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 3 6 1は、選択信号を基に、入力された動きべクトルとその位置信号をそのまま処理単位決定部 3 5 1およびモデル化部 3 5 2に供給するか、または動きべクトルの大きさを動きボケ調整量 v'に置き換えて、その大きさが動きボケ調整量 v'に置き換えられた動きべクトルとその位置信号を処理単位決定部 3 5 1およびモデル化部 3 5 2に供給する。

このようにすることで、図 6 2の動きボケ調整部 1 0 6の処理単位決定部 3 5 1乃至演算部 3 5 5は、動き量 Vと動きボケ調整量 v'との値に対応して、動きボケの量を調整することができる。例えば、動き量 Vが 5であり、動きボケ調整量 v'が 3であるとき、図 6 2の動きボケ調整部 1 0 6の処理単位決定部 3 5 1乃至演算部 3 5 5は、図 5 8に示す動き量 Vが 5である前景成分画像に対して、 3である動きボケ調整量 v'対応する図 6 0に示すようなモデルに従って、演算を実行し、（動き量 V ) / (動きボケ調整量 ν ' ) = 5/3、すなわちほぼ 1.7の動き量 Vに応じた動きボケを含む画像を算出する。なお、この場合、算出される画像は、 3である動き量 Vに対応した動きボケを含むのではないので、動きポケ付加部 3 5 6の結果とは動き量 V と動きボケ調整量 v'の関係の意味合いが異なる点に注意が必要である。以上のように、動きポケ調整部 1 0 6は、動き量 Vおよび処理単位に対応して、式を生成し、生成した式に前景成分画像の画素値を設定して、動きボケの量が調整された前景成分画像を算出する。

次に、図 6 3のフローチャートを参照して、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明する。

ステップ S 2 5 1において、動きボケ調整部 1 0 6の処理単位決定部 3 5 1 は、動きべクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 3 5 2に供給する。

ステップ S 2 5 2において、動きボケ調整部 1 0 6のモデル化部 3 5 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 2 5 3において、方程式生成部 3 5 3は、選択されたモデルを基に、正規方程式を作成する。

ステップ S 2 5 4において、足し込み部 3 5 4は、作成された正規方程式に前景成分画像の画素値を設定する。ステップ S 2 5 5において、足し込み部 3 5 4は、処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、処理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、ステップ S 2 5 4に戻り、正規方程式への画素値の設定の処理を繰り返す。

ステップ S 2 5 5において、処理単位の全ての画素の画素値の設定を行ったと判定された場合、ステップ S 2 5 6に進み、演算部 3 5 5は、足し込み部 3 5 4から供給された画素値が設定された正規方程式を基に、動きボケの量を調整した前景の画素値を算出して、処理は終了する。

このように、動きポケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動きボケを含む前景画像から動きボケの量を調整することができる。

すなわち、サンプルデータである画素値に含まれる動きボケの量を調整することができる。

なお、図 5 6に示す動きボケ調整部 1 0 6の構成は、一例であり、唯一の構成ではない。

以上のように、図 1 0に構成を示す信号処理部 1 2は、入力画像に含まれる動きボケの量を調整することができる。図 1 0に構成を示す信号処理部 1 2は. 埋もれた情報である混合比ひを算出して、算出した混合比ひを出力することができる。

図 6 4は、信号処理部 1 2の機能の他の構成を示すプロック図である。

図 1 0に示す部分と同様の部分には同一の番号を付してあり、その説明は適宜省略する。

領域特定部 1 0 3は、領域情報を混合比算出部 1 0 4および合成部 3 7 1に供給する。

混合比算出部 1 0 4は、混合比ひを前景背景分離部 1 0 5および合成部 3 7 1に供給する。

前景背景分離部 1 0 5は、前景成分画像を合成部 3 7 1に供給する。

合成部 3 7 1は、混合比算出部 1 0 4から供給された混合比ひ、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 1 0 5から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 6 5は、合成部 3 7 1の構成を示す図である。背景成分生成部 3 8 1は、混合比ひおよび任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 3 8 2に供給する。

混合領域画像合成部 3 8 2は、背景成分生成部 3 8 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 3 8 3に供給する。

画像合成部 3 8 3は、領域情報を基に、前景成分画像、混合領域画像合成部 3 8 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 3 7 1は、前景成分画像を、任意の背景画像に合成することができる。

特徴量である混合比ひを基に前景成分画像を任意の背景画像と合成して得られた画像は、単に画素を合成した画像に比較し、より自然なものと成る。図 6 6は、動きボケの量を調整する信号処理部 1 2の機能の更に他の構成を示すブロック図である。図 1 0に示す信号処理部 1 2が領域特定と混合比ひの算出を順番に行うのに対して、図 6 6に示す信号処理部 1 2は、領域特定と混合比ひの算出を並行して行う。

図 1 0のプロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

入力画像は、混合比算出部 4 0 1、前景背景分離部 4 0 2、領域特定部 1 0 3、およびオブジェクト抽出部 1 0 1に供給される。

混合比算出部 4 0 1は、入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれそれに対して算出し、算出した画素がカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がァンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 4 0 2に供給する。

図 6 7は、混合比算出部 4 0 1の構成の一例を示すプロック図である。図 6 7に示す推定混合比処理部 2 0 1は、図 3 7に示す推定混合比処理部 2 0 1 と同じである。図 6 7に示す推定混合比処理部 2 0 2は、図 3 7に示す推定混合比処理部 2 0 2と同じである。

推定混合比処理部 2 0 1は、入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

推定混合比処理部 2 0 2は、入力画像を基に、アンカバ一ドバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

前景背景分離部 4 0 2は、混合比算出部 4 0 1から供給された、画素がカバ —ドバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。

図 6 8は、前景背景分離部 4 0 2の構成の一例を示すプロック図である。図 4 8に示す前景背景分離部 1 0 5と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 4 2 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 4 0 1から供給された、画素がカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比ひとして分離部 2 5 1に供給する。

分離部 2 5 1は、選択部 4 2 1から供給された混合比ひおよび領域情報を基に、混合領域に属する画素の画素値から前景の成分および背景の成分を抽出し、抽出した前景の成分を合成部 2 5 3に供給すると共に、背景の成分を合成部 2 5 5に供給する。

分離部 2 5 1は、図 5 3に示す構成と同じ構成とすることができる。

合成部 2 5 3は、前景成分画像を合成して、出力する。合成部 2 5 5は、背景成分画像を合成して出力する。

図 6 6に示す動きポケ調整部 1 0 6は、図 1 0に示す場合と同様の構成とすることができ、領域情報および動きべクトルを基に、前景背景分離部 4 0 2から供給された前景成分画像に含まれる動きボケの量を調整して、動きボケの量が調整された前景成分画像を出力する。

図 6 6に示す選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 4 0 2から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、図 6 6に構成を示す信号処理部 1 2は、入力画像に含まれる前景のオブジェクトに対応する画像に対して、その画像に含まれる動きボケの量を調整して出力することができる。図 6 6に構成を示す信号処理部 1 2は、第 1の実施例と同様に、埋もれた情報である混合比ひを算出して、算出した混合比ひを出力することができる。図 6 9は、前景成分画像を任意の背景画像と合成する信号処理部 1 2の機能の他の構成を示すプロック図である。図 6 4に示す信号処理部 1 2が領域特定と混合比ひの算出をシリアルに行うのに対して、図 6 9に示す信号処理部 1 2 は、領域特定と混合比ひの算出をパラレルに行う。

図 6 6のプロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

図 6 9に示す混合比算出部 4 0 1は、入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれそれに対して算出し、算出した画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 4 0 2および合成部 4 3 1に供給する。図 6 9に示す前景背景分離部 4 0 2は、混合比算出部 4 0 1から供給された、画素がカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を合成部 4 3 1に供給する。

合成部 4 3 1は、混合比算出部 4 0 1から供給された、画素がカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 4 0 2から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 7 0は、合成部 4 3 1の構成を示す図である。図 6 5のブロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 4 4 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 4 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバ一ドバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比ひとして背景成分生成部 3 8 1に供給する, 図 7 0に示す背景成分生成部 3 8 1は、選択部 4 4 1から供給された混合比ひおよび任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 3 8 2に供給する。

図 7 0に示す混合領域画像合成部 3 8 2は、背景成分生成部 3 8 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 3 8 3に供給する。画像合成部 3 8 3は、領域情報を基に、前景成分画像、混合領域画像合成部 3 8 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 4 3 1は、前景成分画像を、任意の背景画像に合成することができる。

なお、混合比ひは、画素値に含まれる背景の成分の割合として説明したが、画素値に含まれる前景の成分の割合としてもよい。

また、前景となるオブジェク卜の動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

次に、上述した信号処理部 1 2と同様の処理により、温度のデータ、または圧力のデ一夕に含まれる動きボケの量を調整する、例について説明する。

図 7 1は、本発明に係る信号処理装置の構成例を示す図である。サ一モグラフィ装置 4 5 1は、測定の対象となるオブジェク卜から輻射される赤外線を、赤外線 CCDなど、内蔵している赤外線センサで検出し、検出した赤外線の波長または強さに対応する信号を生成する。サーモグラフィ装置 4 5 1は、生成した信号をアナログデジタル変換し、基準温度に対応する基準データと比較し、オブジェクトの各部位の温度を示す温度データを生成して、生成した温度デー夕を信号処理部 4 5 2に出力する。

サ一モグラフィ装置 4 5 1は、センサ 1 1 と同様に、空間に対して、および時間に対して積分効果を有する。サ一モグラフィ装置 4 5 1が信号処理部 4 5 2に供給する温度データは、動画像の画像データと同様の構成を有し、測定の対象となるオブジェクトの各部位の温度を示す値（画像データの画素値に対応する）が、空間方向に 2次元に配置され（画像デ一夕のフレームに対応する）、更に、時間方向に配置されているデータである。

信号処理部 4 5 2は、入力された温度デ一夕に含まれる、測定の対象となるオブジェクトが動くことにより発生した歪みを調整する。例えば、信号処理部 4 5 2は、測定の対象となるオブジェクトの所望の部位のより正確な温度を抽出する。

図 7 2は、信号処理部 4 5 2による動きボケの量の調整の処理を説明するフ口一チャートである。ステップ S 3 0 1において、信号処理部 4 5 2は、測定の対象となるオブジェクトの各部位に対応する、温度を示す値が 2次元に配置された温度データを取得する。信号処理部 4 5 2は、温度データを基に、動きを示すデ一タを生成する。

ステップ S 3 0 2において、信号処理部 4 5 2は、温度の測定を所望するォブジェクトに対応する温度を示す値のみから成る前景領域、所望のオブジェクト以外のオブジェクトに対応する温度を示す値のみから成る背景領域、並びに所望のオブジェクトに対応する温度の情報および所望のオブジェクト以外のオブジェクトに対応する温度の情報が混合して成る混合領域に、温度データの領域を特定する。

ステップ S 3 0 3において、信号処理部 4 5 2は、温度データに含まれる温度を示す値が混合領域に属するか否かを判定し、混合領域に属すると判定された場合、ステップ S 3 0 4に進み、図 2 7のステヅプ S 1 0 2の処理と同様の処理で、混合比ひを算出する。

ステップ S 3 0 5において、信号処理部 4 5 2は、図 2 7のステップ S 1 0 3の処理と同様の処理で、温度測定を所望するオブジェクトに対応する温度の情報を分離して、手続きは、ステップ S 3 0 6に進む。

ステップ S 3 0 5における温度の情報の分離の処理は、キルヒホッフの法則またはシュテフアン 'ボルツマンの法則などのオブジェクトの温度と放射される赤外線との関係を示す法則を基に、温度の情報を、温度の測定を所望するォブジヱクトから放出される赤外線のエネルギ量に変換して、変換した赤外線のエネルギ量を分離し、再度、分離したエネルギ量を温度に変換するようにしてもよい。赤外線のエネルギ量に変換して分離することにより、信号処理部 4 5 2は、温度の情報をそのまま分離するときに比較して、より精度良く、温度の情報を分離することができる。

ステップ S 3 0 3において、温度データに含まれる温度を示す値が混合領域に属しないと判定された場合、温度測定を所望するオブジェクトに対応する温度の情報を分離する処理は必要無いので、ステツプ S 3 0 4およびステヅブ S 3 0 5の処理はスキヅプされ、手続きは、ステップ S 3 0 6に進む。

ステップ S 3 0 6において、信号処理部 4 5 2は、前景領域に属する温度を示す値、および温度測定を所望するォブジェク卜に対応する温度の情報とで、温度測定を所望するオブジェクトに対応する温度データを生成する。

ステップ S 3 0 7において、信号処理部 4 5 2は、図 6 3のステップ S 2 5 1 の処理と同様の処理で、生成した温度データに対応するモデルを生成する。ステップ S 3 0 8において、信号処理部 4 5 2は、生成したモデルを基に、図 6 3のステップ S 2 5 2乃至ステップ S 2 5 5の処理と同様の処理で、温度測定を所望するオブジェクトに対応する温度デ一夕に含まれる動きボケの量を調整して、処理は終了する。

このように、信号処理部 4 5 2は、測定の対象となるオブジェク卜の動きにより生じた温度データに含まれる動きボケの量を調整して、オブジェクトの各部のより正確な温度の値を算出することができる。

図 7 3は、本発明に係る信号処理装置の構成例を示す図である。この例では、重量測定を行う。圧力エリァセンサ 5 0 1は、複数の圧力センサから構成され、平面の単位面積に対する荷重、すなわち圧力を測定する。圧力エリアセンサ 5 0 1は、例えば、図 7 4に示すように、複数の圧力センサ 5 1 1 一 1— 1乃至 5 1 1— M— Nが床面に 2次元に配置されて成る構造を有する。重量が測定されるォブジェクト 5 1 2が圧力エリアセンサ 5 0 1上を移動するとき、圧力ェリアセンサ 5 0 1 は、圧力センサ 5 1 1 — 1 — 1乃至 5 1 1 一 M— Nのそれそれに、加えられる圧力を検出し、圧力センサ 5 1 1 一 1— 1乃至 5 1 1 - M - Nのそれそれの測定範囲に対応する重量を示す重量データを生成し、生成した重量データを信号処理部 5 0 2に出力する。

圧力センサ 5 1 1— 1 _ 1乃至 5 1 1 一 M— Nのそれそれは、例えば、透明な弾性体に外力が加わったとき、その歪みによって生じる複屈折性、いわゆる光弾性を利用したセンサなどで構成される。

なお、圧力エリアセンサ 5 0 1は、全体を 1つの光弾性を利用したセンサで構成するようにしてもよい。

図 7 5は、圧力エリアセンサ 5 0 1 を構成する圧力センサ 5 1 1 一 m— 1乃至 5 1 1 一 m— Nのそれそれに加えられる、オブジェクト 5 1 2の各部の重量に対応する荷重を説明する図である。

オブジェクト 5 1 2の図中の最も左に位置する部分の重量に対応する荷重 Aは、圧力センサ 5 1 1 一 m— 1に加えられる。オブジェクト 5 1 2の図中の左から 2番目に位置する部分の重量に対応する荷重 bは、圧力センサ 5 1 1— m— 2に加えられる。オブジェクト 5 1 2の図中の左から 3番目に位置する部分の重量に対応する荷重 cは、圧力センサ 5 1 1 一 m— 3に加えられる。ォブジェクト 5 1 2の図中の左から 4番目に位置する部分の重量に対応する荷重 dは、圧力センサ 5 1 1 一 m— 4に加えられる。

オブジェクト 5 1 2の図中の左から 5番目に位置する部分の重量に対応する荷重 eは、圧力センサ 5 1 1 一 m— 5に加えられる。オブジェクト 5 1 2の図中の左から 6番目に位置する部分の重量に対応する荷重 f は、圧力センサ 5 1 1 一 m— 6に加えられる。オブジェクト 5 1 2の図中の左から 7番目に位置する部分の重量に対応する荷重 gは、圧力センサ 5 1 1 一 m— 7に加えられる _c 圧力エリアセンサ 5 0 1が出力する重量データは、圧力センサ 5 1 1 - 1 - 1乃至 5 1 1 一 M— Nの配置に対応し、空間方向に 2次元に配置されている重量を示す値から成る。

図 7 6は、圧力エリアセンサ 5 0 1が積分効果を有し、オブジェクト 5 1 2 が移動しているとき、圧力エリアセンサ 5 0 1が出力する重量データの例を説明する図である。圧力センサ 5 1 1一 m— 1は、計測する単位時間において、オブジェクト 5 1 2の図中の最も左に位置する部分の重量に対応する荷重 Aが加えられるので、重量デ一夕に含まれる重量を示す値として、値 Aを出力する。

圧力センサ 5 1 1一 m— 2は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 2番目に位置する部分の重量に対応する荷重 bが加えられ、その後、オブジェクト 5 1 2の図中の最も左に位置する部分の重量に対応する荷重 Aが加えられるので、重量デ一夕に含まれる重量を示す値として、値 A + bを出力する。

圧力センサ 5 1 1 — m— 3は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 3番目に位置する部分の重量に対応する荷重 cが加えられ、オブジェクト 5 1 2の図中の左から 2番目に位置する部分の重量に対応する荷重 bが加えられ、その後、オブジェクト 5 1 2の図中の最も左に位置する部分の重量に対応する荷重 Aが加えられるので、重量データに含まれる重量を示す値として、値 A + b + cを出力する。

圧力センサ 5 1 1一 m— 4は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 4番目に位置する部分の重量に対応する荷重 dが加えられ、オブジェクト 5 1 2の図中の左から 3番目に位置する部分の重量に対応する荷重 cが加えられ、オブジェクト 5 1 2の図中の左から 2番目に位置する部分の重量に対応する荷重 bが加えられ、その後、オブジェクト 5 1 2の図中の最も左に位置する部分の重量に対応する荷重 Aが加えられるので、重量デ一夕に含まれる重量を示す値として、値 A + b + c + dを出力する。

圧力センサ 5 1 1 — m— 5は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 5番目に位置する部分の重量に対応する荷重 eが加えられ、ォブジェクト 5 1 2の図中の左から 4番目に位置する部分の重量に対応する荷重 dが加えられ、オブジェクト 5 1 2の図中の左から 3番目に位置する部分の重量に対応する荷重 cが加えられ、その後、オブジェクト 5 1 2の図中の左から 2番目に位置する部分の重量に対応する荷重 bが加えられるので、重量データに含まれる重量を示す値として、値 b + c + d + eを出力する。

圧力センサ 5 1 1—m— 6は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 6番目に位置する部分の重量に対応する荷重 f が加えられ、オブジェクト 5 1 2の図中の左から 5番目に位置する部分の重量に対応する荷重 eが加えられ、オブジェクト 5 1 2の図中の左から 4番目に位置する部分の重量に対応する荷重 dが加えられ、その後、オブジェクト 5 1 2の図中の左から 3番目に位置する部分の重量に対応する荷重 cが加えられるので、重量デ一夕に含まれる重量を示す値として、値 c + d + e + f を出力する。

圧力センサ 5 1 1— m— 7は、計測する単位時間において、オブジェクト 5

1 2の図中の左から 7番目に位置する部分の重量に対応する荷重 gが加えられ、オブジェクト 5 1 2の図中の左から 6番目に位置する部分の重量に対応する荷重 f が加えられ、オブジェクト 5 1 2の図中の左から 5番目に位置する部分の重量に対応する荷重 eが加えられ、その後、オブジェクト 5 1 2の図中の左から 4番目に位置する部分の重量に対応する荷重 dが加えられるので、重量データに含まれる重量を示す値として、値 d + e + f + gを出力する。

圧力センサ 5 1 1 一 m— 8は、計測する単位時間において、オブジェクト 5

1 2の図中の左から 7番目に位置する部分の重量に対応する荷重 gが加えられ、オブジェクト 5 1 2の図中の左から 6番目に位置する部分の重量に対応する荷重 f が加えられ、オブジェクト 5 1 2の図中の左から 5番目に位置する部分の重量に対応する荷重 eが加えられるので、重量データに含まれる重量を示す値として、値 e + f + gを出力する。

圧力センサ 5 1 1—m— 9は、計測する単位時間において、オブジェクト 5

1 2の図中の左から 7番目に位置する部分の重量に対応する荷重 gが加えられ、ォブジヱクト 5 1 2の図中の左から 6番目に位置する部分の重量に対応する荷重 f が加えられるので、重量データに含まれる重量を示す値として、値 f + gを出力する。

圧力センサ 5 1 1— m— 1 0は、計測する単位時間において、オブジェクト 5 1 2の図中の左から 7番目に位置する部分の重量に対応する荷重 gが加えられるので、重量データに含まれる重量を示す値として、値 gを出力する。圧力エリアセンサ 5 0 1は、圧力センサ 5 1 1 一 m— 1が出力する値 A、圧力センサ 5 1 1 — m— 2が出力する値 A + b、圧力センサ 5 1 1 一 m— 3が出力する値 A + b + c、圧力センサ 5 1 1 一 m— 4が出力する値 A + b + c + d - 圧力センサ 5 1 1— m— 5が出力する値 b + c + d + e、圧力センサ 5 1 1 一 m— 6が出力する値 c + d + e + f 、圧力センサ 5 1 1— m— 7が出力する値 d + e + f + g、圧力センサ 5 1 1— m— 8が出力する値 e + f + g、圧力センサ 5 1 1 一 m— 9が出力する値 f + g、および圧力センサ 5 1 1— m— 1 0 が出力する値 gを含む重力データを出力する。

信号処理部 5 0 2は、圧力エリアセンサ 5 0 1から供給された重量デ一夕から、測定の対象となるオブジェクト 5 1 2が動くことにより発生した歪みを調整する。例えば、信号処理部 5 0 2は、測定の対象となるオブジェクト 5 1 2 の所望の部位のより正確な重量を抽出する。例えば、信号処理部 5 0 2は、値 A、値 A + b、値 A + b + c、値 A + b + c + d、値 b + c + d + e、値 c + d + e + f 、値 d + e + f + g、値 e + f + g、値 f + g、および値 gを含む重量データから、荷重 A、荷重 b、荷重荷重 d、荷重 e、荷重 f、および荷重 gを抽出する。

図 7 7のフローチャートを参照して、信号処理部 5 0 2が実行する荷重の算出の処理を説明する。

ステップ S 4 0 1において、信号処理部 5 0 2は、圧力ェリアセンサ 5 0 1 が出力する重量データを取得する。ステップ S 4 0 2において、信号処理部 5 0 2は、圧力エリアセンサ 5 0 1から取得した重量データを基に、オブジェクト 5 1 2の荷重が圧力ェリアセンサ 5 0 1に加わっているか否かを判定し、ォブジェクト 5 1 2の荷重が圧力エリアセンサ 5 0 1に加わっていると判定された場合、ステップ S 4 0 3に進み、重量デ一夕の変化を基に、ォブジヱクト 5 1 2の動きを取得する。

ステップ S 4 0 4において、信号処理部 5 0 2は、ステップ S 4 0 3の処理で取得した動きの方向に沿って、重量データに含まれる、圧力センサ 5 1 1の 1ライン分のデ一夕を取得する。

ステップ S 4 0 5において、信号処理部 5 0 2は、オブジェクト 5 1 2の各部の重さに対応する荷重を算出して、処理は終了する。信号処理部 5 0 2は、例えば、図 6 3のフローチャートを参照して説明した処理と同様の処理で、ォブジェクト 5 1 2の各部の重さに対応する荷重を算出する。

ステップ S 4 0 2において、オブジェクト 5 1 2の荷重が圧力エリアセンサ 5 0 1に加わっていないと判定された場合、処理すべき重量デ一夕が無いので、処理は終了する。

このように、重量測定システムは、移動しているオブジェクトの各部の重さに対応する正確な荷重を算出することができる。

次に、空間方向に、より高解像度の画像を生成する信号処理部 1 2について説明する。

図 7 8は、信号処理部 1 2の他の機能として、 1フレームあたりの画素数を増加させ、高解像度画像を生成する構成を示すプロック図である。

フレームメモリ 7 0 1は、入力画像をフレーム単位で記憶し、記憶している画像を画素値生成部 7 0 2および相関演算部 7 0 3に供給する。

相関演算部 7 0 3は、フレームメモリ 7 0 1から供給された画像に含まれる横方向に隣り合う画素データの画素値の相関値を演算して、画素値生成部 7 0 2に供給する。画素値生成部 7 0 2は、相関演算部 7 0 3から供給された相関値を基に、横に並ぶ 3つの画素データの画素値を基に、中央の画素の画素値から横方向に倍密の画像の成分を算出して、それを画素値として水平倍密画像を生成する。画素値生成部 7 0 2は、生成した水平倍密画像をフレームメモリ 7 0 4に供給する。

フレームメモリ 7 0 4は、画素値生成部 7 0 2から供給された水平倍密画像をフレーム単位で記憶し、記憶している水平倍密画像を画素値生成部 7 0 5および相関演算部 7 0 6に供給する。

相関演算部 7 0 6は、フレームメモリ Ί 0 4から供給された水平倍密画像に含まれる縦方向に隣り合う画素データの画素値の相関値を演算して、画素値生成部 7 0 5に供給する。画素値生成部 7 0 5は、相関演算部 7 0 3から供給された相関値を基に、縦に並ぶ 3つの画素データの画素値を基に、中央の画素の画素値から縦方向に倍密の画像の成分を算出して、それを画素値として倍密画像を生成する。画素値生成部 7 0 5は、生成した倍密画像を出力する。

次に、画素値生成部 7 0 2による、水平倍密画像を生成する処理について説明する。

図 7 9は、図 1 2に対応する、 CCD であるセンサ 1 1に設けられている画素の配置、および水平倍密画像の画素データに対応する領域を説明する図である。図 7 9中において、 A乃至 Iは、個々の画素を示す。領域 A乃至 rは、画素 A乃至 Iの個々の画素を縦に半分にした受光領域である。画素 A乃至 Iの受光領域の幅が、 21であるとき、領域 A乃至 rの幅は、 1である。画素値生成部 7 0 2は、領域 A乃至 rに対応する画素デ一夕の画素値を算出する。

図 8 0は、領域 A乃至 rに入力される光に対応する画素データを説明する図である。図 8 0の f'(x)は、入力される光および空間的な微少区間に対応する、空間的に見て理想的な画素値を示す。

1つの画素データの画素値が、理想的な画素値 f(x)の一様な積分で表されるとすれば、領域 iに対応する画素デ一夕の画素値 Y1は、式（ 7 2 ) で表され、領域 jに対応する画素データの画素値 Y2は、式（ 7 3 ) で表され、画素 Eの画素値 Y3は、式（7 4 ) で表される。

Yl= f(x)dx.士 (72)

X3

Y2= f(x)dx^ (73)

一 Y1+Y2

一 (74)

2

式（ 7 2 ) 乃至式（ 74) において、 xl， x2、および χ3は、画素 Εの受光領域、領域しおよび領域 jのそれそれの境界の空間座標である。

式（ 74 ) を変形することにより、式（ 7 5 ) および式（ 7 6 ) を導くことができる。 Υ1=2 · Υ3 -Υ2 ( 7 5 ) Υ2=2 · Υ3 -Υ1 ( 7 6 )

従って、画素 Εの画素値 Υ3および領域 j に対応する画素デ一夕の画素値 Y2 が既知であれば、式（ 7 5 ) により、領域 i に対応する画素データの画素値 Y1 を算出することができる。また、画素 Eの画素値 Y3および領域 iに対応する画素データの画素値 Y1が既知であれば、式（ 7 6 ) により、領域 jに対応する画素デ一夕の画素値 Y2を算出することができる。

このように、画素に対応する画素値と、その画素の 2つの領域に対応する画素データのいずれか一方の画素値とを知ることができれば、画素の 2つの領域に対応する他の画素データの画素値を算出することができる。

図 8 1を参照して、 1つの画素の 2つの領域に対応する画素データの画素値の算出を説明する。図 8 1 Aは、画素 D，画素 E、および画素 Fと、空間的に見て理想的な画素値 f'(x)との関係を示す。

画素 D , 画素 E、および画素 Fは、空間的に、積分効果があり、 1つの画素が 1つの画素値を出力するので、図 8 1 Bに示すように、それそれ、 1つの画素値を出力する。画素 E が出力する画素値は、受光領域の範囲で画素値 f'(x) を積分した値に対応する。

相関演算部 7 0 3は、画素 Dの画素値と画素 Eの画素値との相関値、および画素 Eの画素値と画素 Fの画素値との相関値を生成して、画素値生成部 Ί 0 2に供給する。相関演算部 7 0 3が算出する相関値は、例えば、画素 D の画素値と画素 Eの画素値との差分値、または画素 Eの画素値と画素 Fの画素値との差分値を基に算出される。近接する画素の画素値がより近い値であるとき、それらの画素の相関はより強いと言える。すなわち、画素値の差分値のより小さい値は、より強い相関を示す。

従って、画素 Dの画素値と画素 Eの画素値との差分値、または画素 Eの画素値と画素 F の画素値との差分値をそのまま相関値として利用するとき、より小さい差分値である相関値は、より強い相関を示す。

例えば、画素 Dの画素値と画素 Eの画素値との相関が、画素 Eの画素値と画素 F の画素値との相関より強いとき、図 8 1 Cに示すように、画素値生成部 7 0 2は、画素 D の画素値を 2 で除して、その結果求められた値を領域 i の画素データとする。

画素値生成部 7 0 2は、図 8 1 Dに示すように、式（ 7 5 ) または式（ 7 6 ) により、画素 Eの画素値および領域 iの画素データの画素値を基に、領域 jの画素データの画素値を算出する。

画素値生成部 7 0 2は、例えば、画素 Dについての、領域 gの画素データの画素値、および領域 hの画素デ一夕の画素値を算出して、画素 E についての、領域 iの画素デ一夕の画素値、および領域 jの画素データの画素値を算出して、続いて、画素 F についての、領域 kの画素デ一夕の画素値、および領域 1の画素データの画素値を算出するように、順次、画面内の画素について上述したように画素データの画素値を算出して、算出した画素データの画素値を含む水平倍密画像を生成し、生成した水平倍密画像をフレームメモリ 7 0 4に供給する。

画素値生成部 7 0 5は、画素値生成部 7 0 2 と同様に、相関演算部 7 0 6から供給された水平倍密画像の、縦に並ぶ 3つの画素の画素値の相関、およびその 3つの画素の画素値から、画素の受光領域を縦に 2つに分割した領域に対応する画像デ一夕の画素値を算出することで倍密画像を生成する。

図 8 2に例を示す画像が入力画像であるとき、画素値生成部 7 0 2は、図 8 3に例を示す水平倍密画像を生成する。

画素値生成部 7 0 5は、図 8 2に例を示す画像が入力されたとき、図 8 4に例を示す画像を生成し、図 8 3に例を示す水平倍密画像が入力されたとき、図 8 5に例を示す倍密画像を生成する。

図 8 6は、図 7 8に構成を示す信号処理部 1 2の倍密画像の生成の処理を説明するフローチャートである。ステヅブ S 6 0 1において、信号処理部 1 2は、入力された画像を取得し、フレームメモリ 7 0 1に記憶する。

ステップ S 6 0 2において、相関演算部 Ί 0 3は、画面中の 1つの画素を注目画素として選択し、フレームメモリ 7 0 1に記憶されている画素値を基に、注目画素に対して水平方向に隣接する画素の相関値を求める。ステップ S 6 0 3において、画素値生成部 7 0 2は、相関演算部 7 0 3から供給された相関値を基に、相関の強い、すなわち相関値の大きい方の画素値から水平倍密画像の片側の画素データの画素値を生成する。

ステップ S 6 0 4において、画素値生成部 7 0 2は、 CCD の特性を基に、水平倍密画像の他の画素デ一夕の画素値を生成する。具体的には、画素値生成部 7 0 2は、図 8 0を参照して説明した式（ 7 5 ) および式（ 7 6 ) を基に、ステヅプ S 6 0 3の処理で算出した画素値、および入力画像の画素データの画素値を基に、水平倍密画像の他の画像データの画素値を算出する。ステップ S 6 0 3およびステップ S 6 0 4の処理で生成された、注目画素に対応する水平倍密画像の画素データは、フレームメモリ 7 0 4に記憶される。

ステップ S 6 0 5において、画素値生成部 7 0 2は、画面全体の処理を終了したか否かを判定し、画面全体の処理を終了していないと判定された場合、手続きは、ステップ S 6 0 2に戻り、次の画素を注目画素として選択して、水平倍密画像の生成の処理を繰り返す。

ステップ S 6 0 5において、画面全体の処理を終了したと判定された場合、ステツプ S 6 0 6に進み、相関演算部 7 0 6は、画面中の 1つの画素を注目画素として選択し、フレームメモリ 7 0 4に記憶されている水平倍密画像の画素値を基に、注目画素に対して垂直方向に隣接する画素の相関値を求める。ステツプ S 6 0 7において、画素値生成部 7 0 5は、相関演算部 7 0 6から供給された相関値を基に、相関の強い画素値から倍密画像の片側の画素値を生成する。ステップ S 6 0 8において、画素値生成部 7 0 5は、ステップ S 6 0 4と同様に、 CCD の特性を基に、倍密画像の他の画素値を生成する。具体的には、画素値生成部 7 0 2は、図 8 0を参照して説明した式（ 7 5 )および式（ 7 6 ) を基に、ステップ S 6 0 7の処理で算出した画素値、および水平倍密画像の画素データの画素値を基に、倍密画像の他の画像データの画素値を算出する。ステップ S 6 0 9において、画素値生成部 7 0 5は、画面全体の処理を終了したか否かを判定し、画面全体の処理を終了していないと判定された場合、手続きは、ステップ S 6 0 6に戻り、次の画素を注目画素として選択して、倍密画像の生成の処理を繰り返す。

ステップ S 6 0 9において、画面全体の処理を終了したと判定された場合、画素値生成部 7 0 5は、生成した倍密画像を出力して、処理は終了する。このように、図 7 8に構成を示す信号処理部 1 2は、入力された画像から、画像の縦方向に画素の数を 2倍とし、横方向に画素の数を 2倍とした倍密画像を生成することができる。

以上のように、図 7 8に構成を示す信号処理部 1 2は、画素の相関、および

CCD の空間に対する積分効果を考慮した信号処理を行うことにより空間的に解像度の高い画像を生成することができる。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオカメラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第 1の次元の第 1の情報を、より少ない第 2の次元の第 2の情報に射影した場合に、その射影によつて発生する歪みを補正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。

なお、センサ 1 1は、 CCD に限らす、固体撮像素子である、例えば、 BBD ( Bucket BrigA de Device ) ^ CID ( Ch A rge Injection Device)、または CPD ( Ch A rge Priming Device) などのセンサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が 1列に並んでいるセンサでもよい。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 3に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フロッピディスクを含む）、光ディスク 5 2 ( CD-ROM(Comp A ut Disk-Re A d Only Memory), DVD(Digit A 1 Vers A tile Disk)を含む）、光磁気ディスク 5 3 ( M D ( Mini-Disk) を含む）、もしくは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュー夕に予め組み込まれた状態でユーザに提供される、プログラムが記録されている ROM 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上のように、像デ一夕において前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、画像データにおいて背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、画像データにおいて前景ォブジェクト成分と背景オブジェクト成分とが混合された領域であって、前景オブジェクトの動き方向先端部側に形成されるカバードバックグラウンド領域および前景オブジェク卜の動き方向後端部側に形成されるアンカバ一ドパックグラウンド領域とを含む混合領域とを示す領域情報と、画像データとに基づいて、前景領域を中心とするカバ一ドバックグラウンド領域の外側端部からアンカバ一ドバックグラウンド領域の外側端部までの、前景オブジェクトの動き方向と一致する少なくとも 1つの直線上に乗る画素デ一夕からなる処理単位が決定され、処理単位に基づいて決定される処理単位内の画素の画素値と、混合領域における前景ォブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式が生成され、正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景オブジェクト成分が生成されるようにしたので、動きボケの量を調整することができるようになる。また、注目しているサンプルデータである注目サンブルデータが存在する注目検出データの前または後の検出データに存在するサンプルデ一夕が、現実世界における前景となるオブジェクトに対応する前景サンブルデータとして抽出され、注目検出データより後または前の検出データに存在するサンプルデー夕が、現実世界における背景となるオブジェクトに対応する背景サンブルデー夕として抽出され、注目サンブルデ一夕、前景サンプルデータ、および背景サンブルデ一夕を基に、注目サンプルデータの混合比が検出されるようにしたので、混合比を検出することができるようになる。

また、検出データに基づいて静動判定が行われ、静動判定の結果に基づいて、現実世界における複数のオブジェクトが混ざり合ったサンプルデ一夕を含む混合領域が検出されるようにしたので、複数のオブジェクトの混ざり合いが生じている領域を検出することができるようになる。また、第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、センサによって検出することで得た第 1の次元より少ない第 2の次元の第 2の信号が取得され、第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報が第 2の信号から抽出されるようにしたので、有意情報を抽出することができるようになる。

また、第 1の次元を有する現実世界の信号である第 1の信号をセンサによつて検出することにより得た、第 1の次元に比較し次元が少ない第 2の次元を有し、第 1の信号に対する歪を含む第 2の信号が取得され、第 2の信号に基づく信号処理を行うことにより、第 2の信号に比して歪の軽減された第 3の信号が生成されるようにしたので、信号の歪みを軽減することができるようになる。また、検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前景オブジェクト成分および背景オブジェクト成分とが混合されて成る混合領域とが特定され、少なくとも混合領域における前景ォブジェクト成分と背景オブジェクト成分との混合比が検出され、特定結果と混合比とに基づいて、前景オブジェクトと、背景オブジェクトとが分離されるようにしたので、より高質なデータである前景オブジェクトおよび背景オブジェクトを利用することができるようになる。

また、検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前景オブジェクト成分および背景オブジェクト成分とが混合されて成る混合領域とが特定され、特定結果に基づいて、少なくとも混合領域における前景オブジェクト成分と背景オブジェクト成分との混合比が検出されるようにしたので、有意情報である混合比を抽出することができるようになる。

さらに、前景オブジェクトを構成する前景オブジェクト成分と、背景ォブジェクトを構成する背景ォブジェクト成分とが混合されて成る混合領域における、前景オブジェクト成分と背景ォブジェクト成分との混合比が検出され、混合比に基づいて、前景オブジェクトと背景オブジェクトとが分離されるようにしたので、より高質なデ一夕である前景オブジェクトおよび背景オブジェクトを利用することができるようになる。

Claims

請求の範囲

1 . それそれ時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データから成る画像データを処理する画像処理装置において、

前記画像データにおいて前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、前記画像データにおいて背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像デ一夕において前記前景オブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景オブジェク卜の動き方向先端部側に形成されるカバードバックグラウンド領域および前記前景オブジェク卜の動き方向後端部側に形成されるアンカバ一ドバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバードバックグラウンド領域の外側端部から前記アンカバードバックグラウンド領域の外側端部までの、前記前景オブジェクトの動き方向と一致する少なくとも

1つの直線上に乗る画素データからなる処理単位を決定する処理単位決定手段と、

前記処理単位に基づいて決定される前記処理単位内の画素の画素値と、前記混合領域における前記前景オブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式を生成する正規方程式生成手段と、

前記正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景ォブジェクト成分を生成する演算手段とを備えることを特徴とする画像処理装置。

2 . 前記演算手段は、前記前景オブジェクトの動き量に基づいて、動きボケ量の調整された前記前景オブジェクト成分を生成することを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記演算手段は、前記前景オブジェク卜の動き量に基づいて、動きボケの除去された前記前景オブジェクト成分を生成することを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記演算手段は、予め設定された値に基づいて、前記動きボケの量を調整することを特徴とする請求の範囲第 1項に記載の画像処理装置。

5 . 前記演算手段は、前記正規方程式を解いて前記分割値を算出し、前記分割値に対する所定の演算処理を行うことで動きボケ量の調整された前記前景オブジェクト成分を生成することを特徴とする請求の範囲第 1項に記載の画像処理装置。

6 . 前記前景領域、前記背景領域、並びに前記カバードバックグラウンド領域および前記アンカバードバックグラウンド領域を含む前記混合領域を特定し、前記前景領域、前記背景領域、並びに前記カバードバックグラウンド領域および前記アンカバ一ドバックグラウンド領域を含む前記混合領域を示す領域情報を生成する領域情報生成手段をさらに含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

7 . 少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段をさらに含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

8 . 前記領域情報と混合比とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離手段をさらに含むことを特徴とする請求の範囲第 1項に記載の画像処理装置。

9 . それそれ時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データから成る画像データを処理する画像処理方法において、

前記画像デ一夕において前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、前記画像デ一夕において背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像データにおいて前記前景オブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景オブジェク卜の動き方向先端部側に形成されるカバードバックグラウンド領域および前記前景オブジェクトの動き方向後端部側に形成されるアンカバ一ドバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバードバヅクグラウンド領域の外側端部から前記アンカバ一ドバックグラウンド領域の外側端部までの、前記前景オブジェクトの動き方向と一致する少なくとも 1つの直線上に乗る画素データからなる処理単位を決定する処理単位決定ステツブと、

前記処理単位に基づいて決定される前記処理単位内の画素の画素値と、前記混合領域における前記前景ォブジェクト成分を設定した分割数で分割してなる未知数である分割値とを設定することで、正規方程式を生成する正規方程式生成ステツブと、

前記正規方程式を最小自乗法で解くことで、動きボケ量の調整された前景ォブジェクト成分を生成する演算ステツブとを含むことを特徴とする画像処理方法。

1 0 . それぞれ時間積分効果を有する所定数の画素を有する撮像素子によつて取得された所定数の画素データから成る画像データを処理する画像処理用のプログラムであって、

前記画像データにおいて前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、前記画像データにおいて背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記画像データにおいて前記前景オブジェクト成分と前記背景オブジェクト成分とが混合された領域であって、前記前景オブジェク卜の動き方向先端部側に形成されるカバ一ドバックグラウンド領域および前記前景オブジェクトの動き方向後端部側に形成されるアンカバードバックグラウンド領域とを含む混合領域とを示す領域情報と、前記画像データとに基づいて、前記前景領域を中心とする前記カバ一ドバックグラウンド領域の外側端部から前記アンカバ一ドバックグラウンド領域の外側端部までの、前記前景オブジェクトの動き方向と一致する少なくとも

1つの直線上に乗る画素データからなる処理単位を決定する処理単位決定ステツブと、

前記正規方程式を最小自乗法で解くことで、動きポケ量の調整された前景ォブジェクト成分を生成する演算ステップとを含むことを特徴とするコンビュ ―夕が読み取り可能なプログラムが記録されている記録媒体。

1 1 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンブルデ一夕から成る所定期間毎の検出データを処理する信号処理装置において、

注目している前記サンプルデ一夕である注目サンブルデ一夕が存在する注目検出データの前または後の検出データに存在する前記サンプルデータを、現実世界における前景となるオブジェクトに対応する前景サンプルデータとして抽出する前景サンプルデ一夕抽出手段と、

前記注目検出データより後または前の検出デ一夕に存在する前記サンプルデータを、現実世界における背景となるオブジェクトに対応する背景サンプルデ一夕として抽出する背景サンプルデ一夕抽出手段と、

前記注目サンプルデータ、前記前景サンプルデ一夕、および前記背景サンプルデ一夕を基に、前記注目サンプルデ一夕の混合比を検出する検出手段とを含むことを特徴とする信号処理装置。

1 2 . 前記サンプルデータの、前景となるオブジェクトを構成する前景ォブジェクト成分のみから成る前景領域と、背景となるオブジェクトを構成する背景ォブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定手段を更に含み、

前記前景サンプルデータ抽出手段は、前記領域特定手段の特定結果を基に、前記前景サンブルデータを抽出し、

前記背景サンプルデータ抽出手段は、前記領域特定手段の特定結果を基に、前記背景サンプルデ一夕を抽出することを特徴とする請求の範囲第 1 1項に記載の信号処理装置。

1 3 . 前記領域特定手段は、前記混合領域をカバードバックグラウンド領域とアンカバ一ドバックグラウンド領域とにさらに識別し、

前記検出手段は、カバ一ドバックグラウンド領域とアンカバ一ドバックグラゥンド領域との識別の結果、前記注目サンブルデータ、前記前景サンプルデータ、および前記背景サンプルデータを基に、前記注目サンプルデータの混合比を検出することを特徴とする請求の範囲第 1 2項に記載の信号処理装置。

1 4 . 前記検出データは、画像データであることを特徴とする請求の範囲第 1 1項に記載の信号処理装置。

1 5 . 前記検出手段は、前記注目サンプルデ一夕と前記前景サンプルデ一夕との差を、前記背景サンプルデータと前記前景サンプルデータとの差で除して、前記注目サンプルデータの混合比を検出することを特徴とする請求の範囲第 1 1項に記載の信号処理装置。

1 6 . 前記検出手段は、現実世界において、静止している背景となるォブジェクトを構成する背景オブジェクト成分を含む前記注目サンプルデ一夕および前記背景サンプルデータ、並びにほぼ同一の前景オブジェクト成分を含む前記注目サンプルデ一夕および前記前景サンプルデータを基に、前記注目サンプルデータの混合比を検出することを特徴する請求の範囲第 1 1項に記載の信号処理装置。

1 7 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出データを処理する信号処理方法において、

注目している前記サンブルデータである注目サンプルデ一夕が存在する注目検出デ一夕の前または後の検出データに存在する前記サンプルデ一夕を、現実世界における前景となるオブジェク卜に対応する前景サンプルデータとして抽出する前景サンプルデ一夕抽出ステップと、

前記注目検出データより後または前の検出データに存在する前記サンプルデ一夕を、現実世界における背景となるオブジェクトに対応する背景サンプルデータとして抽出する背景サンプルデータ抽出ステップと、

前記注目サンブルデータ、前記前景サンブルデータ、および前記背景サンブルデータを基に、前記注目サンプルデ一夕の混合比を検出する検出ステップとを含むことを特徴とする信号処理方法。

1 8 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出データを処理する信号処理用のプログラムであって、

注目している前記サンプルデータである注目サンプルデ一夕が存在する注目検出デ一夕の前または後の検出データに存在する前記サンプルデ一夕を、現実世界における前景となるオブジェク卜に対応する前景サンプルデ一夕として抽出する前景サンプルデ一夕抽出ステツプと、

前記注目サンプルデータ、前記前景サンプルデータ、および前記背景サンブルデータを基に、前記注目サンプルデータの混合比を検出する検出ステップとを含むことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている記録媒体。

1 9 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出データを処理する信号処理装置において、

前記検出データに基づいて静動判定を行う静動判定手段と、

静動判定の結果に基づいて、現実世界における複数のオブジェク卜が混ざり合ったサンプルデ一タを含む混合領域を検出する検出手段とを含むことを特徴とする信号処理装置。

2 0 . 前記静動判定手段は、判定の対象となる前記サンブルデータが、基準時刻以前に、その値が時間の経過に対応してほぼ一定の状態から、その値が時間の経過に対応して変化している状態に移行したか否かを判定する第 1の判定手段と、判定の対象となる前記サンプルデータが、前記基準時刻以後に、その値が時間の経過に対応して変化している状態から、その値が時間の経過に対応してほぼ一定の状態に移行するか否かを判定する第 2の判定手段とを含み、前記検出手段は、前記第 1の判定手段が、判定の対象となる前記サンプルデ

—夕が、前記基準時刻以前にその値が時間の経過に対応してほぼ一定の状態から、その値が時間の経過に対応して変化している状態に移行したと判定したとき、または前記第 2の判定手段が、判定の対象となる前記サンプルデ一夕が、前記基準時刻以後にその値が時間の経過に対応して変化している状態から、その値が時間の経過に対応してほぼ一定の状態に移行すると判定したとき、判定の対象となる前記サンプルデ一夕を、前記混合領域に属する前記サンプルデー夕として検出することを特徴とする請求の範囲第 1 9項に記載の信号処理装置。

2 1 . 前記検出手段は、前記第 1の判定手段が、判定の対象となる前記サンブルデータが、前記基準時刻以前にその値が時間の経過に対応してほぼ一定の状態から、その値が時間の経過に対応して変化している状態に移行したと判定したとき、判定の対象となる前記サンブルデ一夕を、カバードバックグラウンド領域に属する前記サンプルデータとして検出し、前記第 2の判定手段が、判定の対象となる前記サンプルデータが、前記基準時刻以後にその値が時間の経過に対応して変化している状態から、その値が時間の経過に対応してほぼ一定の状態に移行すると判定したとき、判定の対象となる前記サンプルデータを、アンカバ一ドバヅクグラウンド領域に属する前記サンプルデ一夕として検出することを特徴とする請求の範囲第 2 0項に記載の信号処理装置。

2 2 . 前記検出データは、画像データであることを特徴とする請求の範囲第 1 9項に記載の信号処理装置。

2 3 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンプルデータから成る所定期間毎の検出デ一夕を処理する信号処理方法において、

前記検出データに基づいて静動判定を行う静動判定ステップと、

静動判定の結果に基づいて、現実世界における複数のオブジェクトが混ざり合ったサンプルデータを含む混合領域を検出する検出ステツプとを含むことを特徴とする信号処理方法。

2 4 . 時間積分効果を有する所定の数の検出素子から成るセンサによって所定の期間毎に取得された所定の数のサンブルデータから成る所定期間毎の検出デ一夕を処理する信号処理用のプログラムであって、

前記検出データに基づいて静動判定を行う静動判定ステツブと、

静動判定の結果に基づいて、現実世界における複数のオブジェクトが混ざり合ったサンプルデータを含む混合領域を検出する検出ステップとを含むことを特徴とするコンビュ一夕が読み取り可能なプログラムが記録されている記録媒体。

2 5 . 第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、前記センサによって検出することで得た前記第 1の次元より少ない第 2の次元の第 2の信号を取得する取得手段と、

前記第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報を前記第 2の信号から抽出する信号処理手段とを備えることを特徴とする信号処理装置。

2 6 . 前記有意情報は、射影により生じた歪を調整するための情報であることを特徴とする請求の範囲第 2 5項に記載の信号処理装置。

2 7 . 前記センサは、それそれ時間積分効果を有する複数の検出素子からなるセンサであって、

前記取得手段は、前記センサによって検出された個々の前記検出素子に対応する複数の検出信号を前記第 2の信号として取得し、

前記歪は、時間積分効果による歪であることを特徴とする請求の範囲第 2 6 項に記載の信号処理装置。

2 8 . 前記取得手段は、所定時間単位毎に前記センサの複数の検出素子で検出された複数の時間単位の前記複数の検出信号を取得し、

前記信号処理手段は、前記複数の時間単位の複数の検出信号に基づいて、所望の時間の前記第 2の信号に対する前記有意情報を抽出することを特徴とする請求の範囲第 2 7項に記載の信号処理装置。

2 9 . 前記第 2の信号は、画像信号であることを特徴とする請求の範囲第 2 5項に記載の信号処理装置。

3 0 . 前記信号処理手段は、前記第 2の信号のうち、前記射影により埋もれた有意情報を含む有意領域と他の領域とを特定し、特定された領域を示す領域情報を前記有意情報として出力する領域特定手段を備えることを特徴とする請求の範囲第 2 5項に記載の信号処理装置。

3 1 . 前記領域情報は、前景オブジェクトを構成する前景オブジェクト成分のみからなる前記他の領域である前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみからなる前記他の領域である背景領域と、前記前景ォブジェクト成分と前記背景オブジェクト成分とが混合されてなる前記有意領域である混合領域を示すことを特徴とする請求の範囲第 3 0項に記載の信号処理装置。

3 2 . 前記領域情報は、前記混合領域をカバードバックグラウンド領域とァンカバ一ドバックグラウンド領域とに識別する情報を含むことを特徴とする請求の範囲第 3 1項に記載の信号処理装置。

3 3 . 前記信号処理手段は、前記領域特定手段により特定された前記有意情報を含む領域から前記有意情報を抽出する有意情報抽出手段をさらに備えることを特徴とする請求の範囲第 3 0項に記載の信号処理装置。

3 4 . 前記有意情報は、前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記前景オブジェクト成分と前記背景オブジェクト成分とが混合されてなる混合領域からなる前記第 2の信号のうちの前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分の混合比を示すことを特徴とする請求の範囲第 3 3項に記載の信号処理装置。

3 5 . 前記信号処理手段は、前記有意情報に基づいて、前記射影により前記第 2の信号に生じている歪の量を調整する歪量調整手段をさらに備えることを特徴とする請求の範囲第 3 3項に記載の信号処理装置。

3 6 . 前記歪量調整手段は、前記歪の量を低減することを特徴とする請求の範囲第 3 5項に記載の信号処理装置。

3 7 . 前記歪量調整手段は、前記歪を除去することを特徴とする請求の範囲第 3 5項に記載の信号処理装置。

3 8 . 前記歪が、前記前景オブジェクトに生じている動きボケであることを特徴とする請求の範囲第 3 5項に記載の信号処理装置。

3 9 . 前記信号処理手段は、前記前景オブジェク卜の動き量を検出するォブジェクト動き検出手段をさらに備え、

前記歪量調整手段は、前記前景オブジェクトの動き量に基づいて、前記歪である動きボケの量を調整することを特徴とする請求の範囲第 3 8項に記載の信号処理装置。

4 0 . 前記信号処理手段は、前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記前景ォブジェクト成分と前記背景ォブジェクト成分とが混合されてなる混合領域とからなる前記第 2信号のうちの、前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分の混合比を、前記有意情報として抽出することを特徴とする請求の範囲第 2 5項に記載の信号処理装置。

4 1 . 前記信号処理手段は、前記有意情報に基づいて、前記射影により前記第 2の信号に生じている歪の量を調整する歪量調整手段をさらに備えることを特徴とする請求の範囲第 4 0項に記載の信号処理装置。

4 2 . 前記歪量調整手段は、前記歪の量を低減することを特徴とする請求の範囲第 4 1項に記載の信号処理装置。

4 3 . 前記歪量調整手段は、前記歪を除去することを特徴とする請求の範囲第 4 1項に記載の信号処理装置。

4 . 前記歪が、前記前景ォブジェクトに生じている動きボケであることを特徴とする請求の範囲第 4 1項に記載の信号処理装置。

4 5 . 前記信号処理手段は、前記前景オブジェクトの動き量を検出するォブジェクト動き検出手段をさらに備え、

前記歪量調整手段は、前記前景オブジェク卜の動き量に基づいて、前記歪である動きボケの量を調整することを特徴とする請求の範囲第 4 4項に記載の信号処理装置。

4 6 . 前記信号処理手段は、前記第 2の信号に基づいて、前記混合比を前記有意情報として抽出し、前記信号処理手段は、前記第 2の信号から、前記前景領域と前記背景領域と前記混合領域とを示す領域情報を、前記有意情報として抽出することを特徴とする請求の範囲第 4 0項に記載の信号処理装置。

4 7 . 前記信号処理手段は、前記混合比と前記領域情報とに基づいて、前記前景オブジェクト成分のみからなる前記前景オブジェクトと前記背景ォブジェクト成分のみからなる前記背景オブジェク卜とを分離することを特徴とする請求の範囲第 4 6項に記載の信号処理装置。

4 8 . 前記信号処理手段は、前記前景オブジェクトに生じている前記歪である動きボケを調整する歪量調整手段をさらに備えることを特徴とする請求の範囲第 4 7項に記載の信号処理装置。

4 9 . 前記信号処理手段は、前記前景オブジェクトの動き量を検出するォブジェクト動き検出手段をさらに備え、

前記歪量調整手段は、前記前景オブジェクトの動き量に基づいて、前記歪である動きボケの量を調整することを特徴とする請求の範囲第 4 8項に記載の信号処理装置。

5 0 . 前記信号処理手段は、前記前景オブジェクトを任意の背景画像と合成することを特徴とする請求の範囲第 4 7項に記載の信号処理装置。

5 1 . 第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、前記センサによって検出することで得た前記第 1の次元より少ない第 2の次元の第 2の信号を取得する取得ステツプと、

前記第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報を前記第 2の信号から抽出する信号処理ステツプとを含むことを特徴とする信号処理方法。

5 2 . 第 1の次元を有する現実世界の信号である第 1の信号が、センサに射影され、前記センサによって検出することで得た前記第 1の次元より少ない第 2の次元の第 2の信号を取得する取得ステツプと、

前記第 2の信号に基づく信号処理を行うことにより、射影により埋もれた有意情報を前記第 2の信号から抽出する信号処理ステップとを含むことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている記録媒体。

5 3 . 第 1の次元を有する現実世界の信号である第 1の信号をセンサによつて検出することにより得た、前記第 1の次元に比較し次元が少ない第 2の次元を有し、前記第 1の信号に対する歪を含む第 2の信号を取得する取得手段と、前記第 2の信号に基づく信号処理を行うことにより、前記第 2の信号に比して前記歪の軽減された第 3の信号を生成する信号処理手段とを備えることを特徴とする信号処理装置。

5 4 . 前記センサは、それぞれ前記歪である時間積分効果を有する複数の検出素子から成るセンサであって、

前記信号処理手段は、前記第 2の信号に基づく信号処理を行うことにより、時間積分効果が軽減された、前記複数の検出信号に対応する複数のサンプルデ —夕から成る前記第 3の信号を生成することを特徴とする請求の範囲第 5 3 項に記載の信号処理装置。

5 5 . 前記信号処理手段は、現実世界における第 1のオブジェクトと、前記第 1のォブジヱク卜に対して相対的に移動する第 2のォブジェク卜とを前記センサで検出した場合、前記第 2の信号によって表される前記第 1のオブジェクトと前記第 2のオブジェクトとの境界近傍において、前記センサの時間積分効果によって生じた前記第 1のオブジェクトと前記第 2のオブジェク卜との混合による歪を前記信号処理により軽減することを特徴とする請求の範囲第 5 4項に記載の信号処理装置。

5 6 . 前記取得手段は、所定時間単位ごとに前記センサの複数の検出素子で検出された、複数の前記時間単位の前記検出信号を取得し、

前記信号処理手段は、複数の前記時間単位の前記検出信号に基づいて、所望の前記時間単位に対応する前記第 2の信号によって表される前記第 1のォブジェクトと前記第 2のオブジェクトとの境界近傍における歪を、前記信号処理により軽減することを特徴とする請求の範囲第 5 5項に記載の信号処理装置。

5 7 . 前記信号処理手段は、現実世界における第 1のオブジェクトと、前記第 1のォブジェクトに対して相対的に移動する第 2のォブジェクトとを前記センサで検出した場合、前記第 2の信号において混合されている前記第 1のォブジェクトおよび前記第 2のォブジェクトから、前記第 1のォブジェクトおよび前記第 2のォブジェク卜のいずれか一方を分離して、分離された前記第 1のオブジェクトおよび前記第 2のォブジェク卜のいずれか一方を前記第 3の信号として出力することを特徴とする請求の範囲第 5 4項に記載の信号処理装置。

5 8 . 前記センサは、前記第 1の信号である、光を含む電磁波を光電変換により前記第 2の信号である画像信号に変換することを特徴とする請求の範囲第 5 3項に記載の信号処理装置。

5 9 . 前記センサは、温度を測定するサ一モグラフィ装置であることを特徴とする請求の範囲第 5 3項に記載の信号処理装置。

6 0 . 前記センサは、圧力センサであることを特徴とする請求の範囲第 5 3 項に記載の信号処理装置。

6 1 . 前記センサは、所定時間間隔毎に前記第 2の信号を生成することを特徴とする請求の範囲第 5 3項に記載の信号処理装置。

6 2 . 前記センサが、それぞれ空間積分効果を有する複数の検出素子を有するセンサであって、

前記信号処理手段は、前記第 2の信号に基づく信号処理を行うことにより、前記歪である射影による空間積分効果が軽減された複数の検出信号からなる前記第 3の信号を生成することを特徴とする請求の範囲第 5 3項に記載の信号処理装置。

6 3 . 前記センサは、前記複数の検出素子が少なくとも 1つの方向である所定の方向に複数個配置されており、

前記信号処理手段は、

前記第 2の信号の各サンプルデ一夕に対して、前記所定の方向において隣接する前記第 2の信号の 2つのサンプルデ一夕との間の相関をそれそれ検出する相関検出手段と、各注目サンプルデ一夕に対して、前記隣接する 2つのサンプルデータの内、前記相関の大きいほうのサンプルデ一夕のサンプル値に基づいて、前記相関の大ぎいサンプルデータ側のサンプル値となる第 1のサンプル値を生成し、前記注目サンブルデ一夕のサンプル値と前記第 1のサンプル値とに基づいて、前記相関の小さい側のサンプル値となる第 2のサンプル値を生成し、前記第 1のサンプル値と前記第 2のサンプル値を前記注目サンブルに対応する前記第 3の信号の 2つのサンプル値として出力する倍密サンプル生成手段とを備えることを特徴とする請求の範囲第 6 2項に記載の信号処理装置。

6 4 . 前記センサは、複数の前記検出素子がマトリクス状に配置されており、前記所定の方向は、前記マトリクス状の配置における水平方向および垂直方向の少なくとも一方であることを特徴とする請求の範囲第 6 3項に記載の信号処理装置。

6 5 . 前記信号処理手段は、水平方向および垂直方向の両方向について倍密化することを特徴とする請求の範囲第 6 4項に記載の信号処理装置。

6 6 . 前記相関は、前記サンプルデ一夕の差分であることを特徴とする請求の範囲第 6 3項に記載の信号処理装置。

6 7 . 前記取得手段は、前記複数の検出素子から所定時間毎に前記第 2の信号を取得することを特徴とする請求の範囲第 6 3項に記載の信号処理装置。

6 8 . 第 1の次元を有する現実世界の信号である第 1の信号をセンサによつて検出することにより得た、前記第 1の次元に比較し次元が少ない第 2の次元を有し、前記第 1の信号に対する歪を含む第 2の信号を取得する取得ステツプと、

前記第 2の信号に基づく信号処理を行うことにより、前記第 2の信号に比して前記歪の軽減された第 3の信号を生成する信号処理ステップとを含むことを特徴とする信号処理方法。

6 9 . 第 1の次元を有する現実世界の信号である第 1の信号をセンサによつて検出することにより得た、前記第 1の次元に比較し次元が少ない第 2の次元を有し、前記第 1の信号に対する歪を含む第 2の信号を取得する取得ステツプと、前記第 2の信号に基づく信号処理を行うことにより、前記第 2の信号に比して前記歪の軽減された第 3の信号を生成する信号処理ステツプとを含むことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている記録媒体。

7 0 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、

前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定手段と、

少なくとも前記混合領域における前記前景オブジェクト成分と前記背景ォブジェクト成分との混合比を検出する混合比検出手段と、

前記領域特定手段の特定結果と前記混合比とに基づいて、前記前景オブジェクトと、前記背景オブジェクトとを分離する分離手段とを含むことを特徴とする信号処理装置。

7 1 . 前記前景オブジェクトの動きボケ量を調整する動きボケ量調整手段をさらに含むことを特徴とする請求の範囲第 7 0項の信号処理装置。

7 2 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、

前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、

少なくとも前記混合領域における前記前景オブジェクト成分と前記背景ォブジェクト成分との混合比を検出する混合比検出ステップと、

前記領域特定ステツプの処理の特定結果と前記混合比とに基づいて、前記前景オブジェクトと、前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とする信号処理方法。

7 3 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、

前記領域特定ステツプの処理の特定結果と前記混合比とに基づいて、前記前景オブジェクトと、前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている記録媒体。

7 4 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、

前記領域特定手段の特定結果に基づいて、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段とを含むことを特徴とする信号処理装置。

7 5 . 前記混合比に基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離手段をさらに備える請求の範囲第 7 4項に記載の信号処理装置。

7 6 . 前記前景オブジェクトに含まれる動きボケの量を調整する動きボケ量調整手段をさらに備えることを特徴とする請求の範囲第 7 4項に記載の信号処理装置。

7 7 . 少なくとも前記前景オブジェクトおよび前記背景オブジェク卜のいずれか一方の動きを検出する動き検出手段をさらに含み、

前記動きポケ調整手段は、検出された動きに基づいて、動きボケの量を調整することを特徴とする請求の範囲第 7 6項に記載の信号処理装置。

7 8 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、

前記領域特定ステツプの処理の特定結果に基づいて、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップとを含むことを特徴とする信号処理方法。

7 9 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前記検出信号の内、前景オブジェクトを構成する前景オブジェクト成分のみから成る前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみから成る背景領域と、前記前景オブジェクト成分および前記背景オブジェクト成分とが混合されて成る混合領域とを特定する領域特定ステップと、

前記領域特定ステツプの処理の特定結果に基づいて、少なくとも前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステツプとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている記録媒体。

8 0 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理装置において、

前景オブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景オブジェクト成分とが混合されて成る前記混合領域における、前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段と、

前記混合比に基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離手段とを含むことを特徴とする信号処理装置。

8 1 . 前記前景オブジェク卜に含まれる動きボケの量を調整する動きボケ量調整手段をさらに備えることを特徴とする請求の範囲第 8 0項に記載の信号処理装置。

8 2 . 少なくとも前記前景オブジェクトおよび前記背景オブジェクトのいずれか一方の動きを検出する動き検出手段をさらに含み、

前記動きボケ調整手段は、検出された動きに基づいて、動きボケの量を調整することを特徴とする請求の範囲第 8 1項に記載の信号処理装置。

8 3 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理方法において、

前景オブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景オブジェクト成分とが混合されて成る前記混合領域における、前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップと、

前記混合比に基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とする信号処理方法。

8 4 . 時間積分効果を有する所定の数の検出素子から成るセンサによって取得された所定の数の検出信号を処理する信号処理用のプログラムであって、前景オブジェクトを構成する前景オブジェクト成分と、背景オブジェクトを構成する背景ォブジェクト成分とが混合されて成る前記混合領域における、前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップと、

前記混合比に基づいて、前記前景オブジェクトと前記背景オブジェクトとを分離する分離ステップとを含むことを特徴とするコンピュ一夕が読み取り可能なプログラムが記録されている記録媒体。