JP4898800B2

JP4898800B2 - イメージセグメンテーション

Info

Publication number: JP4898800B2
Application number: JP2008517220A
Authority: JP
Inventors: クリミニシアントニオ; ブレイクアンドリュー; クロスジェフリー; コルモゴロフウラジミール
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2005-06-17
Filing date: 2006-06-19
Publication date: 2012-03-21
Anticipated expiration: 2026-06-19
Also published as: WO2006138730A3; JP2008547097A; CN101558404B; EP1891579A2; KR101242259B1; EP1891579B1; EP1891579A4; US8103093B2; US20060285747A1; CN101558404A; WO2006138730A2; US7676081B2; KR20080015078A; US20100119147A1

Description

リアルタイムでビデオから前景レイヤを分離することは、テレビ遠隔会議、実況の会議、またはその他のビデオ表示アプリケーションでのライブの背景置換、パン／チルト／ズーム、オブジェクト挿入など、多くのアプリケーションにおいて有用となりうる。リアルタイムで前景レイヤを分離することには、ビデオマッティングにおけるような透明度決定を含むコンピュータグラフィックス品質に迫りつつも、ライブストリーミング速度を達成するのに十分な計算効率をもつレイヤ分離が求められる。

以下の説明は、読者に基本的な理解をもたらすために、本開示の要約を簡易化して示すものである。この要約は、本開示の広範にわたる概要ではなく、本発明の主要／重要要素を識別するものでもなく、また本発明の範囲を規定するものではない。この要約の唯一の目的は、本明細書に開示される一部の概念を、これ以降に提示される、より詳細な説明への導入として、簡略化した形式で提示することである。

標準的な単眼ビデオシーケンスにおける背景レイヤからの前景のリアルタイムなセグメンテーションは、モーション、カラー、コントラストなどを含む１つまたは複数の要因に基づくことのあるセグメンテーションプロセスによって提供されうる。カラー／コントラストから、またはモーションのみからレイヤを自動分離することは、エラーを含む可能性がある。セグメンテーションエラーを軽減するため、前景および／または背景レイヤを正確かつ効率的に推論するように、カラー、モーションの情報と、また任意でコントラストの情報とが確率的に結合されうる。このように、ピクセル速度は必要とされない。したがって、オプティカルフロー推定に関連する多くの問題は、解消される。その代わり、非モーションに対するモーションの尤度は、トレーニングデータから自動的に学習されて、コントラストに敏感なカラーモデルと融合されうる。次いで、セグメンテーションは、グラフカットなどの最適化アルゴリズムによって効率的に解決されうる。本明細書において使用されるように、最適化は、１つまたは複数の任意の結果を採点すること、およびあるしきい値を超えるスコアまたは複数のスコアのうち最も高いスコアをもつ任意の結果を選択することを含みうる。たとえば、最適化は、最高スコアをもつ任意の結果を選択することを含みうる。場合によっては、任意の結果の採点は、最小エネルギーをもつ任意の結果を検討することを含みうる。

前景／背景の分離の正確性は、ライブ背景置換の適用において以下で説明されように実証され、納得のゆく品質の合成ビデオ出力をもたらすものであると示される。しかし、イメージの前景および背景のセグメンテーションには、さまざまな応用および用途がありうることを理解されたい。

付随する特徴の多くは、付属の図面と共に以下の詳細な説明を参照することにより理解も深まるので、さらに容易に理解されよう。

本発明の説明は、付属の図面を踏まえて以下の詳細な説明を読めば、さらに深く理解されよう。

付属の図面と共に以下に示される詳細な説明は、本発明の実施例を説明することを意図したものであり、本発明の実施例が構成されるかまたは使用されうる唯一の形態を表すことを意図したものではない。説明は、実施例の機能、および実施例を構成して操作するためのステップの順序を示す。しかし、同一または同等の機能および順序は、さまざまな例によって達成されうる。

本発明の実施例は、本発明においてセグメンテーションシステムで実施されるように説明され表されているが、説明されるシステムは、限定的ではなく例示的なものとして提供されている。本発明の実施例が多種多様なイメージ処理システムでの適用に適していることは、当業者であれば理解されよう。

図１および以下の説明は、背景領域からイメージの前景領域をセグメント化するためにイメージ処理システムが実施されうる適切なコンピュータ環境について簡単な一般的説明を提供することを目的としている。図１の動作環境は、適切な動作環境の一例に過ぎず、動作環境の使用または機能の範囲に関していかなる限定を示唆することも目的としていない。本明細書に説明される単眼（monocular）ベースのイメージ処理システムと共に使用するために最適と考えられるその他のよく知られているコンピュータシステム、環境、および／または構成には、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブル家庭用電化製品、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などがあげられるが、これらに限定されることはない。

要求されてはいないが、イメージ処理システムは、１つまたは複数のコンピュータまたは他の装置によって実行されるプログラムモジュールなど、コンピュータ実行可能命令の一般的なコンテキストに即して説明される。一般に、プログラムモジュールには、特定のタスクを実行するかまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。通常、プログラムモジュールの機能は、さまざまな環境において望ましいように組み合わされまたは分散されうる。

図１を参照すると、イメージ処理システムを実装するための１つの模範的なシステムは、コンピュータ装置１００のようなコンピュータ装置を含む。極めて基本的な構成において、コンピュータ装置１００は通常、少なくとも１つの処理装置１０２およびメモリ１０４を含む。コンピュータ装置の正確な構成および種類に応じて、メモリ１０４は揮発性（ＲＡＭなど）、不揮発性（ＲＯＭ、フラッシュメモリなど）、またはこの２つの組み合わせであってもよい。その最も基本的な構成は、図１において破線１０６によって表されている。加えて、装置１００は、追加の特徴および／または機能を備えることもできる。たとえば、装置１００は、磁気または光ディスクまたはテープを含む追加のストレージ（取り外し可能および／または固定式）を含むこともできるが、これらに限定されることはない。そのような追加のストレージは、取り外し可能ストレージ１０８および固定式ストレージ１１０によって図１に示される。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよびその他のデータなどの情報のストレージのための任意の方法または技術において実施された揮発性および不揮発性の、取り外し可能および固定式の媒体を含む。メモリ１０４、取り外し可能ストレージ１０８および固定式ストレージ１１０はすべて、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージ装置、あるいは望ましい情報を格納するために使用され、装置１００によってアクセスされうる他の媒体を含むが、これらに限定されることはない。そのようなコンピュータ記憶媒体は、装置１００の一部にすることができる。

装置１００はまた、装置１００が、ネットワーク１２０経由で他のコンピュータ装置のような他の装置と通信できるようにする通信接続１１２も含むことができる。通信接続１１２は、通信媒体の一例である。通信媒体は典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを、変調された、搬送波またはその他の搬送メカニズムなどのデータ信号に具現化するものであり、任意の情報伝達媒体を含むものである。「変調されたデータ信号」という用語は、１つまたは複数の特性のセットを備える信号、または信号中に情報をコード化するような方法で変更された信号を意味する。たとえば、通信媒体は、有線ネットワークまたは直接配線接続のような有線媒体、および音響、無線周波数、赤外線などの無線媒体を含むが、これらに限定されることはない。本明細書で使用されているコンピュータ可読媒体という用語は、記憶媒体および通信媒体を共に含む。

プログラム命令を格納するために使用される記憶装置はネットワーク全体にわたり分散されうることを、当業者であれば理解するであろう。たとえば、リモートコンピュータは、ソフトウェアとして説明されるプロセスの例を格納することができる。ローカルまたは端末のコンピュータは、リモートコンピュータにアクセスし、ソフトウェアの一部または全部をダウンロードしてプログラムを実行することができる。あるいは、ローカルコンピュータは、必要に応じてソフトウェアの一部分をダウンロードするか、またはローカル端末において一部のソフトウェア命令を実行し、リモートコンピュータ（またはコンピュータネットワーク）において一部のソフトウェア命令を実行することにより分散的に処理を行うことができる。既知の従来の技法を使用することにより、ソフトウェア命令の全部または一部がＤＳＰ、プログラマブル論理アレイなどの専用回路によって実行されうることもまた、当業者であれば理解するであろう。

装置１００はさらに、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、レーザー距離計、赤外線カメラ、ビデオ入力装置、および／または他の入力装置などの入力装置１１４を備えることもできる。１つまたは複数のディスプレイ、スピーカ、プリンタ、および／または任意の他の出力装置などの出力装置１１６も含められうる。

デジタルビデオカメラは、消費者および専門家のいずれの状況においても有用である。一般に、デジタルビデオカメラは、デジタルイメージのシーケンスを取り込むが、イメージはその後表示または処理のためにコンピュータ装置に転送されうるか、または格納のために記憶装置に転送されうる。１つの例では、テレビ会議アプリケーションにデジタルビデオカメラを採用する。標準的なテレビ会議において、ある会議参加者を表すイメージシーケンスは、１人または複数の他の参加者に伝送される。同時に、その他の参加者を表すイメージシーケンスは、第１の参加者の表示装置に伝送される。このようにして、各参加者は、会議中に他の参加者のビデオを見ることができる。

図２は、自分の表示装置２０６のビデオ表示フレームで他の参加者を見る会議参加者２０４に焦点を合わせた単一のビデオカメラ２０２を備える標準的なテレビ遠隔会議環境２００を示す。ビデオカメラ２０２は一般に、ビデオカメラの視界内に参加者を収めるために広角視野を備えて、コンピュータ装置のディスプレイ２０６の上またはその付近に取り付けられる。しかし、広角視野はまた、シーンの背景２０８も取り込む。代替の位置、方向、カメラ数、参加者の数など、代替のカメラおよびディスプレイのセットアップが適宜使用されうることを理解されたい。

対話方式のカラー／コントラストベースのセグメンテーション技法は、単一の静的イメージの前景および背景をセグメント化する際に効果的であることが実証されている。カラー／コントラストのみに基づくセグメンテーションでは、前景および背景の領域を定義する際に手動操作が必要となるので、カラー／コントラストセグメンテーションは、完全自動の方法の機能を超えるものである。

リアルタイムでビデオイメージに適用されうるように、前景レイヤを正確および／または効率的に（たとえば、自動的に）セグメント化するため、さまざまなキューの融合を活用する堅固な手法が使用されうる。たとえば、モーションのカラーおよびコントラストとの融合、およびレイヤ内空間コヒーレンスの事前分布（ｐｒｉｏｒ）は、イメージのビデオストリームの前景情報をセグメント化するために実施されてもよい。ステレオ、カラー、およびコントラストを融合することにより、前景／背景の分離は、ステレオイメージング技法により約１０ｆｐｓで達成されうる。同様のセグメンテーションの正確性は、標準的な単眼式カメラによって達成されうるが、これはさらに高速におけるものとなりうる。

代替の実施例において、ステレオ尤度は、カラーおよび／またはコントラストと融合されるかどうかにかかわらず、モーション尤度で増加されうる。ステレオ尤度は、参照により本明細書に組み込まれる、V. Kolmogorov, et al., "Bi-layer segmentation of binocular stereo video," In Proc. Conf. Comp. Vision Pattern Rec., San Diego, CA, June 2005、および２００５年８月２日に出願された「ＳＴＥＲＥＯ−ＢＡＳＥＤＳＥＧＭＥＮＴＡＴＩＯＮ」と題する米国特許出願第１１／１９５０２７号明細書に説明されている。具体的には、モーションは、ステレオイメージ処理システムにおいて、ステレオ尤度と、また任意でカラーおよび／またはコントラスト尤度と、同様に融合されうる。

従来技術において、たとえばモーションなどの、ピクセル速度は通常、オプティカルフローアルゴリズムを適用することによって推定される。セグメンテーションのために、オプティカルフローは次いで、事前定義されたモーションモデルに従って領域に分割されうる。しかし、オプティカルフローを解決することは通常、制約付きの問題であり、したがって、解決法を正則化するために多くの「平滑性」の制約が追加されることもある。残念なことに、正則化手法は、オブジェクト境界に沿って不正確さを生じる場合がある。セグメンテーションの場合、境界の不正確さのような残存効果（residual effects）は、不正確な前景／背景の遷移を生じることがあるので望ましくない場合もある。正則化手法の残存効果を軽減するため、全速度（full velocities）を計算するのではなく、尤度比検定を通じてモーションが非モーションイベントと区別されうる。トレーニング例から学習されるモーション尤度関数は、次に、色／コントラスト尤度および空間事前分布と確率的に融合されて、さらに正確なセグメンテーションを達成しうる。さらに、全速度を計算する必要を軽減することは、アルゴリズムの効率の点から見ても都合のよいものとなりうる。

図２は、イメージシーケンスの前景および背景を自動的に分離するイメージ処理システムの例を示す。イメージ処理システム例は、イメージセグメンテーションの基盤として使用されうる確率的モデルおよびエネルギー最小化法を使用する。正確に抽出された前景は、実質的にエイリアシングを生じることなく、さまざまな静止または動いている背景と合成されうるが、これはテレビ会議アプリケーションにおいて有用となりうる。

図２の例において、入力イメージ２１０は単眼である、つまり、単一の単眼ビデオ入力装置２０２からイメージを受け入れる。しかし、入力イメージがステレオであってもよく、以下の式（１）のエネルギー関数でステレオ尤度と融合されうることを理解されたい。

ビデオ入力装置２０２からの入力イメージは、それぞれの強度に従ってイメージから複数のピクセルを索引付けすることができる強度インデクサ２１２に入力されうる。入力イメージから適正量のピクセルが索引付けされうる。たとえば、イメージ全体が索引付けられてもよく、１つまたは複数の走査線、ステレオシステムのエピポーラ線のような入力イメージの部分が索引付けされてもよい。図２に示されるように、強度インデクサ２１２は、入力イメージのピクセルの強度値２１４を出力することができる。強度値は、データストアにおけるデータアレイのような、任意の適切な方法および任意の適切なフォーマットで格納されうる。

データストアは、リレーショナルデータベース、オブジェクト指向データベース、非構造化データベース、メモリ内データベース、シーケンシャルメモリ、または他のデータストアのうちの１つまたは複数を含むことができる。ストレージアレイは、データストアの形式であり、ＡＳＣＩＩテキストなどのフラットファイルシステム、バイナリファイル、通信ネットワーク経由で伝送されるデータ、または任意の他のファイルシステムを使用して構築されうる。前述のデータストアまたは任意の他のデータストアのこれらの可能な実施態様にもかかわらず、本明細書において使用されるデータストアおよびストレージアレイという用語は、コンピュータ装置によってアクセス可能な任意の方法で収集され格納される任意のデータを示す。

図２を参照すると、イメージの入力シーケンスを所与として、時間ｔにおける入力イメージフレーム２１０は、ＲＧＢカラースペースでＮピクセルのアレイｚとして表されうる。アレイつまり複数の索引付けされたＮピクセルは、単一の索引ｎによって索引付けされた、ｚ＝（ｚ_１、ｚ_２、．．．ｚ_ｎ、．．．、ｚ_Ｎ）と示されうる。索引付けされたピクセルｚは、前景を背景からセグメント化するために、セグメンテーションモジュール２１６に入力されうる。入力イメージのピクセルをセグメント化するため、各ピクセルは、モーションモデル２３０、カラーモデル２３２、および任意のコントラストモデル２３４からの入力に基づいて前景または背景として定義されうる。たとえば、入力イメージの複数のピクセルは、１つまたは複数のセグメンテーションインジケータ２１８によって前景または背景としてセグメンテーションモジュール２１６によりラベル付けされうるものであり、ここで各セグメンテーションインジケータは入力イメージの１つまたは複数のピクセルに関連付けられている。

イメージフレーム２１０のセグメンテーションは、対応するアレイつまり複数の不透明度またはセグメンテーション状態値α＝（α_１、α_２、．．．α_ｎ、．．．、α_Ｎ）（図２においてセグメンテーションインジケータ２１８として示される）と表されうる。ここで、α_ｎの値は、セグメンテーションインジケータに関連付けられているピクセルのセグメンテーションレイヤを示すことができる。セグメンテーションインジケータは、データストアなどに、任意の適切なフォーマットおよび方法で格納されうる。

セグメンテーションは、ハードセグメンテーション（つまり、ピクセルは前景または背景のいずれかに分類される）であってもよい。前景および背景のセグメントインジケータまたはラベルは、バイナリ値、テキストラベル、整数値、実数値などの、任意の適切な値を有することができる。１つの例において、ピクセルｎのセグメントインジケータα_ｎは、０または１の集合となりうる。1つの例において、０の値は背景を示すことができ、１の値は前景を示すことができる。場合によっては、ヌルおよび／または負の値は、レイヤの特定のセグメンテーション状態を示すために使用されうる。もう１つの例において、前景セグメンテーションインジケータは、「Ｆ」のストリングであってもよく、背景セグメンテーションインジケータは「Ｂ」のストリングであってもよい。他のラベル、値、ラベルの数などが使用されうることを理解されたい。分数の不透明度またはセグメンテーションインジケータ値は可能であり、関連付けられているピクセルの不明状態または起こりうる状態を示すことができる。分数の不透明度（つまりα’）は、以下でさらに説明されるＳＰＳを使用するαマッティング技法、参照により本明細書に組み込まれるRother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314でさらに説明される境界マッティングなど、任意の適切な技法を使用して計算されうる。

前景または背景としての入力イメージのピクセルの識別は、任意の適切な方法で図２のセグメンテーションモジュール２１６によって行われうる。たとえば、モーションに基づくセグメンテーションは、カラーセグメンテーションと、また任意でコントラストセグメンテーションと融合されうる。モーションセグメンテーションのみから得られるイメージは、カラーおよび／またはコントラストセグメンテーションから得られるイメージと単に融合されるだけではなく、セグメンテーションモジュールが、モーションモデル２３０、カラーモデル２３２、および、任意でコントラストモデル２３４を使用して、モーションと、カラーおよび任意でコントラストを明らかにする。

入力イメージ２１０のセグメンテーションインジケータ２１８を決定するために、セグメンテーションモジュール２１６は、少なくとも１つの入力イメージ２１０が前景セグメントおよび背景セグメントに分割されるように受け取ることができる。イメージ２１０は、ピクセル値２１４のアレイとして表されうるが、これはイメージインデクサ２１２によって決定されるようにＲＧＢカラースペース内にあってもよい。セグメンテーションモジュール２１６は、エネルギー関数を最小化する入力イメージ２１０内の複数のピクセルごとにセグメンテーションインジケータを決定することができる。エネルギー関数は、モーションモデル２３０、カラーモデル２３２と、また任意でコントラストモデル２３４とを含むことができる。エネルギー関数の最小化は、参照により本明細書に組み込まれるBoykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images," Proc. Int'l Conf. on Computer Vision, 2001によって説明されているバイナリラベルのグラフカットを通じてなど、任意の適切な方法で行われうる。エネルギー関数は、モーション尤度、カラー尤度と、また任意でコントラスト尤度とを含む１つまたは複数の要素を含むことができる。モーション尤度は、モーション初期化モジュールから生成されたモーションパラメータ、入力イメージのピクセル値、入力イメージ内の複数のピクセルの各ピクセルの時間微分、および入力イメージの複数のピクセルの各ピクセルの空間勾配を使用することができる。コントラスト尤度は、入力イメージのピクセル値を使用することができる。カラー尤度の項は、カラー初期化モジュールから生成されたカラーパラメータ、前のイメージのピクセル値、およびモーション尤度と、また任意でコントラスト尤度とによって最初に決定された前のイメージ内のピクセルに関連付けられている推定セグメントインジケータを使用することができる。

モーションモデル２３０のモーションパラメータを決定するために、１つまたは複数のトレーニングイメージ２５０のセットが手動イメージ処理モジュール２５２に入力されうるが、ここでユーザはトレーニングイメージの前景および背景セグメントを手動でまたは対話形式で定義することができる。手動イメージ処理モジュールは、前述のBoykovら、および、同じく参照により本明細書に組み込まれるRother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314の技法など、トレーニングイメージのピクセルの前景ラベルおよび背景ラベルを定義するために適切な技法を使用することができる。手動イメージ処理モジュールは、各セグメントインジケータがトレーニングイメージのピクセルと関連付けられた状態で、複数のトレーニングセグメントインジケータ２５４を出力することができる。セグメントインジケータは、トレーニングイメージ内の関連付けられているピクセルが前景または背景のいずれであるかを示す。トレーニングイメージのピクセルのセグメントインジケータは、データストアに格納されうるデータアレイなどに、任意の適切な方法および任意の適切なフォーマットで格納されうる。

モーション初期化モジュール２５６は、トレーニングイメージピクセルのセグメントインジケータ２５４を受け取り、モーションイベント対非モーションイベントの尤度比のモーションパラメータ値を決定することができる。以下でさらに説明されるモーションパラメータ値は、トレーニングデータのラベルの分類エラーを最小化することができる。たとえば、期待値最大化は、ガウス混合モデルを、ラベル付けされたトレーニングイメージのピクセルの時間勾配および空間勾配の前景分布に適合させるために使用されうる。もう１つのガウス混合モデルは、ラベル付けされたトレーニングイメージのピクセルの時間勾配および空間勾配の背景分布に適合されうる。より具体的には、時間および空間の勾配は、トレーニングイメージの複数のピクセルに対して決定されて関連付けられ、ガウス分布はトレーニングイメージの複数のピクセルの時間勾配および空間勾配の各ペアに適合されうるが、これは手動でセグメント化されたトレーニングイメージからまとめてプールされうる。このようにして、モーション初期化モジュール２５６は、モーションパラメータ２５８を出力することができるが、これはデータストアなどに、任意の適切な方法およびフォーマットで格納されうる。モーションパラメータ２５８は、モーション尤度を決定するためにセグメンテーションモジュール２１６によってモーションモデル２３０で使用されうる。

カラー尤度初期化モジュール２６０は、任意の適切な方法でカラーモデル２３２におけるカラー尤度アルゴリズムのパラメータを決定することができる。たとえば、カラー尤度初期化モジュールは、前述のRotherらによって説明され、以下でさらに説明される技法を使用することができる。より具体的には、ガウス混合モデルは、入力イメージ２１０がセグメント化される前に１つまたは複数の以前にセグメント化されたイメージフレームに適合されうる。ガウス混合モデルは、期待値最大化を使用して１つまたは複数の以前のイメージの前景ピクセルおよび関連付けられているセグメンテーションインジケータに適合され、ガウス混合モデルは、期待値最大化を使用して１つまたは複数の以前のイメージの背景ピクセルおよび関連付けられているセグメンテーションインジケータに適合されうる。このようにして、カラー初期化モジュール２６０はカラーパラメータ２６２を出力することができるが、これはデータストアのような任意の適切な方法および任意の適切なフォーマットで格納され、カラー尤度を決定するためにセグメンテーションモジュール２１６によってカラーモデル２３２で使用されうる。

任意のコントラストモデル２３４は、空間事前分布に影響しうるものであり、カラーコントラスト値によって定義された自然オブジェクトの輪郭に従うかまたは考慮するよう、得られるセグメンテーション値を強制することができる。空間平滑性の項は、任意の適切な方法で決定されうる。具体的には、コントラストモデルは、入力イメージのピクセル値を受け取ることができ、以下でさらに説明されるようにコントラストの項を供給する。

セグメンテーションモジュール２１６からのセグメンテーションインジケータ２１８（たとえば、前景、背景のラベル）および入力イメージ２１０のその関連付けられているピクセルは、セグメンテーションインジケータ２１８に基づいて入力イメージ２１０を変更および／または処理して出力イメージ２２２を生成するためにイメージプロセッサ２２０によって使用されうる。たとえば、イメージプロセッサは、前景ピクセルの少なくとも一部を抽出して、それらを代替シーン、単一のカラー、スプレッドシートまたはプレゼンテーションアプリケーションなど別のアプリケーションからの表示オブジェクトであってもよい代替背景イメージと合成することができる。もう１つの例において、背景ピクセルの少なくとも一部は、代替の背景イメージで置き換えられうる。背景イメージは、代替の場所のシーン（たとえば海岸）、プレゼンテーションスライドのような別のアプリケーションからの入力など、任意の適切なイメージであってもよい。もう１つの例において、背景セグメントを示すセグメンテーション状態値に関連付けられているピクセルの少なくとも一部は、前景ピクセルとは異なる忠実度で圧縮されてもよい。このようにして、イメージ圧縮は、前景ピクセルに対して高い忠実度を、一部の背景ピクセルに対して低い忠実度を保持するものとすることができる。さらにもう１つの例において、背景ピクセルは前景ピクセルから分離され、テレビ会議アプリケーションにおけるように、受信者に別個に通信されうる。テレビ電話会議ビデオストリームの後続のフレームは、受信者のみに前景ピクセルを送信することができるが、これは代替背景イメージまたは以前の伝送から格納された背景ピクセルと合成されうる。もう１つの例において、動的エモティコンは、イメージの前景オブジェクトと対話することができる。たとえば、動的エモティコンは、参照により本明細書に組み込まれる２００５年２月２５日に出願された米国特許出願第１１／０６６９４６号明細書においてさらに説明されるように、前景オブジェクトの周囲を回ることができる。もう１つの例において、イメージ内の識別された前景ピクセルは、プロセスイメージの前景ピクセル周囲のフレームをサイズ変更および／または配置する（たとえば、スマートフレーミング）ために使用され、背景ピクセルの表示を制限することができる。もう１つの例において、入力イメージ内の識別された前景ピクセルは、入力イメージの前景ピクセル周囲のフレームをサイズ変更および／または配置する（たとえば、スマートフレーミング）ために使用され、背景ピクセルの表示を制限することができる。イメージプロセッサは、任意の適切な方法でセグメント化されたピクセルを使用して表示または格納されたイメージを処理または変更することができ、前述のイメージ処理の説明は、限定的ではなく例示的に提供されることを理解されたい。

エネルギー最小化によるセグメンテーション
Boykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images," Proc. Int'l Conf. on Computer Vision, 2001およびRother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314と同様に、１つまたは複数の入力イメージのセグメンテーションの問題は、エネルギー最小化の課題として位置付けられうる。図２のセグメンテーションモジュール２１６によって最小化されるべきエネルギー関数Ｅは、データおよび平滑性の項の合計によって与えられうる。たとえば、エネルギー関数Ｅは、モーション尤度とカラー尤度、および場合によっては空間コヒーレンス（またはコントラスト平滑性）尤度の合計によって与えられ、以下のように表されうる。

ここでＶ（）は、コントラストに基づく空間平滑性の項、Ｕ^Ｃはカラー尤度、Ｕ^Ｍはモーション尤度であり、これらはすべて以下でさらに説明される。

式（１）によりエネルギーが定義されると、入力イメージピクセルの最適または十分に最適なセグメンテーションインジケータαは、以下の式の使用によってなど、エネルギー方程式の大域的最小値を推定することによって決定されうる。

エネルギーの最小化は、前述のBoykovらによってさらに説明されるバイナリラベルのグラフカットなど、任意の適切な最適化方法を通じて効率的に行われうる。以下でさらに説明されるように、カラーパラメータｋおよびΘの最適値は、入力イメージの前のビデオシリーズのセグメント化されたイメージから期待値最大化などを通じて学習されうる。モーションパラメータｋ^Ｍおよびθ^Ｍは、任意の適切な区分化されたトレーニングイメージから期待値最大化などを通じて学習されうる。

ギブスのエネルギーは、図２のセグメンテーションモジュール２１６において使用される因数の確率的モデルとして定義されうる。たとえば、セグメンテーションモジュールは、モーション尤度モデル２３０、およびカラー尤度モデル２３２を考慮することができる。モーション尤度モデル２３０は、モーションパラメータに基づいてモーション尤度関数のモデルを提供することができ、カラー尤度モデル２３２は、カラーパラメータに基づいてカラー尤度関数のモデルを提供することができる。前述のように、セグメンテーションモジュールはまた、コントラスト尤度モデル２３４を含むこともできる。次の節では、モデル２３０、２３２、２３４によって図２のセグメンテーションモジュール２１６に提供されうる式（１）の各項を定義する。

カラーの尤度（Ｕ^Ｃ）
図２のカラー尤度モデル２３２は、任意の適切なカラー尤度モデルに基づくことができる。たとえば、２層のセグメンテーションは、ガウス混合モデルを使用して前景および背景のカラーの尤度をモデル化することができる。カラーの適切なガウス混合モデルの例は、明確を期すために本明細書に概要が示され、参照により本明細書に組み込まれる２００４年６月３日に出願された「ＦＯＲＥＧＲＯＵＮＤＥＸＴＲＡＣＴＩＯＮＵＳＩＮＧＩＴＥＲＡＴＥＤＧＲＡＰＨＣＵＴＳ」と題する米国特許出願第１０／８６１，７７１号明細書および２００５年８月２日に出願された「ＳＴＥＲＥＯ−ＢＡＳＥＤＩＭＡＧＥＳＥＧＭＥＮＴＡＴＩＯＮ」と題する米国特許出願第１１／１９５０２７号明細書でさらに説明されている。もう１つの適切なカラーモデルは、前述のRotherらによる文献でさらに説明されており、明確を期すために本明細書に概要が示されている。

前景および背景のカラーは、１つは背景用、１つは前景用の、２つのガウス混合モデル（ＧＭＭ）によってモデル化されうる。各ＧＭＭは、全共分散によるＫ個の成分（通常はＫ＝２０）を有する。対応するＧＭＭ成分へのピクセルの割り当ては、ｋ_ｎを１からＫの整数の範囲の集合の要素とするベクトルｋ＝（ｋ_１、ｋ_２、．．．、ｋ_ｎ、．．．、ｋ_Ｎ）としてデータストアに格納するなど、任意の適切な方法で格納されうる。各ＧＭＭ成分は、前景または背景のＧＭＭのいずれかに属する。

カラー尤度は、以下のように記述されうる。

Ｕ^Ｃ（α、ｋ、θ、ｚ）＝ΣＤ（α_ｎ、ｋ_ｎ、θ、ｚ_ｎ）（３）
ここで、θは以下に定義されるＧＭＭモデルのパラメータを含み、またｐ（）をガウス確率分布としπ（）は混合加重係数を含むものとしてＤ（α_ｎ、ｋ_ｎ、θ、ｚ_ｎ）＝−ｌｏｇｐ（ｚ_ｎ｜α_ｎ、ｋ_ｎ；θ）−ｌｏｇπ（π_ｎ；ｋ_ｎ）である。したがって、関数Ｄは以下のように書き換えられうる。

μおよびΣをそれぞれ、前景および背景分布の２Ｋ個のガウス成分の平均および共分散とする。したがって、カラーモデルのパラメータは、θ＝｛π（α、ｋ）、μ（α、ｋ）、Σ（α、ｋ）、α＝｛０、１｝、ｋ＝（１、...、Ｋ｝｝である。

カラー尤度の前述の式（３）は、大域的カラーモデルのみを含み、ピクセル単位のモデルは含まない。しかし、ピクセル単位のモデルは、大域的カラーモデルに加えて、またはその代替として実施されうることを理解されたい。２００５年８月２日に出願された「ＳＴＥＲＥＯ−ＢＡＳＥＤＳＥＧＭＥＮＴＡＴＩＯＮ」と題する米国特許出願第１１／１９５０２７号明細書でさらに説明されているカラー尤度は、適したものとなりうるので、明確を期すために本明細書において簡単に説明する。たとえば、ガウス混合モデルを使用すると、前景カラーモデルｐ（ｚ｜ｘ＋Ｆ）は、初期化されるかまたは前景ピクセルから学習された空間的な大域ガウス混合である。背景において、同様に初期化または学習されたガウス混合ｐ（ｚ｜ｘ＋Ｂ）がある。背景モデルはまた、十分な数の以前のフレームにわたり静止があったことを安定度フラグが示す場合に使用可能なピクセル単位の単一ガウス密度ｐ_ｋ（ｚ_ｋ）を含むこともできる。安定度フラグは、バイナリ値、テキスト値、多重インジケータなどによるような、任意の特定の方法で安定度または不安定度を示すことができる。このようにして、複合カラーモデルは、以下のように表されうるカラーエネルギーＵ^ｃ _ｋによって与えられうる。

ここでｓ_ｋは、０または１の値を有する安定度フラグインジケータである。背景カラーモデルは、大域的背景モデルとピクセル単位の背景モデルとの間の混合を表すが、任意の適切な背景および／または前景モデルが使用されうることを理解されたい。背景モデルにおけるピクセル単位の手法を使用することで、場合によっては、有益な情報が抽出されるようにすることができる。しかし、ピクセル単位の手法は背景の動きに敏感であり、その影響は大域的背景分布ｐ（ｚ_ｋ｜ｘ_ｋ＋Ｂ）を前記混合の混成成分として加えることによって減らすことができる。前景の被写体は、ほとんどの場合移動しており、カメラは定置であるので、背景の大部分は時間の経過と共に変化することはない。しかし、式（５）の背景部分のピクセル単位および／または大域部分が、簡単にするため、またはその他の適切な理由により削除されうることを理解されたい。

ガウス混合モデルは、カラースペース、三原色赤緑青（ＲＧＢ）カラースペース内でモデル化され、任意の適切な方法で初期化されうる。カラースペースは、三原色赤緑青（ＲＧＢ）、ＹＵＶ、ＨＳＢ、ＣＩＥＬａｂ、ＣＩＥＬｕｖなどを含む任意の適切なカラースペースであってもよい。ガウス混合モデルは、入力イメージがセグメント化される前にビデオシーケンスの１つまたは複数のセグメント化されたイメージフレームから学習されうる。単一イメージセグメンテーションとは異なり、単眼前景背景セグメンテーションにおいて、フレームｔに対するカラーパラメータθおよびｋは、フレームｔ−１におけるセグメンテーションから期待値最大化を通じて推定されうることに留意されたい。さらに、各フレームｔごとに１回の反復が使用されうるが、複数の反復が使用されうることを理解されたい。

もう１つの例において、ガウス分布のパラメータは、すべてのピクセルが背景に初期化されるなど、デフォルトの値に初期化されうる。いずれの場合にも、パラメータ推定の向上に応じて、イメージセグメンテーションにおけるカラー尤度の効果または影響は増大されうる。たとえば、カラー尤度は、パラメータ値が初期化されると、かなり唐突にオンに切り替えられる可能性がある。代替として、カラーの項は、加重項の使用などによって、徐々にその影響を増大するようにダイヤルイン（dial in）されうる。ダイヤルイン期間は、任意の適切な期間であってもよく、約数秒であってもよく、あるいはもう１つの例ではほぼ１００フレームであってもよい。

背景モデルは、各ピクセルに対して、ピクセル単位の背景保守により、学習された確率密度で混合することにより増強されうる。ピクセル単位の背景保守は、参照により共に本明細書に組み込まれる、Rowe et al., "Statistical mosaics for tracking," J. Image and Vision Computing, Vol. 14, 1996, pp. 549-564およびStauffer et al., "Adaptive background mixture models for real-time tracking," Proc. CVPR, 1999, pp. 246-252においてさらに説明される。ガウス分布パラメータの場合と同様に、確率密度は、以前ラベル付けされたイメージから学習する、ピクセルラベルをデフォルト値に設定して初期化をブートストラップするなど、任意の適切な方法で初期化されうる。

ガウス混合モデルを使用して、前景カラーモデルｐ（ｚ｜α＝１）は、初期化されるかまたは前景ピクセルから学習された空間的な大域ガウス混合である。背景において、同様に初期化または学習されたガウス混合ｐ（ｚ｜α＝０）がある。背景モデルはまた、十分な数の以前のフレームにわたり静止があったことを安定度フラグが示す場合に使用可能なピクセル単位の単一ガウス密度ｐ_ｋ（ｚ_ｋ）を含むこともできる。安定度フラグは、バイナリ値、テキスト値、多重インジケータなどによるような、任意の特定の方法で安定度または不安定度を示すことができる。

コントラストモデル
図２のコントラスト尤度モデル２３４のような、コントラスト尤度モデルは、高イメージコントラストの輪郭と一致するようにセグメンテーション境界を改善することができる。参照により本明細書に組み込まれ、明確を期すために本明細書に概要が示されるBoykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images," Proc. Int'l Conf. on Computer Vision, 2001でさらに説明されているコントラスト尤度モデルのような、任意の適切なカラーコントラストモデルが使用されうる。

グラフカットによる対話形式の前景抽出の場合と同様に、コントラストモデルは、ペアワイズエネルギー（pairwise energies）Ｖに影響を及ぼし、カラーコントラストに基づくコントラストエネルギーＶは、以下のように表されうる。

索引ｍおよびｎは、入力イメージの水平、対角、および垂直クリークのペアワイズピクセル索引である。パラメータβは、以下のように計算されうるコントラスト変調定数である。
β＝（２＜Ｚ_ｍ−Ｚ_ｎ）^２＞）^−１（７）
ここで、＜＞はイメージサンプルにわたる期待値を示す。関数１［α_ｎ≠α_ｍ］は、前景状態から、または前景状態への遷移にわたりアクティブであるバイナリスイッチとして機能する恒等関数である。

任意の強度パラメータγは、コントラストモデルの項を乗じられうる。強度パラメータは、事前コヒーレンスおよびコントラスト尤度を示すことができ、実験的に調整されうる。場合によっては、強度パラメータγは、ほぼ１０に等しく設定されうる。

任意の希釈定数パラメータεは、コントラストに対して含まれうる。場合によっては、希釈定数εは、純色およびコントラストセグメンテーションのためにゼロに設定されうる。しかし、セグメンテーションがカラーコントラストとそれ以外のものに基づくような多くの場合、希釈定数は、１など任意の適切な値に設定されうる。このようにして、コントラストの影響は、たとえばモーションおよび／またはカラーから、セグメントキューの多様性の増大を認めて希釈されうる。

モーションの尤度
図２のモーションモデル２３０のようなモーションモデルは、イメージ内の移動するオブジェクトが前景である可能性が高く、イメージ内の静止オブジェクトが背景である可能性が高いという仮定の下に、セグメンテーション境界を改善することができる。信頼性の高いモーション尤度の自動推定は、任意の適切な方法で決定されうる。たとえば、非モーションイベントに対するモーションの尤度比Ｕ^Ｍ（）は、トレーニングシーケンスの手動でセグメント化されたフレームから自動的に学習されて、前景／背景の分離を支援するために以前見られなかったテストフレームに適用されうる。図３は、モーション尤度をトレーニングするために使用されるトレーニングデータシーケンスの２つのフレーム例３０２、３０４と、それぞれ対応する対話形式で取得されたセグメンテーションマスク３２０、３４０を示す図である。図３のセグメンテーションマスクにおいて、白い部分３２２、３４２は前景を示し、黒い部分３２４、３４４は背景を示す。場合によっては、グレー領域（分数またはその他の適切なセグメンテーションインジケータを示す）が、不明確な割り当てまたはセグメンテーションを示すこともある（ピクセルが混合した複雑な領域で発生する場合がある）。

モーション関数Ｕ^Ｍの尤度は、ガウス混合モデルを、ラベル付けされたトレーニングイメージのピクセルの時間勾配および空間勾配の前景および背景分布に適合させることによって推定されうる。具体的には、各イメージフレームＩ^ｔ内のピクセルは、以下のように示されうる関連する時間微分を有する。

空間勾配の大きさｇは、以下のように示されうる。
ｇ＝（ｇ_１、ｇ_２、．．．、ｇ_ｎ、．．．、ｇ_Ｎ）（９）
時間ｔにおける各時間微分要素

は、以下のように計算されうる。

ここで、Ｇ（）は、σ_ｔピクセルのスケールにおけるガウスのカーネルである。さらに、空間勾配の大きさｇ_ｎは、以下のように決定されうる。
ｇ_ｎ＝｜▽Ｚ_ｎ｜（１１）
ここで、▽は空間勾配演算子を示す。空間微分は、標準偏差σ_ｓについてガウシアンカーネルの一次導関数を使ってイメージを回転させることにより計算されうる。標準期待値最大化アルゴリズムは、トレーニングシーケンスのセグメント化されたすべてのフレームからプールされたすべての

ペアにＧＭＭを適合させるために使用されうる。

図４は、図３のトレーニングイメージ３０２、３０４およびシーケンス内の他の同様のトレーニングイメージに基づいてグラフでトレーニング前景２Ｄ微分点およびトレーニング背景微分点の例を示す。図４のグラフ４００は、空間勾配を示すｘ軸４０２および時間微分を示すｙ軸４０４を有する。最適に分離する曲線（Ｕ^Ｍ＝０）は、黒線４０６としてプロットされる。グラフ４００の領域４１０のような領域は背景微分点を示し、領域４１２のような領域は前景微分点を示す。

Ｋ^Ｍ _ＦおよびＫ^Ｍ _Ｂは、それぞれ前景および背景のＧＭＭのガウス成分の数を示す。したがって、モーション尤度は、以下のように記述されうる。

ここで

Ｖ_ｎは

によって定義される２ベクトルであり、ここでｋ^ＭはモーションＧＭＭの各ガウス成分へのピクセル割り当てを示し、μおよびΣはＧＭＭモーションモデルのＫ^Ｍ _Ｆ＋Ｋ^Ｍ _Ｂ成分の平均および共分散である。最後に、モーションパラメータθ^Ｍは、モーションＧＭＭの混合加重、平均、および共分散パラメータを収集し、以下のように決定されうる。

ラベルをトレーニングする１つの例において、トレーニングイメージは、一連のイメージシーケンスを含むことができる。たとえば、図３に示されるように、シーケンスイメージの例３０２、３０４は、概ね静止している（騒々しいが）背景の前で話しながら動き回る前景の人物を表す。図５は、図３のトレーニングイメージ３０２、３０４の自動的に学習された対数尤度比面の３次元プロット５００を示す。図５のプロット５００は、時間微分を示す軸５０２、空間勾配を示す軸５０４、および学習されたモーションベースの対数尤度比を示す軸５０６を有する。プロット５００において、負の値は背景に対応し、正の値は前景に対応し、Ｕ^Ｍ＝０である軌跡は曲線５０８として示される。図５に示されるように、大きい時間微分は、前景に属するそのピクセルの大きい尤度に関連する。しかし、図５の例はまた、学習された分離曲線が、多くの場合使用される固定時間微分しきい値とは全く異なることも示している。最適パラメータは、トレーニングデータの分類エラーを最小化することにより自動的に見い出されうる。たとえば、図３のトレーニングイメージの例の場合、この手順は以下の値をもたらす。
Ｋ^Ｍ _Ｆ＝１（１５）
Ｋ^Ｍ _Ｂ＝３（１６）
σ_ｓ＝１．２ｐｉｘ（１７）
σ_ｔ＝１．２ｐｉｘ（１８）
学習されたモーション尤度は、テストされうる。図６は、テストシーケンス例の３つのフレーム６０２、６０４、６０６に尤度比検定法を適用した結果例、およびそれぞれモーションフレーム６２０、６４０、６６０に示された各ピクセルの対応するモーション尤度を示す。モーションのあった入力イメージの領域は、トレーニングされたモーションモデルによって検出され、領域６２２、６２３、６４２、６４４、６６２、６６４のようにライトグレー領域として表示される。モーション領域は、トレーニングされたモーションモデルによって検出された静止領域から識別され、領域６２６、６４６、６６６のようなグレー領域に表示される。さらに、学習された尤度の性質により、領域６２８、６４８、６６８のようなテクスチャのない領域（たとえば、本来不明瞭な領域）は、中間グレーカラーを正しく割り当てられる傾向が高い（Ｕ^Ｍ≒０）。図６のモーションベースのセグメンテーションの例において、モーションモデルは図３のトレーニングイメージ３０２、３０４などでトレーニングされ、図６の入力イメージ６０２、６０４、６０６とは異なるものでトレーニングされたことを理解されたい。

図６はまた、正確なセグメンテーションのためには、モーション単独では十分ではないことも示している。マルコフランダムフィールド空間事前分布（ＭａｒｋｏｖＲａｎｄｏｍＦｉｅｌｄｓｓｐａｔｉａｌｐｒｉｏｒｓ）によるモーションとカラー尤度の融合は、たとえばテクスチャのない領域など、残された「欠点」を解消し、正確なセグメンテーションマスクを生成することができる。たとえば、グラフカットアルゴリズムは、マルコフランダムフィールドを解決して正確なセグメンテーションマスクを生成するために使用されうる。

モーション尤度を決定した後、カラー尤度および任意でコントラスト尤度、エネルギー（前述の式（１）で与えられる）は、任意の適切な方法で最適化されうる。合計エネルギーは、図２のセグメンテーションモジュール２１６によって最適化されうる。セグメンテーションモジュールは、適宜、任意の適切な最適化方式を使用することができる。たとえば、合計エネルギーの式（１）の前述の例において、合計エネルギーを最適化する式は、階層化グラフカットを使用することができる。階層化グラフカットは、エネルギー関数Ｅの最小値としてセグメンテーション状態変数値αを決定する。

任意の適切なグラフカットアルゴリズムは、状態が前景および背景に制限される（つまりハードセグメンテーション）場合、セグメンテーション状態変数αについて解決するために使用されうる。たとえば、ハードセグメンテーションのグラフカットアルゴリズムは、エネルギー最小化を介してセグメンテーションを決定するために使用されうる。しかし、セグメンテーション状態の多価が許容される場合（たとえば、０、１、２、３、．．．）、α拡張グラフカットは最適セグメンテーションラベルを計算するために使用されうる。グラフカットのα拡張フォームは、参照により本明細書に組み込まれているKolmogorov et al., "Multi-camera scene reconstruction via graph cuts," Proc. ECCV, Copenhagen, Denmark, May 2002でさらに説明される。前述の２つの例はセグメンテーション変数の離散的なラベルを扱うが、セグメンテーション値が実数の透明度値（たとえば、分数値）を反映することを許容される場合、境界マッティングなどのアルファマッティング技法またはＳＰＳアルゴリズムが使用されうる。前述のように、境界マットは、Rother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314でさらに説明される。

人間の眼は、明滅するアーチファクトに敏感であるため、最適化セグメンテーション状態変数値は、場合によっては、前景／背景セグメンテーション最適化に続いて、セグメンテーションモジュール２１６におけるように平滑化されてもよい。たとえば、セグメンテーション状態変数値は、ＳＰＳを事後処理として使用するαマット、Rother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314でさらに説明されている境界マットなど、任意の適切な方法で平滑化されうる。エイリアシングを低減することで、背景置換の適用の場合のように、視覚的なリアリズムのレベルを高めることができる。参照により本明細書に組み込まれているRother et al., "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314でさらに説明される境界マットなどのように、任意の適切なアンチエイリアシング技法が使用されうる。

最適化および任意の平滑化の後、決定された各セグメンテーション状態変数値は、任意の適切な方法で入力イメージ内のその関連するピクセルに関連付けられうる。たとえば、セグメンテーション状態変数値２１８は、アレイ内の値の位置が関連する入力イメージ内の関連するピクセルを示す場合、アレイに格納されうる。もう１つの例において、イメージ内の複数のピクセル位置は、単一ラベルによる連続ピクセルのグループ化などのように、セグメンテーション状態変数値に関連付けられうる。

イメージ内のラベル付けされたピクセルは、図２のイメージプロセッサ２２０によってなど、イメージ処理中にイメージの背景からイメージの前景が分離されるようにすることができる。たとえば、図７〜図９は、背景置換を表しているビデオストリームからのイメージのシーケンスを示す。図７は、オフィス環境の女性を表す一連の入力イメージの例７０２、７０４、７０６、７０８、７１０を示す。図８は、前景フレーム８０２、８０４、８０６、８０８、８１０に、図７の入力イメージの前景セグメント化ピクセルを示す。図９は、図７の入力イメージの背景ピクセルとして識別されたピクセルの背景置換の例、または図８のイメージの抽出された前景ピクセルの別の背景イメージへの配置を示す。より具体的には、図９において、図８の抽出されたイメージの前景はそれぞれ、新しい背景が戸外のシーンであるようなイメージフレーム９０２、９０４、９０６、９０８、９１０で別の背景と合成されている。抽出された前景は、実質的にエイリアスがないので、結果として得られる置換背景との合成は、高い視覚的リアリズムを備える。

図１０は、背景の置換のもう１つの例を示す。この例において、前述のセグメンテーションプロセスは、図１０の表示フレーム１０００を有するデスクトップベースのビデオチャットアプリケーション内で統合されている。元のオフィスの背景を戸外の背景（つまり、イメージ１００２の海岸およびイメージ１００４の港）と置換すると、２人の人物はどこか別の場所にいるように見える。この場合も同様に、前景／背景のセグメンテーションに残存効果がないことで、背景置換による概ね説得力のある結果のイメージが得られる。

前景／背景分離および背景置換は、前述のエネルギー最小化プロセスを適用することにより得られる。図１１は、イメージをセグメント化する方法の例１１００を示す。１つまたは複数のトレーニングイメージのセットが受け取られうる１１０２。トレーニングイメージは、セグメンテーションアプリケーションで予測されたイメージ（たとえば、テレビ会議アプリケーションの人物の頭部と肩）と類似したイメージ、セグメンテーションアプリケーションのビデオの最初の数秒間など、任意の適切なトレーニングイメージであってもよい。１つまたは複数のトレーニングイメージからの複数のピクセルは、トレーニングイメージの１つまたは複数のピクセルを前景または背景としてラベル付けすることなどによって、手動でセグメント化されうる１１０４。トレーニングイメージのピクセルに関連付けられているセグメンテーションインジケータは、手動によるピクセルのラベル付けによって、または前述のBoykovやRotherらによって論じられているような半自動プロセスなど、任意の適切な方法で決定されうる。トレーニングイメージのピクセルのセグメントインジケータは、データストアに格納されうるデータアレイなどに、任意の適切な方法および任意の適切なフォーマットで格納されうる１１０６。

モーションパラメータ値は、ピクセルモーションを決定するためのトレーニングイメージと連続するトレーニングイメージとの比較に基づいて、またピクセルの決定されたセグメンテーションインジケータに基づいて決定されうる１１０８。モーションパラメータは、ガウス混合モデルをラベル付けされたトレーニングイメージのピクセルの時間勾配および空間勾配の前景分布に適合させること、およびもう１つのガウス混合モデルをラベル付けされたトレーニングイメージのピクセルの時間勾配および空間勾配の背景分布に適合させることによってなど、任意の適切な方法で決定されうる。モーションモデルパラメータは、データストアなどに、任意の適切な方法で格納されうる１１１０。

一連の入力イメージの第１のイメージが受け取られうる１１１２。一連のイメージは、ビデオカメラ入力装置からなど、任意の適切な方法で受け取られうる。しかし、任意の数のカメラが使用されうることを理解されたい。イメージは、格納されているイメージをデータストアから取り出すことにより受け取られても、通信接続から受け取られても、入力装置などから受け取られてもよい。イメージは、さまざまなフォームで、さまざまな時間に、および／またはさまざまな通信のモードを介して受け取られうることを理解されたい。第１の入力イメージの複数のピクセルは、図２の強度インデクサ２１２などによって、索引付けされうる１１１４。一連の入力イメージの第２のイメージが受け取られうる１１１６。第２の入力イメージの複数のピクセルは、図２の強度インデクサ２１２などによって、索引付けされうる１１１８。

コントラスト尤度は、図２のコントラストモデル２３４に基づいてセグメンテーションモジュール２１６などによって決定されうる１１２０。第２のイメージのモーション領域が決定されうる１１２２。たとえば、第２のイメージの索引付けされたピクセルが、第１のイメージの索引付けされたピクセルと比較されてもよい。時間履歴に基づくモーション尤度は、図２のモーションモデル２３０に基づいてセグメンテーションモジュール２１６などによって決定されうる１１２４。モーション尤度、および任意でコントラスト尤度を使用して、第２の入力イメージの１つまたは複数のピクセルに関連付けられているセグメンテーションインジケータが近似的に決定されうる１１２６。具体的には、モーション尤度、また任意でコントラスト尤度は、第２の入力イメージの１つまたは複数のピクセルのセグメンテーションインジケータの近似のセットを決定するように最適化されうる近似エネルギー方程式を形成するために、セグメンテーションモジュールによって使用されうる。近似セグメンテーションインジケータは格納され１１２８、第２のイメージの近似ピクセルに関連付けられうる。

第２の入力イメージの索引付けされたピクセルおよびその関連付けられたセグメンテーションインジケータは、カラーパラメータを決定するようにカラーモデルをトレーニングするために使用されうる。たとえば、カラー初期化モジュールは、期待値最大化を使用してガウス混合モデルを近似的に識別された前景ピクセルに適合させるため、および／または期待値最大化を使用してもう１つのガウス混合モデルを近似的に識別された背景ピクセルに適合させるために、第２のイメージのセグメンテーションインジケータおよびピクセル値を使用することができる。カラー尤度は、初期化カラーパラメータに基づいて決定されうる１１３０。

次の（現在の）入力イメージは、任意の適切な方法で受け取られ１１３２、索引付けされうる１１３４。コントラスト尤度は、次の（現在の）入力イメージに対して決定されうる１１３６。次の（現在の）イメージのモーション領域が決定されうる１１３８。たとえば、次の（現在の）イメージの索引付けされたピクセルは、直前のイメージの索引付けされたピクセルと比較されてもよい。時間履歴に基づく次の（現在の）イメージのモーション尤度は、前のフレームのセグメンテーションに基づいて決定されうる１１４０。たとえば５秒間、一連のイメージに動きが全くまたはほとんどないような場合、モーション尤度値は信頼性を失うことになる。したがって、場合によっては、モーション尤度の加重は、あらかじめ定められた期間にわたり全く動きが検出されなかったときに調整されうる。次の（現在の）イメージのモーション尤度、前のイメージのカラー尤度と、また任意で次の（現在の）イメージのコントラスト尤度とを使用するために、次の（現在の）入力イメージの１つまたは複数のピクセルに関連付けられているセグメンテーションインジケータが決定されうる１１４２。具体的には、モーション尤度、カラー尤度、また任意でコントラスト尤度は、次の（現在の）入力イメージの１つまたは複数のピクセルのセグメンテーションインジケータのセットを決定するように最適化されうるエネルギー方程式を形成するために、セグメンテーションモジュールによって使用されうる。セグメンテーションインジケータは格納され１１４４、次の（現在の）イメージの適切なピクセルに関連付けられうる。

次の（現在の）入力イメージの索引付けされたピクセルおよびその関連付けられたセグメンテーションインジケータは、次の（現在の）イメージのカラー尤度を決定するようにカラーモデルをトレーニングするために使用されうる１１４６。プロセスは、後続の各入力イメージがセグメント化されるように次の入力イメージを受け取るステップ１１３２に戻ることができる。後続の各入力イメージは、現在の入力イメージのモーション尤度、前の入力イメージのカラー尤度と、また任意で現在の入力イメージのコントラスト尤度とを使用してセグメント化されうる。前述のように、カラー尤度は、時間の経過に伴って値を変更する加重項を使用することにより、または初期化されたカラー尤度の信頼度の変化に応じて、ダイヤルインされうる。

入力イメージおよびその関連付けられているセグメンテーションインジケータは、図２のイメージプロセッサ２２０などによって、何らかの方法で入力イメージを変更するように処理されうる１１４８。たとえば、入力イメージから前景オブジェクトを抽出し、他のピクセルよりも高い忠実度で関連付けられた前景ピクセルを格納または圧縮し、動的エモティコンが背景オブジェクトの前面にとどまりながら識別された前景オブジェクトの前または後ろを移動できるようにして、識別された前景オブジェクトの周囲にスマートフレームを配置または位置付けられるようにするなどのために、前景ピクセルを示すセグメンテーションインジケータが使用されうる。

本発明の好ましい実施形態を示し、説明してきたが、本発明の精神および範囲を逸脱することなくさまざまな変更を加えることができることが明らかとなろう。たとえば、前述の実施例は単眼イメージデータのセグメント化を説明しているが、ステレオイメージデータが同様の方法でセグメント化されうることを理解されたい。さらに、ステレオ情報の一部の場合においては、モーション、カラーの尤度と、また任意でコントラストの尤度が、ステレオ情報から決定される不一致尤度および一致尤度と融合されうる。モーションおよびカラー尤度、また任意でコントラスト尤度との前述の融合は、リアルタイムアプリケーションおよびビデオストリームに実質的にエイリアスを生じることなくセグメンテーションが行われるようにするのに十分である。イメージデータの前景領域および背景領域をセグメント化するために、ビデオストリームの二層セグメンテーションのマルコフランダムフィールドエネルギー最小化フレームワーク内のモーションおよびカラー／コントラストキューが融合されうる。加えて、イメージシーケンス内のモーションイベントは、明示的な速度計算を行うことなく検出されうる。モーションとカラーと、任意でコントラストとを組み合わせることで、リアルタイムパフォーマンスを備える正確な前景／背景の分離をもたらす。

単眼ベースのイメージ処理システムを実施するためのシステム実施例を示す図である。イメージ処理システムを示す実施例概念図である。モーション尤度をトレーニングするために使用されるトレーニングデータシーケンスの２つのフレーム例と、対応する手動により取得されたセグメンテーションマスクを示す図である。トレーニング前景２Ｄ微分点およびトレーニング背景微分点のグラフ例を示す図である。トレーニング前景および背景の微分点のプロット例を示す図である。テストシーケンスの例、および各ピクセルの対応するモーション尤度を示す図である。入力イメージシーケンス例を示す図である。図７のイメージシーケンスの前景セグメンテーションを示す図である。図８のイメージシーケンスの前景セグメンテーションによる背景置換を示す図である。オンラインチャットアプリケーションにおける背景の置換のフレーム表示例を示す図である。実施例のイメージ処理方法を示す図である。

Claims

ａ）トレーニングイメージのセットを受け取るステップと
ｂ）トレーニングイメージの前記セットの各イメージの複数のピクセルのそれぞれに関連付けられたトレーニングセグメントインジケータを受け取るステップであって、各トレーニングセグメントインジケータは前景トレーニング・ピクセルまたは背景トレーニング・ピクセルを示すものであるステップと、
ｃ）前景トレーニング・ピクセルを示す前記トレーニングセグメントインジケータと関連付けられた複数のピクセルのピクセル値の時間微分及び空間勾配の分布にガウス混合モデルを適合させて第１のガウス混合モデルを取得し、背景トレーニング・ピクセルを示す前記トレーニングセグメントインジケータと関連付けられた複数のピクセルのピクセル値の時間微分及び空間勾配の分布にガウス混合モデルを適合させて第２のガウス混合モデルを取得し、ガウス混合モデルのパラメータとして１つまたは複数のモーションパラメータを決定するステップと、
ｄ）前記トレーニングイメージのセットとは異なる第１の入力イメージを受け取るステップであって、前記第１の入力イメージは第１の複数のピクセルを含むステップと、
ｅ）前記第１の複数のピクセルの各々について、前記モーションパラメータと、各ピクセルのピクセル値の時間微分及び空間勾配とに基づいて、モーションの第１の尤度比を決定するステップと、
ｆ）前記モーションの第１の尤度比を項として含む第１のエネルギー関数の最小値を推定することにより、前記第１の複数のピクセルの各々について最適なセグメントインジケータとして、第１のセグメントインジケータを決定するステップであって、各第１のセグメントインジケータは前景ピクセルまたは背景ピクセルを示すものであるステップと、
ｇ）前景ピクセルを示す前記第１のセグメントインジケータと関連付けられたピクセルのピクセル値の分布にガウス混合モデルを適合させて第３のガウス混合モデルを取得し、背景ピクセルを示す前記第１のセグメントインジケータと関連付けられたピクセルのピクセル値の分布にガウス混合モデルを適合させて第４のガウス混合モデルを取得し、ガウス混合モデルのパラメータとして決定されるカラーパラメータに基づいて前記第１の複数のピクセルの各々についてカラーの第１の尤度比を決定するステップと、
ｈ）前記トレーニングイメージのセットとは異なる第２の入力イメージを、前記第１の入力イメージの受け取りに引き続き受け取るステップであって、前記第２の入力イメージは第２の複数のピクセルを含むステップと、
ｉ）前記第２の複数のピクセルの各々について、前記モーションパラメータと、各ピクセルのピクセル値の時間微分及び空間勾配とに基づいて、モーションの第２の尤度比を決定するステップと、
ｊ）前記モーションの第２の尤度比および前記カラーの第１の尤度比を項として含む第２のエネルギー関数の最小値を推定することにより、前記第２の複数のピクセルの各々について最適なセグメントインジケータとして、第２のセグメントインジケータを決定するステップであって、各第２のセグメントインジケータは前景ピクセルまたは背景ピクセルを示すものであるステップと、
ｋ）第２のセグメントインジケータをデータストアに格納するステップと、
を備える、コンピュータにより実施される方法。
前記第２のエネルギー関数は、各ピクセルのピクセル値とセグメントインジケータとにより決定されるコントラストエネルギーを表わす空間平滑性の項を含むことを特徴とする請求項１に記載の方法。
前記第１及び第２のエネルギー関数の最小値を推定するために、グラフカットを使用することを特徴とする請求項１又は２に記載の方法。
前記第２の入力イメージにおいて、前記第２のセグメントインジケータに基づいて背景ピクセルとして識別されたピクセルの背景置換を行うステップをさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の方法。
コンピュータに、請求項１〜４のいずれか１項に記載のステップを実行させるためのプログラム。
コンピュータに、請求項１〜４のいずれか１項に記載のステップを実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。