JP2000513897A - 画像分割およびオブジェクト追跡方法と、対応するシステム - Google Patents

Abstract

(57)【要約】 本発明は、画像分割およびビデオオブジェクト追跡の、改善された方法に関係する。従来の方法は、追跡すべきオブジェクトの動き均質性に依存するが、本方法は、空間および動きの双方の情報を利用する区分投影の概念に基づき、第ｌ区分の再分割と、その後の、得られた精細区分の現在フレームへの投影ステップとを含む二重区分アプローチによって改善される。このようにして、非均質性の動きを表わすオブジェクトと、、静止オブジェクトと、均質性の動きを有するオブジェクトの部分とを、追跡することができる。

Description

【発明の詳細な説明】 画像分割およびオブジェクト追跡方法と、対応するシステム 本発明は、画像シーケンスに用いられる分割およびオブジェクト追跡方法に関 係し、前記方法は、以下のステップ、すなわち、 (A)画像I(t-1)の第１粗区分P(t-1)の領域を規定し、前記粗区分から、空間均 等基準に基づいて精細区分FP(t-1)を規定する分割ステップと、 (B)前記精細区分FP(t-1)の現在画像I(t)中への投影PFP(t)を規定する投影ステ ップと、 (C)最終区分P(t)を規定する、前記投影精細区分PFP(t)の再ラベル付けステッ プとを連続して具える。 本発明は、前記方法を実行する対応するシステムにも関係する。 画像データの伝送用の最も知られている圧縮技術の内の１つであるコサイン変 換符号化は、16:l程度より高い圧縮比を得ることができない。低いビットレート 符号化およびきわめて低いビットレート符号化において、オブジェクトを画像の 背景から分割し、前記分割されたオブジェクトを検出し、これらのオブジェクト を輪郭によって取り囲まれたテクスチャ領域として符号化した後、これらに関連 するデータを伝送する技術によって、画像内容についての知識を符号化計画に取 り入れることによって圧縮比を改善することができる。しかしながら、これらの 輪郭およびテクスチャは、３次元空間において効率的に符号化されず（時間次元 の離散的性質が多数の不連続を招く）、きわめて低いビットレートに達するため に、動き補償を使用しなければならない。 離散的に連続する時間において考慮されたオブジェクトに関連する領域間のこ の接続性の欠落は、動き情報を前記分割に含めることによって、実際には解決す ることができ、これは、大きな動きがビデオシーケンスにおいて存在する場合、 特に必要である。これを、例えば、フレームまたは画像F(t)（tを時間とする） を、前フレームまたは画像F(t-1)に関してすでに得られた分割に基づいて、双方 のフレーム間の後進動き推定を計算し、前記前フレームF(t-1)およびその分割の 動き補償を実行することによって行う。このような技術は、時間領域を通じて、 重要な範囲として選択されたオブジェクトに対応する領域を、いくぶん効率的に 追跡することを可能にする。 しかしながら、ビデオ符号化の分野において、場面の種々のオブジェクトを別 々に操作および規定することを（きわめて種々の基準に依存するかもしれないど のようなオブジェクト規定でも）可能にする埋め込み内容依存機能を有する新た な符号化計画は、特に、対話型マルチメディアアプリケーションを目的とする未 来のMPEG-4標準に関して、ますます活気のある研究分野であり、おそらく1997年 の終わる前または1998年において固定されるであろう。オブジェクトまたはオブ ジェクトのグループをいったん規定すると、これらを、前記シーケンスを通じて 追跡しなければならない。内容依存機能への扉を実際に開くこの追跡能力は、前 フレームにおけるオブジェクト間の情報を現在および未来のフレームに関連付け る、すなわち、前記オブジェクトの時間的展開を規定することを可能にする（そ れに加えて、この追跡能力は、ユーザが前記選択されたオブジェクトに一回のみ マークすることを可能にする）。 動きを主な情報として使用する古典的なオブジェクト追跡技術は、異なった動 きを示すいくつかの部分から成るオブジェクト（例えば、歩いていると共に、腕 および身体が異なって動く人物）の追跡において、失敗するかもしれない。加え て、動き依存追跡技術は、全体としてのオブジェクトが所定の動きに従う場合、 オブジェクトの部分を追跡することができない（例えば、人物の顔のみを髪の毛 とは別に追跡することができない）。最終的に、場面全体が静止している（オブ ジェクトが動かない）か、カメラの全体的な動き（例えば、パン）が存在する場 合、動き依存追跡技術は、前記選択されたオブジェクトを追跡ができないか、前 記選択されたオブジェクトの追跡において困難を有するかもしれない。静止場面 （または静止する場面）は、どのような動き情報も与えず、したがって、オブジ ェクトのこれらの動きに基づく検出は、実際には困難である。類似して、カメラ の全体的な動きは、ある場面におけるすべてのオブジェクトに関する見せかけの 動きを形成し、したがって、オブジェクトを、静止範囲および動く範囲への分離 に基づいて容易に検出することはできない。 これらのような形式のオブジェクトを追跡するために、いくつかの技術が、異 なったオブジェクト規定基準に対処することを提案している。区分投影の概念（ 前画像I(t-1)およびその区分P(t-1)を動き補償し、I(t-1)はI(t)に成り、P(t-1) はP(t)に成り、これらの補償された領域を、I(t)において、既知の3D分水界アル ゴリズムによって現在の画像に続くマーカとして使用する）に依存するが、この 技術を、同質のどのような形式を有する領域の場合にも拡張する、オブジェクト 追跡方法は、例えば、1996年５月７-10、アメリカ合衆国ジョージア州アトラン タにおける、音響、言語および信号処理における1996年IEEE国際会議の会報にお ける、F.マルケス（Marques）他著「分割依存ビデオ符号化における内容依存機 能に関して重要な範囲の追跡」に記載されている。 前記追跡技術は、二重区分アプローチに依存し、すなわち、2つのレベルの区 分、すなわち、前記符号化計画に関連する粗レベル区分と、現在画像のより精細 な高品位の描写を含み、前記重要な範囲の追跡を可能にする精細レベル区分とを 使用する。画像毎に、双方の分割を並行して行い、前記粗レベル区分は前記精細 レベル区分を含み、すなわち、前記粗区分におけるすべての輪郭は、前記精細レ ベル区分においても存在し、最終的な目標は、前記画像を効率的に符号化するた めに必要な領域と、前記重要な範囲を正確に追跡するために必要な領域とを含む 最終区分を得ることである。 この場合において、前記前画像の区分P(t-1)（前記第1レベルにおけるこの区 分を、選択されているオブジェクトによって形成する）を再分割し、これは、各 精細領域の空間的均質性を保証する精細区分FP(t-1)を生じる。次にこの精細区 分FP(t-1)を前記現在画像中に投影し、時間tにおける精細区分（PEP(t)）を得て 、最終区分P(t)を、前記精細区分PEP(t)を再ラベル付けすることによって得る。 対応する完全な手順を図１において説明し、ここでは、選択されたオブジェク トの展開（時間t-1における区分P(t-1)、時間tにおける精細区分FP(t-1)、時間t における投影精細区分PEP(t)、時間tにおける区分P(t)）を示す。この例におい て、再ラベル付け手順は、同じラベルを有する接続されていない構成要素（前記 投影精細区分PEP(t-1)におけるグレイ範囲）を生じ、これを、ここでは、投影エ ラーであると見なし、したがって除去する。 本発明の目的は、どの境界および動き情報を現在使用しているかに応じて、以 前のように重要なオブジェクトを追跡し、同時に前記方法のいくつかのステップ を改善する、改善された方法を提供することである。 この目的のため、本発明は、本明細書の序文において記載したような方法であ って、 前記投影ステップが、以下のサブステップ、すなわち、 (1)前記現在画像に関するマーカの組を生じる動きおよび空間情報を前記前画 像の各領域の動き補償によって使用するマーカ投影サブステップと、 (2)前記現在画像および以前の原画像において含まれる空間情報を、前記最終 区分を得るために前記補償されたマーカの組の成長プロセスに使用する区分形成 サブステップとを連続して具える方法に関係する。 好適な実装において、前記方法は、 (1)前記マーカ投影サブステップが、以下の動作、すなわち、 (a)前記画像I(t-1)およびI(t)間の動き推定動作と、 (b)前記推定に基づいて、いわゆる補償されたマーカで構成した補償された 精細区分CFP(t-1)を生じる、精細区分FP(t-1)の後進動き補償動作と、 (c)前記画像において、前記粗区分P(t-1)の１つのラベルに対応し、同じラ ベルを有する可能な接続されていない構成要素の中から、これらの特別なラベル 毎に、第１の予め決められた基準を満たす構成要素のみを選択し、選択されなか った構成要素が、前記補償されたマーカを取り囲む、いわゆる不定範囲を規定す る、構成要素選択動作とを連続して具え、 (2)前記区分形成サブステップが、以下の動作、すなわち、 (e)いくつかのマーカが前記精細区分Fp(t-1)の１つの領域から形成された場 合、１つを除いてすべての前記マーカに再ラベル付けする、マーカ再ラベル付け 動作と、 (f)投影精細区分PFP(t)を導く、前記現在画像I(t)におけるすべての選択さ れたマーカの３次元拡張分水界アルゴリズムによる成長動作と、 (g)前記最終区分P(t)を規定する、前記前画像において同じラベルを有し、 前記領域成長後に接続された前記投影精細区分PFP(t)の領域の融合動作とを連続 して具えることを、より明確に特徴とする。 有利に、前記マーカ投影サブステップは、 (d)前記補償されたマーカの勾配に基づくクリーニング動作と、 (e)境界線除去動作も連続して具え、 これら２つの動作を、前記投影マーカのグレイレベル均質を補償すると同時にこ れらのホモトピーを維持するために用いる。 さらに、構成要素選択動作中、前記補償された精細区分CFP(t-1)における同じ ラベルkを有するすべての画素の少なくとも所定の割合を含む場合、所定のラベ ルkを有する接続されていない構成要素を選択してもよい。 本発明の他の目的は、上述した方法を実行する分割システムを提案することで ある。 この目的のため、本発明は、画像シーケンスの画像における分割およびオブジ ェクト追跡用システムに関係し、前記システムは、マーカ投影装置および区分形 成装置の直列配置を具え、前記マーカ投影装置が、動き推定回路と、動き補償回 路と、構成要素選択回路とを直列に含み、前記区分形成装置が、マーカ再ラベル 付け回路と、マーカ成長回路と、融合回路とを直列に含む。 以前の技術は動きのみを使用し、本方法およびその実装のために与えられる対 応システムは、均質性テクスチャも動きも示さないオブジェクトを追跡できるよ うにするために、動きおよび空間情報を結合させる。連続するフレーム間の動き を推定し、前記以前の区分の領域を動き補償するために使用する。補償された領 域を、前記追跡システムの時間的安定性を増すために、前記現在フレームに直接 強制する。前記現在画像における投影マーカの空間的均質性を照合し、前記最終 マーカ成長処理の正確さを保証する。前記アルゴリズムの中心部が形態学上の手 段に基づいているとすると、この技術全体としては、高い計算負荷を示さない。 このオブジェクト追跡方法は、きわめて異なる場面において、そして種々の用途 に対して良好な結果を示すことが証明されている。この方法は、オブジェクト依 存符号化計画における内容依存機能のために、ビデオオブジェクト（いわゆるVO ）の発生の問題に用いられる。加えて、前記計画は、実際の内容依存測定可能符 号化技術へのアクセスを容易にする、ビデオオブジェクトの階層を形成するため に使用される。 本発明のこれらおよび他の態様を、以下に記載の実施形態の参照と共に説明し 、添付した図に関連して考察する。 図１は、従来の二重区分アプローチに対応する手順を説明する。 図２は、同様の手順中の、本発明によって改善した投影ステップを説明する。 図３は、前記投影ステップの第１サブステップの実装のために与えられるマー カ投影装置のブロック図を示す。 図４ないし７は、接続されていない構成要素を保持または除去する新たな基準 の使用によって達成される改善を、この新たなアプローチと以前のアプローチと の比較によって説明する。 図８ないし12は、既知のテストシーケンスの２つの画像間のマーカ投影および 選択を説明する。 図13は、前記投影ステップの第２サブステップの実装のために与えられる区分 形成装置のブロック図を示す。 図14ないし16は、図４ないし７において既に考察したシーケンスの２つのフレ ーム間を再ラベル付けするマーカの一例を示す。 図17ないし19は、図８ないし12のシーケンスのフレーム(n+5)の投影された精 細区分における新たな領域の導入を説明する。 図20ないし23は、本発明による方法の異なった可能な用途を説明する。 二重区分アプローチの、予め思い出され、図２示すようなメインステップに対 して、本発明は、最初に、投影された精細区分PFP(t)を得て、次に、再ラベル付 け22の後に区分P(t)を得るために、前記精細区分FP(t-1)（前記精細区分は、前 記前画像の区分P(t-1)の再分割20による結果として生じる）の投影ステップ21に 関して前記現在画像に使用する特別な技術に、より明確に関係する。前記前画像 I(t-1)の区分P(t-1)を前記現在画像I(t)の情報に適応させるために行われるこの 投影ステップを改善し、時間的安定性を増すようにする。図２に示すように、こ の改善された投影ステップの実装を、２つのサブステップ211および212、すなわ ち、マーカ投影サブステップおよび区分形成サブステップに分離することができ る。 前記マーカ投影は、前記前画像I(t−1)からの各領域の動き補償を実行するた めの動き情報を使用する。前記前フレームにおける均質性範囲に関係するこれら の領域を動き補償し、これらは、前記現在画像I(t)においてこれらの領域の近似 された位置を示すマーカを生じる。前記区分形成プロセスにおいて、次にこの補 償されたマーカの組を成長させ、前記最終区分P(t)を得る。この成長プロセスは 、動き補償されている、前記現在画像I(t)および前画像I(t-1)に含まれる空間情 報を使用する。本発明による方法の提案した投影ステップ21において、空間およ び動き情報を、前記マーカ投影および区分形成の双方において結合する。 ここで、前記投影ステップの第１サブステップであるマーカ投影を、マーカ投 影装置100によるこのステップの実装を示す図３の参照と共に、より詳細に説明 する。この装置は、続けて説明するいくつかの回路を直列に具える。 最初に、動き推定回路31は、双方の画像I(t-1)およびI(t)間の動きの粗い推定 を、例えば、後進ブロックマッチング技術によって得る。このような技術は、例 えば、「階層動き推定用VLSIアーキテクチャ」、IEEE Transactions on Consume r Electronics，vol.41，n°2，1995年5月、248−257ページに記載されており、 画像I(t)を画素の小さなブロック（例えば、８×８画素）に分割し、これらの各 々に対して、画像I(t-1)における所定のウィンドウ内を、前記画像において最適 なブロックを位置決めするために調査する。考慮している画像のすべてのブロッ クの対して各々推定された動きベクトルの形態において与えられた、前記得られ た動き情報は、２つ以上のオブジェクトを含むいくつかのブロックの動きが正確 に一様でない場合であっても、十分な近似となる。 次に、動き補償回路32は、前記前画像I(t-1)から来る各領域に関して、前記前 画像におけるのと同じラベルに接続された構成要素を含む画像を最終的な結果と して得るために、画像I(t)の各領域の動き補償に前記得られた動きベクトルを使 用する。これらの構成要素の各々は、それ自体以下の様に、すなわち、前記現在 画像I(t)のすべての画素を、前記前画像I(t-1)からの唯一の画素によって覆う（ 前記後進動き推定後に）ようにして得られる。 しかしながら、前記以前の区分の補償による結果として生じる画像は、実際に 区分それ自体ではない。同じラベルに接続されていない構成要素か、補償後に現 れるかもしれない。この問題を解決するために、構成要素選択回路33を設け、補 償後に２つ以上の構成要素に達する以前の区分P(t-1)の各ラベル毎に、この回路 は、関連した構成要素のみを、一般的には幾何学的基準である、予め決められた 基準にしたがって保持させる。実際には、ラベルkを有する構成要素は、前記補 償された精細区分CFP(t-1)におけるラベルkを有するすべての画素の所定の割合 （例えば、約40%）より少なくしか含まない場合、除去される。このようにして 、所定のラベルは、２つ以上の接続された構成要素に、これらの各々が十分に大 きい場合、達することができる。前記除去された構成要素は、前記得られた補償 されたマーカを取り囲む、いわゆる不定範囲を形成する。この不定範囲からの画 素に、後に、前記区分形成サブステップ212中にラベル付けする。 図４ないし７における例は、１つ以上の構成要素を、これらの構成要素が十分 大きい場合に保持することの必要性を説明する。第１の画像（図4）は、代表的 なビデオ電話のシーケンス（既知の「母娘」テストシーケンス）における、分割 すべき原画像、例えば、画像n（n=50）の一例であり、第２の画像（図５）は、 同じシーケンスにおける、画像nから画像(n+5)に投影されたマーカの組の境界線 を示す。マーカ間の区域は、前記不定範囲に属する。見られるように、母親の頭 の動きは、２つの部分に分離し、背景の範囲は彼女の頭の背後に位置する（前記 画像において明および暗灰色の範囲）。最小のマーカを除去すると、近接する領 域のマーカは、この区域を覆って成長する。第３の画像（図６）において、前記 背景の区域は、ソファー（黒の範囲）に属するマーカによって覆われている。こ れとは逆に、前記新たなアプローチを使用する場合、大きな接続されていないマ ーカを、これらがこれらのラベルを他のマーカと共有する場合であっても保持す る。図７の場合において、この結果、前記背景の両方の部分に関して特別な領域 を有するようになる（前記背景は、その２つの関連したマーカによって覆われ、 前記黒マーカは、その関係する範囲のみを覆う）。 最終的に、前記補償されたマーカの空間的均質性を保証するために、出力部が マーカ投影サブステップ211を実装する装置100の出力部となるクリーニング回路 34を設けてもよい。実際には、投影ステップ21における動き情報の使用は、区分 P(t-1)からのラベルがP(t)において存在しない可能性を作ることに注意しなけ ればならない。このようにして、場面から消えたオブジェクトのラベルは、その 後の画像において残らない。しかしながら、粗動き推定を使用することから、前 記現在画像におけるマーカの位置は、それが表わす領域に関して全体的に正確で はないかもしれない。所定の領域からのマーカによって覆われるグレイレベル値 は、空間的均質性を持たないかもしれない。マーカを前記現在画像に直接強制す ると、これらの各々は、その関連した領域に実際に属する前記画像の範囲を覆わ なければならない。 回路34によって実装されるクリーニング動作は、前記考慮しているマーカによ って覆われるグレイレベル情報の勾配に依存する。通常、前記マーカは正確に位 置決めされるが、異なったグレイレベル値を有する他の領域からの範囲を部分的 に覆う。したがって、各々の補償されたマーカ毎に、それが覆う画素の勾配の平 均値を計算する。この平均値より上の所定のしきい値より上のすべての画素を、 前記不定範囲に割り当てる。しかしながらこのクリーニング動作は、正確に割り 当てられたマーカの小さい部分を除去してしまうかもしれず、この影響を、図8 ないし12において示し、これらの図は、２つの異なった場合を、他の代表的なテ ストシーケンス（「職長」シーケンス、図８はこのシーケンスの原画像を示す） を使用して説明する。ある領域が、その内側において小さいグレイレベル変化を 示す場合、これらは、前記クリーニング動作によって除去されるかもしれない。 これは、ビルディングにおけるいくつかの範囲の場合である。加えて、ある領域 が、均質性を有するが、一定のグレイレベル値を持たない（例えば、グレイレベ ル値が放物線関数に従う）場合、いくつかの部分は、同様に除去されてしまうか もしれない。これは、人物の右頬の場合である。これらの問題を解決するために 、マーカを成長させ、これらの内側の穴を覆う。最終的な動作を用い、領域間の 不定範囲を増大させ、最終的な境界線位置が、前記領域動き補償によって全体的 に動かされないようにする。前記不定範囲は、前記マーカの境界線から画素を除 去することによって増大する。この除去は、前記マーカのホモトピーにおけるど のような変化も防止し、すなわち、マーカを前記プロセスにおいて分割すること はできない。 図９における例は、男が選択されたシーケンスの第１画像の精細区分を表わし （図10の第２画像は、分割すべき「職長」シーケンスの、n=５に関する、対応す る原画像を表わす）、図11は、前記勾配依存クリーニング動作後の投影されたマ ーカの組を示す（グレイのいくつかの不定範囲が、前記ビルディングまたは頬の ような均質性範囲において現れている）。最後に、前記成長および境界線除去後 の選択されたマーカの組を、図12において示す（すべての画像において、領域境 界線が黒でマークされている）。全体の動作において、前記投影された区分のホ モトピーは変化せず、すなわち、領域は除去または分割されない。さらに、前記 クリーニング動作後、前記投影されたマーカのすべて（図12参照）は、前記画像 における均質性領域（図10）に対応する。この改善により、投影ステップ21のそ の後のサブステップは、より確実な情報に基づくため、改善される。 この投影ステップの第２サブステップは、前記区分形成であり、これを、区分 形成装置200による前記サブステップ212の実装を示す図13を参照して説明する。 最終区分P(t)を得るために、前記選択されたマーカを、前記現在画像において、 基本的な分水界アルゴリズムの拡張（例えば、F.メイヤ（Meyer）およびS.ビュ ーチャー(Beucher)著「形態学的分割」（Journal of Visual Communication and Image Representatlon，1（1）21-46ページ、1990年９月）において記載されて いる）を使用して成長させる。以前のアプローチにおいて、前記区分形成動作は 、 の情報のみを使用する。このようにして、前記動き推定および補償技術によって 導入されうる誤差をショートカットする。この拡張された分水界アルゴリズムは 、費用関数として、前記領域のテクスチャおよび輪郭線情報の組み合わせを使用 する。前記不定範囲に属する画素を所定の領域に割り当てるために、前記領域の 平均グレイレベル値を、前記画素のグレイレベル値と比較する。所定の領域ｋの 平均グレイレベル値を、前記前画像における同じ領域ｋの画素値と、前記現在画 像における関係するマーカによって覆われる画素の値との双方を使用して推定す る。 ２つのマーカが１つの領域から形成された場合（図4ないし7参照）、これらの マーカによって覆われる画素のグレイレベルを結合しないで前記平均値を計算す る。これは、マーカ再ラベル付け回路41におけるこれら２つのマーカのうち一 方の再ラベル付けを意味する。次に、各マーカ毎に、異なった平均値を、前記前 画像における領域の画素値と、前記マーカによって覆われる画素の値とを使用し て計算する。したがって、一方のマーカのラベルが変化しても、前記プロセスは 、このマオカが来る前記以前の領域の記憶を依然として有する。これは、前記マ ーカが、その原ラベルを、前記成長プロセスがこのマーカを成長させ、同じ以前 のラベルを有する他のマーカに接触させる場合、再生することを可能にする。再 ラベル付けの一例を、図14ないし16に示す。この例において、女性の頭の後の背 景は、前画像において１つの領域として分割される。しかしながら、前記女性の 頭の動きにより、前マーカは、マーカ投影サブステップ211中に保存されるほど 十分に大きい２つの分離した構成要素を生じる。したがって、図14に示すように 、双方のマーカは保存され、異なった領域としてラベル付けされる。マーカ成長 回路42において行われる前記成長プロセス（拡張分水界アルゴリズム）の終了に おいて、前記背景からの２つのマーカは接触する（図15参照）。したがって、こ れらは同じ前領域に属するため、これらは融合回路43において１つに融合し（図 16参照）、同じラベルがこれらに割り当てられ、（望むなら）前記背景の正確な 追跡が可能になる。 区分形成サブステップ212における時間的安定性をさらに改善するために、前 記成長プロセスを動き情報によって制御し、マーカの形状変形の制御を、変化検 知アルゴリズムによって与えられる情報によって動かす。この技術は、前記画像 の静止（動く）範囲に関係するマーカが成長しすぎて動く（静止）範囲を覆うの を防止する。 次に、投影された精細区分PFP(t)から、精細区分P(t)を、それらの領域の再ラ ベル付けによって得ることができる。これは、前記二重区分アプローチの最後の 動作である。 前記プロセスを繰り返すために、新たな精細区分を、精細区分P(t)から始めて 得ることができる。それにもかかわらず、投影精細区分PFP(t)を使用し、前記精 細区分の形成プロセスを開始することができる。したがって、新たな精細区分を 、前記投影精細区分を再分割することによって得る。この再分割の必要性は二重 である。第１に、前記投影ステップは、完全な空間的均質性を示さない領域を生 じ たかもしれない。これらのような領域は、その後の投影ステップの成功を保証す るために、再分割しなければならない。第２に、新たなオブジェクトが、前記場 面において現れたかもしれない。前記投影ステップは、現在画像における前区分 からの領域の適応のみを処理するため、新たなオブジェクトは前記投影区分にお いては表わされない。前記再分割は、新たな領域を前記選択されたオブジェクト の内部に形成することができる。この場合において、前記新たな領域を、前記選 択されたオブジェクトに属するとみなし、したがって、前記オブジェクトの他の 部分と共に追跡される。 序章において記載した状況の一例を、図17ないし19に示す。第１の画像（図17 ）において、前記「職長」シーケンスの１フレームの精細区分を示し、ここでは 男が選択されている。第２の画像（図18）は、再分割後のフレーム(n+5)の精細 投影区分を示す。前記再分割プロセスにおいて、新たな領域が現れる（この画像 において黒でマークされる）。この新たな領域が前記選択されたオブジェクトの 内部に含まれるため、この新たな領域を前記オブジェクトに属する領域の組に加 える。この最終的な結果を、第３の画像（図19）に示す。 オブジェクトを追跡する上述した方法は、異なったオブジエクト規定基準を処 理するその能力が与えられているとすると、種々の用途を導くことができる。各 々の例（全体的に動いているオブジェクトの追跡、オブジェクトの一部の追跡、 オブジェクトの階層の形成）は、異なった可能な用途を説明しようとするもので ある。 第１の用途において、一様な動きを有する１個のオブジェクトを追跡する。こ れは、古典的なアプローチによって取り組まれる通常の用途である。しかしなが ら、これらのアプローチのうちいくつかは、動き検出に依存する。したがって、 これらは、多数の動いているオブジェクトや、カメラの全体的な動きが存在する と、失敗するかもしれない。本方法の堅牢さを示すために、前記「職長」シーケ ンスにおける人物の追跡を、不連続フレームを使用して行い、図20aないし20fは 、各々、前記シーケンスにおいて番号５、20、85、130、155および185を有する フレームにおける前記男の追跡を示す。空間および動き基準の組み合わせによっ て、オブジェクトを、カメラの全体的な動きの場合であっても、追跡するこ とができる。前記場面において新たなオブジェクト（例えば、前記男の手）が現 れ、部分的に前記選択されたオブジェクトを遮る場合において、身体の追跡は完 全でなくなる。加えて、前記手の空間情報は、顔のテクスチャとまったく同様で あるため、前記選択されたオブジェクトからの領域は、前記手の区域において動 き補償される。これは、前記選択されたオブジェクトにおける前記手の包含を招 く。それにもかかわらず、このような状況は、カメラがパンする場合であっても 、前記人物の身体の追跡を保持することを妨げる。 第２の用途において、オブジェクトの一部を、オブジェクト全体が一様な動き を有していても、独立して追跡する。したがって、選択されたオブジェクトの正 確な境界線を、空間的均質性に基づいて規定すべきである。古典的な技術は、通 常、これらが主に動き情報に依存しているため、この問題に取り掛かると失敗す る。図21aないし21cは、前記「職長」シーケンスにおける人物の頭のみを追跡し た結果を、例えば、各々、番号５、20および85を有するフレームに関して示す（ 以前の場合と、本発明の場合において、5フレームから１つだけを前記追跡処理 に使用した）。前記オブジェクトは、空間的均質性を与えず、一様な動きを有す る大きなオブジェクトの部分を形成しなくても、正確に追跡される。 第３の用途において、前記シーケンスが、すでにビデオオブジェクト（VO）に 分割されているとする。前記提案した技術は、VOの１つに含まれているオブジェ クトを追跡することを可能にする。この方法は、オブジェクトの階層を形成する ことができ、VOの分割を可能にする。このオブジェクトの階層を使用し、内容依 存測定可能符号化を行うことができ、異なった測定可能性のレベルにおいて、特 定のオブジェクトの品質が改善される。前記提案したオブジェクト追跡技術は、 分水界アルゴリズムを使用し、最終区分を得るため、前記VOの形状を、前記成長 プロセスにおいて制限として導入することができる。これは、VO内の異なるオブ ジェクトが、これらの関係するVOの外側に成長しすぎないことを保証する。図22 ａないし22cにおいて、他のシーケンス（「天気」）における女性の頭の追跡を 、例えば、各々、番号125、225および250を有するフレームのVOにおいて示す。 身体全体が同様な動きを示すとしても、前記頭を独立して追跡することができる 。前記頭の形状は、原VOに常に含まれ、したがって、上述した階層を形成するこ と に注意しなければならない。 第４の用途において、前記以前のアイデアを、選択されたオブジェクトを追跡 し、オブジェクトの階層を発生する一般的な場合に拡張する。この場合において 、前記投影ステップにおける精細区分を、前記階層において異なったオブジェク トのトラックを保持しなければならないため、バイナリにすることができない。 図23において、「母娘」シーケンスにおける女性の頭の追跡を、例えば、各々、 番号０、49および218を有するフレームに関して示す。前記女性の頭の内部で、 ４つの異なったオブジェクト、すなわち、口、眼および髪の毛を選択（図23aな いし23cにおいて）し、追跡することができる。次に、これらのオブジェクトに 関係する領域内の画素のグレイレベル値を（図23dないし23fにおいて）示し、前 記頭の残りの部分をグレイにおいて示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＮ，ＪＰ，Ｋ Ｒ

Claims (1)

1. 【特許請求の範囲】 １．画像シーケンスに用いられる分割およびオブジェクト追跡方法であって、以 下のステップ、すなわち、 (A)画像I(t-1)の第１粗区分P(t-1)の領域を規定し、前記粗区分から、空間 均等基準に基づいて精細区分FP(t-1)を規定する分割ステップと、 (B)前記精細区分FP(t-1)の現在画像I(t)中への投影PFP(t)を規定する投影ス テップと、 (C)最終区分P(t)を規定する、前記投影精細区分PFP(t)の再ラベル付けステ ップとを連続して具える方法において、前記投影ステップが、以下のサブステ ップ、すなわち、 (1)前記現在画像に関するマーカの組を生じる動きおよび空間情報を前記前 画像の各領域の動き補償によって使用するマーカ投影サブステップと、 (2)前記現在画像および以前の原画像において含まれる空間情報を、前記最 終区分を得るために前記補償されたマーカの組の成長プロセスに使用する区分 形成サブステップとを連続して具えることを特徴とする方法。 ２．請求の範囲１に記載の方法において、 (1)前記マーカ投影サブステップが、以下の動作、すなわち、 (a)前記画像I(t-1)およびI(t)間の動き推定動作と、 (b)前記推定に基づいて、いわゆる補償されたマーカで構成した補償され た精細区分CFP(t-1)を生じる、精細区分FP(t-1)の後進動き補償動作と、 (c)前記画像において、前記粗区分P(t-1)の１つのラベルに対応し、同じ ラベルを有する可能な接続されていない構成要素の中から、これらの特別なラ ベル毎に、第１の予め決められた基準を満たす構成要素のみを選択し、選択さ れなかった構成要素が、前記補償されたマーカを取り囲む、いわゆる不定範囲 を規定する、構成要素選択動作とを連続して具え、 (2)前記区分形成サブステップが、以下の動作、すなわち、 (e)いくつかのマーカが前記精細区分FP(t-1)の１つの領域から形成された 場合、１つを除いてすべての前記マーカに再ラベル付けする、マーカ再ラベ ル付け動作と、 (f)投影精細区分PFP(t)を導く、前記現在画像I(t)におけるすべての選択 されたマーカの３次元拡張分水界アルゴリズムによる成長動作と、 (g)前記最終区分P(t)を規定する、前記前画像において同じラベルを有し 、前記領域成長後に接続された前記投影精細区分PFP(t)の領域の融合動作とを 連続して具えることを特徴とする方法。 ３．請求の範囲2に記載の方法において、前記マーカ投影サブステップが、 (d)前記補償されたマーカの勾配に基づくクリーニング動作と、 (e)境界線除去動作も連続して具え、 これら２つの動作を、前記投影マーカのグレイレベル均質を補償すると同時に これらのホモトピーを維持するために用いることを特徴とする方法。 ４．請求の範囲２または３に記載の方法において、前記動き推定動作を後進ブロ ックマッチングプロセスとし、前記補償動作後、前記現在画像I(t)におけるす べての画素が前記粗区分P(t-1)からの唯一の画素に関連することを補償するこ とを特徴とする方法。 ５．請求の範囲２ないし４のいずれか１つに記載の方法において、構成要素選択 動作中、前記補償された精細区分CFP(t-1)における同じラベルkを有するすべ ての画素の少なくとも所定の割合を含む場合、所定のラベルkを有する接続さ れていない構成要素を選択することを特徴とする方法。 ６．請求の範囲5に記載の方法において、前記割合を40%程度としたことを特徴と する方法。 ７．請求の範囲２ないし６のいずれか１つに記載の方法において、前記補償され たマーカの各々に対して、前記マーカが覆う画素の勾配の平均値を計算し、前 記平均値より所定のしきい値以上のすべての画素も前記不定範囲に割り当てる ことを特徴とする方法。 ８．請求の範囲７に記載の方法において、マーカ再ラベル付け動作毎に、第2平 均値を、前記前画像I(t-1)における領域の画素値と、前記マーカによって覆わ れた画素の値とを使用して計算することを特徴とする方法。 ９．画像シーケンスの画像における分割およびオブジェクト追跡用システムにお いて、マーカ投影装置および区分形成装置の直列配置を具え、前記マーカ投影 装置が、動き推定回路と、動き補償回路と、構成要素選択回路とを直列に含み 、前記区分形成装置が、マーカ再ラベル付け回路と、マーカ成長回路と、融合 回路とを直列に含むことを特徴とするシステム。 10．請求の範囲９に記載のシステムにおいて、前記マーカ投影装置が、前記構成 要素選択回路の出力部において、投影されたマーカのグレイレベル均質性を保 証すると共にこれらのホモトピーを保持するために設けたクリーニング回路を 、直列に含むことを特徴とするシステム。