JP6125379B2 - 動きのアーティファクトを自動補正する方法およびシステム - Google Patents

Description

発明の分野
この発明は、内視鏡手術あるいは他の手術から得られた飛越し走査方式のビデオおよび画像、スポーツの静止フレームあるいは他のビデオを改善する方法およびシステムに関するものである。特に、この発明の方法およびシステムは、録画用装置、対象物あるいはこれら両者が独立して動く飛越し走査方式のビデオおよび画像を改善することに関するものである。この発明は、いっそう詳しくは、カメラの動きによってもたらされたアーティファクト（ａｒｔｉｆａｃｔ）および対象物の動きによってもたらされたアーティファクトを自動的に補正するための方法およびシステムに関するものである。

発明の背景
テレビ・ビデオ技術は、人間の眼を欺いて、テレビ信号あるいはビデオ信号が起きている出来事を正確に反映すると信じさせるためのトリックに永い間依存してきた。例えば、ＮＴＳＣ（国立テレビ放送規格委員会）規格のような従来のビデオ技術では、単一の画像あるいはフレームが１／６０秒ずれて撮られた２つのフィールドからなる「飛越し走査方式のビデオ」（ｉｎｔｅｒｌａｃｅｄ ｖｉｄｅｏ）が用いられている。それぞれのフレームには、２つのフィールドに分けられた５２５本の走査線が含まれている。第１の、すなわち奇数のフィールドは、奇数の番号が付けられた線（例えば、１，３……５２５）からなり、第２の、すなわち偶数のフィールドは、偶数の番号が付けられた線（例えば、２，４……５２４）から形成されている。これら２つのフィールドは、フレームの表示の際に、奇数番号の走査線が偶数番号の走査線の間に挿入されるように飛越し走査されるが、これらのフィールドは、人間が一方の手の指を他方の手の指にからみ合わせるときに起きるであろうからみ合わせにきわめて似ている。それぞれのフレームは、（偶数および奇数の）それぞれが１／６０秒ずれて捕捉された２つの飛越し走査フィールドから構成されているので、これらのフレーム自体は、１秒当たり３０フレームの割合で捕捉される。

たいていのビデオの用途では、フィールドの捕捉どうしの間におけるきわめて短い遅延（１／６０秒）は、対象物が撮影の間に動くときでも、どのような動きのアーティファクト（ａｒｔｉｆａｃｔ ｏｆ ｍｏｔｉｏｎ／ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）も事実上検出できない、ということを意味している。（動きのアーティファクトの一例は、フレーム速度がかなり低い昔の無声映画に見ることができる。）録画機がフレームを捕捉する高い速度と、それぞれのフレームの中におけるフィールドどうしの間のわずかなタイムセパレーションとによって、ビデオにおけるぼやけが最小になる。例えば、動いている車あるいは走っている人のように、ビデオ録画される対象物が動いているときでも、そのような動きのアーティファクトは、捕捉されたフレームの中では人間の眼が実質的に検出することはできない。加えて、多くの用途では、人間は、ビデオにおいて検出可能な動きのアーティファクトでも無視しがちであるが、これは、特定の動きのアーティファクト（例えば、対象物の動きによるぼやけ）がそのアーティファクトを外す一組のフレームのうち別のフレームですばやく置換されることがしばしばあるためである。このように、いくつかの用途では、フレーム捕捉速度と、飛越し走査されたフィールドの連続的リフレッシュメントとは、ビデオ画像の目立ったぼやけを防止するのに充分である。

しかしながら、多くの用途では、フィールドが走査されかつフレームが捕捉される速度は、表示されたビデオにおける画像ゆがみ問題を引き起こす動きのアーティファクトを防止するに足りるほど高くはない。画像ゆがみ問題が動きのアーティファクトによって引き起こされることのある用途には例えば、内視鏡手術あるいは他の手術から得られたビデオおよび画像、スポーツの静止フレームあるいは、カメラと対象物とが独立して動く他のビデオが含まれる。エドガー（Ｅｄｇｅｒ）に付与された米国特許第５，１９１，４１３号には、この実例が記載されている。エドガーは次のように述べている。「もし、捕捉過程の間に手が対象物によって動かされるようなことがあれば、はっきり相異なる２つの位置でその手を捕捉する連続的なフィールドが生じるであろう。しかしながら、典型的な飛越し走査方式の作動には、表示スクリーンに交互に連続リフレッシュされる２つのフィールドが必要である。この結果、きわめて好ましくない画像の原因となる、１秒に３０回の振動数で、じっとしていない動きあるいはぶるぶる震える動きをする手の様相が、示されることになる」。この現象はナイムパリー（Ｎａｉｍｐａｌｌｙ）らに付与された米国特許第５，３２９，３１７号にも示されている。

これらの動きのアーティファクトは、問題になっているビデオが拡大されたときに特に顕著である。例えば、内視鏡手術あるいは腹腔鏡手術においてビデオが撮影されて拡大されることがたびたびある。ビデオ画像は、内視鏡の光学部品あるいは腹腔鏡の光学部品に接続された高解像度カメラによって撮影される。これらの画像は、観察器械の光学部品によってきわめて大きく拡大され、その結果、捕捉された画像は動きに対してきわめて影響されやすい。従って、画像フィールドにおける小さい動きが、観察されたフィールドではきわめて大きい変化となり、また、そのように拡大された動きは局部的よりも全体的であるように見える。加えて、このような拡大のために、その動きは、捕捉されたフレームにおける２つのフィールド成分どうしの間でタイムセパレーションによって誇張される。

捕捉されたフレームにおける動きの効果は、相異なる少なくとも２つの方法で作り出されるが、これら少なくとも２つの方法のそれぞれは相異なる型の動きのアーティファクトに帰する。動きのアーティファクトにおける１つの型は外科医による内視鏡カメラの動きによって生じる。内視鏡の動きは、奇数のフィールドと偶数のフィールドとの間の「均一な動き関連誤差」に帰することができる。この型の動きの効果は「線状アーティファクト」として一般に知られている。両フィールドが捕捉されると、内視鏡の動きによって、内視鏡の動きの速度に直接比例してずらされるほとんど同一の画像が生じ、従って線状アーティファクトが作り出される。第２の型の動きの効果は、そのカメラの画像フィールドの中における動きによって作り出される。このような動きは、外科医による外科用具の動きのため、あるいは呼吸を伴うような患者の動きによる外科用具の動きのためかもしれない。この型の動きの効果は、手術器具あるいは患者の組織の動きが観察され、かつ、「局部的アーティファクト」として知られている画像の領域に限定される。内視鏡光学部品あるいは腹腔鏡光学部品による実質倍率によって、線状アーティファクトおよび局部的アーティファクトの双方でもたらされた捕捉画像における動きのゆがみ効果が劣化する。

手術のようなデリケートな用途では、最も安定しかつアーティファクトのない画像をもたらすことが重要である。これらの動きのアーティファクトについて補正するために、過去において、いくらかの努力が行なわれてきた。例えば、ソニー（Ｓｏｎｙ）のような製造業者から入手することのできるビデオプリンターには、「動き検査」ファームウェアが備わっている。このファームウェアは、特定の画像の中で発達した動きのアーティファクトを探し、それらを見つけると使用者に警報を出す。そして、使用者はその動きのアーティファクトを補正することができる。この補正には、画像を形成する前記２つのフィールドにおける１つのフィールド、すなわち、表示されあるいは印刷されるビデオの垂直解像度を大幅に減少させる１つのフィールドを削除することが含まれている。動きを補正する従来の別の技術は、前記２つのフィールドにおける１つのフィールドを削除して、その廃棄されたフィールドを残りのフィールドの繰り返しによって置換することである。このことは、捕捉された情報の半分だけを誇張する画像に帰し、より低い解像度に帰するものである。また、いくつかの商業的ソフトウェアの用途には、使用者によって実行することのできる動き補正の構成が備わっているが、これらの構成は、その使用に際して技術的に精通していない者にとっては実施するのが困難であることが多い。アドービ（Ａｄｏｂｅ）にはこのようなソフトウェアが備わっている。

動きのアーティファクトを補正することへの別の取り組みは、隣接する２つのフィールドにおける画素どうしの間における差を一定のしきい値と比較することであった。このしきい値が大き過ぎるときには、１つの画素におけるこの値は置換される。この置換値は、隣接する線どうしにおけるいくつかの画素の値を平均化することによって決定することができる。しかしながら、もし、画素どうしの間における差がその一定値を超えないときには、画素値を変化させるためにどのような動作も行なわれない。この過程は、それぞれのフレームのそれぞれの線におけるそれぞれの画素について繰り返される。内視鏡の画素の中で動きのアーティファクトへ適用されるようなこの取り組みの一例が、ブランソン（Ｂｒａｎｓｏｎ）に付与された米国特許第５，８７７，８１９号に記載されている。

大きく拡大されたビデオにおける動きのアーティファクトを補正するための従来のいくつかの方法によれば、最高品質の映像がもたらされることはない。さらにまた、それらの方法は、専門化された技能を必要とし、また、順応性に欠けている。このため、高解像度の画像を生じる、大きく拡大されたビデオにおける動きのアーティファクトを補正する方法およびシステムについての要望がある。また、さらに別の画素値の解析および置換における順応性を増大させるように、画素値のしきい値について動的であるそのような方法およびシステムについての要望もある。さらにまた、手術のようなデリケートな用途におけるそのような方法およびシステムについての特別な要望もある。

発明の概要
この発明によれば、内視鏡的処置あるいは他の医療的および外科的処置から得られたビデオおよび画像、スポーツの静止フレームあるいは、録画用装置、対象物あるいはこれら両者が独立して動く他のビデオを改善する方法およびシステムが提供される。
すなわち、この発明の１つの観点によれば、
第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉し、
カメラの動きを自動的に補正し、
対象物の動きを自動的に補正し、かつ、
カメラの動きおよび対象物の動きの補正ずみ画像を表示することからなる、
録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法が提供される。
ここで、カメラの動きの自動的補正は、捕捉フレームがカメラの動きのアーティファクトを含んでいるかどうかを判定することからなっていてもよい。
また、カメラの動きの自動的補正は、第１ラスターフィールドにおける自己相関を第２ラスターフィールドに対して実行することからなっていてもよい。
ここで、第１および第２のラスターフィールドはそれぞれ、複数の画素を有し、第１ラスターフィールドにおける画素は、第２ラスターフィールドにおける画素からずれており、自己相関の実行は、第１ラスターフィールドにおける画素と第２ラスターフィールドにおける画素との間に２次元動きベクトルを創造することからなるものであってもよい。
２次元動きベクトルを創造することは、第１ラスターフィールドにおけるそれぞれの画素の第２ラスターフィールドにおける参照画素に対するＸ／Ｙ座標についての最適相関値を配置することからなっていてもよい。
最適相関値の配置は、３×３の畳み込み検索の繰り返しの使用からなっていてもよい。
３×３の畳み込み検索の繰り返しの使用は、
（ａ）第１の特定のずれがＸ座標およびＹ座標の両方についてゼロであるときに、第１および第２のラスターフィールドにおける対応画素について第１相関値を決定し、
（ｂ）第２の特定のずれがＸ座標について１でありかつＹ座標についてゼロであるときに、第２ラスターフィールドにおける対応画素の右側に位置する第１ラスターフィールドにおける画素について第２相関値を決定し、
（ｃ）第１相関値と第２相関値との間の差を算出し、
（ｄ）これらの値の間の差を２乗し、
（ｅ）第１ラスターフィールドにおけるすべての画素について第２ラスターフィールドにおける画素に対してステップ（ａ），（ｂ），（ｃ）および（ｄ）を繰り返し、
（ｆ）第１の特定のずれでの相関値と第２の特定のずれでの相関値との間における差の２乗を加算し、かつ、
（ｇ）第１ラスターフィールドを第２ラスターフィールドに対してずらすための最適相関値をもたらすために、第１ラスターフィールドにおける画素と第２ラスターフィールドにおける画素との間の最小差を創造する相関値を決定することからなっていてもよい。
上記の２次元動きベクトルを創造することは、第２ラスターフィールドにおける参照画素から所定数の画素よりも多くずれていることが判定された第１ラスターフィールドにおけるそれぞれの画素に対するＸ／Ｙ座標についての値を配置することからなっていてもよい。
上記の所定数の画素は、１０〜２０画素の範囲内にあってもよい。
上記カメラの動きの自動的補正は、合成的第１ラスターフィールドを第２ラスターフィールドの複製によって創造することからさらになっていてもよい。
上記カメラの動きの自動的補正は、２次元動きベクトルによって決定された自己相関に係る補正位置のある完全捕捉フレームの中に合成的第１ラスターフィールドを創造するために第２ラスターフィールドを複製することからさらになっていてもよい。
対象物の動きの自動的補正は、捕捉フレームの中における対象物の動きの領域を自動的に識別するために対象物動きマップを演算することからなっていてもよい。
ここで、対象物動きマップの演算は、
（ａ）第１ラスターフィールドについて実際の画素値を決定し、
（ｂ）第１ラスターフィールドについて予測された画素値を第２ラスターフィールドから演算し、
（ｃ）捕捉フレームの別々の領域における第１ラスターフィールドと第２ラスターフィールドとの間の差を決定するために、第１ラスターフィールドについて予測された画素値と実際の画素値とを比較し、
（ｄ）第１ラスターフィールドと第２ラスターフィールドとの間の差が比較的大きい捕捉フレームの領域を識別し、かつ、
（ｅ）対象物動きマップを創造するために、第１ラスターフィールドと第２ラスターフィールドとの間の比較的大きい差を２乗することからなっていてもよい。
対象物動きマップの演算は、その対象物動きマップの中における大きい差の領域にハーフハイトのグレースケール画像マップを創造するために、捕捉フレームの第１および第２のラスターフィールドを巻き込むことと、第１ラスターフィールドと第２ラスターフィールドとの間の差が比較的小さい捕捉フレームの非補正領域を残すこととからさらになっていてもよい。
対象物の動きの自動的補正は、対象物の動きの補正を適用するための捕捉フレームにおける領域の輪郭を描くために、２値対象物位置決めマップを創造することからさらになっていてもよい。
ここで、２値対象物位置決めマップの創造は、
（ａ）第１ラスターフィールドについて予測された画素値と実際の画素値との間のしきい値差を設定し、
（ｂ）グレースケール画像マップにおけるそれぞれの画素をそのしきい値差と比較して、そのしきい値差を超える画素の数を合計し、
（ｃ）グレースケール画像マップにおける３つ以下の隣接画素がそのしきい値差より大きいときには、そのグレースケール画像マップからそれらの画素を除去し、かつ、
（ｄ）４つ以上の隣接画素がそのしきい値差よりも大きいときには、それらの画素をそのグレースケール画像マップの中に残しておくことからなるものであってもよい。
上記しきい値差は、約２０〜約１５０ＩＲＥ輝度単位の範囲内にあってもよい。
上記しきい値差は、４０〜１００ＩＲＥ輝度単位の範囲内にあってもよい。
対象物の動きの自動的補正は、対象物の動きの領域におけるグレースケール画像マップから除去された画素を置換することによって２値対象物位置決めマップを調整することからさらになっていてもよい。
ここで、対象物の動きの領域は、画素のある境界を形成するために除去された画素を有しており、２値対象物位置決めマップの調整が、
（ａ）対象物の動きの除去ずみ領域における境界にある画素から２次元ベクトルを演算し、
（ｂ）対象物の動きの領域から除去された画素をその２次元ベクトルで置換し、かつ、
（ｃ）なめらかなエッジのある補正画像を創造するために、対象物の動きの除去ずみ領域における境界からさらに１画素離れた位置でその２次元ベクトルを演算することによってステップ（ａ）および（ｂ）を繰り返すことからなるものであってもよい。
対象物の動きの除去ずみ領域における境界にある画素からの２次元ベクトルの演算は、対象物の動きの除去ずみ領域における境界を識別することと、その境界における画素に隣接する画素を一度に１つ、２方向で検出することとからなるものであってもよい。
対象物の動きの自動的補正は、処理ずみ補正画像を演算することからさらになっていてもよい。
ここで、処理ずみ補正画像の演算は、調整されたマップを使って対象物の動きが最大である捕捉フレームにおける領域を表示することと、対象物の動きが最大である捕捉フレームにおける領域の中において補正ずみ第１ラスターフィールドから補正ずみ第２ラスターフィールドを演算することとからなるものであってもよい。
この発明の１つの観点による上記方法は、カメラの動きと対象物の動きとについて補正された処理ずみ画像を表示することからさらになっていてもよい。
この発明の１つの観点による上記方法は、カメラの動きを自動的に補正した後に対象物の動きを自動的に補正することからさらになっていてもよい。
この発明の１つの観点による上記方法は、飛越し走査方式のビデオ画像の完全なフレームの捕捉が、外科的処置の間に得られたビデオ画像を捕捉することからなっていてもよい。
この発明の別の観点によれば、
第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有し、第１および第２のラスターフィールドのそれぞれが複数の画素を有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉し、
第１ラスターフィールドにおける画素と第２ラスターフィールドにおける画素との間に最適相関値を配置し、
最適相関値から２次元動きベクトルを創造し、
２次元動きベクトルに係る補正位置における完全捕捉フレームの中に第２ラスターフィールドを複製することによって合成的第１ラスターフィールドを創造し、
第１ラスターフィールドと第２ラスターフィールドとの間の画素値における差が比較的大きい捕捉フレームの領域を識別するために対象物動きマップを演算し、
対象物について補正を施すための捕捉フレームの領域の輪郭を描くために２値対象物位置決めマップを創造し、
隣接画素の数があらかじめ設定されたしきい値を超えるときに２値対象物位置決めマップからそれらの画素を除去し、
除去された画素を置換することによって２値対象物位置決めマップを調整し、
処理ずみ補正画像を演算し、かつ、
カメラの動きおよび対象物の動きの補正ずみ画像を表示することからなる、
録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法が提供される。
この発明のさらに別の観点によれば、
ビデオ画像の完全なフレームを捕捉するための録画用カメラ、
ライブビデオ画像とビデオ画像の捕捉フレームとを処理するためのディジタル捕捉ユニット、
カメラの動きを自動的に補正するための第１フィルター、
対象物の動きを自動的に補正するための第２フィルター、および
画像を表示するためのビデオモニターを備えてなる、
飛越し走査方式のライブビデオ画像における動きのアーティファクトを自動補正するシステムが提供される。
ここで、完全なフレームのそれぞれは、第１ラスターフィールドと飛越し走査方式の第２ラスターフィールドとを有し、それぞれのフィールドは、複数の画素を備え、カメラの動きを自動的に補正するための第１フィルターは、
自己相関によって作り出された第１ラスターフィールドと第２ラスターフィールドとの間における２次元動きベクトル、および
この２次元動きベクトルに係る完全捕捉フレームにおける補正位置において第２ラスターフィールドを複製することによって作り出された合成的第１ラスターフィールド
を備えていてもよい。
対象物の動きを自動的に補正するための第２フィルターは、
対象物の動きの領域を識別するために演算された対象物動きマップ、
対象物の動きの領域における画素を除去するための２値対象物動きマップ、
除去された画素を置換することによって調整された２値対象物動きマップ、および
対象物の動きが最大である領域において第１ラスターフィールドから補正された第２ラスターフィールドを演算することによって補正された捕捉フレーム
を備えてなるものであってもよい。
また、画像を表示するためのビデオモニターは、カメラの動きおよび対象物の動きの補正の前および後に表示された画像を備えていてもよい。
この発明のさらに別の観点によるシステムは、ライブビデオ画像を静止化するとともに静止化された画像をビデオモニターに表示するための静止化モードをさらに備えていてもよい。
このシステムは、静止化された画像をディジタル捕捉ユニットによってディジタル方式で捕捉するための捕捉モードをさらに備えていてもよい。
ここで、ディジタル捕捉ユニットは、内部一時記憶容量を有し、このシステムは、ディジタル捕捉ユニットの内部一時記憶容量の中にカメラの動きと対象物の動きとについて補正された画像をセーブするためのセーブモードをさらに備えていてもよい。
このシステムは、携帯用記憶媒体に画像を永久的にセーブするための媒体書込装置を有し、携帯用記憶媒体にカメラの動きと対象物の動きとについて補正された画像を永久的にセーブするための書込モードをさらに備えていてもよい。
この明細書に記載されたこの発明の実施態様の一例は、録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトの自動補正方法である。このような実施態様には、飛越し走査方式のビデオ画像の完全なフレームを捕捉し、カメラの動きを自動的に補正し、対象物の動きを自動的に補正し、かつ、カメラの動きおよび対象物の動きについて補正された画像を表示することが含まれていてもよい。

図１は、この発明の自動動き補正を実施するためのシステムを示している模式図である。 図２は、この発明の自動補正システムを実施するための実施態様の操作を示している流れ図である。 図３は、図２に表された実施態様の操作における、この発明の自動補正システムを利用するためのオプションを示している、より詳しい流れ図である。 図４は、図１に表されたシステムに具体化されたような、この発明の自動動き補正の方法を示している流れ図である。 図５は、図４に表されたシステムに具体化されたような、この発明の自動動き補正の方法を示しているとともに、カメラの動きの自動的補正と対象物の動きの自動的補正とを達成するためのステップを示している、より詳しい流れ図である。 図６は、カメラの動きによって生じた線状アーティファクトによる画像のゆがみを表すための写真である。 図７は、カメラの動きによって生じた線状アーティファクトの自動動き補正後における、図６の画像の写真である。 図８は、カメラの動きと、対象物動きマップによって識別されたような対象物の局部的動きとによって生じた画像のゆがみを表すための写真である。 図９は、カメラの動きの自動動き補正と対象物の局部的動きの自動動き補正との後における、図８の画像の写真である。

ある実施態様では、この発明の方法には、画像がカメラの動きによって影響されたかどうかをまず判定することが含まれている。全体の画像がカメラの動きによって引き起こされた線状アーティファクトに影響されるので、このようなカメラの動きのアーティファクトは、画像を局部的な動きについて試験することができる前に、全体として画像から排除しなければならない。カメラの動きは、奇数および偶数のラスターフィールドの自己相関を用いて識別されかつ測定される。次いで、カメラの動きについて最適な補正をもたらすために、２次元ベクトルが算出され、その後、前記２つのフィールドにおける捕捉の間における１／６０秒間隔の間におけるカメラの動きを補正するために、偶数のフィールドを奇数のフィールドに対して正しい位置に変えることができる（あるいはその逆もまた同様である）。この発明のこのような観点によれば、観察される対象物に対してカメラ自体が全体として動く（あるいはその逆もまた同様である）「線状アーティファクト」のような状況が補正される。

この発明の別の観点によれば、対象物の動きあるいは局部的な動きのアーティファクトが含まれる特定のビデオ画像の中でセグメントを自動的に識別する方法が提供される。この発明のこのような方法では、画像対象物の動きが生じた箇所がまず決定される。このことは、偶数のフィールドを演算しあるいは予測するために奇数フィールドにおける赤―緑―青（ＲＧＢ）の３つの色成分を畳み込むことによって行なうことができる。測定された偶数フィールドと予測された偶数フィールドとの差は、画像フィールドの中における動きの領域を表している。予測された偶数フィールドと実際の偶数フィールドとの差が小さいときには、その差は、細部を提示するのに寄与することができ、補正することなく残される。予測された偶数フィールドと実際の偶数フィールドとの差が大きいときには、対象物の動きあるいは画像フィールド内の局部的な動きが識別される。

次いで、補正を行なう必要のある画像の領域が決定される。補正の領域を決定する１つの方法は、対象物動きマップを作成することである。１つの実施例では、対象物動きマップは、予測された偶数フィールドと実際の偶数フィールドとの差を２乗することによって創造することができる。フィールド間の画素値の差を２乗すると、それらの値に関連した正あるいは負の方向が除去され、また、小さい誤差に対する影響が少なくなる。得られた対象物動きマップはその後、局部的な動きのアーティファクトが生じた画像の領域の輪郭を描くための２値画像を創造するために、しきい値と比較される。

次いで、識別された対象物の局部的動きが補正される。１つの方法では、補正は、対象物動きマップによって偶数フィールド予測精度の低いことが示されるときには、画像の領域における奇数フィールドから偶数フィールドを演算することによって行なわれる。局部的アーティファクトの識別された領域を指定された発光しきい値の上方における隣接画素の数と比較することによって、好ましくない画素を１つずつ除去することができる。

その後、好ましくない画素が除去された対象物動きマップにおけるそれぞれの領域は、局部的な動きのアーティファクトによって引き起こされたぼやけを生じることなく、置換することができる。１つの方法では、除去された画素についての自己相関置換は、相異なる２方向における隣接画素を検出することによって行なうことができる。除去された対象物の動きの領域における境界にあるぼやけていない画素から演算されたこのような２次元ベクトルは、そこからの鮮明な画素を対象物の動きの領域の中へ移すことによってそのマップを調整するために用いることができる。

次いで、処理ずみ補正画像を演算することができる。この発明に係る１つの方法では、処理ずみ補正画像が、調整されたマップを用いて最初のＮＴＳＣフレームを改変する箇所を示すことによって、演算される。最初のフレームの選択的補正は、対象物の動きが最も大きいことをそのマップが示すときに、奇数のラスターから偶数のラスターを演算することによって行なうことができる。カメラの動きと局部的な動きとの双方について自動的に補正された処理ずみ画像が演算された後に、その画像は観察のために表示される。

この発明のいくつかの実施態様における１つの利点は、動きのアーティファクトが、線状であるか局部的であるかに関わりなく、自動的に補正されることである。この発明におけるように、局部的フィールドの合成複製の利点は、観察された画像における可視的なエッジ効果がまったくないということである。言い換えれば、対象物の動きの領域には、過剰補正によってしばしば生じるぎざぎざのエッジではなく滑らかなエッジがある。

この発明のように、補正の必要な領域についてだけ自動的に補正する別の利点は、画像の解像度が高いということである。純粋な局部的フィールドの複製によれば、対象物の動きの領域における偶数のラスター画素を廃棄することによっていくつかの画像細部が欠損することになる。それにもかかわらず、この発明のいくつかの実施態様では、必要な領域でだけ画素が廃棄されるので、画素の領域をすべて廃棄するシステムにおけるよりもはるかに少ない画素が廃棄される。従って、この発明の方法およびシステムによれば、最高の解像特性の映像が得られることになる、大きく拡大されたビデオにおける動きのアーティファクトを自動補正する順応性のある手段が提供される。

この発明におけるいくつかの実施態様によれば、捕捉されたフレームの中に生じたアーティファクトの型が自動的に検出される。この発明に係るシステムによれば、動きのアーティファクトが、相対的なカメラの動きによって生じた線状アーティファクトであるか、あるいは対象物（外科器具あるいは患者）の動きによって生じた画像フィールドにおける局部的アーティファクトであるかが、自動的に識別される。相異なる動きの型を検出するための相異なるパラメーターを利用することによって、検出された動きの型についてだけ補正動作が行なわれる。

動きの型が自動的に識別された後に、この発明のいくつかの実施態様では、次に、フレームのそれぞれの画素において生じた特定のアーティファクトについての正確な補償を用いて、フレームの画像が自動的に補正される。これらの利益によって、外科医がビデオ捕捉の際に動き補正をしなければならないかどうかを判定する必要性がなくなり、従って、長い外科的処置時間がなくなる。加えて、このシステムの利点は、カメラ、外科医、外科用具および患者が画像の捕捉されるそれぞれの時刻と同じ瞬間に静止していることを外科医が保証するのに際して、集中する必要なく静止画像を捕捉することができることである。画像は、これらの潜在的なアーティファクト源のいずれかの動きによって生じた動きのアーティファクトを心配することなく、基本的には無作為に捕捉することができる。

この発明における別の利点は、いくつかの実施態様を、後処理である画像補正を行なうことが必要になる時間を省略するために、手術室において使うことができることである。自動的でない動き補正処置には、外科医が、「上方への動き」および「下方への動き」のような作用で画像を用手操作することによって、捕捉された画像を手で編集することが含まれる。この発明に係る動きのアーティファクトの自動補正によれば、手による編集の必要性がなくなる。

さらに、この発明の自動動き補正を利用するのに必要な最小時間によれば、実際のリアルタイム画像補正がもたらされる。この方法は、専用回路において実施された方法を伴う専用の画像処理設備を用いて、あるいは特定目的のための計算要素を用いて、リアルタイムに利用することができる。この代わりに、この方法は、ソフトウェアにおいて実施された方法を用いて動きのアーティファクトの補正を演算するために汎用目的コンピューターを用いて利用することができる。

この発明に係る自動動き補正の方法およびシステムは、内視鏡手術あるいは他の手術から得られたビデオおよび画像、スポーツの静止フレームあるいは、カメラおよび対象物が独立して動く他のビデオの、広範囲の用途に用いることができる。この発明は、ＮＴＳＣ、ＰＡＬおよび他の飛越し走査方式のビデオ信号源が含まれる、さまざまなビデオ信号フォーマットで用いることができる。

従って、この発明の方法およびシステムによれば、カメラ、対象物あるいは、これら両者が独立して動き、高品質解像度画像が生じるビデオおよび画像の自動動き補正が提供される。このことは、飛越し走査方式のフレームにおける両方のラスターフィールドからの第１次情報を維持することによって達成される。この発明の方法およびシステムによれば、両方の動きの型が同時に生じるかもしれない、カメラの動きによって生じた線状の動きのアーティファクトと、画像フィールドの中における外科用具あるいは患者の動きによって生じた局部的な動きのアーティファクトとが、自動的にかつ区別をつけて検出される。この発明の方法およびシステムを用いることによって、動きのアーティファクトにおけるそれぞれの型を自動的にかつ区別をつけて補正することができる。

当業者によれば、この発明の利点および特徴は、これまでに説明されたように、また、以下のアーティファクトな説明から明らかなように、認識されるであろう。

詳細な説明
この発明に係る自動動き補正の方法およびシステムは、広範囲の用途に用いることができる。これらの用途の例には、内視鏡的処置あるいは他の医療的および外科的処置から得られたビデオおよび画像、スポーツの静止フレームあるいは、カメラおよび対象物が独立して動く他のビデオが含まれる。この発明は、ＮＴＳＣ、ＰＡＬおよび他の飛越し走査方式のビデオ信号源が含まれる、さまざまなビデオ信号フォーマットで用いることができる。加えて、この発明は、さまざまなハードウェア用途で用いることができる。

この発明の実施態様の一例は、録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトの自動補正方法である。このような実施態様には、飛越し走査方式のビデオ画像の完全なフレームを捕捉することが含まれており、その完全なフレームには第１ラスターフィールドが備わっており、その第１ラスターフィールドは第２ラスターフィールドで飛越し走査され、これら両方のフィールドはいくつかの画素からなっている。このような実施態様には、カメラの動きを自動的に補正すること、対象物の動きを自動的に補正することおよび、カメラの動きおよび対象物の動きについて補正された画像を表示することが含まれている。

この発明の実施態様の方法は、第１および第２のラスターフィールドにおける画素どうしの間に最適な補正値を配置するステップと、このような最適な補正値から２次元動きベクトルを創造するステップとを利用することもできる。カメラの動きの補正を行なうために、この実施態様ではその後、２次元動きベクトルに従って、補正後の位置において、捕捉された完全なフレームの中で第２ラスターフィールドを畳み込むことによって合成的第１ラスターフィールドが作り出される。

対象物の動きの補正を達成するために、この発明における実施態様の方法は、第１ラスターフィールドと第２ラスターフィールドとの間における画素値の差が比較的大きい捕捉フレームの領域を識別するために、対象物動きマップを演算するステップを利用することもできる。いくつかの隣接画素があらかじめ設定されたしきい値を超える画素を識別する捕捉フレームの領域の輪郭を描くために、対象物動きマップから、２値対象物動き位置決めマップを創造することができる。この実施態様では、対象物の動きの領域において識別された画素はその後、除去することができる。対象物の動きの領域から除去された画素は次に、除去ずみ領域の境界における画素から２次元ベクトルを演算することによって、ぼやけることなく置換することができる。この実施態様では、対象物の動きが最大である捕捉フレームにおける領域を表すために、調整された２値対象物動き位置決めマップを用い、かつ、対象物の動きが最大である領域における補正ずみ第１ラスターフィールドから補正ずみ第２ラスターフィールドを演算することによって、処理ずみ補正画像を創造することができる。先に説明された実施態様の方法では、カメラの動きと対象物の動きとについて補正された画像をビデオモニターに表示するステップを利用することもできる。

この発明の、内視鏡手術に関するある用途において、１つの実施態様では、米国マサチューセッツ州アンドーバー市のスミス・アンド・ネフュー・インコーポレーテッド（Ｓｍｉｔｈ ＆ Ｎｅｐｈｅｗ）社による「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５ ディジタル捕捉システム」が使われている。この「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５ ディジタル捕捉システム」（「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」）は、手術中の画像をディジタル方式で捕捉するために、手術室で使われるように設計されている。これらの画像は、長期保管、検索あるいは印刷のための可搬型媒体における標準画像ファイルフォーマットに記憶される。

この発明の方法およびシステムに係るビデオ画像自動動き補正の実施態様が、例えば以下のステップにおける内視鏡手術について、「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」を使って説明されている。特に図１〜図４には、この発明におけるような自動動き補正を実施するための実施態様の操作が表されている。

１．コンピューターフレームの捕捉（フレーム１）

この発明における自動動き補正の方法およびシステムでは、捕捉された偶数フィールドおよび奇数フィールドの双方のある完全なフレームが備わっている飛越し走査方式のビデオ画像について操作される。図５によれば、例えば、標準的なビデオ捕捉装置を使って完全なＮＴＳＣフレーム５０１を捕捉することができる。「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システム１００が使われる実施態様では、図１に示されたように、内視鏡光学部品１０１によって、カメラの動きと対象物の局部的動きとの両方が自動的に検出されかつ補正されるビデオ画像が検出される。図１によれば、飛越し走査方式のビデオ信号が、内視鏡光学部品１０１からカメラ制御ユニット１０２を通って、全フレームの飛越し走査方式ビデオ画像が捕捉されるディジタル捕捉ユニット１０３へ送られる。

ディジタル捕捉ユニット１０３には、図３における符号３０６および３０８にそれぞれ示されたように、「静止化」および「捕捉」のようなこのシステムのさまざまな様相を活性化するために使うことのできる、付属のキーボード１０４が備わっていてもよい。内視鏡光学部品１０１によって検出されたライブビデオ画像は、ビデオモニター１０５に表示されたように（３０５ａ，３０５ｂ）観察することができる。操作に際して、外科医は、ライブビデオ画像（３０５ａ）を静止させる（３０６）とともにビデオモニター１０５にその静止画像を表示する（３０７）ために、カメラ制御ユニット１０２において「静止」信号１１０を発信させることができる。外科医がライブ画像（３０５ａ）を観察するときに、その画像は、カメラ制御ユニット１０２において「捕捉」信号を発信させることによって捕捉することができ、その画像は、ディジタル捕捉ユニット１０３の内部一時記憶装置１１２にセーブされる（３０９）。「バイパス」モード３３０を活性化することによって、ディジタル捕捉ユニット１０３は、観察されるライプビデオ画像への適用から不活性化されあるいは一時停止されるとともに、ライブ画像が直接ビデオモニター１０５に表示される。

図５にいっそう詳しく示されたように、カメラの動きの自動補正４０５と対象物の局部的動きの自動補正４０６とが、図１に示された実施態様の自動動き補正（ＡＭＣ）フィルター１０９によって作動可能にされる。カメラの動きと対象物の局部的動きとの両方についての自動補正は、以下に説明される。

２．第１ラスターフィールドの第２ラスターフィールドに対する自己相関の実行（フレーム１）

この発明の方法およびシステムによって実行された第１自動動き補正はカメラの動きのものである。図６には、カメラの動きによって生じた線状アーティファクトによる画像のゆがみが示されている。カメラの動きの補正は、偶数フィールドか奇数フィールドかのいずれか一方の第１ラスターフィールドについて、捕捉フレームにおいて第１ラスターフィールドに補完的であるフィールドである第２ラスターフィールドに対する自己相関を実行することによって達成される。この自己相関関数は「動きベクトル」に帰するものである。「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムを使えば、図５における関数「動きベクトルの測定」５０２を実行することによって自己相関動きベクトルが演算される。「動きベクトルの測定」５０２によって、変数表から２つの値であるゆがみＸ（ＳｋｅｗＸ）およびゆがみＹ（ＳｋｅｗＹ）が出力される。時間を節約するために、そのアルゴリズムでは、反復検索、すなわち、３×３の畳み込みを最小化することが用いられる。最適な組み合わせが見つかるまで、あるいは第１ラスターが第２ラスターからずれている所定数の画素よりも大きいことが判定されるまで、新しい位置を検索するために、３×３の結果行列の最良適合位置が用いられる。この所定数は、１０〜２０画素の範囲内にあるのが好ましく、この例では１５画素である。

「動きベクトルの測定」５０２は、１つのサブルーチンで「畳み込み」５０３と称される。この「畳み込み」の目的は、最適な自己相関箇所についての先の検索においてすでに実行された演算の複製を省くために、連続的な演算の結果をセーブすることである。一般に、「Ａｔ巻き込み」（ＣｏｎｖｏｌｖｅＡｔ）とは、一方のラスターにおけるそれぞれの試験画素の、他方のラスターにおける参照画素に対する適合度の質を示すさまざまなＸ箇所およびＹ箇所のそれぞれについての単一数を創造することによって、２つの画像を比較する数学的技法である。

この発明において、「Ａｔ巻き込み」には、指定されたずれについての奇数ラスターと偶数ラスターとの間におけるすべての画素の差が巻き込まれている。指定されたずれがＸおよびＹの両方についてゼロであるときには、両方のラスターにおける同じ画素どうしが互いに比較される。そのずれがＸについて１であり、Ｙについて０であるときには、奇数ラスターにおける同じ画素の右側に位置する偶数ラスター画素が比較される。「Ａｔ巻き込み」における畳み込みによって、指定されたずれでラスターどうしの間における差の２乗の合計が測定される。奇数ラスターと偶数ラスターとの間における最適な自己相関は、２つのラスターどうしの間における最小差を創造するＸおよびＹの値である。試験画像を参照画像に対して移動させるための最適自己相関箇所を決定すれば、畳み込みによって、全フレーム画像が可能になるような鮮明な画像が作り出される。それにもかかわらず、この箇所には、局部的アーティファクトによる２つのラスターフィールドどうしの間における画像差がまだ存在している。

次のアルゴリズムは、第１ラスターフィールドの第２ラスターフィールドに対する自己相関に使われる。しかしながら、当業者に明らかなように、この発明における自動動き補正の方法およびシステムは、このような畳み込み法によらない用途にも容易に利用することができる。

３．第２ラスターフィールドを複製することによって第１ラスターフィールドを創造し、次いで、その合成的第１ラスターフィールドをその自己相関の中へ配置する。（フレーム２）

カメラの動きの自動動き補正を遂行するために、人間の眼にとって実質的に透明な中間フレームが作り出される。図７には、カメラの動きによる線状アーティファクトの自動補正の後における図６の画像が示されている。この中間フレームには、第２ラスターフィールドを複製し、次いで、合成されたものをその自己相関の中へ配置することによって作り出された合成的第１ラスターフィールドのあるラスターが備わっている。この発明の方法およびシステムについてのある実施態様では、「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムを用いれば、図５に示されたような「偶数フィールドの移動と奇数フィールドへの重ね合わせ」関数５０４を自動的に実行させることによって、そのような合成的フィールドが作り出されるとともに、それが相関位置へ配置される。関数「偶数フィールドの移動と奇数フィールドへの重ね合わせ」５０４によって、関数「動きベクトルの測定」５０２で決定されたずれで、ＮＴＳＣフレームにおける偶数フィールドが置換される。次のアルゴリズムは、合成的フィールドのあるラスターを創造する方法に使われる。

４． 対象物動きマップの演算（フレーム３）

図８には、カメラの動きと対象物の局部的動きとによる画像のゆがみが示されている。カメラの動きがこの発明の方法およびシステムによって自動的に補正された後に、対象物の局部的動きは、図４における参照符号４０６で示されたように、自動的に検出しかつ補正することができる。図５によれば、対象物の局部的動きは、透明な、すなわち見ることのできない別の中間フレームであるフレーム３が備わっている対象物動きマップを演算することによって、自動的に検出することができる。対象物の動きは、カメラの動きの影響が排除された後の画像におけるどの箇所でも分かる。関数「アーティファクトの位置決め」５０５は、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムを用いて、偶数ラスターと奇数ラスターとの差における対象物の動きの結果を検索するものである。「予測された」偶数画素値と実際の偶数画素値との差を演算するために、「アーティファクトの位置決め」５０５関数では、畳み込み核
０ １ ０
０ −２ ０
０ １ ０
の参照画像が用いられる。

しかしながら、
１ ０ １
０ −４ ０
１ ０ １
あるいは
１ １ １
０ −６ ０
１ １ １
のような任意の同値畳み込み核を用いてもよい。

この核は実行速度について選ばれたものである。３つの有効項が適切であるが、これは、画像の偶数ラスターには、合成的フィールド５０４のあるラスターを創造してその合成的フィールドをその補正ずみ箇所（フレーム２）の中へ配置するために、先に説明された方法の故に奇数ラスターへのあり得る最大相関がすでに備わっているからである。

「アーティファクトの位置決め」５０５には、「差」におけるハーフハイトのグレースケール画像を創造するために、ＮＴＳＣ画像すなわち「色ラスター」が含まれる。次のアルゴリズムは、対象物動きマップを演算する方法に使われる。

５． ２値対象物動き位置決めマップを創造するための、フレーム３におけるしきい値差の設定と好ましくない画素の除去（フレーム４）

好ましくない画素を除去するとともに影響を受けた領域における実際の細部を依然として保存することによって、局部的な動きのアーティファクトについて補正するために、対象物動きマップが演算された後に２値対象物動き位置決めマップが作り出される。この発明の方法およびシステムでは、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムの実施態様を用いれば、関数「大量除去」５０６（図５）によって２値対象物動き位置決めマップが作り出される。関数「大量除去」５０６は、グレースケール画像「マップ」におけるそれぞれの画素を、多数の画像で試してみることによって決定されたしきい値差と比較するものである。「アーティファクトの位置決め」５０５における畳み込み核を用いる実際の用途では、約２０〜約１５０ＩＲＥ輝度単位、好ましくは４０〜１００単位の箇所であればどこでも、良好に機能する。このましい最終平均しきい値差は８０ＩＲＥ単位である。

「大量除去」５０６によって、対象物動きマップにおける２値大量除去が行なわれて、多い画像細部に由来するヘアーライン信号が除去される。大量除去によって好ましくない画素が１つずつ除去されるが、この大量除去は、しきい値を超える隣接画素の数をまず合計することによって行なわれる。もし、対象物動きマップの中で４つ以上の隣接画素がしきい値よりも大きいときには、その画素は除去しない。もし、対象物動きマップの中で３つ以下の隣接画素がしきい値よりも大きいときには、その画素は除去する。このような次第なので、局部的な細部は保存され、一方、外科用具あるいは患者の動きによって生じた動きのアーティファクトは補正される。次のアルゴリズムは、２値対象物動き位置決めマップを創造するために、大量除去の方法に使われる。

６． ２値対象物動き位置決めマップの調整（フレーム５）

先のステップにおいて、中間フレーム４の中に２値対象物動き位置決めマップを創造するために、しきい値を設定し、かつ、好ましくない画素を大量除去した後に、その２値マップの画像が、次の中間フレームの中で調整されて、動きのアーティファクトによって生じたぼやけを生じることなく大量除去ずみ区域が置換される。この発明の方法およびシステムでは、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムの実施態様を使うことによって、そのマップが「大量除去」されて、対象物の動きのアーティファクトにより除去ずみ領域の境界の近傍における画素が識別される。この境界の近傍における画素は、類似した対象物の動きによって最も影響を受ける可能性が高い。「膨脹」ルーチン５０７（図５）によれば、局部的な動きのアーティファクトによって引き起こされたぼやけを生じることなく大量除去ずみ区域が置換される。「膨脹」ルーチン５０７は、このリーチンが求められる度にそのマップを「広げて」１つの画素を除去するというその効果を除いて、類似した方法で「大量除去」ルーチン５０６に使われる。除去ずみ領域の境界で識別された画素に隣接する画素を一度に１つ、２方向で検出することによって、２次元ベクトルが演算される。対象物の動きの領域内において除去された画素は次いで、その２次元ベクトルで置換されて、滑らかなエッジのある補正ずみ画像が作り出される。「膨脹」ルーチン５０７は、画像の鮮明度を高めるために、２回行なわれる。次のアルゴリズムは、しきい値の近傍の画素でそのマップを調整するための方法に使われる。

７．処理ずみ補正画像の演算（フレーム６）

２値対象物動き位置決めマップ画像が、局部的な動きのアーティファクトによって引き起こされたぼやけを生じることなく大量除去ずみ区域を置換することで調整された後に、処理ずみ補正画像が演算される。処理ずみ補正画像は、最初のＮＴＳＣフレーム色ラスターを改変する箇所を表示するために、調整されたマップ（画像５）を使うことによって演算される。この発明の方法およびシステムでは、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムの実施態様を用いれば、図５に示されたように「マップの内挿」ルーチン５０８を行なうことによって、最初のフレーム色ラスターが改変される。この「マップの内挿」ルーチン５０８は、対象物の動きが最大であることをマップが表示する箇所である偶数ラスターを奇数ラスターから演算することによって、色ラスターを選択的に補正するものである。すなわち、程度の大きい対象物の動きのある画像フィールドの局部的領域が、補正のために選び出される。その結果、鮮明な処理ずみ画像が内挿される。図９には、自動動き補正後における図８の画像が示されている。次のアルゴリズムは、カメラの動きと対象物の局部的動きとの両方についての処理ずみ画像を創造するために、最初のフレーム色ラスターを選択的に補正する方法に使われる。

図におけるステップ５０５〜５０８（フレーム３〜６）の作動の結果、図４におけるステップ４０６によって表示されたように、最初の捕捉フレーム（フレーム１）が、対象物の局部的動きについて自動的に補正される。

８．処理ずみ補正画像の表示（フレーム７）

カメラの動きと対象物の局部的動きとの両方について自動的に補正された処理ずみ画像５０９（図５）が演算された後に、その画像は、例えば外科医によるリアルタイム観察のために、表示される。この発明の方法およびシステムによって、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムを使って自動的に補正された画像もまた、長期保管、検索あるいは印刷のための可搬型媒体における標準画像ファイルフォーマットに記憶される。図１および図３によれば、処理ずみ補正画像（フレーム７）が表示されると、その画像はディジタル捕捉ユニット１０３における内部キャッシュのような内部一時記憶装置１１２にセーブされる（３０９）。内部一時記憶装置１１２にセーブされた補正画像は次いで、媒体書込装置１０６によって、携帯型記憶媒体１０７への永久記憶のために書き込まれる。補正画像は、標準的なビデオプリンター１０８を使って印刷することもできる。

この発明の前記実施態様は、この発明のさまざまな目的の達成のために説明されてきた。この実施態様はこの発明の原理の単なる例示であると認識すべきである。それについてのおびただしい改変および適用は、特許請求の範囲に画定されたようなこの発明の範囲から逸脱することなく、当業者にとっては直ちに明らかであろう。例えば、この発明の自動動き補正の方法およびシステムは、さまざまなビデオ信号の用途において、また、代わりのコンピューターハードウェアの様相で利用することができる。別の例として、この明細書では、この発明に係るさまざまなステップに応用するアルゴリズムが設けられているが、別のアルゴリズムを採用することができる。

Claims (16)

1. 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法であって、
   第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉する工程、
   カメラの動きを自動的に補正する工程、
   対象物の動きを自動的に補正する工程、および
   カメラの動きおよび対象物の動きの補正ずみ画像を表示する工程
   を備えてなり、
   前記第１ラスターフィールドおよび前記第２ラスターフィールドはそれぞれ、複数の画素を有し、前記第１ラスターフィールドにおける画素は、前記第２ラスターフィールドにおける画素からずれており、
   カメラの動きを自動的に補正する前記工程は、
   捕捉ずみフレームがカメラの動きのアーティファクトを含んでいるかどうかを判定することと、
   前記第１ラスターフィールドにおけるそれぞれの画素と前記第２ラスターフィールドにおける参照画素との間に２次元動きベクトルを創造するために、反復検索を使用して前記第１ラスターフィールドにおけるそれぞれの画素の前記第２ラスターフィールドにおける参照画素に対するＸ／Ｙ座標についての最適相関値を求めることによって、前記第１ラスターフィールドの前記第２ラスターフィールドに対する自己相関を実行し、前記第２ラスターフィールドを複製することによって創造された合成的第１ラスターフィールドを相関位置の中へ配置することと
   を含んでいる
   動きのアーティファクトを自動補正する方法。
2. 反復検索の前記使用は、
   （ａ）第１の特定のずれがＸ座標およびＹ座標の両方についてゼロであるときに、前記第１および第２のラスターフィールドにおける対応画素について第１相関値を決定するステップ、
   （ｂ）第２の特定のずれがＸ座標について１でありかつＹ座標についてゼロであるときに、前記第２ラスターフィールドにおける対応画素の右側に位置する前記第１ラスターフィールドにおける画素について第２相関値を決定するステップ、
   （ｃ）前記第１相関値と前記第２相関値との間の差を算出するステップ、
   （ｄ）これらの値の間の差を２乗するステップ、
   （ｅ）前記第１ラスターフィールドにおけるすべての画素について前記第２ラスターフィールドにおける画素に対して前記ステップ（ａ），（ｂ），（ｃ）および（ｄ）を繰り返すステップ、
   （ｆ）前記第１の特定のずれでの相関値と前記第２の特定のずれでの相関値との間における差の２乗を加算するステップ、および
   （ｇ）前記第１ラスターフィールドを前記第２ラスターフィールドに対してずらすための最適相関値をもたらすために、前記第１ラスターフィールドにおける画素と前記第２ラスターフィールドにおける画素との間の最小差を創作する相関値を決定するステップ
   を含んでいる
   請求項１に記載の方法。
3. 前記２次元動きベクトルを創造することは、前記第２ラスターフィールドにおける参照画素から１５画素を超えてずれていることが判定された前記第１ラスターフィールドにおけるそれぞれの画素に対するＸ／Ｙ座標についての値を配置することからなっている請求項１に記載の方法。
4. 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法であって、
   第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉する工程、
   カメラの動きを自動的に補正する工程、
   対象物の動きを自動的に補正する工程、および
   カメラの動きおよび対象物の動きの補正ずみ画像を表示する工程
   を備えてなり、
   カメラの動きを自動的に補正する前記工程は、前記第１ラスターフィールドにおけるそれぞれの画素と前記第２ラスターフィールドにおける参照画素との間に２次元動きベクトルを創造するために、前記第１ラスターフィールドにおけるそれぞれの画素の前記第２ラスターフィールドにおける参照画素に対する最適相関値を求め、前記第２ラスターフィールドを複製することによって創造された合成的第１ラスターフィールドを相関位置の中へ配置することを含み、
   対象物の動きを自動的に補正する前記工程は、
   捕捉ずみフレームの中における対象物の動きの領域を自動的に識別するために対象物動きマップを演算することを含み、
   前記対象物動きマップを演算することは、
   （ａ）前記第１ラスターフィールドについて実際の画素値を決定するステップ、
   （ｂ）前記第１ラスターフィールドについて予測された画素値を前記第２ラスターフィールドから演算するステップ、
   （ｃ）捕捉ずみフレームの別々の領域における前記第１ラスターフィールドと前記第２ラスターフィールドとの間の差を決定するために、前記第１ラスターフィールドについて予測された前記画素値と前記実際の画素値とを比較するステップ、
   （ｄ）前記第１ラスターフィールドと前記第２ラスターフィールドとの間の差が比較的大きい捕捉ずみフレームの領域を識別するステップ、および
   （ｅ）対象物動きマップを作成するために、前記第１ラスターフィールドと前記第２ラスターフィールドとの間の比較的大きい前記差を２乗するステップ
   を含んでいる
   動きのアーティファクトを自動補正する方法。
5. 前記対象物動きマップを演算することは、その対象物動きマップの中における大きい差の領域にハーフハイトのグレースケール画像マップを創作するために、捕捉ずみフレームの前記第１および第２のラスターフィールドを巻き込むことと、前記第１ラスターフィールドと前記第２ラスターフィールドとの間の差が比較的小さい捕捉ずみフレームの非補正領域を残すこととからさらになっている請求項４に記載の方法。
6. 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法であって、
   第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉する工程、
   カメラの動きを自動的に補正する工程、
   対象物の動きを自動的に補正する工程、および
   カメラの動きおよび対象物の動きの補正ずみ画像を表示する工程
   を備えてなり、
   カメラの動きを自動的に補正する前記工程は、前記第１ラスターフィールドにおけるそれぞれの画素と前記第２ラスターフィールドにおける参照画素との間に２次元動きベクトルを創造するために、前記第１ラスターフィールドにおけるそれぞれの画素の前記第２ラスターフィールドにおける参照画素に対する最適相関値を求めることを含み、
   対象物の動きを自動的に補正する前記工程は、
   捕捉ずみフレームの中における対象物の動きの領域を自動的に識別するために対象物動きマップを演算することを含み、
   対象物の動きを自動的に補正する前記工程は、
   対象物の動きの補正を適用するための捕捉ずみフレームにおける領域の輪郭を描くために、２値対象物位置決めマップを創造することをさらに含み、
   前記２値対象物位置決めマップを創造することは、
   （ａ）前記第１ラスターフィールドについて予測された画素値と実際の画素値との間のしきい値差を設定するステップ、
   （ｂ）グレースケール画像マップにおけるそれぞれの画素を前記しきい値差と比較して、前記しきい値差を超える画素の数を合計するステップ、
   （ｃ）前記グレースケール画像マップにおける３つ以下の隣接画素が前記しきい値差より大きいときには、前記グレースケール画像マップからそれらの画素を除去するステップ、および
   （ｄ）４つ以上の隣接画素が前記しきい値差より大きいときには、それらの画素を前記グレースケール画像マップの中に残しておくステップ
   を含んでいる
   動きのアーティファクトを自動補正する方法。
7. 前記しきい値差は、約２０〜約１５０ＩＲＥ輝度単位の範囲内にある請求項６に記載の方法。
8. 前記しきい値差は、８０ＩＲＥ輝度単位である請求項６に記載の方法。
9. 対象物の動きを自動的に補正する前記工程は、対象物の動きの領域における前記グレースケール画像マップから除去された画素を置換することによって前記２値対象物位置決めマップを調整することをさらに含んでいる請求項６に記載の方法。
10. 対象物の動きの前記領域は、画素からなる境界を形成するために除去された画素を有しており、前記２値対象物位置決めマップの調整は、
    （ａ）対象物の動きの除去ずみ領域における前記境界にある画素から隣接画素への２次元ベクトルを演算するステップ、
    （ｂ）対象物の動きの領域から除去された画素をその２次元ベクトルで置換するステップ、および
    （ｃ）なめらかなエッジのある補正画像を創造するために、対象物の動きの除去ずみ領域における前記境界からさらに１画素離れた位置で隣接画素への前記２次元ベクトルを演算することによってステップ（ａ）および（ｂ）を繰り返すステップ
    を含んでいる請求項９に記載の方法。
11. 対象物の動きの除去ずみ領域における前記境界にある画素からの２次元ベクトルの前記演算は、対象物の動きの除去ずみ領域における境界を識別することと、前記境界における画素に隣接する画素を一度に１つ、２方向で検出することとからなっている請求項１０に記載の方法。
12. 対象物の動きの自動的補正は、処理ずみ補正画像を演算することをさらに含んでいる請求項１０に記載の方法。
13. 前記処理ずみ補正画像の演算は、調整されたマップを使って対象物の動きが最大である捕捉ずみフレームにおける領域を表示することと、対象物の動きが最大である捕捉ずみフレームにおける領域の中において補正ずみ第１ラスターフィールドから補正ずみ第２ラスターフィールドを演算することとを含んでいる請求項１２に記載の方法。
14. カメラの動きと対象物の動きとについて補正された処理ずみ画像を表示することをさらに含んでいる請求項１３に記載の方法。
15. 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティファクトを自動補正する方法であって、
    第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有し、前記第１ラスターフィールドおよび前記第２ラスターフィールドのそれぞれが複数の画素を有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉する工程、
    前記第１ラスターフィールドにおける画素と前記第２ラスターフィールドにおける画素との間に最適相関値を求める工程、
    前記最適相関値から２次元動きベクトルを創造する工程、
    前記２次元動きベクトルに係る補正位置における完全捕捉ずみフレームの中に前記第２ラスターフィールドを複製することによって、合成的第１ラスターフィールドを創造する工程、
    前記第１ラスターフィールドと前記第２ラスターフィールドとの間の画素値における差が比較的大きい捕捉ずみフレームの領域を識別するために対象物動きマップを演算する工程、
    対象物について補正を施すための捕捉ずみフレームの領域の輪郭を描くために２値対象物位置決めマップを創造する工程、
    隣接画素の数があらかじめ設定されたしきい値を超えるときに２値対象物位置決めマップからそれらの画素を除去する工程、
    除去された画素を置換することによって２値対象物位置決めマップを調整する工程、
    処理ずみ補正画像を演算する工程、および
    カメラの動きおよび対象物の動きの補正ずみ画像を表示する工程
    を備えてなる
    動きのアーティファクトを自動補正する方法。
16. 飛越し走査方式のライブビデオ画像における動きのアーティファクトを自動補正するシステムであって、
    それぞれが第１ラスターフィールドと飛越し走査された第２ラスターフィールドとを有し、それぞれのフィールドが複数の画素を備えている、ビデオ画像の完全なフレームを捕捉するための録画用カメラ、
    ライブビデオ画像とビデオ画像の捕捉ずみフレームとを処理するためのディジタル捕捉ユニット、
    カメラの動きを自動的に補正するための第１フィルター、
    対象物の動きを自動的に補正するための第２フィルター、および
    画像を表示するためのビデオモニター
    を備えてなり、
    前記第１フィルターは、
    （ａ）前記第１ラスターフィールドにおけるそれぞれの画素の前記第２ラスターフィールドにおける参照画素に対する最適相関値の自己相関によって創造された、前記第１ラスターフィールドにおけるそれぞれの画素と前記第２ラスターフィールドにおける参照画素との間における２次元動きベクトル、および
    （ｂ）この２次元動きベクトルに係る完全捕捉ずみフレームにおける補正位置において第２ラスターフィールドを複製することによって創造された合成的第１ラスターフィールド
    を生成し、
    前記第２フィルターは、
    （ａ）対象物の動きの領域を識別するために演算された対象物動きマップ、対象物の動きの前記領域における画素を除去するための２値対象物動きマップ、
    （ｂ）除去された画素を置換することによって調整された２値対象物動きマップ、および
    （ｃ）対象物の動きが最大である領域において補正された第２ラスターフィールドを演算することによって補正された捕捉ずみフレーム
    を生成する
    動きのアーティファクトを自動補正するシステム。

Images