JP2020160568A - 映像同期装置、映像同期方法、プログラム - Google Patents

Abstract

【課題】安定して多視点映像を同期できる映像同期装置を提供する。
【解決手段】複数の視点から撮影した各映像内の人体の各関節の座標の時系列データから、各映像の各関節の単位時間当たりの移動量であるノルムを計算するノルム計算部と、ノルムに基づいて、移動開始タイミングと移動停止タイミングからなるモーションリズムを各映像の各関節について検出するモーションリズム検出部と、各映像の各関節のモーションリズムに基づいて映像間の時間ズレの安定度合いを示すマッチングスコアを計算して、マッチングスコアが高い時間ズレを検出する時間ズレ検出部を含む。
【選択図】図１

Description

本発明は、多視点映像を同期する映像同期装置、映像同期方法、プログラムに関する。

非同期な多視点映像の同期に関する従来技術として、例えば非特許文献１がある。非特許文献１では、多視点映像間に成り立つ幾何制約（エピポーラ制約）に基づいて、カメラ間の時間ズレを求めている。非特許文献１では、多視点映像の間の対応点を求める必要がある。

C. Albl, Z. Kukelova, A. Fitzgibbon, J. Heller, M. Smid and T. Pajdla, "On the Two-View Geometry of Unsynchronized Cameras," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 5593-5602

カメラをwide baselineに設置した場合（各カメラの視差が大きい場合）、本来画像間で対応する特徴点の見え方が変わってしまい、安定して多視点映像間の対応点を取得することが困難となり、同期に失敗する場合がある。

また、初期時間ズレ（入力として与える時点での映像の時間ズレ）が大きい場合(約二秒以上)、エラー関数による推定結果が局所最小値に陥りやすいので、カメラ間の時間ズレの推定に失敗することが多い。

また、対応点が検出誤差を含む場合、同期の精度が著しく低下する。

そこで本発明では、安定して多視点映像を同期できる映像同期装置を提供することを目的とする。

本発明の映像同期装置は、ノルム計算部と、モーションリズム検出部と、時間ズレ検出部を含む。

ノルム計算部は、複数の視点から撮影した各映像内の人体の各関節の座標の時系列データから、各映像の各関節の単位時間当たりの移動量であるノルムを計算する。モーションリズム検出部は、ノルムに基づいて、移動開始タイミングと移動停止タイミングからなるモーションリズムを各映像の各関節について検出する。時間ズレ検出部は、各映像の各関節のモーションリズムに基づいて映像間の時間ズレの安定度合いを示すマッチングスコアを計算して、マッチングスコアが高い時間ズレを検出する。

本発明の映像同期装置によれば、安定して多視点映像を同期できる。

実施例１の映像同期装置の構成を示すブロック図。 実施例１の映像同期装置の動作を示すフローチャート。 実施例１のノルム計算部の構成を示すブロック図。 実施例１のノルム計算部の動作を示すフローチャート。 実施例１のモーションリズム検出部の構成を示すブロック図。 実施例１のモーションリズム検出部の動作を示すフローチャート。 実施例１の時間ズレ検出部の構成を示すブロック図。 実施例１の時間ズレ検出部の動作を示すフローチャート。 実施例１の移動開始タイミング検出部の動作例を示す図。 実施例１の移動停止タイミング検出部の動作例を示す図。 実施例１の時間ズレ検出部の動作例１を示す図。 実施例１の時間ズレ検出部の動作例２を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

＜概要＞
以下、実施例１の映像同期装置１の処理の概要を示す。実施例１の映像同期装置１は、映像間で特徴点を検出して同期に利用する。本実施例の映像同期装置１は、従来技術を用いて検出した人間の２次元関節座標を特徴点として用いる。従来技術の一例として、Openpose（参考非特許文献１）があげられる。
（参考非特許文献１：Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.）

これらの２次元関節座標を特徴点とし、当該特徴点に関節ラベルを付与することにより、wide baselineなカメラ設置にともない見え方が大きく異なっていても安定して対応が得られ、安定した時間ズレ推定が可能となる。

本実施例の映像同期装置１は、同じ人物を多視点で撮影した各映像については、各関節の動き出しおよび動き終わりが同じタイミングで発生することに着目し、各映像からこのタイミング列（以下ではモーションリズムと呼ぶ）を検出し、それらを合わせることで映像間の同期を行う。従来技術のエピポーラ幾何に基づいた手法は対応点間に厳密に成り立つ幾何拘束を利用しているためノイズに対して敏感であり、初期時間ズレが大きく、対応点が検出誤差を大きく含む場合には、時間ズレの推定に失敗することも多かった。一方、本実施例の映像同期装置１は、モーションリズムというノイズに対して敏感ではない特徴を利用しているため、上記のようなケースでも安定して同期を取ることができる。

＜映像同期装置１＞
以下、図１を参照して、本実施例の映像同期装置１の構成を説明する。同図に示すように、本実施例の映像同期装置１は、２次元関節座標検出部１１と、ノルム計算部１２と、モーションリズム検出部１３と、時間ズレ検出部１４を含む。本実施例の映像同期装置１は、互いに異なる視点の映像を撮影できるカメラ９−１、…、９−Ｍ（Ｍは２以上の整数）からＭ個の視点の映像を取得するものとする。また、２次元関節座標検出部１１については、必ずしも映像同期装置１内部の構成としなくてもよく、別の装置の構成要件としてもよい。

以下、図２を参照して、本実施例の映像同期装置１の動作を説明する。２次元関節座標検出部１１は、複数の視点（Ｍ個の視点、本実施例では、便宜上Ｍ＝２とするが、本発明の映像同期装置は、これに限定されない）から、少なくとも人物１人を撮影した映像を取得し、各映像内の人体の各関節の２次元座標の時系列データを検出する（Ｓ１１）。検出された２次元座標の時系列データについては、関節ごとに関節ラベル（関節の番号）が付与されるものとする。関節の２次元座標の取得については従来技術を利用することができる。たとえば、参考非特許文献１の方法を用いることができる。

ノルム計算部１２は、複数の視点（本実施例では２視点）から撮影した各映像内の人体の各関節の座標の時系列データから、各映像の各関節の単位時間当たりの移動量であるノルムを計算する（Ｓ１２）。このとき、ノルム計算部１２は、取得した関節の二次元座標x，yに対して、平滑化フィルタ(例えば、メディアンフィルターとSavitzky-Golayフィルタ)をかければ好適である（後述）。

モーションリズム検出部１３は、ノルムに基づいて、所定の検出ルール（後述）に従って、移動開始タイミングと移動停止タイミングからなるモーションリズムを各映像の各関節について検出する（Ｓ１３）。

時間ズレ検出部１４は、各映像の各関節のモーションリズムに基づいて映像間の時間ズレの安定度合いを示すマッチングスコアを計算して、マッチングスコアが高い（より好適には、マッチングスコアが最高の）時間ズレを検出する（Ｓ１４）。

＜詳細な動作＞
以下、本実施例の映像同期装置１の各構成要件の動作をさらに詳細に説明する。

＜２次元関節座標検出部１１＞
２次元関節座標検出部１１は、多視点（本実施例では２視点）で撮影した映像(少なくとも１人の人物を異なる視点から撮影した映像)を入力とし、各フレームの人物の２次元関節座標を求め、ノルム計算部１２に、各映像内の各関節のx，y座標(具体的には、映像番号、フレーム番号、関節の番号、関節のx，y座標の組)を出力する（Ｓ１１）。

上述したように、人物の２次元関節座標推定の方法はどのような方法でも良く、例えば参考非特許文献１に開示された方法を利用しても良い。全ての映像に共通の関節が少なくとも１つ以上撮影されている必要がある。なお、検出できる関節の数が多い方が、同期精度が上がる可能性があるが、計算コストが増える。検出できる関節の数は二次元関節推定手法（例えば参考非特許文献１）に依存する。１４個の関節位置を用いた場合の２次元関節座標検出部１１から出力されるデータを以下に例示する。
(映像番号：1，フレーム番号:1，関節番号：1，座標：x:1022，y:878，…，関節番号:14，座標：X:588，Y:820)
(映像番号：2，フレーム番号:1，関節番号：1，座標：x:1050，y:700，…，関節番号:14，座標：X:900，Y:1020)

＜ノルム計算部１２＞
図３に示すように、ノルム計算部１２は、平滑化部１２１と、フレーム毎移動量計算部１２２を含む。

図４に示すように、平滑化部１２１は、各画像の各関節のx，y座標を入力とし、各関節のx，y座標に対し、時間軸方向に平滑化を行う（Ｓ１２１）。平滑化部１２１は、例えば、30fpsの入力映像の場合、11フレーム単位の平滑化窓を、1フレームずつ移動させることによって平滑化を実行すればよい。なお、平滑化に関するパラメータは、誤差を緩和することができ、かつ時間軸方向の関節の座標の変化がはっきり分かるように設定すればよい。

次に、フレーム毎移動量計算部１２２は、平滑化されたx，y座標を用いて、各フレームについて各関節の単位時間当たり(たとえば、フレーム単位)の移動量（ノルム）を計算する（Ｓ１２２）。時刻t、視点iにおけるj番目の関節のL₂ノルムn^t _i,jを式（１）に示す。なお、(x^t _i,j，y^t _i,j)は視点iから撮影した映像に含まれる人体のj番目の関節のt番目のフレームにおける二次元座標値である。フレーム毎移動量計算部１２２は、少なくとも１フレームの差分を用いてノルムを計算する。αをノルムを計算する際の時間差(フレーム数)であるとする。このαはどのように定めても良い。例えばシミュレーションにおいて様々なαを用いて同期を行い、最も高精度に同期した場合のαを用いても良い。

フレーム毎移動量計算部１２２は、モーションリズム検出部１３に、各映像の各関節のノルムの時系列データ、具体的には、(映像番号、フレーム番号、関節番号、各関節のノルム)を出力する。

＜モーションリズム検出部１３＞
図５に示すように、モーションリズム検出部１３は、基準計算部１３１と、移動開始タイミング検出部１３２と、移動停止タイミング検出部１３３と、ノイズ除去部１３４を含む。

図６に示すように、基準計算部１３１は、多視点（本実施例では２視点）で撮影した映像(少なくとも１人の人物を異なる視点から撮影した映像)を入力とし、移動開始タイミングと移動停止タイミングの検出基準となる閾値を決めるために用いる人体サイズの基準を計算する（Ｓ１３１）。

以下のステップＳ１３２、Ｓ１３３で用いる閾値Th_moveを定めるため、基準計算部１３１は、映像中の人間のサイズ（人体サイズ）の基準を以下の式（２）によって定める。なお、閾値Th_moveの決め方は下記の方法に限定されない。映像の中で基準となる物体のサイズを規定できれば十分であるため、これを充たすように、任意の方法で計算してよい。

カメラがwide baselineに設置されている場合、各視点における人間の手足の長さは異なる。そのため、体の４つのパーツの長さを計算し、最大のパーツの長さを人間の画像中のサイズとする。まず、t=1，…，N_jフレームにおいて、首から左手首の長さをη^t _i,1，首から右手首の長さをη^t _i,2，首から左足首の長さをη^t _i,3，首から右足首の長さをη^t _i,4とし、それぞれの中央値を求める。その後、四つの長さの最大値を視点iの画像中における人間のサイズの基準とする。

次に、移動開始タイミング検出部１３２は、各映像の各関節のノルムの時系列を入力とし、注目している時刻および注目している時刻より過去のノルムが閾値Th_moveよりも小さくなる割合が所定値以上で、注目している時刻および注目している時刻より未来のノルムが閾値Th_moveよりも大きくなる割合が所定値以上の時刻を移動開始タイミングとして検出する（Ｓ１３２）。

より詳細には、移動開始タイミング検出部１３２は、各関節について、以下の条件１かつ条件２を満たすtを、移動開始タイミングとして検出する（図９参照）。なお、以下では視点iにおける関節jの移動開始タイミングを

と表す。
条件１：関節jのノルム時系列{n^t _i,j}のうち、フレームtからt-N_moveフレームの間に、ノルムが閾値Th_moveより小さい割合がγ以上ある。
条件２：関節jのノルム時系列{n^t _i,j}のうち、フレームtからt+N_moveフレームの間に、ノルムが閾値Th_moveより大きい割合がγ以上ある。

割合γはたとえば0.7に設定できる。シミュレーションにおいて、さまざまなγを用いて移動開始タイミングを検出し、もっとも正しくモーションリズムを検出できるγを用いてもよい。N_moveは時間軸上のフレーム数を表す。例えば、30fpsのビデオの場合、N_moveは21フレーム、Th_moveは2/255×size_iピクセルとすればよい。これらのパラメータは任意の方法で決定できる。例えば明らかに移動開始タイミングとして確認できるようなタイミングを予め目視で定めておき、目視で定めたタイミングを上記方法を用いて検出できるようにパラメータを決定してもよい。

次に、移動停止タイミング検出部１３３は、各映像の各関節のノルムの時系列を入力とし、注目している時刻および過去のノルムが閾値Th_moveよりも大きくなる割合が所定値以上で、注目している時刻および未来のノルムが閾値Th_moveよりも小さくなる割合が所定値以上の時刻を移動停止タイミングとして検出する（Ｓ１３３）。

移動停止タイミング検出部１３３は、移動開始タイミングの検出と同様の方法で検出処理を行う（図１０参照）。以下に検出の条件を示す。
条件１：関節jのノルム時系列{n^t _i,j}のうち、フレームtからt-N_moveフレームの間に、ノルムが閾値Th_moveより大きい割合がγ以上ある。
条件２：関節jのノルム時系列{n^t _i,j}のうち、フレームtからt+N_moveフレームの間に、ノルムが閾値Th_moveより小さい割合がγ以上ある。

次に、ノイズ除去部１３４は、複数の移動開始タイミング、または複数の移動停止タイミングが連続して検出された場合、所定の基準で一つのタイミングを選択して、残りのタイミングをノイズとして除去する（Ｓ１３４）。

ステップＳ１３２、Ｓ１３３を実行した場合、移動開始タイミングまたは移動停止タイミングが連続的に複数検出されることがある。この場合、ノイズ除去部１３４は、それらのタイミングの中から一つ適切なタイミングを選択する。この選択の方法は任意である。例えば、ノイズ除去部１３４は、連続的に検出されたタイミング群の先頭のタイミングを適切なタイミングとして選択する。具体的には、ノイズ除去部１３４は、適当なN_reduceを定め（例えば映像のフレームレートの７割など）、ある移動開始タイミング（または移動停止タイミング）からN_reduceフレーム内に別の移動開始タイミング（または移動停止タイミング）が検出された場合、連続して検出されたタイミングをノイズとして除去する。ノイズ除去部１３４は、時間ズレ検出部１４に各関節のモーションリズム(フレーム数，R_i,j)を出力する。

なお、移動開始タイミングと移動停止タイミングを合わせてモーションリズム

と定義する。

＜時間ズレ検出部１４＞
図７に示すように、時間ズレ検出部１４は、移動開始タイミング部分スコア計算部１４１と、移動停止タイミング部分スコア計算部１４２と、マッチングスコア計算部１４３を含む。

図８に示すように、移動開始タイミング部分スコア計算部１４１は、各関節のモーションリズムを入力とし、移動開始タイミングについて、部分スコアを計算する（Ｓ１４１）。

詳細には、移動開始タイミング部分スコア計算部１４１は、同期対象となっている各映像の任意の関節を所定の時間ズレの値によって同期した結果と、同期の基準となっている映像における対応する関節との同期誤差が所定の閾値未満となる場合に、所定の時間ズレの値に対して所定の部分スコア（例えば１）を付与し、それ以外の場合に所定の時間ズレの値に対して部分スコアとして０を付与する。

より詳細には、移動開始タイミング部分スコア計算部１４１は、多視点（本実施例では２視点）の映像の各関節から検出した移動開始タイミングを用いて、各時間ズレΔt(-N，…，N)に対して、式(5)に基づいて部分スコアを計算する。Nは入力ビデオのフレーム数を示す。図１１に１番目に検出したタイミングt₀とt'₀を用いた部分スコア計算イメージを示す。各時間ズレΔtに対して、|t₀+Δt-t'₀|<th_nearの場合、すなわち、同期対象であるビデオ１の同期結果と同期の基準となっているビデオ２との同期誤差が所定の閾値th_near未満となる場合、ある時間ズレΔtの部分スコア＝１となる。同じように、全ての移動開始タイミング

に対して、部分スコアを計算する。ここで、th_nearはどのような値でも良い。この値は最終的な同期の精度に影響し、大きく設定するほど部分スコアの獲得は容易になる一方、同期の精度は荒くなる。小さく設定するほど同期の精度は向上する一方、部分スコアの獲得が困難になり、同期に失敗する場合がある。ここでは、例えば、1/30×(ビデオのフレームレート)とする。

次に、移動停止タイミング部分スコア計算部１４２は、各関節のモーションリズムを入力とし、移動停止タイミングについて、部分スコアを計算する（Ｓ１４２）。移動停止タイミングの部分スコアの計算についてはステップＳ１４１と同様である。すなわち、移動停止タイミング部分スコア計算部１４２は、全ての移動停止タイミング

に対して、部分スコアを計算する。

次に、マッチングスコア計算部１４３は、マッチングスコアを計算し、マッチングスコアが高い時間ズレを検出する（Ｓ１４３）。ここで、マッチングスコアは、部分スコアを各時間ズレについて加算することによって計算される。

詳細には、マッチングスコア計算部１４３は、各時間ズレに対して、Δtの時間軸上の各フレームに対して、ステップＳ１４１，Ｓ１４２で求めた各時刻の部分スコアの合計を求める。部分スコアの合計値が大きいほど、時間ズレの信頼度が高くなる。マッチングスコア計算部１４３は、例えば部分スコアの合計（＝マッチングスコア）が一番大きい時間ズレδ_i ^outを出力する。最終出力はこれに限定されず、たとえばマッチングスコア上位３位の時間ズレの平均を求めて、出力してもよい。

さらに具体的にマッチングスコア計算部１４３の動作を説明する。モーションリズムR_1,jとR_2,jはそれぞれ映像C₁と映像C₂から検出したモーションリズムである。二つのビデオが同期した際に、それぞれのモーションリズム

は同じ時間ズレδ_iになることを仮定する。上述した移動開始タイミングと移動停止タイミングを別々にマッチングする方法以外に、別の方法も考えられる。たとえば、図１２に示すように、移動開始タイミングと移動停止タイミングをセットにし、セットをマッチングする方法もある。ただし、モーションリズムの検出に対して、誤検出したタイミングが存在したり、検出漏れを発生したりする場合、上記ステップＳ１４１〜Ｓ１４３のほうが精度よくマッチングすることができる場合がある。モーションリズムの検出精度によってマッチング方法を選んでよい。

＜発明の効果＞
本実施例の映像同期装置１によれば、モーションリズムを導入したことにより、wide baselineの映像でも同期することができ、初期時間ズレが大きい場合や、対応点が検出誤差を含んでいる場合でも安定して同期することができる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 複数の視点から撮影した各映像内の人体の各関節の座標の時系列データから、各前記映像の各前記関節の単位時間当たりの移動量であるノルムを計算するノルム計算部と、
   前記ノルムに基づいて、移動開始タイミングと移動停止タイミングからなるモーションリズムを各前記映像の各前記関節について検出するモーションリズム検出部と、
   各前記映像の各前記関節の前記モーションリズムに基づいて映像間の時間ズレの安定度合いを示すマッチングスコアを計算して、前記マッチングスコアが高い前記時間ズレを検出する時間ズレ検出部を含む
   映像同期装置。
2. 請求項１に記載の映像同期装置であって、
   前記モーションリズム検出部は、
   前記移動開始タイミングと前記移動停止タイミングの検出基準となる閾値を決めるために用いる人体サイズの基準を計算する基準計算部を含む
   映像同期装置。
3. 請求項１または２に記載の映像同期装置であって、
   前記モーションリズム検出部は、
   複数の前記移動開始タイミング、または複数の前記移動停止タイミングが連続して検出された場合、所定の基準で一つのタイミングを選択して、残りのタイミングをノイズとして除去するノイズ除去部を含む
   映像同期装置。
4. 請求項１から３の何れかに記載の映像同期装置であって、
   前記マッチングスコアは、
   同期対象となっている各前記映像の任意の関節を所定の時間ズレの値によって同期した結果と、同期の基準となっている映像における対応する関節との同期誤差が所定の閾値未満となる場合に、所定の時間ズレの値に対して所定の部分スコアを付与し、それ以外の場合に所定の時間ズレの値に対して前記部分スコアとして０を付与し、前記部分スコアを加算することによって計算される
   映像同期装置。
5. 映像同期装置が実行する映像同期方法であって、
   複数の視点から撮影した各映像内の人体の各関節の座標の時系列データから、各前記映像の各前記関節の単位時間当たりの移動量であるノルムを計算するステップと、
   前記ノルムに基づいて、移動開始タイミングと移動停止タイミングからなるモーションリズムを各前記映像の各前記関節について検出するステップと、
   各前記映像の各前記関節の前記モーションリズムに基づいて映像間の時間ズレの安定度合いを示すマッチングスコアを計算して、前記マッチングスコアが高い前記時間ズレを検出するステップを含む
   映像同期方法。
6. コンピュータを請求項１から４の何れかに記載の映像同期装置として機能させるプログラム。

Images