JP7508277B2 - 伝送処理装置、伝送処理方法、及びプログラム - Google Patents

Description

本発明は、複数の撮像装置によって撮像された画像を伝送処理する技術に関する。

昨今、複数の撮像装置を異なる位置に設置して複数視点で同期撮像し、当該撮像により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。このような複数の画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールの試合のハイライトシーン等を様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

また、複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数の撮像装置が撮像した画像をサーバ等の情報処理装置に集約し、当該情報処理装置にて、三次元モデル生成、レンダリングなどの処理を施してユーザ端末に伝送することで実現できる。そして、画質のよい仮想視点画像を生成するためには、複数の撮像装置から情報処理装置へ複数の画像を伝送するのに十分な帯域を確保する必要がある。

一方、特許文献１には、カメラの撮像画像を、選手やボール等の動的変化の多い前景とゴールポストやフィールド等の動的変化の少ない背景とに分離し、それらを、各々フレーム周波数を変えてサーバに伝送することで帯域の低減を図る技術が開示されている。すなわち特許文献１には、前景画像は高いフレーム周波数で出力し、背景画像は低いフレーム周波数で出力して伝送されるデータ量を削減することで、伝送に必要な帯域を低減する技術が開示されている。

特開２０１９－８４２９号公報

しかしながら、前景の動的変化によってシーン毎に伝送に必要な帯域が変動することがあり、この場合、前述した従来の技術では、複数の撮像装置で撮像された画像データを効率良く伝送することが難しくなる。

そこで、本発明は、複数の撮像装置で撮像された画像データを効率よく伝送可能にすることを目的とする。

本発明は、伝送処理装置であって、撮像装置によって撮像された画像に基づいて前景画像データを生成する生成手段と、前記伝送処理装置に接続されている第１の別の伝送処理装置から前景画像データを受信する受信手段と、前記受信手段により受信された前景画像データを、前記伝送処理装置に接続されている第２の別の伝送処理装置に送信する送信手段と、を有し、前記送信手段は、前記受信手段により受信された前景画像データを前記第２の別の伝送処理装置に送信した後、前記生成手段により生成された前景画像データを前記第２の別の伝送処理装置に送信することを特徴とする。

本発明によれば、複数の撮像装置で撮像された画像データを効率よく伝送可能となる。

本実施形態に係る画像取得装置の概略構成例を示す図である。 カメラ及びカメラアダプタの配置と被写体との関係を説明する図である。 カメラアダプタの内部構成の説明に用いるブロック図である。 インターネットプロトコルのヘッダフォーマットを示す図である。 第１の実施形態における伝送アルゴリズムを示すフローチャートである。 第１の実施形態に係る画像取得装置の動作シーケンス図である。 第２の実施形態に係る画像取得装置の動作シーケンス図である。 伝送処理装置のハードウェア構成例を示す図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。なお同一の構成または処理については、同じ参照符号を付して説明する。
＜第１の実施形態＞
本実施形態では、競技場（スタジアム）やコンサートホールなどの施設に複数の撮像装置（以下、カメラとする）を設置して撮像を行うシステムを例に挙げる。

図１は、本実施形態に係る画像取得システムとしての画像取得装置１００の構成例を示す図である。
画像取得装置１００は、カメラ１１２ａ－１１２ｆ、カメラアダプタ１２０ａ－１２０ｆ、スイッチングハブ１５０、画像コンピューティングサーバ（以下、サーバ１３０とする）、タイムサーバ１６０、及びコントローラ１４０を有して構成されている。カメラアダプタ１２０ａ－１２０ｆはデイジーチェーンとなるようにカスケード接続されている。また、カメラ１１２ａ－１１２ｆには、それぞれ１台ずつのカメラアダプタ１２０ａ－１２０ｆが接続されている。スイッチングハブ１５０には、サーバ１３０、タイムサーバ１６０、及びカメラアダプタ１２０ａが接続され、さらにサーバ１３０を介してコントローラ１４０が接続されている。

なお本実施形態において、特別な説明がない場合には、カメラ１１２ａからカメラ１１２ｆまでをそれぞれ区別せずカメラ１１２と記載する。同様に、カメラアダプタ１２０ａ－１２０ｆも特別な説明がない場合にはそれぞれ区別せずに、カメラアダプタ１２０と記載する。また本実施形態では、一つのカメラアダプタ１２０に対応して接続されているカメラ１１２を特に、対応カメラ１１２と呼ぶことにする。また本実施形態では、カスケード接続された各カメラアダプタ１２０のうち、着目するカメラアダプタ１２０に対して、サーバ１３０（つまりネットワーク上のスイッチングハブ１５０を介したサーバ１３０）から遠い側を、上流のカメラアダプタと呼ぶことにする。一方、着目するカメラアダプタ１２０に対して、サーバ１３０（ネットワーク上でスイッチングハブ１５０を介したサーバ１３０）に近い側の各カメラアダプタ１２０を、下流のカメラアダプタと呼ぶことにする。さらに本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち本実施形態のカメラ１１２は静止画及び動画の何れについても取得可能であり、カメラアダプタ１２０は静止画及び動画の何れも処理及び伝送可能であり、サーバ１３０は静止画及び動画の何れも集約及び処理可能である。

カメラアダプタ１２０は、対応カメラ１１２に対する制御、同期信号提供、時刻設定、当該対応カメラ１１２の撮像データから生成したパケット、或いはカスケード接続された他のカメラアダプタから伝送されてきたパケットに対する、送受信処理を行う。カメラアダプタ１２０による対応カメラ１１２の制御には、例えば、撮像パラメータの設定及び参照、対応カメラ１１２の状態の取得、撮像の開始及び停止、ピント調整などがある。カメラ１１２の撮像パラメータとしては、画素数、色深度、フレームレート、及びホワイトバランスなどが挙げられる。カメラ１１２の状態としては、撮像中、停止中、同期中、及びエラーなどが挙げられる。同期信号提供は、カメラアダプタ１２０が、タイムサーバ１６０と同期した時刻を利用して撮像タイミング（制御クロック）をカメラ１１２に提供することにより行われる。時刻設定は、カメラアダプタ１２０が、タイムサーバ１６０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで対応カメラ１１２に提供することにより行われる。これにより、カメラアダプタ１２０が対応カメラ１１２から受け受け取る撮像データに、当該提供したタイムコードが付与されることになる。なおタイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。

コントローラ１４０は、画像取得装置１００のネットワークを介してカメラアダプタ１２０ａ－１２０ｆに制御信号を送ることにより、カメラ１１２ａ－１１２ｆにおける撮像を制御する。コントローラ１４０は、カメラ１１２ａ－１１２ｆで撮像されて得られた画像データをカメラアダプタ１２０ａ－１２０ｆを介してサーバ１３０に集約させ、またサーバ１３０から所望の画像データを取り出す処理なども行う。

図２は、本実施形態における被写体２０１とカメラ１１２ａ－１１２ｆの配置例を示した図である。
図２に示すように、カメラ１１２ａ－１１２ｆおよびカメラアダプタ１２０ａ－１２０ｆは、競技場（スタジアム）のフィールド２００を取り囲むように設置されている。またカメラ１１２ａ－１１２ｆは、各々の光軸が被写体２０１に向くように配置されている。なお図２では、図１のサーバ１３０、コントローラ１４０、及びタイムサーバ１６０の図示を省略している。

本実施形態の画像取得装置１００では、図２に示したように、フィールド２００を取り囲むように複数のカメラ１１２をそれぞれ異なる位置に設置し、それら複数のカメラ１１２による複数視点で同期撮像が行われる。そして、それら複数のカメラ１１２にて得られた複数視点画像を、情報処理装置の一例であるサーバ１３０に伝送する。サーバ１３０は、それら複数視点画像を用いて、例えば仮想視点画像を生成する処理を行う。すなわち本実施形態の画像取得装置１００は、例えば、複数視点画像から仮想視点画像を生成するような仮想視点画像生成システム等に適用可能である。なお、仮想視点画像は自由視点画像と呼ばれることもある。

また本実施形態の画像取得装置１００において、カスケード接続された各カメラアダプタ１２０は、対応カメラ１１２の撮像で得られた撮像データをパケット化して伝送する。また本実施形態の画像取得装置１００では、カスケード接続された複数のカメラアダプタ１２０を、順次伝送カメラアダプタと同時伝送カメラアダプタとに分けて設定する。順次伝送カメラアダプタは対応カメラの撮像データから順次伝送パケットを生成して伝送し、同時伝送カメラアダプタは対応カメラの撮像データから同時伝送パケットを生成して伝送する。順次伝送パケットは、カスケード接続された各カメラアダプタ１２０において、サーバ１３０（つまりネットワーク上のスイッチングハブ１５０を介したサーバ１３０）から遠い順に１つずつ順次伝送される。一方、同時伝送パケットは、同時伝送カメラアダプタにおいて対応カメラの撮像データから生成されると直ちに伝送される。また、各カメラアダプタ１２０は、同時伝送パケットを順次伝送パケットと並行して伝送する。すなわちカメラアダプタ１２０は、対応カメラ１１２の撮像データから生成したパケットを、伝送されてきたデータの種別（同時伝送パケットか順次伝送パケットか）に応じて、カスケード接続の順で伝送するか、並行して伝送するかを決定する。

例えば仮想視点画像生成システムに適用した場合、順次伝送カメラアダプタは、対応カメラの撮像画像から選手やボール等の動的変化の多い前景領域を分離し、その前景領域の画像データから生成したパケットを順次伝送パケットとして伝送する。一方、同時伝送カメラアダプタは、対応カメラの撮像画像からゴールポストやフィールド等の動的変化の少ない背景領域を分離し、その背景領域の画像データから生成したパケットを同時伝送パケットとして伝送する。すなわち本実施形態の画像取得装置１００では、高いフレーム周波数が要求される前景領域の画像データは順次伝送パケットとして伝送し、一方、比較的低いフレーム周波数でもよい背景領域の画像データについては同時伝送パケットとして伝送する。本実施形態の画像取得装置１００では、このように順次伝送パケットと同時伝送パケットとを独立して伝送可能にすることで、効率の良い伝送を可能とする。

図３は、カメラアダプタ１２０の内部構成例及びその周辺の構成を示したブロック図である。
図３において、カメラアダプタ１２０は、データ生成部３２１、送受信処理部３３０、ポート３２２、およびポート３２３を有して構成されている。
データ生成部３２１は、対応カメラ１１２から撮像データを取得し、その撮像データに対して符号化や誤り訂正符号の付加処理等を行って送信用のデータを生成する。データ生成部３２１によって生成された送信用のデータは、送受信処理部３３０に送られる。

ポート３２２はカスケード接続において上流側の構成と接続されるポートであり、ポート３２３はカスケード接続において下流側の構成と接続されるポートである。これらポート３２２、３２３を介して、前述したパケット、コントローラ１４０からの制御信号などが伝送される。

送受信処理部３３０は、受信データ保持部３３１、受信処理部３３２、送信処理部３３３、送信データ保持部３３４、およびカウンタ３３５を有して構成され、当該カメラアダプタ１２０が送受信するパケットの処理を行う。また送受信処理部３３０には、データ生成部３２１から送信用のデータが入力され、対応カメラ１１２から垂直同期信号が入力される。

受信データ保持部３３１は、上流の隣接カメラアダプタから送信されてきてポート３２２が受信したパケットを一時保持する。
受信処理部３３２は、受信データ保持部３３１に一時保持されたパケットを読み出し、そのパケットのヘッダ情報を基に受信処理を行い、その受信処理後のパケットを送信処理部３３３へ送る。

送信処理部３３３は、上流の隣接カメラアダプタから送信されてきて受信処理部３３２で受信処理されたパケットを受け取ると、そのパケットを送信するために必要な処理を行う。また、送信処理部３３３は、対応カメラ１１２の撮像データからデータ生成部３２１が生成した送信用のデータを受け取ると、そのデータをフラグメント化したパケットを生成して、インターネットプロトコルのヘッダフォーマットによるヘッダ情報を付加する。
送信データ保持部３３４は、送信処理部３３３から送られてきたパケットを一時保持する。送信データ保持部３３４は、送信処理部３３３からの読み出し指示を基に、保持しているパケットを読み出してポート３２３に送信する。

カウンタ３３５は、対応カメラ１１２からの垂直同期信号を基に、当該対応カメラ１１２における撮像の開始つまりフレームの開始を検知し、そのフレーム開始時にカウントをリセットしてクロックのカウントを行う。そしてカウンタ３３５は、そのカウント値を送信処理部３３３に出力する。この時の送信処理部３３３は、カウント値が予め設定されている第１の設定値に達すると、送信データ保持部３３４に対し、対応カメラ１１２の撮像データから生成されて保持されているパケットの読み出しを開始する。すなわち、カメラアダプタ１２０では、垂直同期信号に基づいてカウントが開始されたカウント値が第１の設定値に達した時に、対応カメラ１１２の撮像データから生成されたパケットの送信が開始される。また、送信処理部３３３は、カウント値が予め設定された第２の設定値に達すると、対応カメラ１１２の撮像データから生成されて送信データ保持部３３４に保持されているパケットを破棄する。なお第２の設定値は第１の設定値より大きい値である。

図４は、本実施形態の画像取得装置１００において伝送されるパケットに付与されるヘッダのフォーマットの一例を示した図である。本実施形態では、ヘッダのフォーマットとして、インターネットプロトコルのヘッダフォーマットを例に挙げている。なお、図４に示したインターネットプロトコルのヘッダフォーマットは既知であるため、本実施形態に関連するフィールドについてのみ説明し、他の各フィールドの詳細な説明は省略する。

本実施形態の画像取得装置１００において、カメラアダプタ１２０の送受信処理部３３０は、対応カメラ１１２の撮像データをフラグメント化したパケットを生成して、図４に示すヘッダを付加する。図４に示したインターネットプロトコルのヘッダフォーマットの場合、フラグフィールドはリザーブ領域となされている。本実施形態では、このフラグフィールドのビット１６の値を、画像取得装置１００のカスケード接続において当該パケットが順次伝送カメラアダプタにて生成された順次伝送パケットであるかどうかを表すフラグとして使用する。

本実施形態の場合、このフラグフィールドのビット１６の値は、順次伝送イネーブルフラグとなされる。すなわち、順次伝送イネーブルフラグが"１"に設定されたヘッダが付加されたパケットは、順次伝送パケットとして扱われる。本実施形態の場合、順次伝送カメラアダプタは、対応カメラの撮像データから生成するパケットのヘッダの順次伝送イネーブルフラグに"１"を設定することで順次伝送パケットを生成する。順次伝送パケットは、前述したように、カスケード接続されている各カメラアダプタ１２０において、サーバ１３０（つまりネットワーク上のスイッチングハブ１５０を介したサーバ１３０）から遠い順に１つずつ順次伝送される。

また本実施形態の場合、順次伝送イネーブルフラグが"０"に設定されたヘッダが付加されたパケットは、同時伝送パケットとして扱われる。本実施形態において、同時伝送カメラアダプタは、対応カメラの撮像データから生成するパケットのヘッダの順次伝送イネーブルフラグに"０"を設定することで同時伝送パケットを生成して直ちに伝送を開始する。すなわち同時伝送カメラアダプタは、他のカメラアダプタにおけるパケットの伝送に依存せずに、対応カメラの撮像データから生成した同時伝送パケットの伝送を直ちに開始する。また、カスケード接続されている各カメラアダプタ１２０は、同時伝送パケットを受信した場合には直ちに伝送する。

また本実施形態の画像取得装置１００において、図４に示したヘッダフォーマットの生存時間フィールドには、カスケード接続されている全てのカメラアダプタ１２０に共通の初期値が設定される。生存時間フィールドの値は、このヘッダを有するパケットが順次伝送カメラアダプタを経由する毎に、１ずつ減じられる。一方、カメラアダプタ１２０が同時伝送カメラアダプタの場合、順次伝送パケットの生存時間フィールドの値は変更されない。さらに本実施形態の画像取得装置１００において、カメラアダプタ１２０は、ヘッダ内の生存時間フィールドの値が０である場合には、このヘッダを有するパケットを下流のカメラアダプタに転送しない。このためカメラアダプタ１２０は、転送するパケットの順次伝送イネーブルフラグが"１"で且つ、生存時間フィールドの値が初期値－１である場合、そのパケットは１つ上流の順次伝送カメラアダプタが撮像データから生成したパケットであることを認識できる。

また本実施形態において、図４のヘッダフォーマットのフラグフィールドのビット１８の値は、順次伝送カメラアダプタが対応カメラの撮像データから生成した順次伝送パケットの送信を開始するタイミングを決定するためのフラグとして使用する。すなわち順次伝送カメラアダプタは、上流の隣接カメラアダプタから伝送されてきたパケットのヘッダに含まれるフラグフィールドのビット１８の値を基に、対応カメラの撮像データから生成した順次伝送パケットの送信を開始するタイミングを決定する。

本実施形態の場合、フラグフィールドのビット１８の値は、ラストフラグメントフラグとして用いられる。つまり、ラストフラグメントフラグが"０"である場合にはフラグメント化された後続のパケットが存在していることを示し、一方、"１"である場合にはフラグメント化された後続のパケットが存在しないことを示す。したがって、カメラアダプタ１２０は、このラストフラグメントフラグを参照することで、フラグメント化された後続のパケットが存在するかどうかを判定することができる。本実施形態の場合、順次伝送カメラアダプタは、ラストフラグメントフラグが"１"でありフラグメント化された後続のパケットが存在しないとき、対応カメラの撮像データから生成した順次伝送パケットの送信を開始する。

図５は、カメラアダプタ１２０の送受信処理部３３０における伝送アルゴリズムを示すフローチャートである。
送受信処理部３３０は、対応カメラ１１２の垂直同期信号をモニタしており、その垂直同期信号を基に、対応カメラ１１２の撮像によるフレームの取得開始を検知すると、カウンタ３３５がクロックのカウントを開始し、ステップＳ５０１の処理に進む。

ステップＳ５０１において、送受信処理部３３０は、このカメラアダプタ１２０が順次伝送カメラアダプタに設定されているかどうかを判定する。送受信処理部３３０は、順次伝送カメラアダプタに設定されていると判定した場合にはステップＳ５０２の処理に進む。一方、送受信処理部３３０は、順次伝送カメラアダプタに設定されていないと判定した場合、つまり同時伝送カメラアダプタに設定されていると判定した場合には、ステップＳ５０９の処理に進む。

ステップＳ５０２に進むと、送受信処理部３３０は、カウンタ３３５のカウント値が予め設定されている第１の設定値に達したか確認する。そして、送受信処理部３３０は、カウント値が第１の設定値に達した場合にはステップＳ５０９の処理に進み、一方、カウント値が第１の設定値に達していない場合にはステップＳ５０３の処理に進む。

ステップＳ５０３に進むと、送受信処理部３３０は、上流の隣接カメラアダプタから伝送されてくるパケットをポート３２２が受信したか判定する。送受信処理部３３０は、ポート３２２がパケットを受信していない場合にはステップＳ５０２の処理に戻り、一方、パケットを受信した場合にはステップＳ５０４の処理に進む。

ステップＳ５０４に進むと、送受信処理部３３０の受信処理部３３２は、ポート３２２が受信して受信データ保持部３３１に一時保持されたパケットを、送信処理部３３３に転送する。そして、送信処理部３３３は、受信処理部３３２から受け取ったパケットのヘッダの生存時間フィールドの値を１減じる書き換え処理を行う。

次にステップＳ５０５において、送受信処理部３３０は、ステップＳ５０４で送信処理部３３３が処理したパケットを送信データ保持部３３４に一時保持した後、ポート３２３に送る。これにより、そのパケットは、ポート３２３を介して下流の隣接カメラアダプタに転送される。

次にステップＳ５０６において、送受信処理部３３０は、ステップＳ５０５で転送したパケットのヘッダの順次伝送イネーブルフラグを参照することにより、その転送したパケットが順次伝送パケットか否かを判定する。送受信処理部３３０は、順次伝送イネーブルフラグが"１"である場合には順次伝送パケットであると判定してステップＳ５０７の処理に進む。一方、順次伝送イネーブルフラグが"０"である場合、送受信処理部３３０は、転送したパケットが同時伝送パケットであると判定して、ステップＳ５０２の処理に戻る。

ステップＳ５０７に進むと、送受信処理部３３０は、ステップＳ５０５で転送したパケットのヘッダの生存時間フィールドを基に、転送したパケットは上流の隣接した順次伝送カメラアダプタが対応カメラの撮像データから生成したパケットであるかを判定する。送受信処理部３３０は、生存時間フィールドの値が初期値－１であれば上流の隣接した順次伝送カメラアダプタで撮像データから生成されたパケットであると判定してステップＳ５０８の処理に進み、そうでない場合にはステップＳ５０２の処理に戻る。

ステップＳ５０８に進むと、送受信処理部３３０は、ステップＳ５０５で転送したパケットのヘッダのラストフラグメントフラグを基に、当該パケットが撮像データにおける最後のフラグメントであるか否かを判定する。送受信処理部３３０は、最後のフラグメントであると判定した場合にはステップＳ５１２の処理に進み、そうでない場合はステップＳ５０２の処理に戻る。

また、ステップＳ５０１若しくはステップＳ５０２からステップＳ５０９に進んだ場合、送受信処理部３３０は、上流の隣接カメラアダプタから伝送されてきたパケットをポート３２２が受信したか判定する。送受信処理部３３０は、受信していないと判定した場合にはステップＳ５０１の処理に戻り、受信したと判定した場合にはステップＳ５１０の処理に進む。

ステップＳ５１０に進むと、送受信処理部３３０の受信処理部３３２は、ポート３２２が受信して受信データ保持部３３１に一時保持されたパケットを、送信処理部３３３に転送する。そして、送信処理部３３３は、そのパケットが同時伝送パケットである場合、ヘッダの生存時間フィールドの値を１減じる書き換え処理を行う。

次にステップＳ５１１において、送受信処理部３３０は、ステップＳ５１０で送信処理部３３３が処理したパケットを、送信データ保持部３３４に一時保持した後、ポート３２３を介して下流の隣接カメラアダプタに転送する。そして、ステップＳ５１１の後、送受信処理部３３０はステップＳ５１２に処理を進める。

ステップＳ５１２に進んだ場合、当該カメラアダプタ１２０の対応カメラ１１２による撮像データの送信を開始する条件が満たされたため、送受信処理部３３０は、その撮像データのパケットの送信を開始する。なお、対応カメラ１１２の撮像データのパケットの送信は、その撮像データのフレームが終了するまで継続する。そして、ステップＳ５１２の処理後、送受信処理部３３０はステップＳ５０１の処理に戻る。

前述したように本実施形態に係る伝送アルゴリズムでは、カメラアダプタ１２０が順次伝送カメラアダプタ又は同時伝送カメラアダプタの何れか、また受信したパケットが順次伝送パケット又は同時伝送パケットの何れかの組み合わせによって伝送動作が異なる。以下、それらの組み合わせによる伝送動作の違いについて説明する。

まず、カメラアダプタ１２０が同時伝送カメラアダプタである場合の伝送動作について説明する。同時伝送カメラアダプタの伝送動作は、順次伝送イネーブルフラグが"１"である順次伝送パケットを受信した場合と、順次伝送イネーブルフラグが"０"である同時伝送パケットを受信した場合とで、以下のように異なる。

同時伝送カメラアダプタにおいて、順次伝送イネーブルフラグが"１"である順次伝送パケットを受信した場合、受信処理部３３２は、その受信したパケットのヘッダの生存時間フィールドの値が０でないことを確認する。そして、生存時間フィールドの値が０でないことを確認した場合、受信処理部３３２は、そのパケットを受信データ保持部３３１から送信処理部３３３に転送する。送信処理部３３３は、受信処理部３３２から転送されてきたパケットのヘッダの順次伝送イネーブルフラグが"１"であることを検出することにより、そのパケットが順次伝送パケットであることを認識する。送信処理部３３３は、受信処理部３３２から転送されてきた順次伝送パケットのヘッダの生存時間フィールドの値は変えずに、送信データ保持部３３４に送って一時保持させる。そして、送受信処理部３３０は、送信データ保持部３３４から読み出した順次伝送パケットを、ポート３２３を介して下流の隣接カメラアダプタへ伝送する。またこの時、カメラアダプタ１２０は、ラストフラグメントフラグにかかわらず、対応カメラ１１２の撮像データから同時伝送パケットを生成した場合には直ちに送信する。

同時伝送カメラアダプタにおいて、順次伝送イネーブルフラグが"０"である同時伝送パケットを受信した場合、受信処理部３３２は、ヘッダの生存時間フィールドの値が０でないことを確認した上で、そのパケットを送信処理部３３３に転送する。送信処理部３３３は、転送されてきたパケットのヘッダの順次伝送イネーブルフラグが"０"であることを検出することにより、そのパケットが同時伝送パケットであることを認識する。この時の送信処理部３３３は、ヘッダの生存時間フィールドの値を１減じた後、当該同時伝送パケットを送信データ保持部３３４に一時保持する。そして、送受信処理部３３０は、送信データ保持部３３４から読み出した同時伝送パケットを、ポート３２３を介して下流の隣接カメラアダプタへ伝送する。またこの時、カメラアダプタ１２０は、ラストフラグメントフラグにかかわらず、対応カメラ１１２の撮像データから同時伝送パケットを生成した場合には直ちに送信する。

次に、カメラアダプタ１２０が順次伝送カメラアダプタである場合の伝送動作について説明する。順次伝送カメラアダプタの伝送動作は、順次伝送イネーブルフラグが"１"である順次伝送パケットを受信した場合と、順次伝送イネーブルフラグが"０"である同時伝送パケットを受信した場合とで、以下のように異なっている。

順次伝送カメラアダプタにおいて、順次伝送イネーブルフラグが"１"である順次伝送パケットを受信した場合、受信処理部３３２は、ヘッダの生存時間フィールドの値が０でないことを確認した上で、そのパケットを送信処理部３３３に転送する。送信処理部３３３は、転送されてきたパケットのヘッダの順次伝送イネーブルフラグが"１"であることを検出することで、そのパケットが順次伝送パケットであることを認識する。この時の送信処理部３３３は、ヘッダの生存時間フィールドの値を１減じた後、当該順次伝送パケットを送信データ保持部３３４に一時保持する。そして、送受信処理部３３０は、送信データ保持部３３４から読み出した順次伝送パケットを、ポート３２３を介して下流の隣接カメラアダプタに伝送する。この時、カメラアダプタ１２０は、ラストフラグメントフラグが"１"である場合にはカメラ１１２の撮像データによるパケットの送信を開始する。

順次伝送カメラアダプタにおいて、順次伝送イネーブルフラグが"０"である同時伝送パケットを受信した場合、受信処理部３３２は、ヘッダの生存時間フィールドの値が０でないことを確認した上で、そのパケットを送信処理部３３３に転送する。送信処理部３３３は、転送されてきたパケットのヘッダの順次伝送イネーブルフラグが"０"であることを検出することで、そのパケットが同時伝送パケットであることを認識する。この時の送信処理部３３３は、ヘッダの生存時間フィールドの値を１減じた後、当該同時伝送パケットを送信データ保持部３３４に一時保持する。そして、送受信処理部３３０は、送信データ保持部３３４から読み出した同時伝送パケットを、ポート３２３を介して下流の隣接カメラアダプタに伝送する。この時、カメラアダプタ１２０は、ラストフラグメントフラグにかかわらず、カメラ１１２の撮像データによるパケットの送信は開始しない。

次に、図６を用いて、本実施形態の画像取得装置１００におけるカメラアダプタ１２０の伝送動作シーケンスを説明する。図６に例示した伝送動作シーケンスは、カメラアダプタ１２０ｅと１２０ｂが同時伝送カメラアダプタであり、他のカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、及び１２０ａが順次伝送カメラアダプタである場合の例である。すなわち図６は、各カメラアダプタ１２０からサーバ１３０までの伝送経路に、順次伝送カメラアダプタと同時伝送カメラアダプタが混在し、順次伝送パケットと同時伝送パケットは重畳して伝送される例を示している。

まずステップＳ６０１において、コントローラ１４０が、各カメラアダプタ１２０に対してそれぞれ送受信制御に係る伝送パラメータを設定する。またコントローラ１４０は、各カメラアダプタ１２０を介して、それぞれ対応カメラ１１２の撮像条件を決定するカメラパラメータを設定する。図６の例の場合、コントローラ１４０は、カメラアダプタ１２０ｅ及び１２０ｂを同時伝送カメラアダプタとする伝送パラメータを設定し、それら以外の他のカメラアダプタ１２０を順次伝送カメラアダプタとする伝送パラメータを設定する。すなわちコントローラ１４０は、カメラアダプタ１２０ｅと１２０ｂに対して、それぞれ対応カメラ１１２ｅと１１２ｂの撮像データに順次伝送イネーブルフラグが"０"のヘッダを付加した同時伝送パケットを生成するような伝送パラメータを設定する。またコントローラ１４０は、他のカメラアダプタ１２０に対して、各々の対応カメラ１１２の撮像データに順次伝送イネーブルフラグが"１"のヘッダを付加した順次伝送パケットを生成するような伝送パラメータを設定する。また、コントローラ１４０は、各カメラアダプタ１２０および各対応カメラ１１２の時刻同期を行う。

次にステップＳ６０２において、コントローラ１４０は、各カメラアダプタ１２０を介して、それぞれの対応カメラ１１２に対し、同期撮像を開始させる制御信号を送信する。
これにより各対応カメラ１１２は、ステップＳ６０３にて、それぞれが同期して１フレーム期間毎の撮像を行い、またステップＳ６０４において、それぞれ対応して接続されている各カメラアダプタ１２０に対して同期して１フレーム毎に撮像データを出力する。

ここで同時伝送カメラであるカメラアダプタ１２０ｅ、１２０ｂは、それぞれステップＳ６０５において、対応カメラ１１２ｅ、１１２ｂの撮像データから生成されたパケットが送信処理部３３３に入力すると、直ちにそのパケットの送信を開始する。すなわちカメラアダプタ１２０ｅ、１２０ｂは、それぞれ対応カメラ１１２ｅ、１１２ｂの撮像データに順次伝送イネーブルフラグが"０"のヘッダを付加した同時伝送パケット６２０ｅ、６２０ｂを、直ちに下流のカメラアダプタ１２０に送信する。例えば同時伝送パケット６２０ｅは、下流のカメラアダプタ１２０ｄ、１２０ｃ、１２０ｂ、及び１２０ａを順次経由し、スイッチングハブ１５０を介してサーバ１３０に伝送される。また例えば同時伝送パケット６２０ｂは、下流のカメラアダプタ１２０ａを経由し、スイッチングハブ１５０を介してサーバ１３０に伝送される。また、それら同時伝送パケット６２０ｅ、６２０ｂを伝送する各カメラアダプタ１２０は、それぞれ生存時間フィールドの値を１ずつ減じる。ただし、順次伝送カメラアダプタであるカメラアダプタ１２０ｄ、１２０ｃ、及び１２０ａは、ラストフラグメントフラグの値にかかわらず、それぞれの対応カメラ１１２による撮像データから生成した順次伝送パケットの送信を開始することはない。

次にステップＳ６０６において、順次伝送カメラアダプタであるカメラアダプタ１２０ｆは、カウンタ３３５のカウンタ値が第１の設定値に達すると、カメラ１１２ｆの撮像データから生成した順次伝送パケット６２０ｆを隣接カメラアダプタ１２０ｅに送信する。すなわちカメラアダプタ１２０ｆは、カウンタ値が第１の設定値に達すると、カメラ１１２ｆの撮像データに順次伝送イネーブルフラグが"１"のヘッダを付加した順次伝送パケット６２０ｆを下流のカメラアダプタ１２０ｅに送信する。なお、カメラアダプタ１２０ｆは、カスケード接続された各カメラアダプタ１２０のうち、サーバ１３０から最も遠い位置にあるため、他のカメラアダプタ１２０から伝送されたパケットを受信することはない。このため、カメラアダプタ１２０ｆは、カウンタ値が第１の設定値に達したタイミングで、順次伝送パケット６２０ｆの送信を開始する。

カメラアダプタ１２０ｆから送信された順次伝送パケット６２０ｆを受信するカメラアダプタ１２０ｅは、同時伝送カメラアダプタであるため、順次伝送パケット６２０ｆの生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ｄに転送する。なお、カメラアダプタ１２０ｅは、同時伝送カメラアダプタであるため、カメラ１１２ｅの撮像データから生成されたパケットが送信処理部３３３に入力すると直ちにその同時伝送パケット６２０ｅの送信を開始している。すなわち、カメラアダプタ１２０ｅは、同時伝送パケット６２０ｅと並行して、カメラアダプタ１２０ｆから受信した順次伝送パケット６２０ｆの伝送を行う。

カメラアダプタ１２０ｄは、順次伝送カメラアダプタであるため、受信した順次伝送パケット６２０ｆの生存時間フィールドの値を１減じてからカメラアダプタ１２０ｃに伝送する。また、カメラアダプタ１２０ｄでは、ラストフラグメントフラグが"１"であるパケットを受信すると、ステップＳ６０７に進み、カメラ１１２ｄの撮像データから生成した順次伝送パケットの送信を開始する。

カメラアダプタ１２０ｃは、順次伝送カメラアダプタであるため、順次伝送パケット６２０ｆを受信すると、カメラアダプタ１２０ｄと同様の処理を行って下流のカメラアダプタ１２０ｂに転送する。

カメラアダプタ１２０ｂは、同時伝送カメラアダプタであるため、順次伝送パケット６２０ｆ受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ａに転送する。なお、同時伝送カメラアダプタであるカメラアダプタ１２０ｂは、カメラ１１２ｂの撮像データのパケットが送信処理部３３３に入力すると直ちに同時伝送パケット６２０ｂの送信を開始している。すなわち、カメラアダプタ１２０ｂは、同時伝送パケット６２０ｂと並行して、順次伝送パケット６２０ｆの伝送を行う。

カメラアダプタ１２０ａは、順次伝送カメラアダプタであるため、順次伝送パケット６２０ｆを受信すると、生存時間フィールの値を１減じてから順次伝送パケット６２０ｆを出力する。カメラアダプタ１２０ａはスイッチングハブ１５０に接続されているため、順次伝送パケット６２０ｆはサーバ１３０に伝送される。

次にステップＳ６０７において、カメラアダプタ１２０ｄは、カメラ１１２ｄの撮像データから生成した順次伝送パケット６２０ｄを、隣接するカメラアダプタ１２０ｃに送信する。
カメラアダプタ１２０ｃは、順次伝送カメラアダプタであるため、カメラアダプタ１２０ｄから順次伝送パケット６２０ｄを受信すると、生存時間フィールドの値を１減じて下流のカメラアダプタ１２０ｂに伝送する。また、カメラアダプタ１２０ｃは、ラストフラグメントフラグが"１"のパケットを受信すると、ステップＳ６０８に進み、カメラ１１２ｃの撮像データから生成した順次伝送パケット６２０ｃの送信を開始する。

同時伝送カメラアダプタであるカメラアダプタ１２０ｂが、順次伝送パケット６２０ｄを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ａに転送する。また、カメラアダプタ１２０ｂは、同時伝送カメラアダプタであるため、カメラ１１２ｂの撮像データのパケットが送信処理部３３３に入力すると直ちに同時伝送パケット６２０ｂの送信を開始している。このため、カメラアダプタ１２０ｂは、同時伝送パケット６２０ｂと並行して、カメラアダプタ１２０ｃから受信した順次伝送パケット６２０ｄを伝送する。

順次伝送カメラアダプタであるカメラアダプタ１２０ａは、順次伝送パケット６２０ｄを受信すると、生存時間フィールドの値を１減じ、スイッチングハブ１５０を介してサーバ１３０に伝送する。また、カメラアダプタ１２０ａは、ラストフラグメントフラグが"１"のパケットを受信すると、ステップＳ６０９に進み、カメラ１１２ａの撮像データから生成した順次伝送パケット６２０ａの送信を開始する。

次にステップＳ６０８において、カメラアダプタ１２０ｃは、カメラ１１２ｃの撮像データから生成した順次伝送パケット６２０ｃを下流のカメラアダプタ１２０ｂに送信する。

同時伝送カメラアダプタであるカメラアダプタ１２０ｂは、順次伝送パケット６２０ｃを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ａに転送する。なお、カメラアダプタ１２０ｂは、カメラ１１２ｂの撮像データのパケットが送信処理部３３３に入力すると、直ちに同時伝送パケット６２０ｂの送信を開始している。したがって、カメラアダプタ１２０ｂでは、同時伝送パケット６２０ｂと並行して、順次伝送パケット６２０ｃの伝送を行う。

順次伝送カメラアダプタであるカメラアダプタ１２０ａは、受信した順次伝送パケット６２０ｃの生存時間フィールドの値を１減じ、スイッチングハブ１５０を介してサーバ１３０に伝送する。またカメラアダプタ１２０ａは、ステップＳ６０９において、カメラ１１２ａの撮像データから生成した順次伝送パケット６２０ａを、スイッチングハブ１５０を介してサーバ１３０に送信する。

以上説明したように、第１の実施形態において、複数のカメラアダプタ１２０はカスケード接続されており、それぞれ対応カメラ１１２の撮像データ生成したパケットを下流のカメラアダプタへ伝送することでサーバ１３０へ送信する。複数のカメラアダプタ１２０は、同時伝送カメラアダプタまたは順次伝送カメラアダプタに設定される。同時伝送カメラアダプタは、対応カメラで撮像がなされると、その撮像データから生成した同時伝送パケットの送信を直ちに開始する。また同時伝送カメラアダプタは、生存時間フィールドの値が０でない順次伝送パケットを受信した場合には、その生存時間フィールドの値を変えずに下流に伝送する。また、同時伝送カメラアダプタは、生存時間フィールドの値が０でない同時伝送パケットを受信した場合には、その生存時間フィールドの値を１減じた後に下流に伝送する。一方、順次伝送カメラアダプタは、生存時間フィールドの値が０でない順次伝送パケットを受信した場合、ヘッダの生存時間フィールドの値を１減じた後に下流に伝送する。また順次伝送カメラアダプタは、生存時間フィールドの値が０でない同時転送パケットを受信した場合、その生存時間フィールドの値を１減じた後に下流に伝送する。そして順次伝送カメラアダプタは、上流の順次伝送カメラアダプタから送信された順次伝送パケットを受信した場合には、サーバから遠い順に、順次伝送カメラアダプタの順次伝送パケットを伝送する。

本実施形態では、順次伝送イネーブルフラグとラストフラグメントフラグと生存時間フィールドの値とを基に各カメラアダプタの伝送を制御することで、カスケード接続されたネットワーク上で順次伝送パケットと同時伝送パケットを独立して伝送可能となる。このため、仮想視点画像生成システムに適用した場合、前景領域のような高いフレーム周波数で伝送することが望まれるデータと、背景領域のように比較的必要な帯域の変動が少なく低いフレーム周波数で伝送できるデータとを効率よく伝送可能となる。

＜第２の実施形態＞
第２の実施形態では、順次伝送カメラアダプタと同時伝送カメラアダプタとで、撮像データを伝送する際のフレーム周波数が異なる場合の伝送動作を説明する。
図７は、第２の実施形態における画像取得装置１００の伝送動作シーケンスを示す図である。なおカメラアダプタ１２０ｅと１２０ｂは同時伝送カメラアダプタであり、他のカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、及び１２０ａは順次伝送カメラアダプタであり、カメラアダプタ１２０ｆはサーバ１３０から最も遠いアダプタである。

図７の伝送動作シーケンスにおいて、ステップＳ７０１およびステップＳ７０２は、第１の実施形態におけるステップＳ６０１およびステップＳ６０２と同じであるので説明を省略する。第２の実施形態では、順次伝送カメラアダプタであるカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、及び１２０ａのそれぞれ対応カメラカメラ１１２ｆ、１１２ｄ、１１２ｃ、１１２ａは、それぞれが同期して１フレーム期間毎の撮像を行う。一方、第２の実施形態の場合、同時伝送カメラアダプタであるカメラアダプタ１２０ｅ、１２０ｂのそれぞれ対応カメラ１１２ｅ、１１２ｂは、それぞれが同期して２フレーム期間毎に撮像を行う。

ステップＳ７０３において、順次伝送カメラアダプタであるカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、及び１２０ａのそれぞれ対応カメラカメラ１１２ｆ、１１２ｄ、１１２ｃ、１１２ａは、それぞれが同期して１フレーム期間毎の撮像を行う。そして、ステップＳ７０５において、カメラ１１２ｆ、１１２ｄ、１１２ｃ、及び１１２ａは、それぞれ対応したカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、１２０ａに対して１フレーム分の撮像データを出力する。またステップＳ７０４において、同時伝送カメラアダプタであるカメラアダプタ１２０ｅ、１２０ｂのそれぞれ対応カメラカメラ１１２ｅ、１１２ｂは、それぞれが同期して２フレーム期間毎の撮像を行う。

ステップＳ７０６において、順次伝送カメラアダプタであるカメラアダプタ１２０ｆは、カウンタ３３５のカウンタ値が第１の設定値に達した場合、カメラ１１２ｆの撮像データから生成した順次伝送パケット７２０ｆを下流のカメラアダプタ１２０ｅに送信する。

また、同時伝送カメラアダプタであるカメラアダプタ１２０ｅは、順次伝送パケット７２０ｆを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ｄに転送する。なおこの時、カメラ１１２ｅは２フレーム期間分の撮像を行っているため、このタイミングではカメラ１１２ｅの撮像データはカメラアダプタ１２０ｅに入力していない。したがって、カメラアダプタ１２０ｅでは、カメラ１１２ｅの撮像データから生成される同時伝送パケット７２０ｅの送信は行われていない。

順次伝送カメラアダプタであるカメラアダプタ１２０ｄは、順次伝送パケット７２０ｆを受信すると、生存時間フィールドの値を１減じて下流のカメラアダプタ１２０ｃに伝送する。また、カメラアダプタ１２０ｄは、ラストフラグメントフラグが１であるパケットを受信すると、ステップＳ７０７に進み、カメラ１１２ｄの撮像データから生成される順次伝送パケット７２０ｄの送信を開始する。

順次伝送カメラアダプタであるカメラアダプタ１２０ｃは、順次伝送パケット７２０ｆを受信すると、カメラアダプタ１２０ｄと同様の処理を行って下流のカメラアダプタ１２０ｂに伝送する。

同時伝送カメラアダプタであるカメラアダプタ１２０ｂは、順次伝送パケット７２０ｆを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ｄに転送する。なお、カメラ１１２ｂは２フレーム期間分の撮像を行っているため、このタイミングでカメラ１１２ｂの撮像データはカメラアダプタ１２０ｂに入力していない。したがって、カメラアダプタ１２０ｂは、カメラ１１２ｂの撮像データから生成される同時伝送パケット７２０ｂの送信を行っていない。

順次伝送カメラアダプタであるカメラアダプタ１２０ａは、順次伝送パケット７２０ｆを受信すると、生存時間フィールドの値を１減じてスイッチングハブ１５０に送信する。これにより、順次伝送パケット７２０ｆは、スイッチングハブ１５０を介してサーバ１３０に伝送される。

またステップＳ７０７において、順次伝送カメラアダプタであるカメラアダプタ１２０ｄは、カメラ１１２ｄの撮像データから生成した順次伝送パケット７２０ｄを下流のカメラアダプタ１２０ｃに送信する。

この時の順次伝送カメラアダプタであるカメラアダプタ１２０ｃは、順次伝送パケット７２０ｄを受信すると、生存時間を１減じて下流のカメラアダプタ１２０ｂに伝送する。また、カメラアダプタ１２０ｃは、ラストフラグメントフラグが"１"であるパケットを受信すると、ステップＳ７０８に進み、カメラ１１２ｃの撮像データから生成した順次伝送パケット７２０ｃの送信を開始する。

同時伝送カメラアダプタであるカメラアダプタ１２０ｂは、順次伝送パケット７２０ｄを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ａに転送する。なお、カメラ１１２ｂは２フレーム期間分の撮像を行っているため、このタイミングでカメラ１１２ｂの撮像データはカメラアダプタ１２０ｂに入力していない。したがって、カメラアダプタ１２０ｂは、カメラ１１２ｂの撮像データから生成される同時伝送パケット７２０ｂの送信を行っていない。

順次伝送カメラアダプタであるカメラアダプタ１２０ａは、順次伝送パケット７２０ｄを受信すると、生存時間フィールドの値を１減じて、スイッチングハブ１５０に送信する。これにより、順次伝送パケット７２０ｄは、スイッチングハブ１５０を介してサーバ１３０に伝送される。

ステップＳ７０８において、順次伝送カメラアダプタであるカメラアダプタ１２０ｃは、カメラ１１２ｃの撮像データから生成した順次伝送パケット７２０ｃを、下流のカメラアダプタ１２０ｂに送信する。

同時伝送カメラアダプタであるカメラアダプタ１２０ｂは、順次伝送パケット７２０ｃを受信すると、生存時間フィールドの値を変えずに、下流のカメラアダプタ１２０ａに転送する。なお、カメラ１１２ｂは２フレーム期間分の撮像を行っているため、このタイミングではカメラ１１２ｂの撮像データはカメラアダプタ１２０ｂに入力しておらず、したがって同時伝送パケット７２０ｂの送信は行われていない。

順次伝送カメラアダプタであるカメラアダプタ１２０ａは、順次伝送パケット７２０ｄを受信すると、生存時間フィールドの値を１減じ、スイッチングハブ１５０を介してサーバ１３０に伝送する。また、カメラアダプタ１２０ａは、ラストフラグメントフラグが１であるパケットを受信すると、ステップＳ７０９に進み、カメラ１１２ａの撮像データから生成した順次伝送パケット７２０ａの送信を開始する。

またステップＳ７１０において、カメラ１１２ｆ、１１２ｄ、１１２ｃ、及び１１２ａは撮像を開始して、１フレーム期間の撮像を行う。そして、ステップＳ７１１において、カメラ１１２ｆ、１１２ｄ、１１２ｃ、及び１１２ａは、それぞれ対応したカメラアダプタ１２０ｆ、１２０ｄ、１２０ｃ、１２０ａに対して、１フレーム分の撮像データを出力する。また、カメラ１１２ｅ、１１２ｂは、それぞれ対応したカメラアダプタ１２０ｅ、１２０ｂに対して、２フレーム分の撮像データを出力する。

ステップＳ７１２において、同時伝送カメラアダプタであるカメラアダプタ１２０ｅ、１２０ｂは、カメラ１１２ｅ、１１２ｂの撮像データから生成した同時伝送パケット７２０ｅ、７２０ｂをそれぞれ送信する。そして、カメラアダプタ１２０ｅが出力した同時伝送パケット７２０ｅは、カメラアダプタ１２０ｄ、１２０ｃ、１２０ｂ、及び１２０ａを経由し、スイッチングハブ１５０を介してサーバ１３０に伝送される。また、カメラアダプタ１２０ｂが出力した同時伝送パケット７２０ｂは、カメラアダプタ１２０ａを経由し、スイッチングハブ１５０を介してサーバ１３０に伝送される。また、それら同時伝送パケット７２０ｅ、７２０ｂを伝送する各カメラアダプタ１２０は、それぞれ生存時間フィールドの値を１ずつ減じる。ただし、順次伝送カメラアダプタであるカメラアダプタ１２０ｄ、１２０ｃ、及び１２０ａは、ラストフラグメントフラグの値にかかわらず、それぞれの対応カメラ１１２による撮像データの順次伝送パケットの送信を開始することはない。

ステップＳ７１３、ステップＳ７１４、ステップＳ７１５、及びステップＳ７１６の伝送動作は、それぞれステップＳ７０６、ステップＳ７０７、ステップＳ７０８、及びステップＳ７０９と同様なので説明を省略する。これらステップＳ７１３、ステップＳ７１４、ステップＳ７１５、及びステップＳ７１６の処理により、順次伝送パケット７２０ｆ、７２０ｄ、７２０ｃ、及び７２０は、１つずつ順にサーバ１３０に伝送される。

以上説明したように、第２の実施形態においては、複数のカメラが異なるフレーム周波数で撮像していても、カスケード接続された各カメラアダプタ１２０を経由して順次伝送パケットと同時伝送パケットの伝送を独立して行うことができる。このため、仮想視点画像生成システムに適用した場合、前景領域のような高いフレーム周波数で伝送することが望まれるデータと、背景領域のような低いフレーム周波数でも伝送できるデータとを、効率よく伝送することが可能となる。

なお、第１及び第２の実施形態では、各カメラアダプタ１２０は、受信したパケットが、上流の順次伝送カメラアダプタから送信されたものであることを、ヘッダの生存時間フィールドの値から判定したが、この例には限定されない。パケットを送信したカメラアダプタを特定できるのであれば、他の方法でもよい。例えば、各カメラアダプタに識別子をつけ、パケットのヘッダに識別子情報を付加することで、受信したパケットが上流の何れのカメラアダプタで生成されたパケットかを判別することが可能となる。

図８は、前述の実施形態で説明したような、対応カメラ１１２からの撮像データを基にパケットを生成して伝送処理するカメラアダプタ１２０の機能を実現する、伝送処理装置８００のハードウェア構成例を示した図である。

伝送処理装置８００は、ＣＰＵ８１１、ＲＯＭ８１２、ＲＡＭ８１３、補助記憶装置８１４、表示部８１５、操作部８１６、通信Ｉ／Ｆ８１７、及びバス８１８を有する。
ＣＰＵ８１１は、ＲＯＭ８１２やＲＡＭ８１３に格納されているコンピュータプログラムやデータを用いて、伝送処理装置８００の全体を制御することで、前述したカメラアダプタ１２０におけるパケットの伝送処理を実現する。なお、伝送処理装置８００がＣＰＵ８１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ８１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ８１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ８１３は、補助記憶装置８１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ８１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置８１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部８１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが伝送処理装置８００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部８１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ８１１に入力する。ＣＰＵ８１１は、表示部８１５を制御する表示制御部、及び操作部８１６を制御する操作制御部として動作する。
通信Ｉ／Ｆ８１７は、伝送処理装置８００の外部の装置との通信に用いられる。例えば、伝送処理装置８００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ８１７に接続される。伝送処理装置８００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ８１７はアンテナを備える。バス８１８は、伝送処理装置８００の各部をつないで情報を伝達する。なお本実施形態の場合、伝送処理装置８００と接続される外部の装置は、前述したようにカスケード接続された他のカメラアダプタ１２０（他の伝送処理装置８００）やスイッチングハブ１５０、対応カメラ１１２等である。
本実施形態では、表示部８１５と操作部８１６が伝送処理装置８００の内部に存在するものとするが、表示部８１５と操作部８１６との少なくとも一方が伝送処理装置８００の外部に別の装置として存在していてもよい。また、伝送処理装置８００は、表示部８１５や操作部８１６は、必ずしも備えていなくてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像取得装置、１１２：カメラ、１２０、カメラアダプタ、１４０：サーバ、１４０：コントローラ、１５０：スイッチングハブ、１６０：タイムサーバ、３２１：データ生成部、３３０：送受信処理部

Claims (14)

1. 伝送処理装置であって、
   撮像装置によって撮像された画像に基づいて前景画像データを生成する生成手段と、
   前記伝送処理装置に接続されている第１の別の伝送処理装置から前景画像データを受信する受信手段と、
   前記受信手段により受信された前景画像データを、前記伝送処理装置に接続されている第２の別の伝送処理装置に送信する送信手段と、
   を有し、
   前記送信手段は、前記受信手段により受信された前景画像データを前記第２の別の伝送処理装置に送信した後、前記生成手段により生成された前景画像データを前記第２の別の伝送処理装置に送信することを特徴とする伝送処理装置。
2. 前記受信手段により受信された前景画像データは、前記第１の別の伝送処理装置により生成された前景画像データであることを特徴とする請求項１に記載の伝送処理装置。
3. 前記受信手段により受信された前景画像データは、前記第１の別の伝送処理装置によって生成された前景画像データと、前記第１の別の伝送処理装置に接続された第３の別の伝送処理装置によって生成された前景画像データとを含み、
   前記第３の別の伝送処理装置によって生成された前景画像データを、前記第１の別の伝送処理装置を介して受信し、
   前記生成手段により生成された前景画像データは、前記第１の別の伝送処理装置により生成された前景画像データと前記第３の別の伝送処理装置により生成された前景画像データが送信された後に送信されることを特徴とする請求項１または２に記載の伝送処理装置。
4. 前記生成手段により生成された前景画像データは、前記受信手段により受信された前景画像データに含まれる情報に基づいて送信されることを特徴とする請求項１乃至３のいずれか１項に記載の伝送処理装置。
5. 前記受信手段により受信された前景画像データに含まれる情報は、インターネットプロトコルのヘッダに含まれる生存時間フィールドの値を示す情報であることを特徴とする請求項４に記載の伝送処理装置。
6. 前記受信手段により受信された前景画像データに含まれる情報は、後続のフラグメントの有無を示すラストフラグメントフラグを示す情報であることを特徴とする請求項４に記載の伝送処理装置。
7. 前記受信手段により受信された前景画像データに含まれる情報は、インターネットプロトコルのヘッダに含まれる生存時間フィールドの値を示す情報と、後続のフラグメントの有無を示すラストフラグメントフラグを示す情報であることを特徴とする請求項４に記載の伝送処理装置。
8. 前記生成手段により生成された前景画像データは、前記受信手段により受信された前景画像データが送信されるまで送信されないことを特徴とする請求項１乃至７のいずれか１項に記載の伝送処理装置。
9. 前記受信手段は、さらに前記第１の別の伝送処理装置から背景画像データを受信することを特徴とする請求項１乃至８のいずれか１項に記載の伝送処理装置。
10. 前記背景画像データは、前記第１の別の伝送処理装置に接続された第４の別の伝送処理装置により生成されたデータであることを特徴とする請求項９に記載の伝送処理装置。
11. 前記送信手段は、前記生成手段により生成された前景画像データが送信される期間内に送信可能な背景画像データを前記第２の別の伝送処理装置に送信することを特徴とする請求項１に記載の伝送処理装置。
12. 前記撮像装置は、同期して撮像を行う複数の撮像装置のうちの一つであり、
    前記複数の撮像装置による同期撮像の同期信号に基づいて、時間を計測する計測手段をさらに有し、
    前記送信手段は、前記受信手段により受信された前景画像データを前記第２の別の伝送処理装置に送信した後でかつ前記計測手段により計測された時間が所定時間を経過した後に、前記生成手段により生成された前景画像データを前記第２の別の伝送処理装置に送信する請求項１乃至１１のいずれか１項に記載の伝送処理装置。
13. 伝送処理装置の伝送処理方法であって、
    撮像装置によって撮像された画像に基づいて前景画像データを生成する生成工程と、
    前記伝送処理装置に接続されている第１の別の伝送処理装置から前景画像データを受信する受信工程と、
    前記受信工程において受信された前景画像データを、前記伝送処理装置に接続されている第２の別の伝送処理装置に送信する第１の送信工程と、
    前記受信工程において受信された前景画像データを送信した後、前記生成工程において生成された前景画像データを前記第２の別の伝送処理装置に送信する第２の送信工程と、
    を含むことを特徴とする伝送処理方法。
14. コンピュータに、請求項１３に記載の伝送処理方法を実行させるプログラム。

Images