JP7747625B2 - カラービデオ処理のための方法およびシステム - Google Patents

Description

海中現場、資産、環境、または他の任意の過酷な環境設備を調査する場合、ロボットまたは遠隔操作車両などの移動式調査装置を使用することが一般的である。簡潔にするために、そのような施設は調査現場と呼ばれ、そのような調査装置はモバイル装置と呼ばれる。

モバイル装置は、調査現場を画像化するための１つまたは複数のカメラを含むことができる。コンピュータ・ビジョン用途の場合、カラーカメラは通常、フルカラー画像を受信し、メタデータ（例えば３Ｄ情報）を生成するためにプロセッサに接続される。

本発明者らは、カラー画像の迅速かつ効率的なビデオ処理を可能にすることができる新しいモバイル装置および方法を考案した。

非限定的な概要として、本発明の実施形態は、カラー・フィルタ・アレイ（ＣＦＡ）画像の効率的なカラービデオ処理のためのシステムに関し、その結果、特定のタスクを実行するときに内部転送（例えば、ＲＡＭからプロセッサコアへ）されるデータが少なくなり、それらのタスクをより高速に実行することができる。既知のタイプのカラーカメラは、ＣＦＡ画像をキャプチャし、かつ（カメラ上で）デモザイク処理し、かつ補間して、画像全体にわたってピクセルごとに３つのカラーチャネルを生成し、データのサイズを３倍にしてフルカラー画像を生成する。したがって、ＣＦＡ画像化装置またはＣＦＡカメラは、画像をさらに処理することなくＣＦＡ画像を出力する。コンピュータ・ビジョン用途の場合、フルカラー画像およびメタデータは、他のアプリケーションまたは視覚装置に転送するための高帯域幅リンクを必要とする。

本発明の第１の態様によれば、カラービデオ処理のためのコンピュータ実装方法が提供され、本方法は、
ＣＦＡ画像化装置からＣＦＡ画像を受信するステップであって、ＣＦＡ画像は、複数の画像領域を画定するＣＦＡ画像ピクセルを含み、各画像領域は、第１の色の少なくとも１つのピクセルおよび第２の色の少なくとも１つのピクセルを有する、ステップと、
ＣＦＡ画像化装置とは異なるカラー画像化装置からフルカラー画像を受信するステップであって、フルカラー画像は、デモザイク処理された画像ピクセルを含むことができ、オブジェクトは、ＣＦＡ画像化装置とカラー画像化装置の両方によって画像化され、ＣＦＡ画像およびフルカラー画像に表される、ステップと、
フルカラー画像をメモリに記憶するステップと、
第１のカラーチャネルのピクセルを含む第１のカラーチャネルを生成するために、ＣＦＡ画像の第１の色のピクセルを分離するステップと、
第２のカラーチャネルのピクセルを含む第２のカラーチャネルを生成するために、フルカラー画像の第１の色のピクセルを分離するステップと、
第１の画像メタデータを生成するために、第１のコンピュータ・ビジョン・アルゴリズムを使用して第１のカラーチャネルのピクセルを処理するステップと、
第２の画像メタデータを生成するために、第１のコンピュータ・ビジョン・アルゴリズムを使用して第２のカラーチャネルのピクセルを処理するステップと、
第１の画像メタデータおよび／または第２の画像メタデータを使用して処理済データを生成するステップであって、処理済データが、オブジェクトを表す複数のデータ点を含む、ステップと、
を含む。

したがって、第１の態様による方法は、コンピュータ・ビジョン処理を実行するために、フルカラー画像化装置と組み合わせたＣＦＡ画像化装置を有する非対称カメラシステムを使用する。ＣＦＡ画像化装置とカラー画像化装置の両方を使用することは、処理効率を向上できるビデオ処理の相乗効果を提供し、コンピュータ・ビジョン・タスクが過酷な環境においてリアルタイムで正確に実行することを可能にする。非対称システムはまた、データのライブ処理にもよく適している。これにより、後処理を必要とせずに、過酷な環境でリアルタイムに調査現場の３Ｄモデルを生成することができる。

本方法は、カラー・ビデオ・データを処理して、オブジェクトを表す複数のデータ点を含む処理済データ（例えば、３Ｄモデルデータ）を生成することを含む。カラー・ビデオ・データを処理する本方法は、データのより効率的な処理をもたらすことができるカラービデオ処理の技術分野への技術的貢献であり、後処理の代わりにそのようなデータのリアルタイム処理を可能にする。これにより、例えば調査によって危険な状況が明らかになった場合に、リアルタイムの意思決定が可能になる。

本方法は、本方法を実施するモバイル装置のコンピュータ上の処理効率の向上、すなわち処理済データを生成するための計算負荷を低減できる。これにより、従来のシステムと少なくとも同精度であるが、消費電力が低減され、熱的制約が低減され、より少ないおよび／またはあまり強力でないプロセッサでのリアルタイム処理が可能になる。

さらに、上記の方法による高解像度ＣＦＡ画像および低解像度カラー画像の処理は、既知のシステムの、ほぼ２倍の出力解像度、または半分の帯域幅、を可能にすることができる。従来のシステムと比較して、本方法は、同じ処理能力に対して、より高いフレームレート、より高い空間解像度、より高い色解像度、および／またはフルカラーでの通常の２Ｄ画像をもたらすことができる。

輝度を計算し、画像をダウンサンプリングする従来のステップは、部分的に、場合によっては完全に、回避することができる。単一のカラーチャネルが、特に海中環境における輝度の適切な代用であるので、従来のステップを回避することができる。（ステレオ）ビデオ処理およびコンピュータ・ビジョンにおけるタスクの大部分は、輝度を使用する。輝度－彩度の表現は、明るさおよび色差を使用する。輝度は、赤、緑、および青（ＲＧＢ）のカラーチャネル（または取得時のカメラセンサに応じた他のカラーチャネル）の組み合わせから導出され、正確な式は最終用途に依存する。本発明者らは、単一のカラーチャネルが、ビデオ処理およびコンピュータ・ビジョン（例えば、追跡またはマッチングのアルゴリズム）を実行するための輝度の十分な代用を提供することができることを見出した。ＣＦＡ画像を使用することは、システムの周囲で転送されるデータが少なく、フルカラー画像を後の段階でデモザイク処理できることを意味する。したがって、本方法は、画像がデモザイク処理されないように「ＲＡＷ」構成で少なくとも１つのカメラを動作させることを含むことができる。これは、フルカラー画像を生成する必要があるか、そうするのに好都合である場合、処理の後半までフルカラー画像を生成する必要がないことを意味する。

カラーカメラによって提供されるようなフルカラー画像は、ライブビューに有用であり、フルカラー画像を３Ｄ点に位置合わせして、カラー３Ｄモデルを生成することができる。

したがって、画像処理および／またはコンピュータ・ビジョン・アルゴリズムは、ＣＦＡ画像上で直接実行されるので、その結果、必要に応じて後にフルカラー画像を復元する能力を維持しながら、プロセッサ間で転送されなければならないデータは少なくなる。過
酷な環境などの制約のある帯域幅状況では、利用可能な伝送帯域幅を効率的に利用するために、データフロー量を慎重に制御する必要がある。ＲＡＷキャプチャモードで実行することにより、より高いキャプチャ・フレーム・レートを使用し、より多くの画像をキャッシュに記憶することが可能になる。ＲＡＷで動作する場合、処理のための画像を単純化するために、高ダイナミックレンジをキャプチャすることができ（例えば、ピクセルあたり１６ビット）、画像をピクセルあたり８ビットなどの低い色解像度にビットシフトできる。これにより、ハードウェアの記憶要件を低減できる。これは、ＹＵＶ ４：２：２（１６ビット／ピクセル）（サブサンプル色）としての従来のデモザイク処理された８ビット出力とは対照的であり、これはカラー画像化装置の出力とすることができる。

カメラは同期させることができる。カメラが較正されている場合、デモザイク処理されたカメラの相対位置は、姿勢によって決定することができる。カメラが同期されていない場合、デモザイク処理されたカメラの相対位置は、走行距離計の姿勢および補間によって決定することができる。

ピクセルを分離するステップは、必ずしもＣＦＡ画像の第１の色の全ピクセルを有する第１のカラーチャネルを分離して生成するとは限らない。ピクセルを分離するステップは、例えば、ＣＦＡ画像の第１のチャネルのピクセルの全部ではないが一部を含むことができる。

各カラーチャネルのサイズおよび／または解像度は、一方のカラーチャネルが他方よりも高い解像度を有するように変化できる。

メモリは、揮発性または不揮発性メモリ記憶装置とすることができる。

画像領域は、各色ピクセルのうちの少なくとも１つを含む単一の基本ＣＦＡパターンを含むことができる。例えば、ＣＦＡパターンがベイヤー配列である場合、画像領域は、２つの緑色ピクセル、１つの赤色ピクセル、および１つの青色ピクセルを含む、少なくとも四角形を含むことができる。

ＣＦＡ画像化装置およびカラー画像化装置は、ステレオシステムに設置することができる。ステレオ処理システムの場合、フル解像度画像を使用することは要件ではない。例えば、用途に応じて、４Ｋビデオフレームは、追跡に必要とされるよりも多くの細部を有することができる。したがって、ＣＦＡ画像からの単一のカラーチャネルのみを使用する必要があり、さらに、フル解像度画像を作成するためにすべての単一のカラー・チャネル・ピクセルの補間を実行する必要はない場合がある。

用途によってフル解像度が必要とされるとき、ビデオからの全フレームが必要とされるわけではなく、例えば、いくつかのアルゴリズムは、キーフレームまたは他の有用な頻度が少ないフレームのみを必要とする。

フルカラー画像の第１のカラーチャネルは、ＣＦＡ画像の第１のカラーチャネルと同じであり得る。例えば、第１のカラーチャネルが緑色チャネルである場合、第２のカラーチャネルも緑色チャネルである。カラーチャネルは、特定のカラーフィルタ（例えば、ベイヤーフィルタなどのＲＧＢフィルタアレイの緑色（Ｇ）カラーフィルタ）を通過する光の強度を表すデータのみを含むチャネルとして定義することができる。

ＣＦＡ画像は、フルカラー画像よりも、ピクセルあたりでより高いダイナミックレンジを有することができる。例えば、ＣＦＡ画像は、ピクセルあたり１６ビットのダイナミックレンジを有することができ、フルカラー画像は、ピクセルあたり８ビットのダイナミッ
クレンジを有することができる。これは主に、厳しい帯域幅制約によるものである。

第１の態様の方法は、第２のＣＦＡ画像の対応する画像領域の第２の色の少なくとも１つのピクセルを使用して、各データ点の色を修正することによってカラー処理済データを生成することができる。これにより、フルカラーであるが、低減された処理能力を用いたビデオ処理によって生成することができるカラー処理済データと実質的に同一のカラー処理済データが得られる。

第１の態様の方法は、
データ点または各データ点をフルカラー画像の対応する画像領域と相関させるステップと、
フルカラー画像の１つまたは複数のピクセルを使用して、上記データ点または各データ点の色を修正することによって、カラー処理済データを生成するステップと、
を含む。

第１の態様のカラービデオの処理に関連する利点は、（同じフレームレートを仮定して）、ＣＦＡ画像化装置が、フルカラー画像化装置と比較してより低い帯域幅のデータを生成することができることである。これは、処理済データを生成するためのＣＦＡ画像のより速い処理をもたらすことができる。しかし、処理済データが着色されることが望ましい。したがって、メモリに記憶されたフルカラー画像を使用して、処理済データを着色することができる。色が１つのカメラのみから来る場合、上記データ点または各データ点の色をレンダリング／修正するときに、色がマッチングする必要はない。２つ以上のカメラが、上記データ点または各データ点の色をレンダリング／修正するために色情報をキャプチャする場合、色マッチングが必要となるであろう。これは、より速い処理からの利点をもたらし、ＣＦＡ画像をデモザイク処理する必要性を回避する。

第１および／または第２の画像メタデータは、動き、視差、エッジ、およびセグメンテーションの少なくとも１つを備える。

処理済データは、キーフレーム、選択画像セグメント、および３Ｄモデルデータのうちの少なくとも１つを備えることができる。

３Ｄモデルデータは、３Ｄ再構成アルゴリズムによって生成できる。

処理済データがキーフレームまたは選択画像セグメンテーションである場合、処理済画像データを生成するステップは、第１または第２の画像メタデータの一方のみで達成することができる。

水中３Ｄ調査の場合、オブジェクト／シーンの３Ｄモデルは、３Ｄモデルデータから増分的に構築することができ、より多くの画像が処理されるにつれて、モデルに新しい点の一群を定期的に追加する。固有のデータ点（例えば３Ｄモデル点）が見つかるとフルカラーを生成することができ、フルカラーは、フルカラー画像から、またはＣＦＡ画像をデモザイク処理することで、作成できる。

第２の画像メタデータは、オブジェクト検出アルゴリズムを用いて処理され、フルカラー画像内のオブジェクトを検出し、オブジェクトにラベルおよび位置を割り当てることができる。オブジェクト検出アルゴリズムは、フルカラー画像の処理によく適している。

第１の画像メタデータは、オブジェクト検出アルゴリズム用いて処理され、第１の画像内のオブジェクトを検出し、オブジェクトにラベルおよび位置を割り当てることができる
。第１の画像メタデータは、ＣＦＡ画像がフルカラー画像よりも高い解像度である場合、オブジェクト検出により適し得る。これは、識別用のオブジェクトが完全な（キャプチャされた）画像のわずかな比率でしか表されない場合に、特に当てはまる。わずかな比率は、全画像領域の１０％、５％、３％、１％、または０．５％であってもよい。

第１のカラーチャネルは緑色とすることができる。水中では、赤色光は水によって減衰され、緑色チャネルが、さらに支配的になる。したがって、輝度の良好な代用は、緑色チャネルであり得る。緑色ピクセルは、前述のアルゴリズムにおける輝度の代わりに使用することができる。低照度車両（例えば自動運転車）の運転状態では、この状態の赤色が輝度の良好な代用であるため、赤色チャネルが望ましい場合がある。

本方法は、デモザイク処理されたフルカラー画像を生成するために、ＣＦＡ画像をデモザイク処理するステップをさらに含むことができる。シンクライアントに送信するため、または後処理用に記憶するために、デモザイク処理されたフルカラー画像を使用して、各データ点の色を修正することができる。

第１のカラーチャネルを生成するステップは、第１の画像メタデータを生成するために第１のコンピュータ・ビジョン・アルゴリズムを使用して第１のカラーチャネルのピクセルを処理するステップの前に、ＣＦＡ画像のフル解像度の第１のカラーチャネル画像を生成するために、第１の色の分離されたピクセルから空ピクセルを補間するステップを、含むことができる。

空ピクセルは、関連する色情報を有しないピクセルである。それらは、ＣＦＡ画像から特定の色を無視することから生じる可能性があり、ＣＦＡ画像のそれらの色が無視された場所では、ＣＦＡ画像の対応するピクセルには色情報がない。補間のプロセスは、空ピクセルの色情報を生成する。

フルカラー画像の第１の色のピクセル（フル解像度のピクセル）を分離するステップは、第２のカラーチャネルを生成するために、フルカラー画像の第１の色のピクセルをダウンサンプリングするステップを、さらに含むことができる。

カラー処理済データは、低帯域幅リンクを介して、外部コンピューティング装置に送信することができる。

水中から上部へのフルカラー高解像度ビデオの送信は、低帯域幅のテザーによって制限され得る。したがって、特に水中３Ｄ調査では、カメラの近くで（ステレオ）処理を実施し、低帯域幅３Ｄデータ（点群と各点の色など）を送信すると便利である。これにより、ライブのカラー３Ｄデータをボート／上部に送信することができる。カメラでは、ＣＦＡ画像は、カメラが水から取り出されたときのカラービデオとして、直接記憶されるか、または、デモザイク処理された後に記憶することができる。

データ点は、３Ｄモデルデータ点とすることができる。処理済データを生成するステップは、
ＣＦＡ画像内の第１の特徴を検出するために、特徴検出アルゴリズムを用いて第１の画像メタデータを処理するステップと、
フルカラー画像内の第２の特徴を検出するために、特徴検出アルゴリズムを用いて第２の画像メタデータを処理するステップと、
第１の特徴および第２の特徴に基づいて、複数のデータ点のうちの１つを生成するステップと、
を含む。

特徴検出アルゴリズムは、コンピュータ・ビジョンの技術分野において周知である。第１および第２の特徴は、オブジェクト上の同じ特徴（例えば、箱の角）とすることができる。両方のカメラはわずかに異なるが重なり合う視野を有するので、特徴は両方の画像（ＣＦＡおよびフルカラー）に別々に存在し、識別され、さらに３Ｄモデルデータ点を生成するために使用できる。

ＣＦＡ画像内の第１の特徴は、特徴追跡アルゴリズムで追跡できる。ＣＦＡ画像は、フルカラー画像と比較して低帯域幅にすることができ、第１の特徴は既に識別されているので、第１の特徴は、ＣＦＡ画像を用いて効率的かつ迅速に追跡できる。特徴を追跡することは、それを再度検出するよりも計算上効率的である。したがって、特徴を追跡でき、それが存在するようになる場合、これは完全な特徴検出の前に起こり得る。

３Ｄモデルは、自律的かつリアルタイムで環境の周り／通過をナビゲートするために使用できる。

第１の態様の方法のステップの一部または全部は、海中環境などの過酷な環境で実行できる。

本発明の第２の態様によれば、環境を調査する方法が提供され、本方法は、
調査現場内でモバイル装置を移動させることであって、モバイル装置が第１の態様の方法を実施する、移動させることを含む。

したがって、ビデオ処理は環境調査に適しており、複数のＣＦＡ画像およびフルカラー画像の解像度およびフレームレートを、調査プロセスの段階に基づいて、選択することができる。複数のＣＦＡ画像およびフルカラー画像の第１と第２の解像度、ならびに、第１と第２のフレームレートは、調査現場の相対光レベルの測定値に基づいて、選択することができる。

環境は、石油およびガスのパイプラインまたはリグなどの海中環境を含むことができる。

調査タスクは、ＣＦＡ画像化装置の較正、特徴追跡、特徴検出、動き推定、再構成、および視差推定のうちの少なくとも１つを含むことができる。

したがって、コンピュータ・ビジョンでは、カメラ較正、特徴検出、特徴追跡、動き推定、再構成、視差推定などのタスクにフルカラー情報は必要とされない。これらのタスクはすべて、計算的に高価であり得るが、フルカラー画像を必要とせず、通常は輝度画像で動作する。しかしながら、フルカラー画像は、オブジェクト検出アルゴリズムにとって計算上効率的であり得る。

本発明の第３の態様によれば、海中などの過酷な環境で調査するためのモバイル装置が提供され、モバイル装置は、
ＣＦＡ画像を生成するように構成されたＣＦＡ画像化装置と、
ＣＦＡ画像化装置とは異なり、フルカラー画像を生成するように構成されたカラー画像化装置と、
ＣＦＡ画像化装置とカラー画像化装置とが重なり合う視野で取り付けられるプラットフォームと、
第１の態様の方法を実行するように任意選択的に共に構成された、第１のデータプロセッサおよび第２のデータプロセッサと、
ＣＦＡ画像化装置と第１のデータプロセッサとの間に結合された第１のデータリンクと、
第１のデータプロセッサに結合された第１のコンピュータメモリと、
カラー画像化装置と第２のデータプロセッサとの間に結合された第２のデータリンクと、
プラットフォームに取り付けられるように配置され、密閉された内部空間を画定する第１のケーシングであって、少なくともＣＦＡ画像化装置、第１のデータプロセッサ、および第１のデータリンクが、第１のケーシングの密閉された内部空間内に収容され、ＣＦＡ画像化装置が、ＣＦＡ画像をキャプチャするために第１のケーシングから外向きに配置される、第１のケーシングと、を備える。

モバイル装置は、
密閉された内部空間を画定し、プラットフォームに取り付けられるように配置された、第２のケーシングであって、カラー画像化装置と、第２のデータプロセッサと、第２のデータリンクとを備え、カラー画像化装置は、フルカラー画像をキャプチャするために第２のケーシングから外向きに配置される、第２のケーシングと、
第１のデータプロセッサと第２のデータプロセッサとの間で、任意選択的に第１のケーシングおよび第２のケーシングの密閉された内部空間の外側に、結合された第３のデータリンクと、備える。

モバイル装置は、海中画像化用の海中カメラモジュールとすることができ、環境は過酷な環境および／または深海環境である。

モバイル装置は、水中遠隔操作可能ビークル（ＲＯＶ）、自律水中ビークル（ＡＵＶ）、無人航空機（ＵＡＶ）、無人地上ビークル（ＵＧＶ）、無人水中ビークル（ＵＵＶ）、または無人水上ビークル（ＵＳＶ）などの遠隔操作可能なまたは自律型のモバイルプラットフォームを含むことができる。

一例では、モバイル装置は、推進システムと、操舵システムと、車両に対して遠隔にある制御ステーションまたは第１のデータプロセッサから提供される指令信号に従って、推進システムおよび操舵システムを制御するように構成された指令コントローラと、を含む海中遠隔操作可能なまたは自律型の車両を備えることができる。

第１および第２のケーシングなどのケーシングは、その外部と内部との間の圧力差に耐えるように構成された、または圧力補償ガスもしくは流体で満たされた、圧力容器とすることができ、過酷な水中環境（少なくとも２メートルの水、または少なくとも５メートルの水、または少なくとも１０メートルの水、場合によっては少なくとも２０メートルの水など）で、カメラモジュールが継続的に使用されることを可能にする。他の実施形態では、ケーシングは、他の過酷な環境（真空中など）で、カメラモジュールが連続的に使用可能となるように構成できる。

システムは、画像の低解像度バージョンを遠隔サーバに送信しながら、オフラインでさらに処理するために画像の高解像度バージョンを、第１のコンピュータメモリに記憶することができる。送信された画像は、より低い空間、時間、または色解像度を有することができる。例えば、画像を半分のサイズにダウンサンプリングすることができ、キーフレームを選択することができ、または３つのチャネルから単一のカラーチャネルに色を減らすことができる。

任意選択の態様の任意の特徴は、類似の方法で他の任意の態様に適用することができる。

本発明の一実施形態によるモバイル装置のシステム略図である。 図１のモバイル装置のカメラモジュールの略図である。 本発明のさらなる実施形態によるモバイル装置のシステム略図である。 ＣＦＡの図である。 本発明の一実施形態によるＣＦＡの分離されたグリーン・ピクセルの図である。 緑カラーチャネルの図である。 図６の緑カラーチャネルの画像領域を選択する図である。 図４のＣＦＡの対応する画像領域を選択する図である。 画像領域から着色処理済データを生成する図である。 本発明のさらなる実施形態によるモバイル装置のシステム略図である。 本発明のさらなる実施形態によるモバイル装置のシステム略図である。 本発明の一実施形態によるカラービデオ処理のための方法のフローチャートである。

図１を参照すると、本発明の一実施形態による過酷な環境を調査するためのモバイル装置が、全体として１０で示されている。モバイル装置１０は、２メートルを超える水中、海中、または宇宙の真空中、での連続使用などの過酷な環境への展開用に構成され、遠隔操作ビークル（ＲＯＶ）、自律水中ビークル（ＡＵＶ）、ロボットプラットフォームなどを備えることができる。

過酷な環境は、機械的応力、放射応力、化学反応および温度暴露などの厳しい要件をカメラモジュールに課す。機械的応力は、圧力、衝撃、振動、および熱膨張係数（ＣＴＥ）の不一致を含むことができる。放射応力は、宇宙線、および電磁気からの磁気的影響を含むことができる。塩水、水分、燃料、および有害ガスなどの化学物質は、そのようなカメラモジュールと反応する可能性がある。－４０°Ｃ未満および／または１２５°Ｃを超える温度も、過酷な環境で経験する可能性がある。

モバイル装置１０は、遠隔操作可能なまたは自律型の車両１４に搭載されたコンピューティング装置１２を備える。図２を参照して以下により詳細に説明するように、コンピューティング装置１２は、海中などの過酷な環境で動作することを可能にするために保護ケーシング１６内に収容される。

コンピューティング装置１２は、互いに通信可能に結合されたデータプロセッサ１８を備える。データプロセッサ１８は、第１のカメラ２０ａおよび第２のカメラ２０ｂに通信可能に結合され、カメラ２０ａおよび２０ｂから画像を受信する。

第１のカメラ２０ａは、カラーフィルタ配列（ＣＦＡ）画像カメラである。ＣＦＡは、画像上のパターンで特定の色のみをキャプチャするピクセルを実現するためにカラーフィルタが使用されるシステムである。ＣＦＡ画像化装置（例えばＣＦＡカメラ）は、３センサカメラよりも安価で軽量であり、カラーホイール（色相環）カメラよりもコンパクトにすることができる。ＣＦＡ画像化装置は、一般に、単一センサによって受信されたものを正確に出力するために、単一センサの前に色フィルタアレイを有する単一センサ装置である。ＣＦＡ画像は、「ＲＡＷ」画像と呼ばれることもある。

第２のカメラ２０ｂは、フルＲＧＢカラー画像を出力するように構成されたフルカラーカメラまたは汎用カメラである。カラー画像化装置は、カメラからフルカラー画像を生成
して出力するために、ＣＦＡ画像をデモザイク処理するように組み込まれた画像プロセッサを有するＣＦＡ画像化装置とすることができる。デモザイク処理は、ＣＦＡ画像からフル解像度カラーチャネルを生成するプロセスである。フル解像度は、元の（キャプチャされた）ＣＦＡ画像の解像度である。デモザイク処理は、各色のピクセルを部分解像度の画像／チャネルに空間的に分離することを含む。言い換えると、デモザイク処理は、各カラー・フィルタ・ピクセルを部分解像度カラーチャネル上に分離することを含む。部分解像度カラーチャネルは、他のカラーフィルタがあったであろう空ピクセルを有するただ１つのカラーフィルタのアレイである。これらの部分解像度カラーチャネルは、各色のカラーチャネル（フル解像度、すなわち、全ピクセルがカラーフィルタのピクセルである）を生成するために、補間することができる。良質のデモザイク処理アルゴリズムは、補間中に発生する可能性があるエッジアーチファクトの大部分を隠すことができる。デモザイク処理されたＣＦＡ画像は、各ピクセルが３つのカラーチャネルを有するように、すべてのカラーチャネルを組み合わせることができる。

あるいは、カラー画像化装置は、３センサ（カラーチャネルごとに１つ、例えば、赤、緑、青）装置、またはカラーホイールを有する単一センサ装置であってもよい。ＣＦＡカメラはまた、カラーカメラと比較して安価にすることができ、部分的には、カメラ上での処理能力が低減され、その結果、構成要素が少なくなり、電力消費が低減される。

カメラ２０ａ、２０ｂは、共通プラットフォーム１４に取り付けられるなど、既知の空間的配置で取り付けられる。カメラ２０ａ、２０ｂは、両カメラから出力される画像にはオブジェクトが出現するが、観測角度の違いにより見え方が異なるように、視野が重なり合って配置されている。カメラ２０ａ、２０ｂからの画像は、３Ｄ再構成アルゴリズムがオブジェクトサイズをスケーリングすることを可能にし、これにより、候補オブジェクトが適切なサイズであるときにオブジェクト検出アルゴリズムに通知することができ、さらに、より正確な３Ｄモデル（例えば、３Ｄ点群）を作成することができる。

３Ｄ再構成アルゴリズムは、カメラ２０ａ、２０ｂの空間配置のいずれかからの重なり合う画像を使用することができる。結果として、３Ｄ点群の単一のデータ点は、それに関連付けられた（複数の画像からの）複数のピクセルを有することができる。

他の実施形態では、追加のビューを使用して異なる対のカメラからオブジェクトを再構成することができるように、第１および／もしくは第２のカメラ２０ａ、２０ｂ、または、追加のカメラの対に対して、異なるが重なり合う視野を１つ以上の追加のカメラに設けることができる。３Ｄ再構成は、追加のデータプロセッサで実行することができ、すべてオブジェクト検出アルゴリズムにフィードバックする。

データプロセッサ１８は、ネットワークインターフェース（図示せず）、ならびに、揮発性および不揮発性のメモリ２２などの他の装置に結合することができる。メモリ２２は、画像、ビデオ、またはメタデータ、ならびにアルゴリズムを記憶することができる。データプロセッサ１８は、計算的に複雑な画像処理およびコンピュータ・ビジョン・アルゴリズムに適し得る。例えば、データプロセッサは、ＧＰＵコアを含む（しかし、必須ではない）処理コアと、ＮＶｉｄｉａ（登録商標）Ｔｅｇｒａ（商標）システム・オン・チップ（ＳｏＣ）などのビデオコーデックまたはＡＩ動作のための組み込み処理とを備えることができる。データプロセッサ１８は、１つまたは複数の通信可能に結合されたコアおよび／または別個のプロセッサを備えることができる。

データプロセッサ１８は、３Ｄモデルを開発するために３Ｄ再構成アルゴリズムを実行するように構成される。ビデオまたはカメラ画像から３Ｄモデルを生成するために、３Ｄ再構成アルゴリズムは、例えば第２の画像内のオブジェクトのエッジを構成するキー点を
取得し、キー点を、他の画像（以前にキャプチャされた画像または他のカメラによって同時にキャプチャされた画像など）からの対応するキー点と関連付けることができる。各画像に関連付けられたカメラの姿勢を知ることで、各画像のキー点、および特定の点に対する光線が交差するか、または３Ｄモデル内の対応する点の３Ｄ位置を表す３Ｄ空間に最もよく適合する点、を介して、カメラ位置から光線を投影することができる。３Ｄ再構成アルゴリズムは、動きからの構造復元（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）、またはビデオもしくはカメラ画像から３Ｄモデルを生成する他の任意の適切な技術とすることができる。３Ｄモデルは、例えば点群を含むことができる。３Ｄ再構成アルゴリズムは、一対の画像から３Ｄモデルの構築を開始することができるか、またはデータプロセッサによって既に構築されている３Ｄモデルを拡張するために第２の画像を使用することができる。

正確な３Ｄモデルを作成するために、３Ｄ再構成アルゴリズムは複数の入力画像を必要とする。言い換えると、３Ｄオブジェクトをモデル化するために、オブジェクトの周りの異なる角度での複数の画像は、オブジェクトのより信頼性の高い３Ｄモデルを構築するのに役立つ。２つの画像が連続して撮影され、カメラ２０ａ（またはカメラ２０ｂ）のキャプチャ・レートが高い場合、２つの画像は非常に類似している可能性が高く、受信した後者の画像は前の画像にほとんど情報を追加しない。「キーフレーム」は、オブジェクトの２つの固有の視野間の相違度によって定義することができる。３Ｄ再構成アルゴリズムは、受信した第３の画像を、先行する第２の画像（または以前の画像）と比較して、相違度を決定するように構成することができる。第３の画像は、オブジェクトおよび／またはカメラ２０ａ（もしくはカメラ２０ｂ）の移動に起因して、第２の画像に対して異なる視点からのオブジェクトを含むことができる。差分閾値を超えると、受信画像はキーフレームとしてマークされる。他の実施形態では、キーフレームは、データプロセッサ１８以外のデータプロセッサによって、および／または、キーフレーム間の一定時間（例えば１秒）待機する、もしくはｎ番目のフレームごとに選択する、などの他の手段によって、識別することができる。あるいは、慣性測定ユニットを使用して、カメラ位置がキーフレームを開始するのに十分に移動したことを判定することができる。

３Ｄ再構成アルゴリズムは、入力画像のすべてを処理し、キーフレームを選択して、構築中のモデルによく適合する点を追加することができる。キーフレームからの点は、つなぎ合わされて、点群であって、メッシュに処理され、コンピュータグラフィックスを有するソリッド・オブジェクトとしてレンダリングされ得る点群を形成する。キーフレームが追加されるたびに、カメラビューは通常、モデル上の固有のビューである。キーフレームの完全なセットは、オブジェクトの完全なモデルを作成するのに必要なオブジェクトのすべてのビューを提供することができるので、固有の視野は、オブジェクト検出アルゴリズムへの入力に最適である。オブジェクト検出アルゴリズムは、モバイル装置１０上で、または例えばサーバ上で遠隔的に、実行することができる。

図示の実施形態では、コンピューティング装置１２は、例えば無線基地局を備えることができるデータトランシーバ２６をさらに備える。

ここで図２を参照すると、図示の実施形態のコンピューティング装置は、過酷な環境で画像化するためのカメラモジュール３０を備える。カメラモジュール３０は、内部空間を有する防水ハウジングを画定するケーシング１６を有する。ケーシング１６の一端は、透明な窓またはレンズ３２を含む。カメラ２０ａおよび２０ｂは、内部空間内に取り付けられ、窓３２を通して外部環境の画像をキャプチャするように配置される。ケーシング１６の内部空間は、Ｏリングシールされたフランジを介してケーシング１６の本体に取り外し可能に結合されたケーシング・エンド・キャップ１６ａを取り外すことによってアクセスすることができる。ケーシング・エンド・キャップ１６ａとケーシングの本体との間にシ
ールを設けて、水の浸入を阻止することができる。この実施形態のケーシング１６は、ステンレス鋼から形成され、深海環境、ならびに／または海底石油およびガスインフラストラクチャ現場などの水中の過酷な環境でカメラモジュール３０が受ける可能性のある高圧に構造的に耐えるように、円筒形状である。他の実施形態では、ケーシング１６の材料および／または形状は、展開環境（例えば、アルミニウム、ベリリウム銅、チタン、プラスチック、アイオノマー、ＰＥＫＫ、炭素繊維またはセラミック）に応じて、応力、化学的および／または温度耐性を提供するために、変更することができる。ケーシング１６の材料および形状は、強固で堅固な構造をもたらすことが好ましい。ケーシング１６の形状は、角柱または円筒形などの任意の耐圧形状とすることができる。カメラ２０ａおよび２０ｂは、ケーシング１６がカメラ２０ａおよび２０ｂの少なくとも一部（例えばカメラ２０ａおよび／または２０ｂのレンズ）と流体シールを形成するように、ケーシング１６の一部を形成することができる。他のエンド・キャップ・シールは、貫通ボルトまたはねじ式チューブ含む方法を使用して形成することができる。コンピューティング装置１２の構成要素の一部または全部は、ケーシング１６内に収容することができる。ポートＰ１～Ｐ５は、カメラモジュールが海中などの過酷な環境で動作している間に外部データリンクを提供するために、他のカメラモジュール、カメラモジュールなどへの有線接続のために設けることができる。

上述の実施形態では、両方のカメラ２０ａ、２０ｂが共通のケーシング１６内に収容されているが、他の実施形態では、各カメラをそれぞれのケーシング内に取り付けて、それぞれのカメラモジュール１２ａ、１２ｂを形成することができる。例えば、図３に示すように、さらなる実施形態によるコンピューティング装置１０ａは、遠隔操作可能なまたは自律型の車両１４ａに取り付けられた一対のカメラモジュール１２ａおよび１２ｂを備えることができる。そうでなければ、コンピューティング装置１０ａは、図１および図２のコンピューティング装置１２と機能的に同一であり得る。カメラモジュール１２ａ，１２ｂは、海中等の過酷な環境下で動作するための保護ケーシング１６ａ，１６ｂを有する。カメラモジュール１２ａは、カメラ２０ａから画像を受信するために、カメラ２０ａに通信可能に結合されたデータプロセッサ１８ａを備える。カメラ２０ａは、カラー・フィルタ・アレイ（ＣＦＡ）画像カメラである。カメラモジュール１２ｂは、カメラ２０ｂから画像を受信するためにカメラ２０ｂに通信可能に結合されたデータプロセッサ１８ｂを備える。カメラ２０ｂは、フルＲＧＢカラー画像を出力するように構成されたフルカラーカメラまたは汎用カメラである。カメラモジュール１２ａ、１２ｂのいずれかがトランシーバ２６を備えることができ、または両方がトランシーバ２６を備えることができる。

図４を参照すると、ＣＦＡパターンの具体例（ＣＦＡ画像化装置２０ａの出力）、すなわち、緑Ｇ、赤Ｒおよび青Ｂのピクセルを使用するベイヤー配列４０が示されている。他の実施形態では、任意のＣＦＡパターンおよび色を使用することができる。ベイヤー配列４０は、単一のセンサカメラの前に配置されたフィルタであり、画像が撮影されると、緑Ｇ、赤Ｒ、および青Ｂのピクセルからなる画像が生成される。各ピクセルは、画像被写体のその色のそれぞれの光量を表す関連する数値を有する。

既知のコンピュータ・ビジョン・タスクおよびアルゴリズムは、出力を生成するために入力として輝度を使用する。輝度は、ＣＦＡパターンのすべての色の組み合わせから導出され、一般に、各色に関連付けられた各値は、輝度値を生成するために異なる量によって重み付けされる。

ＣＦＡを使用するほとんどの単一のセンサカメラ（例えば、カラーカメラ２０ｂ）では、キャプチャされたＣＦＡ画像からの生データが直ちにデモザイク処理されて、各々がＣＦＡと同じ解像度を有する３つのカラーチャネルが生成される。デモザイク処理は、２ステップ処理であり、ｉ）ＣＦＡの各色（例えば、赤、緑、青の３色）について同じ色ピク
セルのパターン（図５に示すように、ピクセル・パターン５０）を生成するために、ＣＦＡパターンの色を分離または分割するステップ、ｉｉ）各々がＣＦＡと同じ解像度を有する３つのカラーチャネル（例えば、赤、緑、青）を生成するために、同じカラーピクセルの各パターンを補間するステップ、とを含む。これらの３つのカラーチャネルを組み合わせて、フルカラー画像を生成することができる。この処理は、プロセッサに組み込まれたカメラによって、従来のＣＦＡカラーカメラの各画像に対して自動的に行われる。

本発明者らは、コンピュータ・ビジョン・タスクまたはアルゴリズムに大きな影響を与えることなく、ＣＦＡの単色を輝度の代用として使用できることを認識した。単一の色は、最も重み付けされた色、または所与の画像環境に最も存在する色とすることができる。例えば、水中環境では、他の色の光と比較して緑色の光の割合が大きい。また、一般的には、輝度計算のために緑色の光が最も重み付けされる。したがって、海中測量環境では、緑色入力のみでコンピュータ・ビジョン・タスクおよびアルゴリズムを実行することが有利であり得る。

図５は、上記の従来の方法とは対照的に、ただ１つのカラーチャネルしか必要とされないため、キャプチャされたＣＦＡ画像からの生データが、カメラからデータプロセッサ１８に転送されることを示している。第１の色のピクセルは分離され、残りの色のピクセルが除去されたピクセル・パターン５０を生成する。それらが存在しない場合、空ピクセルＶは、第１の色Ｇの既存ピクセルと共に示されている。このピクセル・パターン５０は、本明細書でカラーチャネルと呼ばれるサブサンプリングされた緑色画像を表す。このピクセル・パターンは、コンピュータ・ビジョン・アルゴリズムによって直接処理することができる。

図６に示すように、カラーチャネルのピクセルを含むフル解像度カラーチャネル画像を生成するために、空ピクセルＶを埋めることができる。ベイヤー型ＣＦＡを仮定して、フル解像度カラーチャネル画像を生成するための４つの方法は以下の通りである。
１．欠落したカラーピクセルを、４つの近傍から単純に補間する。
２．カラーチャネルのみをデモザイク処理する。
３．２×２ブロック内の２つのカラーピクセルを単純に平均する（これにより、４分の１の解像度の平滑化画像が生成される）。
４．両方の座標が偶数であるピクセルのみを選択する（これにより、４分の１の解像度のデシメーションが生成される）。

これらの方法は、他の種類のカラーフィルタ配列、例えばＦｕｊｉ Ｘ－ｔｒａｎｓ、ＲＧＢＷまたはＲＧＢＥに適合させることができる。方法４の場合、エイリアシングの問題を回避するために、既知のフィルタ処理技術を実行することができる。

例えば、図５では、空ピクセルＶ１は、その４つの隣接するＧ１、Ｇ２、Ｇ３、Ｇ４の補間によって、埋めることができる。補間は、画像のすべての空ピクセルＶについて繰り返すことができる。

図６は、結果として得られるフル解像度カラーチャネル画像６０を示す。これは、最終処理済データにおけるエラー検出、オブジェクト検出および３Ｄ再構成アルゴリズム（すなわち、機械学習）の改善、および情報の表示など、のいくつかの処理に有用であり得る。

カラーチャネル５０は、第１の画像メタデータを生成するために第１のコンピュータ・ビジョン・アルゴリズムを使用して処理することができる。

画像メタデータは、画像化の環境内に存在する形状またはオブジェクトのエッジを定義するデータにできる。あるいは、メタデータは、視差、セグメンテーション、または動きを定義することができる。連続的に撮影された２つのＣＦＡ画像から、動きに対応する画像メタデータを見つけることができ、これらの画像の両方を処理して、第１のカラーチャネルを生成し、両方を処理して第１の画像メタデータを生成し、２つの画像を処理して動きが発生した領域を見つけ、それを画像メタデータとして記録することができる。

画像メタデータは、フルカラー画像から生成することもできる。このフルカラー画像は、デモザイク処理機能を備えたカラーカメラまたはＣＦＡカメラから生成できる。このフルカラー画像を用いて、フル解像度のカラーチャネルを、他のフル解像度のカラーチャネルから分離（分割）できる。これは、フル解像度の緑カラーチャネルであり得る。効率的な処理のために、一般に、フルカラー画像がサブサンプリングされ、コンピュータ・ビジョン・アルゴリズムを使用して処理されるサブサンプリングされた解像度の緑カラーチャネルを生成する。したがって、フル解像度カラーチャネルまたはサブサンプルが、第１のコンピュータ・ビジョン・アルゴリズムによる処理のために、輝度およびダウンサンプル／サブサンプルの代用として使用され、第２の画像メタデータを生成することができる。

画像メタデータが生成されると、任意選択的に、オブジェクト検出アルゴリズムを用いて、画像メタデータをさらに処理することが可能である。アルゴリズムは、処理された画像内のオブジェクトを検出することができ、さらに、ラベルおよび／または位置を上記オブジェクトに割り当てることができる。例えば、オブジェクトは、単一の画像（例えば、ハンドル）に完全に示されてもよく、または、オブジェクトは、複数の画像（例えば、パイプライン）にわたって部分的に示されてもよい。オブジェクト検出アルゴリズムは、任意選択的に、例えばフルカラーカメラからのフルカラー画像に対して別々に実行される。色はオブジェクトを識別するのに役立つ重要な要素であるため、フルカラー画像をアルゴリズムに入力すると、精度と速度の点で優れたオブジェクト検出が得られる。オブジェクト検出は、特徴検出およびオブジェクト分類の２つのプロセスからなる。特徴検出およびオブジェクト分類は、当業者に知られているアルゴリズムを使用して実行することができるが、オブジェクト分類は、潜在的により多くのリソース（例えば電力、時間など）を集約する。

オブジェクト検出および３Ｄ再構成は、異なる速度で実行できる。例えば、３Ｄ再構成は、高解像度３Ｄモデルを生成するために頻繁に更新することができ、一方、新しいオブジェクトが環境内に存在する場合、オブジェクト検出を実行することができる。新しいオブジェクトが存在しない場合、オブジェクト分類プロセスなしで特徴検出および追跡アルゴリズムを実行することができる。これらの特徴検出および追跡アルゴリズムは、カラーチャネルのみで、すなわちフルカラー画像を必要とせずに、正確に実行できる。追跡は、オブジェクト分類プロセスの出力、すなわちオブジェクトラベルおよび／または位置が、オブジェクト分類を実行する必要なしに更新されることを可能にする。追跡アルゴリズムは、２つの画像間の差が小さいときに効率的に実行する。これは、高フレームレート、または低速移動オブジェクトもしくはカメラを用いて、達成できる。一例では、特徴検出は、常にカラーチャネル上で実行され、特徴検出アルゴリズムが新しいオブジェクトを表す特徴のセットを認識しない場合にのみ、フルカラー画像上の特徴の位置を使用して実行されるオブジェクト分類アルゴリズムである。カラーチャネルがフルカラー画像から導出される場合、特徴が同一であるため、特徴の位置を効率的に見つけることができる。

第１の画像メタデータおよび第２の画像メタデータが処理されて、処理済データが生成される。処理済データは、複数のデータ点を含む。複数のデータ点は、３Ｄモデルデータを構成することができる。画像メタデータは、点群を生成することができる３Ｄ再構成アルゴリズムを介して処理される。あるいは、３Ｄ再構成アルゴリズムは、メッシュモデル
、または他の任意のタイプのモデルを生成できる。点群の点はデータ点である。データ点は、各点が関連する色値を有することができるように、それらのデータ点が導出された元の画像内の特定のピクセル、または代替的にピクセルの集団に対応する。

あるいは、処理済データは、キーフレーム、または選択画像セグメント、またはキーフレーム、選択画像セグメントの組み合わせ、および／または３Ｄモデルデータとすることができる。処理済データがキーフレームである場合、複数のデータ点は単に画像の各ピクセルである。画像データが選択画像セグメントである場合、これは、画像内のオブジェクト、具体的には、画像が撮影されたときの視野内のオブジェクトを識別することができる。この場合、複数のデータ点は、その画像を表現または構成するピクセルとすることができ、またはその逆も可能である。

各データ点は、ＣＦＡ画像および／またはフルカラー画像の対応する画像領域とさらに相関する。データ点が３Ｄモデルのデータ点である場合、データ点は、第１の画像メタデータと第２の画像メタデータの両方から導出される。したがって、第１の画像メタデータまたは第２の画像メタデータに関連するキャプチャ画像のいずれかを使用して、データ点の色を導出することができる。

図７ａおよび図７ｂに示すように、ＣＦＡ画像からデータ点の色を生成する例では、データ点Ｇ５は、第１のカラーチャネル６０の対応する画像領域ＩＲＧおよびＣＦＡ画像４０の対応する画像領域ＩＲＣと相関する。この実施形態では、画像領域ＩＲＧ、ＩＲＣは９つのピクセルからなるが、他の実施形態では、画像領域はより大きくても小さくてもよい。

データ点の１つまたは複数の色は、カラーカメラから撮影されたフルカラー画像の画像領域の相対位置から抽出できる。

フルカラー画像は、フルカラー画像からカラーチャネルを分離する前に、またはそれと並行してメモリに記憶される。

あるいは、データ点の１つまたは複数の色は、ＣＦＡ画像の画像領域の相対位置から抽出できる。この代替実施形態では、各フルカラーピクセルは、各カラーチャネルの対応するピクセルの組み合わせによって生成できる。例えば、図８は、ＣＦＡ画像の画像領域からのフルカラーピクセルＣの生成を示している。対応する画像領域ＩＲＣからのカラーピクセルは、画像領域ＩＲＣの青色ピクセルＩＲＢおよび画像領域ＩＲＣの赤色ピクセルＩＲＲによって示されるように、画像領域ＩＲＣから抽出される。赤色ピクセルＩＲＲが補間されて、画像領域ＩＲＣの中央の赤色ピクセルＲ１が生成される。次いで、ピクセルＧ５に対応するフルカラーピクセルＣが、画像領域ＩＲＲ、ＩＲＢおよびＩＲＧの対応するカラーピクセルから生成される。これは、画像領域ＩＲＧの緑色ピクセルＧ５と、ＩＲＢの青色ピクセルＢ１と、中央の赤色ピクセルＲ１とを用いて行われる。フルカラーピクセルＣに対応する各カラーピクセルＧ５、Ｂ１、Ｒ１は、その色のそれぞれの光量を表す対応する数値によって重み付けされる。対応する数値は、２５５（すなわち１バイト）から符号化することができる。これは、本質的にＣＦＡ画像の画像領域ＩＲＣのデモザイク処理である。

あるいは、何らかの統計的平均化または重み付けが使用される場合、第１の画像メタデータと第２の画像メタデータの両方を使用することができる。これは、カメラ角度および影に起因して複数のピクセルが同じ正確な色を有さない可能性があるため、有利である。３Ｄモデルデータ点の色を導出することは、フルカラー画像が使用される場合に最も効率的である（電力、時間）。使用される電力量は、密閉されたケーシングであるため海中な
どの過酷な環境において極めて重要であり、さらに処理がリアルタイムで行われるためには、処理がキャプチャ画像のフレームレートに追従しなければならない。しかしながら、処理がリアルタイムで行われるようにするために、フレームレートを変更できる。あるいは、両方の画像を使用すると最高の精度を得ることができ、処理能力および時間は問題ではない。

あるいは、３Ｄモデルデータは着色されている必要はない。例えば、３Ｄモデルデータは、環境を通じた自律的なローバ制御または環境の調査のために、着色される必要はない。

図９は、１２または１２ａなどのコンピューティング装置上で発生するデータプロセッサ１８内のプロセスと、それらの図１および図２のメモリ２２との関係を示し、記憶装置２２ａとして、および図９の任意選択のキャッシュ２２ｂとして示されている。

記憶装置２２ａは、カメラ２０ａからのＣＦＡ画像を記憶し、および／またはカメラ２０ｂからのフルカラー画像を記憶する。保存されたＣＦＡ画像は生データである。フルカラービデオは、記憶後にデモザイク処理を介して生データからオフラインで復元することができる。あるいは、ＣＦＡ画像はデモザイク処理７０されて、記憶装置２２ａに記憶される前にフルカラー画像を生成することができる。記憶装置２２ａは、ローカル高帯域幅リンクを介して接続することができる。

生データは、第１の色のピクセルを分離するために７２で処理され、第１のカラーチャネル５０を生成する。フルカラー画像はまた、７２において、第１の色のピクセルも分離するように処理され、第２のカラーチャネルを生成する。これは、フル解像度またはサブサンプル解像度であり得る。

ビデオプロセッサ７４は、コンピュータ・ビジョン・アルゴリズムを使用して第１のカラーチャネル５０から第１の画像メタデータを生成する。コンピュータ・ビジョン・アルゴリズムは、第１の画像メタデータを生成するために、一度に１つ以上のフレームを処理することができる。ビデオプロセッサ７４はまた、コンピュータ・ビジョン・アルゴリズムを使用して第２のカラーチャネルから第２の画像メタデータを生成することができる。コンピュータ・ビジョン・アルゴリズムは、第２の画像メタデータを生成するために、一度に１つまたは複数のフレームを処理することができる。

あるいは、ビデオプロセッサ７４は、トランシーバ２６を介して送信することができる画像メタデータを使用して、画像の特定の部分（例えば、画像内のオブジェクト）を識別することもできる。トランシーバリンクは、低帯域幅リンクである。

ビデオプロセッサ７４ｄは、同時位置特定およびマッピング（ＳＬＡＭ）などの３Ｄ再構成アルゴリズムを実行して、３Ｄ点群を構成する複数のデータ点を生成する。３Ｄ再構成アルゴリズムは、少なくとも第１および第２の画像メタデータを入力とする。モデルを現場外で見るため、およびオブジェクト検出アルゴリズムを支援するために、この３Ｄ点群が使用され、自律型の車両１４を自律的にナビゲートすることができる。この実施形態では、全フレームがデモザイク処理される段階はないことに留意されたい。３Ｄ点群は、任意選択的に、トランシーバ２６を介して送信できる。

あるいは、ビデオプロセッサ７４ｄは、第１および／または第２の画像メタデータに基づいて、キーフレーム、関心のある選択画像セグメントを生成または選択することができる。

任意選択のステップにおいて、着色部７６は、複数のデータ点を受信し、記憶装置２２ａに記憶されたフルカラー画像からのフルカラー画像のフルカラーピクセルまたはピクセルの集合から、着色データ点を生成する。着色部は、着色用データ点に必要な特定のカラーピクセルを取り出すことができるか、または画像全体を取り出して、その後着色用データ点に必要な特定のカラーピクセルを選択することができる。これは、各プロセッサ１８ａ、１８ｂが特定の時点においてどのようにリソースが制約されるかに依存し得る。これにより、トランシーバ２６を介して送信することができるフルカラーの３Ｄ点群が生成される。このフルカラー点群は、自律型の車両１４を自律的にナビゲートし、現場外でモデルを見るために使用できる。この実施形態では、いかなる段階においても、デモザイク処理されたＣＦＡ画像化装置からの全フレームではないことに留意されたい。

あるいは、着色部７６は、第２のスレッド／プロセッサにおいて記憶された生データをデモザイク処理することによって、記憶装置２２ａから対応するフルカラー画像を受信できる。さらに、記憶装置２２ａ内の生データは、トランシーバ２６を介してリンク７８によって示される現場外の処理に送信できる。

他の実施形態では、生データを７２で処理して、第１の色のピクセルを補間することができる。これらの補間されたピクセルは、図６の６０などのフル解像度の第１のカラーチャネルを形成し、キャッシュ２２ｂに記憶される。キャッシュ２２ｂは、これらの画像の多くを記憶することができる。これらの画像は、オブジェクト検出アルゴリズムを支援するために、または現場外で見るために使用できる。

図１０を参照すると、さらなる実施形態は、コンピューティング装置１２ａおよび１２ｂ上でそれぞれ発生する２つのデータプロセッサ１８ａおよび１８ｂ（ただし、これらは単一のプロセッサ１８であってもよい）を用いて処理されたビデオデータを生成するためのプロセス、およびそれらのメモリ２２に対する関係（記憶装置２２ａ、２２ｃとして示されている。）を示す。具体的には、図１０は、３Ｄモデルデータの生成および上記データの送信を示す。しかし、３Ｄモデルデータは、過酷な環境を調査するだけでなく、ナビゲーションにも使用できる。図９の共通の要素は、そのようにラベル付けされ、特に指定されない限り、実質的に同じ方法で動作する。

記憶装置２２ｃは、カメラ２０ｂからのフルカラー画像を記憶する。記憶されたフルカラー画像は、任意選択的に、着色部７６によって使用され得る。

フルカラー画像は、７２ｂで処理され、フルカラー画像から緑カラーチャネルが分離され、図６のフル解像度カラーチャネル画像６０と同様のカラーチャネルを生成する。カラーチャネルは、ダウンサンプラ７２ｃに供給され、カラーチャネルをダウンサンプリングし、第２のカラーチャネル、例えば、図５のピクセル・パターン５０と同様のサブサンプリングされた緑色画像、を生成する。

ビデオプロセッサ７４ｂは、コンピュータ・ビジョン・アルゴリズムを使用して第１のカラーチャネルから第１の画像メタデータを生成する。具体的には、特徴検出および特徴追跡アルゴリズムを実行する。コンピュータ・ビジョン・アルゴリズムは、第１の画像メタデータを生成するために、一度に１つ以上のフレームを処理することができる。

ビデオプロセッサ７４ｃは、コンピュータ・ビジョン・アルゴリズムを使用して第２のカラーチャネルから第２の画像メタデータを生成する。具体的には、特徴検出のみを行う。コンピュータ・ビジョン・アルゴリズムは、第２の画像メタデータを生成するために、一度に１つ以上のフレームを処理することができる。

任意選択的に、着色部７６は、複数のデータ点を受け取り、記憶装置２２ｃに記憶されたフルカラー画像を使用して、着色データ点を生成する。

したがって、コンピュータ・ビジョン処理パイプラインは、視覚化から有利に分割することができ、これは、各パイプラインの処理ニーズに応じて、プロセッサおよび／またはコアを割り当てることができることを意味する。この分割の利点は、１８ｂから１８ａに転送されるデータ（例えば、フルカラー画像および第２の画像メタデータのピクセル）の帯域幅が比較的低いことである。これにより、２つのデータプロセッサ１８ａ、１８ｂ間に低帯域幅リンクを提供することが可能になり、これは海中などの過酷な環境に有利である。

ＣＦＡカメラは、生の解像度で単一のカラーチャネル（すなわち第１のカラーチャネル５０）の効率的な生成を可能にする。生の解像度で単一のカラーチャネルを特徴追跡および特徴検出に使用することができる。このカラーチャネルは補間される必要はない。処理帯域幅の制限を考慮すると、生の解像度での単一のカラーチャネルの処理は、画像がフルカラー画像と比較して比較的低い解像度であるため、単位時間当たりに処理される画像の頻度をより多くすることを可能にする。フルカラー画像は、このプロセスがリソース集約的であり、特徴追跡および特徴検出よりも時間がかかるが、オブジェクト検出アルゴリズムを効率的に実行することを可能にする。特徴検出アルゴリズムは、フルカラー画像から導出された第２のカラーチャネルから実行できる。第２のカラーチャネル上の特徴検出は、３Ｄモデルの生成に寄与するために必要である。しかしながら、オブジェクト検出および特徴検出は共にリソースが重く、処理帯域幅制限に向けて処理能力がほとんど残らない。したがって、フルカラー画像は、ＣＦＡカメラのリアルタイム使用に遅れないように、ＣＦＡカメラよりも低い空間または時間解像度とすることができる。言い換えれば、ＣＦＡカメラは、代替モードを実行するための処理の余裕を持っている。

例えば、ＣＦＡカメラはカラーカメラよりも高いフレームレートで動作することができるが、カラーカメラおよびＣＦＡカメラは同じ空間解像度で動作できる。これは、フレーム間の動きが少ないため、より良好な追跡をもたらすことができる。あるいは、ＣＦＡカメラは、より高いダイナミックレンジで動作して、低照度条件での追跡を改善できる。

別の例では、カラーカメラは、ＣＦＡカメラよりも低いフレームレートで動作できるが、より高い解像度で動作できる。

別の例では、フルカラーカメラは、ＣＦＡカメラと同じフレームレートで動作できるが、より低い空間解像度、例えば半分で動作する。これにより、ＣＦＡカメラとフルカラーカメラとを完全に１：１で同期させることができ、より安価なフルカラーカメラとすることができる。別の利点は、より高い解像度のＣＦＡ画像は、オブジェクト分類プロセスにとってカラー画像が十分に高い品質ではない場合に、オブジェクト検出を助けることができる、より良い品質のフレームを与えることができる点である。対象のオブジェクトは非常に小さく、例えば、５０００ピクセル、２０００ピクセル、１０００ピクセル、５００ピクセル、２５０ピクセルなどよりも少ない特定の数のピクセルのみをカバーすることが知られている。

高フレームレートに結合されたＣＦＡカメラからの高解像度画像、およびフル画像カメラのより低い解像度は、一般的な従来技術のカラービデオ処理システムの半分の帯域幅で、出力解像度をほぼ２倍にできる。

ＣＦＡとフルカラーカメラの両方を、同期させることができる。フルカラーカメラがＣＦＡカメラよりも低い時間解像度状態にある場合、これは、フレームレートが低いために
１つおきの画像を同期させることを意味し得る。あるいは、カメラが３００Ｈｚなどの非常に高いフレームレート周波数にある場合、隣接するフレームの偏差が小さいため、場合によって同期されない可能性がある。これは、高い周波数のフレームレートが必要とされる他のユースケースに使用できる。

図１１を参照すると、本発明の実施形態は、概して８２で示される、カラービデオ処理のためのコンピュータ実装方法にまで及ぶ。

ステップ９０において、本方法は、ＣＦＡ画像化装置からＣＦＡ画像を受信するステップを含み、ＣＦＡ画像は、複数の画像領域を画定するＣＦＡ画像ピクセルを含み、各画像領域は、第１の色の少なくとも１つのピクセルおよび第２の色の少なくとも１つのピクセルを有する。

ステップ９１において、本方法は、カラー画像化装置からフルカラー画像を受信するステップを含み、フルカラー画像は、デモザイク処理された画像ピクセルを含むことができる。

カメラは、オブジェクトがＣＦＡ画像化装置およびカラー画像化装置の両方によって画像化され、ＣＦＡ画像およびフルカラー画像上に表されるように配置される。

ステップ９２において、本方法は、フルカラー画像をメモリに記憶するステップを含む。

ステップ９３において、本方法は、第１のカラーチャネルのピクセルを含む第１のカラーチャネルを生成するために、ＣＦＡ画像の第１の色のピクセルを分離するステップを含む。

ステップ９４において、本方法は、第２のカラーチャネルのピクセルを含む第２のカラーチャネルを生成するために、フルカラー画像の第１の色のピクセルを分離するステップを含む。

ステップ９５において、本方法は、第１の画像メタデータを生成するために、第１のコンピュータ・ビジョン・アルゴリズムを使用して第１のカラーチャネルのピクセルを処理するステップを含む。

ステップ９６において、本方法は、第２の画像メタデータを生成するために、第１のコンピュータ・ビジョン・アルゴリズムを使用して第２のカラーチャネルのピクセルを処理するステップを含む。

ステップ９８において、本方法は、第１の画像メタデータおよび／または第２の画像メタデータを使用して処理済データを生成するステップを含み、処理済データは、オブジェクトを表す複数のデータ点を含む。

本発明の実施形態によるモバイル装置および方法は、沖合および海中の調査の分野で利用することができるが、宇宙、核、採掘などの危険な環境のための任意の調査システムにも適用することができる。調査は、自律的に、半自律的に、遠隔制御を介して手動で、またはリスクを低減するために最小サイズの乗組員を使用して手動で実行することができる。危険な場所に乗務員を送ることは、安全上の予防措置をとるという不便を伴い、したがってコストが増加する。モバイル装置は、例えば、ＲＯＶまたはＡＵＶとすることができる。

本発明を１つまたは複数の好ましい実施形態を参照して上述したが、添付の特許請求の範囲に規定される本発明の範囲から逸脱することなく、様々な変更または改変を行うことができることが理解されよう。「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、「含む（ｉｎｃｌｕｄｉｎｇ）」または「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」を意味することができ、したがって、任意の請求項もしくは明細書全体に列挙された要素またはステップ以外の要素またはステップの存在を排除しない。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用することができないことを示すものではない。

Claims (15)

1. カラービデオ処理のためのコンピュータ実装方法であって、
   ＣＦＡ画像化装置からＣＦＡ画像を受信するステップであって、前記ＣＦＡ画像は、複数の画像領域を画定するＣＦＡ画像ピクセルを含み、各画像領域は、第１の色の少なくとも１つのピクセルおよび第２の色の少なくとも１つのピクセルを有し、少なくとも１つの画像領域は、オブジェクトの部分を表す、ステップと、
   カラー画像化装置からフルカラー画像を受信するステップであって、前記フルカラー画像は前記オブジェクトの前記部分を表す、ステップと、
   前記フルカラー画像をメモリに記憶するステップと、
   第１のカラーチャネルのピクセルを含む前記第１のカラーチャネルを生成するために、前記ＣＦＡ画像の前記第１の色のピクセルを分離するステップと、
   第２のカラーチャネルのピクセルを含む前記第２のカラーチャネルを生成するために、前記フルカラー画像の前記第１の色のピクセルを分離するステップと、
   第１の画像メタデータを生成するために、第１のコンピュータ・ビジョン・アルゴリズムを使用して、前記第１のカラーチャネルの前記ピクセルを処理するステップと、
   第２の画像メタデータを生成するために、前記第１のコンピュータ・ビジョン・アルゴリズムを使用して、前記第２のカラーチャネルの前記ピクセルを処理するステップと、
   前記第１の画像メタデータ、および／または、前記第２の画像メタデータを使用して処理済データを生成するステップであって、前記処理済データは、前記オブジェクトを表す複数のデータ点を含む、ステップとを備える、
   コンピュータ実装方法。
2. データ点を前記フルカラー画像の対応する画像領域と相関させるステップと、
   前記フルカラー画像の少なくとも１つのピクセルを使用して前記データ点の前記色を修正することによってカラー処理済データを生成するステップと、
   をさらに備える、請求項１に記載の方法。
3. 前記第１および／または第２の画像メタデータは、動き、視差、エッジ、およびセグメンテーションの少なくとも１つを備える、請求項１に記載の方法。
4. 前記処理済データは、キーフレーム、選択画像セグメント、および３Ｄモデルデータの
   うちの少なくとも１つを備える、請求項１または２に記載の方法。
5. 前記第２の画像メタデータは、前記フルカラー画像内の前記オブジェクトを検出し、ラベルおよび位置を前記オブジェクトに割り当てるために、オブジェクト検出アルゴリズムで処理される、請求項１から４のいずれか一項に記載の方法。
6. 前記第１の画像メタデータは、前記第１の画像内の前記オブジェクトを検出し、ラベルおよび位置を前記オブジェクトに割り当てるために、オブジェクト検出アルゴリズムで処理される、請求項１から５のいずれか一項に記載の方法。
7. 前記第１のカラーチャネルが緑色である、請求項１から６のいずれか一項に記載の方法。
8. 前記フルカラー画像の前記第１の色のピクセルを分離するステップは、前記第２のカラーチャネルを生成するために、前記フルカラー画像の前記第１の色の前記ピクセルをダウンサンプリングするステップをさらに含む、請求項１から７のいずれか一項に記載の方法。
9. デモザイク処理されたフルカラー画像を生成するために、前記ＣＦＡ画像をデモザイク処理するステップと、任意選択的に、前記デモザイク処理されたフルカラー画像を前記メモリに保存するステップと、をさらに含む、請求項１から８のいずれか一項に記載の方法。
10. 前記処理済データを、低帯域幅リンクを介して外部コンピューティング装置に送信するステップをさらに含む、請求項１から９のいずれか一項に記載の方法。
11. 前記データ点は３Ｄモデルデータ点であり、処理済データを生成する前記ステップは、
    前記ＣＦＡ画像内の第１の特徴を追跡するために、前記第１の画像メタデータを特徴追跡アルゴリズムを用いて処理するステップと、
    前記ＣＦＡ画像内の前記第１の特徴を検出するために、前記第１の画像メタデータを特徴検出アルゴリズムを用いて処理するステップと、
    前記フルカラー画像内の第２の特徴を検出するために、前記第２の画像メタデータを特徴検出アルゴリズムを用いて処理するステップと、
    前記第１の特徴および前記第２の特徴に基づいて、前記複数のデータ点のうちの１つを生成するステップと、をさらに含む、請求項４に記載の方法。
12. 環境を調査する方法であって、
    調査現場内でモバイル装置を移動させるステップであって、前記モバイル装置は、請求項１から１１のいずれか一項に記載の方法を実施する、ステップを含む方法。
13. 環境内で調査するモバイル装置であって、
    ＣＦＡ画像を生成するように構成されたＣＦＡ画像化装置と、
    前記ＣＦＡ画像化装置とは異なり、フルカラー画像を生成するように構成されたカラー画像化装置と、
    前記ＣＦＡ画像化装置と前記カラー画像化装置とが、重なり合う視野で取り付けられるプラットフォームと、
    請求項１から１２のいずれか一項に記載の前記方法を実行するように共に構成された第１のデータプロセッサおよび第２のデータプロセッサと、
    前記ＣＦＡ画像化装置と前記第１のデータプロセッサとの間に結合された第１のデータリンクと、
    前記第１のデータプロセッサに結合された第１のコンピュータメモリと、
    前記カラー画像化装置と前記第２のデータプロセッサとの間に結合された第２のデータリンクと、
    前記プラットフォームに取り付けられるように配置され、密閉された内部空間を画定する第１のケーシングであって、少なくとも前記ＣＦＡ画像化装置、前記第１のデータプロセッサおよび前記第１のデータリンクが、前記第１のケーシングの前記密閉された内部空間内に収容され、前記ＣＦＡ画像化装置が、ＣＦＡ画像をキャプチャするために前記第１のケーシングから外向きに面するように配置される、第１のケーシングと、を備える、モバイル装置。
14. 密閉された内部空間を画定する第２のケーシングであって、前記プラットフォームに取り付けられるように配置され、前記カラー画像化装置と、前記第２のデータプロセッサと、前記第２のデータリンクとを備え、前記カラー画像化装置は、フルカラー画像をキャプチャするために前記第２のケーシングから外向きに配置される、第２のケーシングと、
    前記第１のデータプロセッサと前記第２のデータプロセッサとの間に、任意選択的に前記第１のケーシングおよび前記第２のケーシングの前記密閉された内部空間の外側に結合された第３のデータリンクと、
    をさらに備える、請求項１３に記載のモバイル装置。
15. 前記モバイル装置は、海中モバイル装置である、請求項１３または１４に記載のモバイル装置。