JP6846661B2 - ３次元的な投影対象のための投影方法及び装置 - Google Patents

Description

本発明は、投影コンテンツを３次元的な投影対象に投影するための方法及び装置に関する。

建物等の３次元的な投影対象に映像コンテンツを投影する技術として、プロジェクションマッピングが知られている。この技術に於いては、投影対象に位置ずれや歪み無く投影コンテンツを投影対象に投影する必要がある。例えば、特許文献１では、プロジェクションマッピングのシステムの中に撮像機能を設け、投影装置と撮像装置の座標変換情報を取得し、投影装置視点の画像を作成することにより、投影コンテンツの位置合わせを正確に行う方法が開示されている。

特開２０１５−１７３４３０号公報

しかしながら、従来のプロジェクションマッピングでは、投影対象が３次元的ではあるものの、投影コンテンツは２次元的な画像が用いられるため、投影装置毎に投影コンテンツを用意しなければならず、投影コンテンツの作成に多大な労力が必要となる。また、投影時に所要の光量を確保したり、投影光が投影対象の一部によりブロックされて不自然な影が生じるのを回避するために、異なる位置に配置された複数の投影装置を同時に使用する場合に、異なる投影装置から投影された２次元の投影コンテンツが、投影対象上でずれなく投影できるように位置合わせを行う作業に多大な労力が必要となる。さらに、投影コンテンツの精度によっては、３次元の投影対象に２次元の投影コンテンツを位置ずれなく合わせること自体が困難なこともある。

また、投影装置の配置もしくは投影対象の位置が変更されると、投影コンテンツを大幅に修正しなければならず、改めて投影コンテンツを投影対象に適合させるために多大な労力が必要となる。

このような従来の問題点に鑑み、本発明の主な目的は、建物等の３次元的な投影対象に投影コンテンツを投影する際に、投影コンテンツの生成と位置合わせを、正確かつ簡単に実行し得るような３次元的な投影対象のための投影方法及び装置を提供することにある。

本発明の第２の目的は、投影装置の位置もしくは投影対象の位置が移動しても、投影画像の生成と位置合わせを、正確かつ簡単に実行し得るような３次元的な投影対象のための投影方法及び装置を提供することにある。

このような目的は、画像を３次元的な投影対象に投影するための方法であって、３次元的な投影対象の投影装置視点画像を取得するステップと、投影コンテンツとして、前記投影対象に対応する３次元モデルを準備するステップと、前記３次元モデルと前記投影装置視点画像とが一致するように、前記３次元モデルを２次元画像に変換するステップと、前記２次元画像を前記投影対象に投影するステップとを有することを特徴とする方法を提供することにより達成される。

これによれば、投影コンテンツが予め３次元モデルとして準備されていることから、投影装置の位置が変更された場合でも、或いは複数の投影装置を用いる場合でも、３次元モデルを投影装置視点画像に一致させることで、２次元投影コンテンツの生成と位置合わせを、容易にかつ短時間で実施することができる。

３次元的な投影対象の投影装置視点画像を取得するステップは、投影装置及び撮像装置を用いた空間コード化法を用いるものであって良い。

前記３次元モデルを２次元画像に変換するステップは、オペレータにより、前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させるようにすると良い。具体的には、前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させるために、グラフィック・ユーザー・インターフェースを用いることができる。そのような場合には、ＰＣ等を利用して投影現場外で、投影コンテンツをプロジェクタ視点画像に適合させる手順を実行することもでき、投影作業計画の自由度が向上する。

このようにして、３次元の投影コンテンツを投影装置視点画像に一致するように変換することで、比較的単純に、２次元の投影コンテンツの生成とその位置合わせを短時間に実行することができる。

或る好適実施例によれば、複数の投影装置視点画像を取得し、共通の投影コンテンツとしての３次元モデルを、個々の投影装置視点画像に一致する２次元画像に変換し、それぞれ対応するプロジェクタにより前記投影対象に投影するようにしている。

プロジェクションマッピングを行う場合には、所要の光量を確保したり、オクルージョンを解消したりするために複数のプロジェクタを用いる場合が多いが、本発明に基づく方法によれば、多数の２次元投影コンテンツを準備する作業とその位置合わせ作業を効率化することができる。

本発明は更に、画像を３次元的な投影対象に投影するための装置であって、撮像装置と投影装置の座標対応関係を算出する座標対応関係算出部と、３次元的な投影対象の投影装置視点画像を生成するための投影装置視点画像生成部と、投影コンテンツとして、前記投影対象に対応する３次元モデルを記憶又は受信する３次元モデル部と、前記投影装置視点画像と前記３次元モデルとが一致するように、３次元モデルを変換するパラメータを算出するパラメータ計算部と、前記パラメータに基づいて２次元画像を生成する３次元モデル描画部と、投影装置視点画像生成部から得られた投影装置視点画像と３次元モデル描画部から得られた２次元画像とを互いに重畳させた画像を作成する重畳画像作成部と、前記２次元画像をプロジェクタから出力可能な２次元投影画像として出力する投影画像作成部とを有することを特徴とする装置を提供する。前記重畳画像作成部は、表示装置を介して前記投影装置視点画像及び前記３次元モデルの複数の対応点を互いに対応させるためのグラフィック・ユーザー・インターフェースとを含むものであって良い。

本発明によれば、建物等の３次元的な投影対象に投影コンテンツを投影する際に、投影装置の位置が変更されても、或いは複数の投影装置が用いられた場合でも、投影コンテンツの作成とその位置合わせを正確に、かつ簡単に実行することができる。

本発明に基づく投影装置の一実施態様を示すブロック図である。 本発明に基づく投影方法の一実施態様を示すフロー図である。 投影装置視点画像と３次元モデルをグラフィック・ユーザ・インターフェースにより重ね合わせるための構成を示すダイヤグラム図である。 本発明に基づく投影方法の一変形態様を示すフロー図である。

以下、本発明の実施の形態を、図１のブロック図及び図２のフロー図を参照しながら説明する。図１に示された画像処理装置１は、建物、その他の３次元的な構築物からなる投影対象２に向けられたカメラ３及び同じく投影対象２に向けられたプロジェクタ４に接続されている。カメラ３はデジタルカメラからなるものであって良く、プロジェクタ４の近傍、或いは多少離れた位置に配置されるものであって良い。カメラ３は１台のカメラでも良いが、好ましくは、投影対象２の隠蔽部分を解消するために、異なる位置に配置された複数のカメラからなるものであって良い。プロジェクタ４は、デジタル・マイクロミラー・デバイスからなるものであって良いが、液晶などの他の形式のものであっても良い。

いずれにせよ、プロジェクタ４とカメラ３の座標対応情報を捕捉する必要があり、座標対応計算部５に於いて、カメラ３から得られた画像データに基づき、座標対応情報を算出する（ステップＳＴ１）。次に、投影装置視点画像生成部６に於いて、座標対応情報とカメラ３の撮像画像を用いて、プロジェクタ４の視点から見た投影対象２の２次元的な画像を生成する（ステップＳＴ２）。実際には、空間コード化法やチェッカーパターン等のキャリブレーションパターンを用いることで、プロジェクタ４とカメラ３との間の座標対応情報を算出することにより、投影対象２の投影装置視点画像を取得することができる。

一方、投影コンテンツは、意図された投影対象の３次元的な形状に適合するように、人間により描画された３次元データ、或いは投影対象の設計図等から３次元データとして保存されたデータや、３次元計測装置によって取得された３次元データ等であって良く、その３次元データ（３次元モデルデータ）が３次元モデル部７に記憶されている。このデータは、予めライブラリとして保存されているものでも、遠隔地から通信により伝達されたものであっても良い。

投影対象２は、前記３次元モデルデータを３Ｄプリンタ等で印刷したものであっても良い。これにより、実物よりも小さいスケールでの投影を実施することが可能となる。

３次元モデルデータは、３次元モデル描画部９に於いて、２次元画像に変換される（ステップＳＴ３）。２次元画像は、重畳画像作成部１０に於いて、投影対象２の投影装置視点画像に重畳される（ステップＳＴ４）。重畳画像は、オペレータの判断を仰ぐために表示装置１１に表示される。

ここで表示装置１１に表示されるのは、投影装置視点画像と３次元モデル描画部９から得られた２次元画像とを透過表示した画面、もしくは、投影装置視点画像と３次元モデルデータを変換して得られた２次元画像とを並べて表示した画面である。この画面を見ながら位置合わせを行うことで、投影対象２と投影コンテンツのずれを容易に確認することが可能となる。

３次元モデル描画部では、以下の式で表される幾何学変形により３次元モデルデータを２次元画像に変換する。

ここで、（X_M,Y_M,Z_M）は３次元モデルデータであり、（X_S,Y_S）は投影装置視点画像上の座標、もしくは投影画像上の座標である。Tは、３次元モデルデータを２次元画像に変換するためのパラメータであり、並進、回転等の外部パラメータと、画角、レンズシフト等の内部パラメータを含む。このような幾何学変形を行うためのパラメータTが、３次元構造物に位置ずれや歪なく投影を行うためのパラメータとなる。

（X_M,Y_M,Z_M）、（X_S,Y_S）の対応点の組み合わせが、少なくとも６点与えられれば、最小二乗法によりTを求めることができる。６点の対応点を与える方法としては、オペレータにより、３次元モデル上の点と投影装置視点画像上の対応点とを合致させるような手順を用いることができる。例えば、図３に示されるように、オペレータによる入力装置１２からの指令に応じて、２次元画像として表示された３Ｄモデル上の点と投影装置視点画像上の点を指定することで（ステップＳＴ５）、パラメータ計算部８に於いてパラメータを求めることができる（ステップＳＴ６）。この場合、表示装置１１により、同一画面上に投影装置視点画像と、３次元モデルを変換した２次元画像とを互いに重畳した状態で表示し、オペレータは、表示された重畳画像を見ながら、入力装置１２から補正指令を入力し、所要の整合精度に達するまで、この手順を繰り返す。

（X_M,Y_M,Z_M）、（X_S,Y_S）の対応点の組み合わせが、４点、或いは５点しか得られない場合であっても、最急降下法によって最小二乗法を解くことで、パラメータTの近似解を求めることができる。したがって、映像コンテンツの位置合わせにおいて、精度よりも速さが必要とされる場合などにも対応することが可能となる。

このようにして得られた２次元画像は、投影画像作成部１３により、プロジェクタ４で投影可能な画像に変換された（ステップＳＴ７）後にプロジェクタ４に転送される。このようにして得られた２次元画像が投影対象２に投影される（ステップＳＴ８）。

図４は、本発明の第２実施例を示すフロー図である。図２に示されたものと大部分同様であるが、３次元モデル上の点と投影装置視点画像上の対応する点とを一致させるステップが、オペレータの介入を伴わずに、特徴点マッチング（ステップＳＴ１１）によって自動で行われる点で相違する。

投影装置視点画像と３次元モデルとを一致させる方法は、他にも、位相限定相関法を用いる方法などでも良く、これに限定されるものではない。

３次元モデルの精度によっては、投影装置視点画像と３次元モデルを変換した２次元画像とが完全に一致しない場合がある。その場合には、最適なパラメータを算出した後に、３次元モデルを変換した２次元画像を投影装置視点画像に一致するようにアフィン変換等で変換することで、最終的な微調整を行っても良い。

このように、本発明は、建物等の３次元的な投影対象に投影コンテンツを投影する際に、位置合わせを正確に、かつ簡単に実行可能とし、プロジェクションマッピングのセットアップを簡便に実施できるようにする等、産業上の有用性が高い。

１ 画像処理装置
２ 投影対象
３ カメラ
４ プロジェクタ
５ 座標対応計算部
６ 投影装置視点画像生成部
７ ３次元モデル部
８ パラメータ計算部
９ ３次元モデル描画部
１０ 重畳画像作成部
１１ 表示装置
１２ 入力装置
１３ 投影画像作成部

Claims (10)

1. 画像を３次元の投影対象に投影するための方法であって、
   ３次元の投影対象の投影装置視点画像を取得するステップと、
   投影コンテンツとして、前記投影対象に対応する３次元モデルを準備するステップと、
   前記投影装置視点画像と一致するように、前記３次元モデルを２次元画像に変換するステップと、
   前記２次元画像を前記投影対象に投影するステップとを有することを特徴とする方法。
2. 前記３次元の投影対象の投影装置視点画像を取得するステップが、投影装置及び撮像装置を用いた空間コード化法を用いることを含むことを特徴とする請求項１に記載の方法。
3. 前記３次元モデルを、前記投影装置視点画像に一致する前記２次元画像に変換するステップが、前記３次元モデルを幾何学変形にした画像上の点と、前記投影装置視点画像上の対応する点とを合致させることを含むことを特徴とする請求項１若しくは請求項２に記載の方法。
4. 前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させるために、グラフィックユーザーインターフェースを用いることを特徴とする請求項３に記載の方法。
5. 前記３次元モデル上の点に対応する前記投影装置視点画像上の点が、前記グラフィックユーザーインターフェースを介して、オペレータによって指定されることを特徴とする請求項４に記載の方法。
6. 前記３次元モデル上の点に対応する前記投影装置視点画像上の点が、特徴点マッチングによって指定されることを特徴とする請求項３に記載の方法。
7. 複数の前記投影装置視点画像を取得し、個々の投影装置視点画像と投影コンテンツとしての３次元モデルとが一致するように変換することで、複数の前記２次元画像を生成し、それぞれ対応するプロジェクタにより前記投影対象に投影することを特徴とする請求項１〜６のいずれかに記載の方法。
8. 画像を３次元の投影対象に投影するための装置であって、
   撮像装置と投影装置の座標対応関係を算出する座標対応関係算出部と、
   ３次元の投影対象の投影装置視点画像を生成するための投影装置視点画像生成部と、
   コンテンツ画像として、前記投影対象に対応する３次元モデルを記憶又は受信する３次元モデル提供部と、
   前記３次元モデルを所定のパラメータに基づいて変換することで２次元画像を生成する３次元モデル描画部と、
   前記投影装置視点画像生成部から得られた投影装置視点画像と、前記３次元モデル描画部から得られた２次元画像とを重畳させた画像を作成する重畳画像作成部と、
   前記重畳された画像に対するユーザ入力に応じて、前記所定のパラメータを算出するパラメータ計算部と、
   前記２次元画像を前記投影対象に投影するための投影装置とを有することを特徴とする装置。
9. 前記重畳画像作成部が、前記投影装置視点画像及び前記２次元画像の複数の対応点を対応させるためのグラフィックユーザーインターフェースを含むことを特徴とする請求項８に記載の装置。
10. 前記重畳画像作成部は、前記重畳させた画像として、前記投影装置視点画像と前記２次元画像とを透過表示させた画像を作成することを特徴とする請求項８に記載の装置。

Images