JP5560771B2

JP5560771B2 - 画像補正装置、画像表示システム、画像補正方法

Info

Publication number: JP5560771B2
Application number: JP2010042467A
Authority: JP
Inventors: 志紀古井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2010-02-26
Filing date: 2010-02-26
Publication date: 2014-07-30
Anticipated expiration: 2030-02-26
Also published as: CN102170573A; JP2011182079A; CN102170573B; US20110210979A1; US8586904B2

Description

本発明は、補正情報算出装置、画像補正装置、画像表示システムおよび補正情報算出方法に関するものである。

従来、展示会や学会、会議等のプレゼンテーションに、あるいはホームシアター等にプロジェクターが用いられており、また店頭広告などにもプロジェクターの使用用途が広がっている。プロジェクターを用いると、ディスプレイなどの直視型表示装置よりも大画面表示が容易であるため、より多人数に対して同じ画像を見せることが可能であり利便性が高い。近年では、高品質の投写画像を求める市場要求に対して、様々な開発がなされている。

例えば、プロジェクターは、プロジェクターから射出される画像光の光線束の中心軸が、被投写面（スクリーン）の法線と交差する方向から投写する場合や、プロジェクターが有する投写光学系が収差を有する場合には、被投写面における投写画像に歪みを生じる。例えば、矩形の画像を表示すべきところ台形や菱形に歪んで投写されてしまう。

この歪みを補正し解消する方法として、特許文献１に示す方法が知られている。特許文献１の方法では、プロジェクターが投写すべき範囲の四隅の座標を指定し、該四隅で囲まれる領域内に収まるように画像の歪みを補正することとし、歪みが解消された投写画像を投写可能としている。

また、プロジェクターによる投写画像は、プロジェクターが有する液晶ライトバルブやＤＭＤ（デジタルミラーデバイス）等の画像形成素子の画素数に依存している。したがって、プロジェクターが投写する投写画像の解像度を高めるためには、高解像度の画像形成素子を用いる必要がある。しかし、そのような高精細な画像形成素子は、非常に高価なものとなりやすく汎用されるには適していない。

そこで、複数台のプロジェクターを用い１つの画像を投写するシステムが開発されている（例えば、特許文献２参照）。特許文献２のシステムでは、１つの画像を分割して複数台のプロジェクターにそれぞれ投写表示させ、各プロジェクターの投写画像の周縁部を重ね合わせながら投写画像を結合し、１つの画像として投写している。以下の説明では、このように複数のプロジェクターから投写された画像を結合して表示する画像のことを、「全体画像」と称することがある。また、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。

また、各プロジェクターの投写可能範囲を合わせた最大の投写可能範囲は、必ずしも矩形とはなっていない。そのため、上記特許文献２のシステムでは、投写画像をデジタルカメラで撮像し、撮像画像から投写領域の歪みを補正して、矩形画像を表示可能としている。例えば、被投写面が巻き取り式のスクリーンである場合、スクリーンの弛みや波打ち等に起因して投写画像に歪みが生じる。特許文献２のシステムでは、このような画像の歪みを、撮像した画像を基に自動で補正している。

このようなシステムを用いると、通常の解像度の画像形成素子を備えるプロジェクターを用いたとしても、用いるプロジェクターの台数分だけ投写画像の解像度を高めることができる。また、光源の数も用いるプロジェクターの台数分増えることとなるため、投写画像の大きさが同じであれば、１台のプロジェクターで投写した画像と比べて明るい画像を表示することが可能となる。さらに、歪みのない画像表示が可能となる。

特開２００４−３６３６６５号公報特開２００６−１４３５６号公報

しかしながら、特許文献２のように自動で画像の歪みを補正するシステムの場合、例えば、デジタルカメラに入射する光の光線束の中心軸と、被投写面の法線と、が成す角度（撮像角度）によっては撮像した画像（撮像画像）自体に歪みが生じてしまう。すると、実際の投写画像と撮像画像との間に歪み方に差が生じるため、良好な補正を行うことが出来ず、全体画像（全体画像を投写する投写領域）に歪みが残ってしまう。

このような場合、使用者は投写される全体画像の歪みを解消すべく補正を試みることになるが、従来は全体画像が滑らかに接続されて表示された状態を保ったまま、全体画像の形状を調整する補正方法がなかった。

従来の技術を組み合わせると、画像データに対して歪んだ全体画像の歪みを解消する歪み補正（第１の補正）を行って理想的な全体画像を表示する領域を決定した後、補正された画像データを分割し各プロジェクターが投写すべき画像（部分画像）のデータを作成するための位置補正（第２の補正）を行うという補正が考えられる。しかし、このように想定される補正では、画像データに対し２度の補正を行うため、画質低下に繋がる画像データの劣化が大きくなり、計算負荷が大きく処理に時間がかかる。そのため、例えば良好な動画表示ができない、といった問題が生じる。

本発明はこのような事情に鑑みてなされたものであって、複数台のプロジェクターを用いて投写する投写画像の画質低下を抑制して、投写領域の形状を補正するための補正情報を算出するための補正情報算出装置を提供することを目的とする。また、このような補正情報を用いて、１つの画像を複数台のプロジェクターに分割表示させるための画像データを作成する画像補正装置を提供することをあわせて目的とする。さらに、このような装置を備え、複数のプロジェクターを用いて１つの画像を良好に表示可能な画像表示システムを提供することをあわせて目的とする。そして、投複数台のプロジェクターを用いて投写する投写画像の画質低下を抑制して、投写領域の形状を補正するための補正情報算出方法を提供することをあわせて目的とする。
提供することを目的とする。

上記の課題を解決するため、本発明の補正情報算出装置は、それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる補正情報算出装置であって、前記画像形成素子上の画素の座標と、前記１つの画像が現在表示されている前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係として既に設定されている既定補正情報と、前記第１有効投写領域上の画素の座標と、前記１つの画像を表示すべき領域として指定される前記被投写面上の第２有効投写領域上の画素の座標と、の対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標と、前記第２有効投写領域上の画素の座標と、の対応関係を示す補正情報を算出することを特徴とする。

上記の課題を解決するため、本発明の画像補正装置は、複数のプロジェクターが協働して表示する１つの画像を示す画像データに基づいて、各プロジェクターが表示すべき部分画像を抽出し、前記部分画像に対応した部分画像データを作成する画像補正装置であって、前記複数のプロジェクターがそれぞれ有する画像形成素子上の画素の座標と、前記１つの画像が現在表示されている被投写面上の第１有効投写領域上の画素の座標と、の対応関係として既に設定されている既定補正情報と、前記第１有効投写領域上の画素の座標と、前記１つの画像を表示すべき領域として指定される前記被投写面上の第２有効投写領域上の画素の座標と、の対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標を、前記第２有効投写領域上の画素の座標に対応させる変換の逆変換である補正情報を算出する補正情報算出装置と、前記画像データが入力される入力部と、前記画像形成素子上の画素と、前記複数のプロジェクターの各投写領域を合わせた全体投写領域上の画素と、の対応関係から、前記複数のプロジェクターごとに、前記全体投写領域内の前記第２有効投写領域において前記部分画像を表示すべき領域を定め、前記複数の画像形成素子ごとに、前記画像データから、前記部分画像に対応したデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報算出装置で求められる補正情報を用いて変換して、前記部分画像データを作成する画像処理部と、前記部分画像データを前記複数のプロジェクターに出力する出力部と、を備えることを特徴とする。
上記の課題を解決するため、本発明の補正情報算出装置は、それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる補正情報算出装置であって、前記画像形成素子上の画素の座標と、前記１つの画像が現在表示されている前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係として既に設定されている既定補正情報と、前記第１有効投写領域上の画素の座標と、前記１つの画像を表示すべき領域として指定される前記被投写面上の第２有効投写領域上の画素の座標と、の対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標と、前記第２有効投写領域上の画素の座標と、の対応関係を示す補正情報を算出することを特徴とする。

本発明においては、前記第１有効投写領域の四隅の座標を、前記第２有効投写領域の四隅の座標に変換する射影変換に係る射影変換式に基づいて、前記第１有効投写領域上の画素の座標を変換した座標を、前記第２有効投写領域上の画素の座標として、前記第２の対応関係を求めることが望ましい。
この構成によれば、第１有効投写領域の四隅と第２有効投写領域の四隅との対応関係により、第１有効投写領域上の画素の座標と、第２有効投写領域上の画素の座標と、の対応関係を代表することで、第２の対応関係を求めることができる。例えば、被投写面上には凹凸形状がなく、単なる幾何的な変形で第１有効投写領域上の画素の座標と、第２有効投写領域上の画素の座標と、の対応を求めることが出来る場合には、低い計算負荷で補正情報を求めることができる。

本発明においては、前記１つの画像を示す画像データで規定される原画像上に、複数の第１特徴点の座標を設定し、前記射影変換式で規定される射影変換の逆変換によって、前記複数の第１特徴点の座標を変換し、前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標を求め、前記第２有効投写領域上に任意に設定される複数の第３特徴点の各々と、各々の前記第３特徴点を囲む４つの第２特徴点との対応関係を、前記第２の対応関係として求めることが望ましい。

この構成によれば、原画像上の画素と第１有効投写領域上の画素との対応関係を、原画像において仮想的に設定された複数の特徴点（第１特徴点）の座標と、複数の第１特徴点を射影変換式で規定される射影変換の逆変換により変換した複数の第２特徴点の座標と、の対応関係で推定する。これに加えて、第２有効投写領域においては原画像上の第１特徴点と対応する複数の特徴点（第３特徴点）を仮想的に設定し、第２特徴点と第３特徴点との対応関係を求めることで、第２の対応関係としている。そのため、より正確な第２の対応関係を求め、この第２の対応関係を元により精度の高い補正情報を算出することが出来る。

また、本発明の画像補正装置は、複数のプロジェクターが協働して表示する１つの画像を示す画像データに基づいて、各プロジェクターが表示すべき部分画像を抽出し、前記部分画像に対応した部分画像データを作成する画像処理装置であって、上述の補正情報算出装置と、前記画像データが入力される入力部と、前記画像形成素子上の画素と、前記複数のプロジェクターの各投写領域を合わせた全体投写領域上の画素と、の対応関係を求め、前記画像データから、前記全体投写領域内の前記１つの画像を表示すべき領域に対応した前記画像形成素子上の画素に入力されるべきデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報算出装置で求められる補正情報を用いて変換し、前記部分画像データを作成する画像処理部と、前記部分画像データを前記複数のプロジェクターに出力する出力部と、を備えることを特徴とする。
この構成によれば、算出した補正情報を用い、入力される画像データで規定される像を忠実に再現する、歪みのない良好な全体画像を表示することが可能な部分画像データを作成する画像補正装置とすることができる。

また、本発明の画像表示システムは、複数のプロジェクターが協働して１つの画像を表示する画像表示システムであって、上述の画像補正装置と、前記画像補正装置で作成された前記部分画像データが入力され、該部分画像データに基づいて前記部分画像を投写する複数のプロジェクターと、を有することを特徴とする。
この構成によれば、歪みのない良好な全体画像を、大画面、高解像度、或いは高輝度の画像として表示することが可能な画像表示システムとなる。

また、本発明の正情報算出方法は、それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる補正情報算出方法であって、前記画像形成素子上の画素の座標と、前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係である第１の対応関係を求めるステップと、前記第１有効投写領域とは異なる前記被投写面上の第２有効投写領域を指定するステップと、前記第１の対応関係と、前記第１有効投写領域上の画素の座標と前記第２有効投写領域上の画素の座標との対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標と、前記第２有効投写領域上の画素の座標と、の対応関係を示す補正情報を算出するステップと、を含むことを特徴とする。

また、本発明の画像補正方法は、それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる画像補正方法であって、前記画像形成素子上の画素の座標と、前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係である第１の対応関係を求めるステップと、前記第１有効投写領域とは異なる前記被投写面上の第２有効投写領域を指定するステップと、前記第１の対応関係と、前記第１有効投写領域上の画素の座標と前記第２有効投写領域上の画素の座標との対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標を、前記第２有効投写領域上の画素の座標に対応させる変換の逆変換である補正情報を算出するステップと、前記画像形成素子上の画素と、前記複数のプロジェクターの各投写領域を合わせた全体投写領域上の画素と、の対応関係から、前記複数のプロジェクターごとに、前記全体投写領域内の前記第２有効投写領域において、前記プロジェクターが表示すべき画像である部分画像を表示すべき領域を定め、前記複数の画像形成素子ごとに、前記１つの画像を示す画像データから、前記部分画像に対応したデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報を用いて変換して、前記部分画像に対応した部分画像データを作成するステップと、を含むことを特徴とする。
また、本発明の正情報算出方法は、それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる補正情報算出方法であって、前記画像形成素子上の画素の座標と、前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係である第１の対応関係を求めるステップと、前記第１有効投写領域とは異なる前記被投写面上の第２有効投写領域を指定するステップと、前記第１の対応関係と、前記第１有効投写領域上の画素の座標と前記第２有効投写領域上の画素の座標との対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標と、前記第２有効投写領域上の画素の座標と、の対応関係を示す補正情報を算出するステップと、を含むことを特徴とする。

本発明の実施形態に係る画像表示システムを示す概略図である。本発明の実施形態に係る画像表示システムの詳細な構成を示す説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。画像表示システムを用いた表示時の画像処理を説明する説明図である。

［第１実施形態］
以下、図１〜図１１を参照しながら、本発明の実施形態に係る補正情報算出装置、画像補正装置、画像表示システムおよび画像補正方法について説明する。なお、以下の全ての図面においては、図面を見やすくするため、各構成要素の寸法や比率などは適宜異ならせてある。

図１は、本実施形態の画像表示システムを示す概略図である。図に示すように、本実施形態の画像表示システム１は、複数台のプロジェクター２、画像処理装置（画像補正装置）３を備えている。本発明の補正情報算出装置は、後述するように画像処理装置３に含まれている。

プロジェクター２は、図では４台配置されていることとしているが、数や配置についてはこれに限らない。ここでは、説明の便宜上、プロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、第４のプロジェクター２４が設けられていることとする。また、各プロジェクター２１〜２４は、投写画像を形成するための画像形成素子をそれぞれ有している。画像形成素子としては、液晶ライトバルブやＤＭＤ（デジタルミラーデバイス）等を用いることができる。

画像処理装置３は、信号源９から入力される画像データを、複数の部分画像データに分割し、各プロジェクターが担当する部分画像に対応した部分画像データを作成する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面Ｓ上に部分画像を表示する。

すなわち、画像処理装置３は、第１のプロジェクター２１に、部分画像データに基づいた第１の部分画像Ｐ１を被投写面Ｓ上に表示させる。同様に、第２のプロジェクター２２には第２の部分画像Ｐ２を、第３のプロジェクター２３には第３の部分画像Ｐ３を、第４のプロジェクター２４には第４の部分画像Ｐ４を、それぞれ表示させる。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いの周縁部を重ね合わせて被投写面Ｓ上に表示され、全体として１つの投写画像Ｐを構成する。

このような画像表示システム１では、パーソナルコンピューターやＤＶＤプレイヤー等の信号源９から入力された画像データを複数に分割し、複数台のプロジェクター２で投写し、１つに結合した画像（全体画像）を表示する。そのため、１台のプロジェクターにより表示する投写画像と比較して、投写画像Ｐに含まれる画素数を増やすことができ、投写画像Ｐの解像度を高めることができる。このようにして解像度を高める場合、１台あたりのプロジェクターの画素数を増すことにより表示画像を高解像度とする場合と比べ、装置コストを低減することができる。

また、プロジェクターの台数だけ投写画像Ｐの表示に寄与する光の光量を増すことができるため、高輝度の投写画像Ｐを表示することができる。さらに、通常時はプロジェクター毎に独立して使用し、大画面、高解像度、或いは高輝度の画像を表示したい場合に、画像表示システムを構築して画像表示を行うことも可能である。

図２は、画像表示システム１の詳細な構成を示す説明図である。ここでは、主として画像処理装置３、および画像処理装置３に含まれる補正情報算出装置４について説明する。

画像処理装置３は、複数のプロジェクター２が協働して表示する１つの画像Ｐを示す画像データに基づいて、各プロジェクター２１〜２４が表示すべき部分画像を抽出し、部分画像に対応した部分画像データを作成する。部分画像は、各プロジェクターが表示すべき画像Ｐの一部分である。

画像処理装置３は、信号源９から動画や静止画等の画像データが入力される画像入力部（入力部）３１と、補正情報算出装置４によって算出される補正情報に応じて画像データを補正し、適宜分割した部分画像データを作成する画像処理部３２と、部分画像データをプロジェクター２に出力する画像出力部（出力部）３３と、図２に示した測定パターンや、表示に用いる動画や静止画等の画像データを保存する画像保存部３４と、補正情報を保存する保存部３５と、を有している。画像入力部３１には、通常のキャプチャーボード等を用い、画像処理部３２や画像出力部３３には、ＧＰＵ（Graphics Processing Unit）を用いることができる。

画像処理部３２は、複数のプロジェクター２が有する画像形成素子上の画素と、被投写面における複数のプロジェクター２の各投写領域を合わせた全体投写領域上の画素と、の対応関係を求め、画像データから、全体投写領域内における画像を表示すべき領域に対応した、画像形成素子上の画素に入力されるべきデータを抽出し、抽出されるデータで規定される画素の座標を、補正情報算出装置４で求められる補正情報を用いて変換し、部分画像データを作成する。

補正情報算出装置４は、使用者がマウスやキーボードなどの入力装置４１ａから入力する４点の座標を検出し指定する座標指定部４１と、保存部３５に保存されている補正情報を用いて、各プロジェクターの投写領域に応じた新たな補正情報を算出する算出部４２と、を有している。座標指定部４１および算出部４２は、画像処理装置３が共通して有する、または補正情報算出装置４が独立して有するＣＰＵ（Central Processing Unit）に所望の計算処理を行わせるプログラムであり、補正情報算出装置４は、これらのプログラムを実行して所望の補正情報を算出する装置である。補正情報算出装置４は、画像処理装置３と別体の装置として構成されていても良い。

このような構成の画像表示システム１による画像表示について、図３から図１１に示す説明図を用いて順に説明する。以下の説明においては、主に図２に示す算出部４２における計算処理の流れに従い、必要に応じて図２で示した各構成の名称および符号を用いて各画像処理について説明し、あわせて図２で示した各構成の機能を説明する。

図３は、画像表示システム１が被投写面Ｓに向けて画像を投写する様子を示す説明図である。図３に示すように、各プロジェクター２１〜２４は、それぞれの投写領域１０１〜１０４の周縁部を一部重ねて互いにつなぎ合わせた全体投写領域１００内に1つの画像Ｐを投写する。換言すると、画像Ｐは全体投写領域１００内に設定された有効投写領域（第１有効投写領域）１０５の全域に表示されている。

画像Ｐの投写においては、各プロジェクターが有する画像形成素子上の画素の座標と、各プロジェクターから被投写面Ｓに投写された画像上の画素の座標と、の対応関係を示す補正情報（既定補正情報）を求めた上で、該既定補正情報に基づいて、画像Ｐを規定する画像データの補正が行われている。

図４において、既定補正情報を求める方法を具体的に説明すると、まず、図４（ａ）に示すような、例えば４×５の行列状にドット（特徴点）が配列した測定パターンＭＰを示す画像データを各プロジェクターの画像形成素子に入力し、被投写面に表示する（図４（ｂ））。画像データで示される測定パターンＭＰにおいて近接する４つの特徴点Ａ１〜Ａ４と、画像Ｐ上において特徴点Ａ１〜Ａ４と対応する特徴点Ｃ１〜Ｃ４と、の対応関係から、特徴点Ａ１〜Ａ４に囲まれる領域Ｌ内の画素Ｌ１と、特徴点Ｃ１〜Ｃ４に囲まれる領域Ｎ内の画素Ｎ１、との対応関係である既定補正情報が求まる。

なお画素Ｎ１は、被投写面に表示された画像Ｐにおいて画素Ｌ１に対応する点である。この既定補正情報は、例えば、測定パターンＭＰを示す画像データで規定される特徴点Ａ１〜Ａ４の座標と、被投写面に表示された画像Ｐを撮像して得られた撮影画像における特徴点Ｃ１〜Ｃ４の座標と、を対応付けることによって算出することができる。

既定補正情報により、画像データで示される画像を被投写面Ｓにおいて忠実に再現するためには、画像形成素子ＬＶでは画像データで規定される画素からどれだけずらした位置にデータを入力すればいいかという対応関係が求められる。すなわち、画像データで規定される特徴点Ａ１〜Ａ４を、既定補正情報を用いて画像形成素子ＬＶ上でずらした位置にある点として、特徴点Ａ１〜Ａ４に対応する特徴点Ｂ１〜Ｂ４が求まる。また、既定補正情報により、特徴点Ａ１〜Ａ４に囲まれる領域Ｌ内の画素Ｌ１に対応する、画像形成素子上の特徴点Ｂ１〜Ｂ４に囲まれる領域Ｍ内の画素Ｍ１が定まるため、対応関係に基づいて画像データを補正することができる（図４（ｃ））。なお画素Ｍ１は、画像形成素子において画素Ｌ１に対応する点である。

図５に示すように、画像Ｐを規定する画像データの補正では、まず、画像Ｐを規定する画像データ２００から、各プロジェクターによって表示する部分画像を抽出した抽出データ２０１〜２０４を作成する（図５（ａ））。抽出データ２０１〜２０４は、既定補正情報から、画像形成素子のうち画像表示に用いられる領域を求め、該領域に入力されるデータを画像データ２００から抽出して作成する。

次に、既定補正情報を用いて、各抽出データ２０１〜２０４の座標を、各プロジェクター２１〜２４の画像形成素子ＬＶ１〜ＬＶ４における座標に対応した部分画像データ２１１〜２１４に変換する。

変換された部分画像データ２１１〜２１４は、画像出力部３３を介して各プロジェクターの画像形成素子ＬＶ１〜ＬＶ４に入力され（図５（ｂ））、被投写面Ｓに投写されることで、画像Ｐが表示される（図５（ｃ））。

本来であれば、既定補正情報による補正によって、被投写面Ｓにおける画像Ｐの輪郭形状（すなわち有効投写領域１０５の外周の形状）が歪みのないものとなるはずであるところ、既定補正情報の算出が自動化されていたり、各プロジェクターの投写光学系に収差があったりする場合には、算出される既定補正情報が完全なものとならず、既定補正情報に基づく補正では歪みが残ることがある。図５では、有効投写領域１０５が台形に歪んでおり、有効投写領域１０５の歪みに併せて、投写されている画像Ｐの形状も歪んでいる。

本発明では、このような場合に使用者が投写される画像Ｐの歪みを解消すべく、既定補正情報に代わる新たな補正情報を求め、該新たな補正情報に基づいて再調整を行う。

補正情報の求め方についての基本的な考え方は、図４に示す部分画像データの作成における考え方と類似しており、画像データ上の４点と、投写する画像で対応する４点と、の対応関係から補正情報を求めるものである。異なるのは、被投写面上にはすでに画像Ｐを投写した状態であるため、図４に示した方法のように、基準となる特徴点の画像を実際には表示しないことである。

そのため、本発明では画像Ｐの画像データで示される画像上に、図４におけるドット（特徴点）に代わる複数の特徴点を仮想的に設定し、画像データで示される画像上の特徴点と、該特徴点に対応する被投写面上の点として推定される点との対応関係から、補正情報を求める。以下、順に説明する。

まず、図６に示すように、被投写面における画像Ｐを見ながら、画像Ｐを表示する有効投写領域１０５に代わる新たな有効投写領域（第２有効投写領域）１１５の四隅に対応する４点の座標を入力する。４点の座標は、画像Ｐにマウスカーソルを表示して新たな有効投写領域の四隅位置をドラッグして指定しても良いし、画像Ｐにダイアログボックスを表示して、キーボード等から四隅位置を入力し指定することとしても良い。

座標指定部４１では、画像形成素子で画像Ｐの表示に用いられている（画像Ｐの画像データ２００が入力されている）領域の四隅２００Ａ〜２００Ｄの画素の座標と、入力された４点２１０Ａ〜２１０Ｄの画像形成素子上の座標と、に基づいて、指定された４点（新たな有効投写領域の四隅）の座標から、現在表示に用いられている領域の四隅（現在の有効投写領域の四隅）の座標へ変換する射影変換に係る射影変換式を求める。求められる射影変換式は、四隅２００Ａ〜２００Ｄの座標から、入力された４点２１０Ａ〜２１０Ｄの座標へ、変換する射影変換の逆変換に等しい。

図６では、入力された４点２１０Ａ〜２１０Ｄの座標を座標（ｘ_ｉ，ｙ_ｉ）（ｉは自然数）で表し、四隅２００Ａ〜２００Ｄの座標を座標（Ｘ_ｉ，Ｙ_ｉ）（ｉは自然数）で表している。変数ｉが同じものは、射影変換前後でそれぞれ対応する特徴点であることを示している。

射影変換の変換式は、以下の式（１）（２）で表すことができる。式中、ｘ，ｙはｘｙ直交座標系におけるｘ座標およびｙ座標、Ｘ，ＹはＸＹ直交座標系におけるＸ座標およびＹ座標、ａ〜ｈまでの文字は変換係数を示す。２つの座標系は原点および座標軸の延在方向が同じであるとする。

上記式は、以下の式（３）（４）として表すことができる。

変換前の４点２１０Ａ〜２１０Ｄの各座標、および、四隅２００Ａ〜２００Ｄの各座標が既知であるため、上記式（３）（４）に代入することで８次の連立方程式となり、ａ〜ｈの変換係数を求めることができる。図６では、変数ａ〜ｈを求めた後の射影変換式をθとして示している。

次いで、図７に示すように、画像データ２００で規定される原画像上に、仮想的にピッチが等間隔な平行格子を設定し、平行格子における複数の格子点（第１特徴点）ＬＰ１の座標を規定する。なお画像データ２００は、１つの画像Ｐを示す画像データである。そして、この複数の第１特徴点ＦＰ１の座標を射影変換式θで変換して、複数の第２特徴点ＦＰ２の座標を求める。

現在の有効投写領域の形状は、所望の形状に射影変換式θで表すことができる座標変換を加えた形状となっている。そのため、複数の第１特徴点ＦＰ１の座標を射影変換式θで変換して得られた複数の第２特徴点ＦＰ２の座標は、理想的な状態（画像データが示す画像を各プロジェクターが忠実に再現する状態）であれば被投写面上で再現される複数の第１特徴点ＦＰ１の座標を、現在の歪み相当分だけ座標変換したときの座標とみなすことができる。すなわち、第２特徴点ＦＰ２の座標は、既定補正情報に基づいて座標を変換した画像データを用いて投写したときの、被投写面における第１特徴点ＦＰ１に対応する点の座標として用いることができる。

次いで、図８に示すように、複数の第２特徴点の座標から、現在の有効投写領域１０５における各プロジェクターの表示領域を求める。抽出データ２０１に含まれる複数の第１特徴点ＦＰ１の座標と、抽出データ２０１の外周の座標との関係は既知であるため、これらの座標から、射影変換式θにより現在の有効投写領域１０５におけるプロジェクター２１の表示領域１０１ａを求めることができる。同様に、他のプロジェクターに係る現在の有効投写領域１０５における表示領域を各々求めることができる。

次いで、図９に示すように、有効投写領域１０５から、図６で示した指定領域１１５を抽出し、指定領域１１５と、有効投写領域１０５における各プロジェクターの表示領域と、の重なり部分を、各プロジェクターの新たな表示領域１１５ａとして定める。図では、現在の表示領域１０１ａに対応する表示領域１１５ａを網掛けで表示している。

次いで、図１０に示すように、表示領域１１５ａ上に複数の第１特徴点と１対１で対応する複数の第３特徴点ＦＰ３を設定する。本実施形態では、複数の第３特徴点ＦＰ３を複数の第１特徴点と同じ配列で同数設定することとする。これにより、画像データ２００で示される画像上には複数の第１特徴点ＦＰ１、指定領域１１５には第１の特徴点ＦＰ１と対応する複数の第３特徴点ＦＰ３、が設定されるため、第１特徴点ＦＰ１と第３特徴点ＦＰ３との対応関係を求めることで、所望の補正情報を求めることができる。

すなわち、図１１に示すように、複数の第２特徴点に対応する画像形成素子ＬＶ１上の点を、既定補正情報から求めることができるため、表示領域１０１ａ上の４つの第２特徴点Ｕ１〜Ｕ４に囲まれた第３特徴点３００を、画像形成素子ＬＶ１において４つの第２特徴点Ｕ１〜Ｕ４と対応する４点Ｖ１〜Ｖ４に囲まれた第４特徴点３０１に変換することができる（図１１（ａ））。なお第４特徴点３０１は、画像形成素子ＬＶ１において第３特徴点３００に対応する点である。同様にして、他の第３特徴点に対応する、画像形成素子ＬＶ１上の複数の第４特徴点ＦＰ４を求めることができる。

このようにして、表示領域１０１ａ上の第３特徴点３００と、画像形成素子ＬＶ１における第４特徴点３０１との対応関係を求めることができる。この対応関係と表示領域１０１ａの四隅の座標を用いて、図１０に示す指定領域１１５ａに画像を投写するために画像データが入力されるべき画像形成素子ＬＶ１上の領域２２１の四隅の座標を求めることができる（図１１（ｂ））。

これによって、画像形成素子上の画素の座標と、指定領域内の新たな表示領域に表示される画像の画素の座標と、の対応関係を示す補正情報を求めることができる。

また、以上のような構成の補正情報算出装置や、以上のような補正情報算出方法では、１回の補正を行うことで、変更後の第２有効投写領域の形状や位置に合わせて画像を表示することができる補正情報を、既知の対応関係に基づいて算出することができる。そのため、計算負荷が低く短時間の計算で補正を行うことができる。

また、以上のような構成の画像補正装置では、この補正情報を用いて歪みのない良好な全体画像を表示することが可能な部分画像データを作成することができ、以上のような構成の画像表示システム１によれば、歪みのない良好な全体画像を表示することが可能となる。

なお、本実施形態では、複数の第２特徴点と複数の第３特徴点との対応関係から、補正情報を求めることとしたが、これに限らない。例えば、被投写面には歪みの原因となる凹凸が無い場合には、第１有効投写領域の四隅と第２有効投写領域の四隅との対応関係により、第１有効投写領域上の画素の座標と、第２有効投写領域上の画素の座標と、の対応関係を代表し、射影変換θを求める補正情報とすることもできる。

また、本実施形態では、第３特徴点を第１特徴点と同じ配列で同数設定することとしたが、これに限らない。第３特徴点の数や、配列する第３特徴点の行数、列数は任意に設定することができる。第３特徴点の数や配列が第１特徴点と異なっていても、複数の第２特徴点に対応する画像形成素子ＬＶ１上の点を、既定補正情報から求めることができるため、第２有効投写領域上に任意に設定する第３特徴点に対応する画像形成素子上の画素の座標を求めることができる。

以上、添付図面を参照しながら本発明に係る好適な実施の形態例について説明したが、本発明は係る例に限定されないことは言うまでもない。上述した例において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の主旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。

１…画像表示システム、２、２１〜２４…プロジェクター、３…画像処理装置、３１…画像入力部（入力部）、３２…画像処理部、３３…画像出力部（出力部）、４…補正情報算出装置、１０５…有効投写領域（第１有効投写領域）、１１５…有効投写領域（第２有効投写領域）、ＦＰ１…第１特徴点、ＦＰ２…第２特徴点、ＦＰ３…第３特徴点、Ｓ…被投写面、

Claims

複数のプロジェクターが協働して表示する１つの画像を示す画像データに基づいて、各プロジェクターが表示すべき部分画像を抽出し、前記部分画像に対応した部分画像データを作成する画像補正装置であって、
前記複数のプロジェクターがそれぞれ有する画像形成素子上の画素の座標と、前記１つの画像が現在表示されている被投写面上の第１有効投写領域上の画素の座標と、の対応関係として既に設定されている既定補正情報と、前記第１有効投写領域上の画素の座標と、前記１つの画像を表示すべき領域として指定される前記被投写面上の第２有効投写領域上の画素の座標と、の対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標を、前記第２有効投写領域上の画素の座標に対応させる変換の逆変換である補正情報を算出する補正情報算出装置と、
前記画像データが入力される入力部と、
前記画像形成素子上の画素と、前記複数のプロジェクターの各投写領域を合わせた全体投写領域上の画素と、の対応関係から、前記複数のプロジェクターごとに、前記全体投写領域内の前記第２有効投写領域において前記部分画像を表示すべき領域を定め、前記複数の画像形成素子ごとに、前記画像データから、前記部分画像に対応したデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報算出装置で求められる補正情報を用いて変換して、前記部分画像データを作成する画像処理部と、
前記部分画像データを前記複数のプロジェクターに出力する出力部と、を備えることを特徴とする画像補正装置。
前記補正情報算出装置は、前記第１有効投写領域の四隅の座標を、前記第２有効投写領域の四隅の座標に変換する射影変換に係る射影変換式に基づいて、前記第１有効投写領域上の画素の座標を変換した座標を、前記第２有効投写領域上の画素の座標として、前記第２の対応関係を求めることを特徴とする請求項１に記載の画像補正装置。
前記補正情報算出装置は、前記１つの画像を示す画像データで規定される原画像上に、複数の第１特徴点の座標を設定し、
前記射影変換式で規定される射影変換の逆変換によって、前記複数の第１特徴点の座標を変換し、前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標を求め、
前記第２有効投写領域上に任意に設定される複数の第３特徴点の各々と、各々の前記第３特徴点を囲む４つの第２特徴点との対応関係を、前記第２の対応関係として求めることを特徴とする請求項２に記載の画像補正装置。
前記補正情報算出装置は、前記既定補正情報および前記第２の対応関係に基づいて、前記補正情報を算出することを特徴とする請求項３に記載の画像補正装置。
複数のプロジェクターが協働して１つの画像を表示する画像表示システムであって、
請求項１から４のいずれか１項に記載の画像補正装置と、
前記画像補正装置で作成された前記部分画像データが入力され、該部分画像データに基づいて前記部分画像を投写する複数のプロジェクターと、を有することを特徴とする画像表示システム。
それぞれ画像形成素子を有する複数のプロジェクターが協働して被投写面上に１つの画像を表示する画像表示システムにおいて用いられる画像補正方法であって、
前記画像形成素子上の画素の座標と、前記被投写面上の第１有効投写領域上の画素の座標と、の対応関係である第１の対応関係を求めるステップと、
前記第１有効投写領域とは異なる前記被投写面上の第２有効投写領域を指定するステップと、
前記第１の対応関係と、前記第１有効投写領域上の画素の座標と前記第２有効投写領域上の画素の座標との対応関係である第２の対応関係と、に基づいて、前記画像形成素子上の画素の座標を、前記第２有効投写領域上の画素の座標に対応させる変換の逆変換である補正情報を算出するステップと、
前記画像形成素子上の画素と、前記複数のプロジェクターの各投写領域を合わせた全体投写領域上の画素と、の対応関係から、前記複数のプロジェクターごとに、前記全体投写領域内の前記第２有効投写領域において、前記プロジェクターが表示すべき画像である部分画像を表示すべき領域を定め、前記複数の画像形成素子ごとに、前記１つの画像を示す画像データから、前記部分画像に対応したデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報を用いて変換して、前記部分画像に対応した部分画像データを作成するステップと、を含むことを特徴とする画像補正方法。