JP3925521B2 - スクリーンの一部の辺を用いたキーストーン補正 - Google Patents

Description

本発明は、スクリーンに光を投写して画像を表示させるプロジェクタに関し、特に、スクリーン上の画像の台形歪みを補正するキーストーン補正の技術に関する。

プロジェクタを用いてスクリーンに画像を表示させるとき、プロジェクタとスクリーンとの相対的な位置関係によって、スクリーンに表示された画像（以下「表示画像」と呼ぶ）に台形歪みが生ずることがある。このような場合に、表示画像の台形歪みを補正するキーストーン補正を行う技術が知られている。

例えばキーストーン補正は、ＣＣＤ等の撮像装置によりスクリーンを撮像し、撮影画像からスクリーンの枠（外周線）を検出し、検出したスクリーン枠の形状に基づいてプロジェクタの液晶パネル上に画像を台形状に縮小して形成することにより行なわれる（例えば特許文献１）。

特開２００２−６２８４２号公報 特開２００２−２４７６１４号公報

しかし、上記の従来技術では、撮影画像からスクリーン枠の４辺の内のすべての辺を検出する必要があった。この理由は、スクリーン枠の４辺を検出できれば、検出した各辺を用いてスクリーンの形状を算出することができるからである。そのため、従来は、スクリーン枠の３辺以下しか検出できなかった場合を考慮したキーストーン補正技術は知られていなかった。

本発明は、上述した従来の課題を解決するためになされたものであり、プロジェクタによりスクリーンに画像を表示させる場合において、撮影画像からスクリーンの枠の３辺以下しか検出できなかったときにも、キーストーン補正を行うことを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明のプロジェクタは、スクリーン上に画像を表示させるプロジェクタであって、
光を発する光源部と、
前記光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、
少なくとも前記画像形成領域中の所定の領域に対応する画像光が投写される所定投写領域を撮像して撮影画像を生成する画像撮像部と、
前記撮影画像を分析して、前記撮影画像内における前記所定投写領域の外周線上および前記スクリーンの外周線上の所望の点を検出することにより、前記所定投写領域の外周線および前記スクリーンの外周線の各辺を算出する外周線検出部と、
前記外周線検出部による検出結果に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出する補正後画像形成領域算出部と、
前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記スクリーン上に表示される画像の台形歪みを補正するキーストーン補正部と、を備え、
前記補正後画像形成領域算出部は、前記外周線検出部が前記スクリーンの外周線の４辺の内の３辺以下のみを検出したときは、検出された前記スクリーンの外周線の辺である検出辺の前記撮影画像内における位置および傾きに基づいて、前記補正後画像形成領域を算出する。

このプロジェクタでは、外周線検出部がスクリーンの外周線の４辺の内の３辺以下のみを検出したときに、検出されたスクリーンの外周線の辺である検出辺の撮影画像内における位置および傾きに基づいて補正後画像形成領域を算出し、有効パネル画像を算出した補正後画像形成領域に形成させることによって、スクリーン上に表示される画像の台形歪みを補正するキーストーン補正を行う。そのため、撮影画像からスクリーンの枠の３辺以下しか検出できなかったときにもキーストーン補正を行うことができる。

上記プロジェクタにおいて、前記補正後画像形成領域算出部は、
前記検出辺の前記撮影画像内における位置および傾きに基づいて、前記プロジェクタと前記スクリーンとの相対的な角度を投写角度として算出する投写角度算出部と、
前記投写角度に基づいて、前記スクリーン上における前記スクリーンの外周線の各辺と平行な任意の直線が前記撮影画像上の所定の基準座標系において通るべき点を消失点として算出する消失点算出部と、
前記撮影画像上において、前記スクリーンの外周線の各辺の内の前記検出辺と共に前記所定投写領域の外周線で囲まれた領域内に含まれる目標領域を形成するための補完辺を、前記消失点を通る直線上に位置するように算出する補完辺算出部と、を含み、
前記補正後画像形成領域算出部は、前記所定投写領域の外周線が前記検出辺と前記補完辺とで囲まれた前記目標領域の外周線と整合するような変換を用いて、前記パネル面の画像形成領域中の前記所定の領域の外周線を変換することにより、前記補正後画像形成領域を算出するとしてもよい。

このようにすれば、プロジェクタは、検出辺の撮影画像内における位置および傾きに基づいて、プロジェクタとスクリーンとの相対的な角度を投写角度として算出し、投写角度に基づいて消失点を算出し、消失点を通る直線上に位置するような補完辺を算出し、所定投写領域の外周線が検出辺と補完辺とで囲まれた目標領域の外周線と整合するような変換を用いて、パネル面の画像形成領域中の所定の領域の外周線を変換することにより、補正後画像形成領域を算出することができる。そのため、撮影画像からスクリーンの枠の３辺以下しか検出できなかったときにもキーストーン補正を行うことができる。

また、上記プロジェクタにおいて、前記投写角度算出部は、前記検出辺の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺とを用いて前記投写角度を算出するとしてもよい。

このようにすれば、撮影画像からスクリーンの枠の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺しか検出できなかったときにもキーストーン補正を行うことができる。

また、上記プロジェクタにおいて、さらに、
前記プロジェクタの鉛直方向からの傾きを検出する鉛直傾斜検出部を備え、
前記投写角度算出部は、前記検出辺の内、少なくとも上辺または下辺の一方と、前記鉛直傾斜検出部により検出された前記傾きとを用いて前記投写角度を算出するとしてもよい。

このようにすれば、撮影画像からスクリーンの枠の内、上辺または下辺の一方しか検出できなかったときにもキーストーン補正を行うことができる。

また、上記プロジェクタにおいて、さらに、
前記撮影画像における前記所定投写領域の外周線と前記目標領域の外周線とを、所定の基準座標系に変換する基準変換部を備え、
前記補正後画像形成領域算出部は、前記基準変換部によって変換された後の前記所定投写領域の外周線および前記目標領域の外周線を用いて、前記補正後画像形成領域を算出するとしてもよい。

このようにすれば、プロジェクタの投写光学系の光軸と画像撮像部の光軸とが平行でないときにも、そのずれを補償して、正確にキーストーン補正を行うことができる。

なお、前記基準座標系は、前記画像形成領域を有する前記パネル面に平行な平面上の座標系であるとしてもよい。

このようにすれば、画像形成パネル部のパネル面に平行な平面上の座標系を用いて計算を行うことができ、正確かつ高速に処理を行うことができる。

また、上記プロジェクタにおいて、前記画像撮像部は、前記所定投写領域内に位置する前記スクリーンの輝度が異なる複数の状態における撮像によって複数の撮影画像を生成し、
前記外周線検出部は、前記複数の撮影画像を用いて、前記スクリーンの外周線上の所望の点を検出するとしてもよい。

このようにすれば、スクリーンの外周線を精度良く検出することができる。

また、上記プロジェクタにおいて、前記画像撮像部は、前記複数の状態における撮像時に、露出を固定して撮像するとしてもよい。

このようにすれば、複数の撮影画像の差分を用いることによって、スクリーンの外周線を精度良く検出することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、プロジェクタ、画像投写方法および装置、画像補正方法および装置、キーストーン補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．プロジェクタの構成：
Ａ−２．キーストーン補正処理：
Ｂ．第２実施例：
Ｃ．投写角度の算出式および消失点の算出式の根拠
Ｄ．変形例：

Ａ．第１実施例：
Ａ−１．プロジェクタの構成：
図１は、本発明の第１実施例としてのプロジェクタの構成を概略的に示すブロック図である。プロジェクタ１００は、画像を表す画像光を投写して、スクリーンＳＣなどのスクリーン上に画像（以下「表示画像」と呼ぶ）を表示させる。プロジェクタ１００は、Ａ／Ｄ変換部１１０と、内部メモリ１２０と、液晶パネル１３０と、液晶パネル駆動部１３２と、照明光学系１４０と、ズームレンズ１５２を備える投写光学系１５０と、ズームレンズ駆動部１５４と、ＣＰＵ１６０と、リモコン制御部１７０と、リモコン１７２と、撮像部１８０と、撮影画像メモリ１８２とを備えている。内部メモリ１２０と、液晶パネル駆動部１３２と、ズームレンズ駆動部１５４と、ＣＰＵ１６０と、リモコン制御部１７０と、撮影画像メモリ１８２とは、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、図示しないＤＶＤプレーヤやパソコンなどからケーブル３００を介して入力された入力画像信号に対して、必要によりＡ／Ｄ変換を行い、デジタル画像信号を出力する。

内部メモリ１２０には、画像処理部１２２として機能するコンピュータプログラムが格納されている。画像処理部１２２は、Ａ／Ｄ変換部１１０から出力されたデジタル画像信号に対して、画像の表示状態（例えば、輝度、コントラスト、同期、トラッキング、色の濃さ、色合い等）の調整を行い、液晶パネル駆動部１３２へと出力する。また、画像処理部１２２は、外周線検出部１２３と、補正後画像形成領域算出部１２４と、キーストーン補正部１２７と、アスペクト比調整部１２８と、ズーム調整部１２９としての機能を含んでおり、補正後画像形成領域算出部１２４はさらに補完辺算出部１２５と基準変換部１２６としての機能を含んでいる。画像処理部１２２は、これらの機能により後述のキーストーン補正処理を行う。

液晶パネル駆動部１３２は、画像処理部１２２を経て入力されたデジタル画像信号に基づいて、液晶パネル１３０を駆動する。液晶パネル１３０は、照明光学系１４０から照射された照明光を画像を表す有効な画像光へと変調するための画像（以下「有効パネル画像ＰＩ」と呼ぶ）を、液晶パネル１３０の表面（以下「パネル面」と呼ぶ）の画像形成領域ＩＦに形成する。

図２は、液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図である。画像形成領域ＩＦとは、液晶パネル駆動部１３２に入力されたデジタル画像信号に基づいて有効パネル画像ＰＩを形成可能な液晶パネル１３０のパネル面上の領域を意味している。図２では、画像形成領域ＩＦを破線で囲まれた領域として示している。図２（ａ）に示すように、本実施例の画像形成領域ＩＦは、液晶パネル１３０のパネル面全面より４周それぞれ２ドット程度ずつ小さい領域に設定されている。なお、液晶パネル１３０のパネル面全面に対する画像形成領域ＩＦの大きさは任意に設定可能である。

図２では、有効パネル画像ＰＩが形成される領域をハッチングを付して示している。通常は、図２（ａ）に示すように、画像形成領域ＩＦの全領域に有効パネル画像ＰＩが形成される。しかし、後に詳述するキーストーン補正処理を実行する際には、図２（ｂ）に示すように、液晶パネル１３０の画像形成領域ＩＦ中の一部の領域に有効パネル画像ＰＩが形成され、画像形成領域ＩＦの残りの領域には全黒の画像（図２（ｂ）では白色で示す）が形成されることがある。このキーストーン補正時に有効パネル画像ＰＩが形成される画像形成領域ＩＦ中の一部の領域を「補正後画像形成領域ＲＩＦ」と呼ぶ。図２では、補正後画像形成領域ＲＩＦを一点鎖線で囲まれた領域として示している。

また、例えば、液晶パネル駆動部１３２に入力されたデジタル画像信号の解像度が液晶パネル１３０の解像度と比較して小さいときであって、入力されたデジタル画像を拡大することなくそのまま液晶パネル１３０上に形成する場合には、図２（ｃ）に示すように、画像形成領域ＩＦは、上記両解像度の比に対応して、液晶パネル１３０のパネル面全面よりさらに小さい領域に設定されることとなる。

投写光学系１５０は、プロジェクタ１００の筐体の前面に取り付けられており、液晶パネル１３０によって画像光へと変調された光を拡大投写する。ズームレンズ駆動部１５４は、投写光学系１５０が備えるズームレンズ１５２を駆動して、ズーム状態を変化させることができる。ここで、ズーム状態とは、投写光学系１５０において、液晶パネル１３０を透過した光を投写する際の拡大の程度（倍率）を意味している。すなわち、ズームレンズ駆動部１５４は、ズームレンズ１５２を駆動してスクリーンＳＣ上に表示させる表示画像の大きさを変化させることができる。

リモコン制御部１７０は、リモコン１７２を通じたユーザからの指示を受信し、バス１０２を介してその指示をＣＰＵ１６０に伝える。なお、本実施例では、プロジェクタ１００は、ユーザからの指示を、リモコン１７２およびリモコン制御部１７０を通じて受け取るものとしているが、ユーザからの指示を例えば操作パネルなどの他の構成を通じて受け取るものとすることも可能である。

ＣＰＵ１６０は、内部メモリ１２０から画像処理部１２２としてのコンピュータプログラムを読み出して実行することにより、スクリーンＳＣ上に画像を投写したり、後述のキーストーン補正処理などの画像処理を行ったりする。また、ＣＰＵ１６０は、プロジェクタ１００内の各部の動作を制御する。

撮像部１８０は、ＣＣＤカメラを有しており、撮影画像を生成する。撮像部１８０により生成された撮影画像は、内部メモリ１２０を経て、撮影画像メモリ１８２内に格納される。なお、撮像部１８０は、ＣＣＤカメラの代わりに他の撮像デバイスを有しているとすることも可能である。

Ａ−２．キーストーン補正処理
図３は、プロジェクタ１００によるキーストーン補正処理の流れを示すフローチャートである。キーストーン補正処理は、スクリーンＳＣ上の表示画像の台形歪みを補正する処理である。キーストーン補正処理は、ユーザからのリモコン１７２を通じた指示に応じて実行される。なお、キーストーン補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとすることも可能である。

ステップＳ４１０では、画像処理部１２２（図１）が検出用パターンをスクリーンＳＣに向けて投写すると共に、撮像部１８０（図１）が検出用パターンが投写されたスクリーンＳＣを撮像して撮影画像（以下「撮影画像ＣＩ」と呼ぶ）を生成する。

図４は、検出用パターンの投写時の液晶パネル１３０およびスクリーンＳＣの状態とその時の撮影画像ＣＩとの一例を示す説明図である。本実施例では、検出用パターンの投写および撮影画像ＣＩの生成を４回繰り返し実行するものとしている。第１回目の検出用パターンの投写および撮影画像ＣＩの生成（以下「第１回目処理」と呼ぶ）時の液晶パネル１３０の状態を図４（ａ）に、スクリーンＳＣの状態を図４（ｂ）に、撮影画像ＣＩを図４（ｃ）に、それぞれ示している。同様に、第２回目の検出用パターンの投写および撮影画像ＣＩの生成（第２回目処理）時の状態を図４（ｄ）〜（ｆ）に、第３回目の検出用パターンの投写および撮影画像ＣＩの生成（第３回目処理）時の状態を図４（ｇ）〜（ｉ）に、第４回目の検出用パターンの投写および撮影画像ＣＩの生成（第４回目処理）時の状態を図４（ｊ）〜（ｌ）に、それぞれ示している。また、本実施例では、検出用パターンとして、第１から第３までの３種類のパターンを用いるものとしている。

第１回目処理は、全白色のパターンである第１の検出用パターンを用いて行われる。第１回目処理時には、図４（ａ）に示すように、液晶パネル１３０の画像形成領域ＩＦ中のすべての領域に、全白パターンの有効パネル画像ＰＩが形成されている。なお、図４（ａ）に示した有効パネル画像ＰＩの外周に沿った線は、画像形成領域ＩＦの境界を表すために便宜的に図示しているものであり、実際の有効パネル画像ＰＩの一部ではない。このことは、後述の図４（ｄ）、（ｇ）、（ｊ）においても同様である。

本実施例では、スクリーンＳＣは、その外周に沿って黒色のスクリーン枠ＳＦを有しており、図４ではスクリーン枠ＳＦを太線で示している。第１回目処理時には、図４（ｂ）において細い実線で囲まれた領域に全白パターンの表示画像が表示されている。図４（ｂ）の例では、表示画像はスクリーンＳＣ上からはみ出してスクリーンＳＣの背後の壁面にも表示されている。また、表示画像には台形歪みが発生している。ここで、図４（ｂ）において全白パターンが表示されている細い実線で囲まれた領域は、液晶パネル１３０の画像形成領域ＩＦ中のすべての領域に対応する画像光が投写されるスクリーンＳＣ上またはスクリーンＳＣの背後の壁面上の領域であり、この領域を「全投写領域ＰＡ」と呼ぶものとする。なお、液晶パネル１３０の画像形成領域ＩＦ中のすべての領域に対応する画像光とは、液晶パネル１３０の画像形成領域ＩＦ中のすべての領域に有効パネル画像ＰＩが形成されたときに投写される画像光を意味している。また、図４（ｂ）に示した全投写領域ＰＡの外周に沿った線を全投写領域枠ＰＦと呼ぶものとする。また、図４（ｂ）では、スクリーンＳＣ上において画像光が投写されていない領域をハッチングを付して示している。

図４（ｂ）からわかるように、図４の例では、液晶パネル１３０の画像形成領域ＩＦのすべての領域に有効パネル画像ＰＩを形成して画像を投写すると、表示画像はスクリーンＳＣからはみ出してしまい、また台形歪みを発生してしまう。本実施例のキーストーン補正処理は、表示画像をスクリーンＳＣ内に収め、かつ、表示画像の外周線の各辺がスクリーン枠ＳＦの各辺と平行となるように表示画像の台形歪みを補正する処理である。

第１回目処理時に撮像した撮影画像ＣＩ（以下「第１撮影画像ＣＩ１」とも呼ぶ）には、図４（ｃ）に示すように、全投写領域ＰＡに投写された全白パターンの表示画像とスクリーンＳＣとが写し出されている。なお、撮影画像ＣＩにおける全投写領域をＰＡｉと、全投写領域枠をＰＦｉと、スクリーンをＳＣｉと、スクリーン枠をＳＦｉと、それぞれ表すものとする。

図４（ｃ）に示すように、撮影画像ＣＩには、全投写領域ＰＡｉの全体が写し出されている。これは、撮像部１８０（図１）が、全投写領域ＰＡを含む領域を撮像できるように、その設置位置や画角が設定されているからである。一方、図４の例では、撮影画像ＣＩには、スクリーンＳＣｉの一部のみが写し出されている。なお、撮影画像ＣＩにおいて、全投写領域枠ＰＦｉは、ほぼ長方形であるものの、わずかに台形状に歪んでいる。これは、撮像部１８０（図１）のＣＣＤカメラのレンズの光軸が、投写光学系１５０の光軸とほぼ平行であるものの、厳密には平行に設定されていないからである。

図４（ｃ）に示す第１撮影画像ＣＩ１では、全投写領域ＰＡｉに全白パターンが写し出され、全投写領域ＰＡｉ以外の領域よりも明るい画像となっている。また、全投写領域ＰＡｉ内では画像光がスクリーン枠ＳＦｉのための照明光の役割を果たしており、スクリーン枠ＳＦｉがはっきりと写し出されている。

第２回目処理は、白色と黒色の市松パターンである第２の検出用パターンを用いて行われる。第２回目処理は、後述のステップＳ４２０において全投写領域枠ＰＦｉを正確に検出するために行われる。第２回目処理時には、図４（ｄ）に示すように、液晶パネル１３０の画像形成領域ＩＦには、３行×３列の白色と黒色の市松パターンの有効パネル画像ＰＩが形成されている。図４（ｄ）において、ハッチングを付した部分が黒色の部分を表している。

第２回目処理時には、図４（ｅ）に示すように、市松パターンの表示画像がスクリーンＳＣ上からはみ出して表示されている。なお、全投写領域ＰＡ内において、有効パネル画像ＰＩの黒色部分（図４（ｄ）でハッチングを付した部分）に対応する領域は、画像光が投写されない領域である。従って、図４（ｅ）でスクリーンＳＣ上にハッチングを付した部分には画像光が投写されないこととなる。また、第２回目処理時に撮像した撮影画像ＣＩ（以下「第２撮影画像ＣＩ２」とも呼ぶ）は、図４（ｆ）のようになる。

第３回目処理は、全黒色のパターンである第３の検出用パターンを用いて行われる。第３回目処理は、後述のステップＳ４２０において、全投写領域枠ＰＦｉやスクリーン枠ＳＦｉの検出の精度を向上させるために行われる。第３回目処理時には、図４（ｇ）に示すように、液晶パネル１３０の画像形成領域ＩＦには、全黒パターンの有効パネル画像ＰＩが形成されている。

３回目処理時の検出用パターンは、全黒色のパターンであるため、画像光は投写されない。従って、第３回目処理時には、図４（ｈ）に示すように、スクリーンＳＣ上には何も表示されない。なお、図４（ｈ）には、参考のために、全投写領域ＰＡの全投写領域枠ＰＦを破線によって示している。

第３回目処理時の撮影画像ＣＩ（以下「第３撮影画像ＣＩ３」とも呼ぶ）は、図４（ｉ）のようになる。ここで、第３回目処理時の撮像は、第１回目処理時の撮像における露出値と同じ露出値を用いて行われる。そのため、照明光としての画像光が投写されていない第３回目処理時に撮像された第３撮影画像ＣＩ３は、全体的に暗い画像となり、スクリーン枠ＳＦｉはほとんど認識できない状態となっている。なお、第３撮影画像ＣＩ３には全投写領域枠ＰＦｉは写し出されないが、図４（ｉ）には、参考のために、全投写領域枠ＰＦｉに相当する位置を破線によって示している。

第４回目処理は、第３回目処理と同様に、全黒色のパターンである第３の検出用パターンを用いて行われる。第３回目処理との違いは、第４回目処理では自動露出を用いて撮影画像ＣＩの撮像を行う点である。第４回目処理は、後述のステップＳ４２０においてスクリーン枠ＳＦｉの検出を補完するために行われる。第４回目処理時の液晶パネル１３０の状態（図４（ｊ））と、スクリーンＳＣの状態（図４（ｋ））とは、第３回処理時と同様である。

第４回目処理時の撮影画像ＣＩ（以下「第４撮影画像ＣＩ４」とも呼ぶ）は、図４（ｌ）のようになる。第４回目処理時の撮像は自動露出で行われるため、第４撮影画像ＣＩ４は第３撮影画像ＣＩ３と比較してスクリーン枠ＳＦｉを認識しやすい画像となる。

ステップＳ４２０（図３）では、外周線検出部１２３（図１）が撮影画像ＣＩを分析して、撮影画像ＣＩ内におけるスクリーン枠ＳＦｉと全投写領域枠ＰＦｉとを検出する。ここで、スクリーン枠ＳＦｉおよび全投写領域枠ＰＦｉの検出は、スクリーン枠ＳＦｉ上および全投写領域枠ＰＦｉ上の所望の点を検出し、当該検出した点を基にスクリーン枠ＳＦｉおよび全投写領域枠ＰＦｉを算出することにより行う。スクリーン枠ＳＦｉ上および全投写領域枠ＰＦｉ上の所望の点の検出は、上述のステップＳ４１０で生成した４つの撮影画像ＣＩにおいてコントラスト比を測定し、コントラスト比が大きい画素を抽出することによって行う。なお、スクリーン枠ＳＦｉ上および全投写領域枠ＰＦｉ上の所望の点の検出は、例えばスクリーン枠ＳＦｉおよび全投写領域ＰＦｉのそれぞれの４頂点について行うとしてもよいし、スクリーン枠ＳＦｉおよび全投写領域ＰＦｉの各辺それぞれ２点以上について行うとしてもよい。

図４（ｃ）に示す第１撮影画像ＣＩ１においては、全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉの位置でコントラスト比が大きくなっているため、第１撮影画像ＣＩ１のコントラスト比を測定することによって全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉを検出することができる。また本実施例では、第１撮影画像ＣＩ１の画素値から第３撮影画像ＣＩ３の画素値を差し引いた後に、再度、全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉの検出を行っている。これは、検出の精度を向上させるためである。例えば、スクリーンＳＣ上に蛍光灯が写り込んでいるとき、撮影画像ＣＩにもその蛍光灯が写し出される場合がある。そのため、外周線検出部１２３（図１）が、第１撮影画像ＣＩ１上に写し出された蛍光灯を誤って全投写領域枠ＰＦｉやスクリーン枠ＳＦｉと判定してしまう恐れがある。このとき第３撮影画像ＣＩ３は、第１撮影画像ＣＩ１の撮像時と同じ露出値を用いて撮像された画像であり、第１撮影画像ＣＩ１と同様に、蛍光灯が写し出されている。そこで、第１撮影画像ＣＩ１の画素値から第３撮影画像ＣＩ３の画素値を差し引けば、写し出された蛍光灯による画素値が差し引かれるため、このような誤検出の発生を抑制することができ、検出の精度を向上させることができる。

同様に、図４（ｆ）に示す第２撮影画像ＣＩ２の分析を行う。第２撮影画像ＣＩ２からは、全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉの他に、市松パターンの白色部分と黒色部分との境界線も検出される。本実施例では、この境界線の内、市松パターンの中央の白色部分の境界線（以下「中央部分境界線」と呼ぶ）を用いて、全投写領域枠ＰＦｉの位置を算出している。これは図４の例のように、全投写領域ＰＡがスクリーンＳＣ内に収まっていないときには、スクリーンＳＣ背後の状況によって全投写領域枠ＰＦの位置や形状が変動してしまう場合があるからである。これに対し、中央部分境界線はスクリーンＳＣ内に収まる場合が多いため、中央部分境界線を検出し、中央部分境界線に対する所定の変換を行うことによって全投写領域枠ＰＦｉの位置を算出すれば、正確な全投写領域枠ＰＦｉを算出することができる。

さらに同様に、図４（ｌ）に示す第４撮影画像ＣＩ４の分析を行う。第４撮影画像ＣＩ４の撮像は自動露出で行われているため、スクリーン枠ＳＦｉを検出することができる。第４撮影画像ＣＩ４におけるスクリーン枠ＳＦｉの検出は、第１撮影画像ＣＩ１における検出と比較すると明確に検出できるわけではないが、第１撮影画像ＣＩ１では検出困難な全投写領域ＰＡｉ以外の領域に相当する部分についてもスクリーン枠ＳＦｉを検出することができる。そのため、第４撮影画像ＣＩ４におけるスクリーン枠ＳＦｉの検出結果を補完的に用いることにより、より精度の高いスクリーン枠ＳＦｉの検出を行うことができる。

以上のようにして、撮影画像ＣＩにおける全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉを検出する。なお、図４の例では、スクリーン枠ＳＦｉは、上辺および左辺の２辺のみが検出されており、下辺および右辺の２辺は検出されていない。以降の説明では、撮影画像ＣＩにおいて検出されていないスクリーン枠ＳＦｉの辺を「未検出辺」と呼ぶものとする。

ステップＳ４３０（図３）では、補正後画像形成領域算出部１２４（図１）が、撮影画像ＣＩにおいてスクリーン枠ＳＦｉの各辺すべてが検出されているか否か、すなわち未検出辺が無いか否かを判定する。本実施例のキーストーン補正処理では、後述するように、全投写領域枠ＰＦｉとスクリーン枠ＳＦｉとの関係から補正後画像形成領域ＲＩＦ（図２）を算出している。そのため、スクリーン枠ＳＦｉに未検出辺があると、そのままでは補正後画像形成領域ＲＩＦを算出することができない。そのときは、後述のスクリーン枠補完辺算出処理（ステップＳ４４０）を行うこととなる。従って、ステップＳ４３０において未検出辺があると判定したときは、ステップＳ４４０に進む。一方、ステップＳ４３０においてスクリーン枠ＳＦｉの各辺すべてが検出されていると判定したときは、ステップＳ４４０をスキップし、ステップＳ４５０に進む。図４の例では、未検出辺があるので、ステップＳ４４０に進むこととなる。

ステップＳ４４０（図３）では、補完辺算出部１２５（図１）が、スクリーン枠補完辺算出処理を行う。スクリーン枠補完辺算出処理は、撮影画像ＣＩにおいて検出されていないスクリーン枠ＳＦｉの辺（未検出辺）を補完するための補完辺を算出する処理である。

図５は、スクリーン枠補完辺算出処理の流れを示すフローチャートである。なお、スクリーン枠補完辺算出処理では、種々の計算式を用いて処理を行っているが、以下の説明では計算式のみを示すものとし、その計算式の算出根拠については、実施例の末尾に記載するものとする。

ステップＳ４４２では、補完辺算出部１２５（図１）が、投写角度を算出する。ここで投写角度とは、撮像部１８０のＣＣＤの光軸とスクリーンＳＣとの相対的な角度を意味している。

図６は、投写角度を示す説明図である。図６の座標系は、原点Ｏを撮像部１８０のＣＣＤ中心点にとり、Ｙｏ軸をスクリーンＳＣの右辺および左辺と平行にとり、Ｚｏ軸をスクリーンＳＣの中心点を通り右辺および左辺に平行な線と交差するような方向にとったものである。このとき、撮像部１８０のＣＣＤの光軸とＸｏ−Ｚｏ平面との角度θを縦方向の投写角度（以下「縦投写角度θ」と呼ぶ）と、スクリーンＳＣとＸｏ−Ｙｏ平面との角度φを横方向の投写角度（以下「横投写角度φ」と呼ぶ）と、それぞれ定義する。なお、座標系および投写角度の定義は、計算の便宜上、図６のように定義したものであり、他にも任意に定義可能である。

本実施例では、補完辺算出部１２５（図１）は、投写角度θおよびφを、上述のステップＳ４２０（図３）で検出したスクリーン枠ＳＦｉの撮影画像ＣＩにおける位置および傾きに基づいて算出する。すなわち、補完辺算出部１２５は、撮影画像ＣＩにおけるスクリーン枠ＳＦｉの各辺の直線の式を算出し、直線の式の傾きおよび切片を用いて投写角度θおよびφを算出する。

図７は、撮影画像ＣＩにおけるスクリーン枠ＳＦｉの各辺の直線の式を示す説明図である。図７の座標系は、撮影画像ＣＩにおける座標系であり、撮影画像ＣＩの中心点を原点Ｏとし、横方向にＸｃ軸を、縦方向にＹｃ軸をそれぞれとっている。また、Ｘｃ軸およびＹｃ軸に沿って、撮像部１８０のＣＣＤの画角で±４５度方向の点の座標値をそれぞれ±１と設定している。図７に示すように、撮影画像ＣＩにおけるスクリーン枠ＳＦｉの各辺の式がそれぞれ以下の式（１）〜（４）で表されるものとする。

このとき、縦投写角度θは、下記の式（５）〜（７）のいずれかによって算出することができる。

また、横投写角度φは、下記の式（８）および（９）のいずれかによって算出することができる。

補完辺算出部１２５（図１）は、まず縦投写角度θを算出する。ここで、スクリーン枠ＳＦｉの各辺の内、上辺および下辺が検出されているときは、式（５）を用いて縦投写角度θを算出する。また、右辺が検出されているときは式（６）を用いて、左辺が検出されているときには式（７）を用いて、それぞれ縦投写角度θを算出する。図４に示した例では、スクリーン枠ＳＦｉの内、上辺および左辺が検出されているため、このときには式（７）を用いて縦投写角度θを算出することとなる。

次に、補完辺算出部１２５は、横投写角度φを算出する。上辺が検出されているときは式（８）を用いて、下辺が検出されているときは式（９）を用いて、それぞれ横投写角度φを算出する。図４に示した例では、式（８）を用いて横投写角度φを算出することとなる。

上記の縦投写角度θおよび横投写角度φの算出式から明らかなように、本実施例では、縦投写角度θおよび横投写角度φを算出するためには、スクリーン枠ＳＦｉの各辺の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺とが検出されていることが必要である。

ステップＳ４４４（図５）では、補完辺算出部１２５（図１）が、ステップＳ４４２で算出した投写角度を用いて消失点を算出する。図８は、消失点を説明する説明図である。消失点とは、現実のスクリーンＳＣのスクリーン枠ＳＦの各辺と平行な任意の直線が撮影画像ＣＩ上の座標系において通るべき点を意味している。消失点には、縦方向消失点ＤＰｖと横方向消失点ＤＰｈとが存在する。図８には、縦方向消失点ＤＰｖと、横方向消失点ＤＰｈとを表している。図８に示すように、撮影画像ＣＩ上の座標系において、スクリーン枠ＳＦｉの右辺および左辺は共に縦方向消失点ＤＰｖを通り、上辺および下辺は共に横方向消失点ＤＰｈを通る。また例えば、スクリーン枠ＳＦの右辺および左辺と平行な線（縦平行線ｖｐ）が撮像され、撮影画像ＣＩ上に写し出されたとき、その縦平行線（図８においてｖｐｉで示す）は、縦方向消失点ＤＰｖを通る。同様に、スクリーン枠ＳＦの上辺および下辺と平行な線（横平行線ｖｈ）が撮像され、撮影画像ＣＩ上に写し出されたとき、その横平行線（図８においてｈｐｉで示す）は、横方向消失点ＤＰｈを通る。すなわち、スクリーン枠ＳＦの各辺と平行な任意の直線は、それが撮像された撮影画像ＣＩ上において、必ず消失点を通過することとなる。ただし、投写角度が０のときは、消失点を通過しない。

縦方向消失点ＤＰｖの座標を（ｖｘ，ｖｙ）と、横方向消失点ＤＰｈの座標を（ｈｘ，ｈｙ）とすると、消失点の座標は、投写角度を用いた下記の式（１０）および（１１）によって算出することができる。

ステップＳ４４６（図５）では、補完辺算出部１２５（図１）が、スクリーン枠ＳＦｉの補完辺ＣＳを算出する。図９は、スクリーン枠ＳＦｉの補完辺ＣＳの算出方法の一例を示す説明図である。図９の例では、図４を用いて説明したように、スクリーン枠ＳＦｉの下辺および右辺が検出されていない未検出辺である。従って、補完辺算出部１２５は、下辺および右辺に対応する補完辺ＣＳを算出する。補完辺ＣＳの算出は、補完辺ＣＳを延長した直線が消失点を通るように、かつ、補完辺ＣＳが全投写領域ＰＡｉ内に位置するように行われる。

図９（ａ）には、補完辺ＣＳの算出前の状態を表している。図９（ａ）には、参考のために、スクリーン枠ＳＦｉの内、検出されていない部分についても一点鎖線で示している。補完辺算出部１２５は、図９（ｂ）に示すように、まず下辺に対応する補完辺ＣＳｄを算出する。具体的には、横方向消失点ＤＰｈと、スクリーン枠ＳＦｉの左辺と全投写領域枠ＰＦｉとの交点とを結ぶ直線の内、全投写領域ＰＡｉに含まれる部分を下辺に対応する補完辺ＣＳｄとする。

次に補完辺算出部１２５は、図９（ｃ）に示すように、右辺に対応する補完辺ＣＳｒを算出する。具体的には、縦方向消失点ＤＰｖと、補完辺ＣＳｄと全投写領域枠ＰＦｉとの交点とを結ぶ直線の内、全投写領域ＰＡｉに含まれる部分を右辺に対応する補完辺ＣＳｒとする。

以上のようにして、未検出辺に対応する補完辺ＣＳを算出する。補完辺ＣＳは、消失点を通る直線上の線分として算出されるため、補完辺ＣＳに相当する現実のスクリーンＳＣ上の線は、未検出辺に相当するスクリーン枠ＳＦの辺と平行な線となる。また、補完辺ＣＳは、全投写領域ＰＡｉ内に位置するように算出されるため、補完辺ＣＳに相当する現実のスクリーンＳＣ上の線は、全投写領域ＰＡ内に位置することとなる。そのため、図９（ｃ）にハッチングを付して示したスクリーン枠ＳＦｉと補完辺ＣＳとで囲まれた領域（以下「目標領域ＴＡ」と呼ぶ）に相当する現実のスクリーンＳＣ上の領域は、全投写領域ＰＡ内に含まれる領域となり、またその領域の外周線の各辺はすべてスクリーン枠ＳＦの１辺と平行となる。従って、目標領域ＴＡに相当する現実のスクリーンＳＣ上の領域に表示画像を表示させるようにキーストーン補正を行えば、表示画像を、スクリーンＳＣからはみ出すことなく、また台形歪みを生ずることなく表示させることができる。なお、以下の説明では、目標領域ＴＡの外周線を「目標領域枠ＴＦ」と呼ぶものとし、特に撮影画像ＣＩにおける目標領域枠ＴＦを「目標領域枠ＴＦｉ」と表すものとする。

なお、図９の例では、最初に下辺に対応する補完辺ＣＳｄを算出し、その後、右辺に対応する補完辺ＣＳｒを算出しているが、各未検出辺に対応する補完辺の算出の順番は任意である。例えば図９の例で、まず右辺に対応する補完辺ＣＳｒを算出し、その後、下辺に対応する補完辺ＣＳｄを算出するものとしてもよい。また、図９の例では上述したように、下辺に対応する補完辺ＣＳｄを、スクリーン枠ＳＦｉと全投写領域枠ＰＦｉとの交点を通るように算出しており、右辺に対応する補完辺ＣＳｒを、補完辺ＣＳｄと全投写領域枠ＰＦｉとの交点を通るように算出しているが、必ずしもこのような方法によって補完辺ＣＳを算出する必要はない。ただし、このような方法によって補完辺を算出することにより、目標領域ＴＡをできるだけ大きくすることができ、後述するように、キーストーン補正処理後のスクリーンＳＣ上の表示画像をできるだけ大きくすることができる。また、例えば、連立方程式を用いて目標領域ＴＡが最大となるように補完辺を算出することも可能である。

なお、投写角度θまたはφが０のときは、縦方向消失点ＤＰｖまたは横方向消失点ＤＰｈは無限遠に位置することとなる。このときは、補完辺ＣＳを対辺と平行となるように算出する。

ステップＳ４５０（図３）では、アスペクト比調整部１２８（図１）が、必要によりアスペクト比の調整を行う。アスペクト比の調整は、図９（ｃ）に示した目標領域ＴＡの目標領域枠ＴＦｉの各辺を移動させて目標領域ＴＡの形状を変更させることにより行う。このとき、アスペクト比調整後の目標領域ＴＡの目標領域枠ＴＦｉの各辺も、それを延長した直線が消失点を通るように調整が行われる。アスペクト比の調整は、例えば、キーストーン補正処理後のスクリーンＳＣに表示される表示画像の縦横比が所定の値（例えば３：４）となるように行われる。

ステップＳ４６０（図３）では、補正後画像形成領域算出部１２４（図１）が、補正後画像形成領域ＲＩＦを算出する。図１０は、補正後画像形成領域ＲＩＦの算出方法の一例を概略的に示す説明図である。図１０（ａ）には、補完辺算出（図３のステップＳ４４０）および任意のアスペクト比調整（図３のステップＳ４５０）を行った後の撮影画像ＣＩの状態を表している。補正後画像形成領域算出部１２４は、まず撮影画像ＣＩの座標変換を行う。上述したように、これまでの計算では、Ｘｃ軸およびＹｃ軸に沿って、撮像部１８０のＣＣＤの画角で±４５度方向の点の座標値をそれぞれ±１と設定した座標系（以下「Ｘｃ−Ｙｃ座標系」と呼ぶ）を用いている。ここでは、このＸｃ−Ｙｃ座標系を、撮影画像ＣＩの画素を単位とした座標系（以下「Ｘｃ’−Ｙｃ’座標系」と呼ぶ）に変換する。Ｘｃ−Ｙｃ座標系からＸｃ’−Ｙｃ’座標系への変換は下記の式（１２）を用いて行うことができる。なお、Ｘｃ’−Ｙｃ’座標系からＸｃ−Ｙｃ座標系への変換は下記の式（１３）を用いて行うことができる。図１０（ｂ）には、座標変換後の撮影画像ＣＩを表している。

なお、式（８）および（９）において、各定数の意味は下記のとおりである。
Ｈ：ＣＣＤの水平方向の画素数の２分の１
Ｖ：ＣＣＤの垂直方向の画素数の２分の１
Ψｈ：ＣＣＤの水平方向の画角の２分の１
Ψｖ：ＣＣＤの垂直方向の画角の２分の１

次に、補正後画像形成領域算出部１２４は、撮影画像ＣＩの全投写領域枠ＰＦｉおよび目標領域枠ＴＦｉの射影変換を行う。図１０（ｃ）には、射影変換後の画像（変換後画像ＣＩｔ）を示している。ここでいう射影変換とは、撮影画像ＣＩ上の座標系であるＸｃ’−Ｙｃ’座標系における全投写領域枠ＰＦｉおよび目標領域枠ＴＦｉを表す座標値を、基準となる座標系上の座標値に変換することを意味している。本実施例では、基準となる座標系として、液晶パネル１３０上の座標系（以下「Ｘｐ−Ｙｐ座標系」と呼ぶ）を用いている。この射影変換は、撮像部１８０のＣＣＤカメラのレンズの光軸と投写光学系１５０の光軸とのずれを補償するために行うものである。

射影変換をφと表し、この射影変換φにより座標（Ｘｃ’，Ｙｃ’）が座標（Ｘｐ，Ｙｐ）に変換されるとすると、射影変換後の座標（Ｘｐ，Ｙｐ）は、以下の式（１４）および（１５）により表される。

なお、式（１４）および（１５）において、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈは定数である。

射影変換において、まず、撮影画像ＣＩ上のＸｃ’−Ｙｃ’座標系における全投写領域枠ＰＦｉの４つの頂点ａ１〜ａ４の座標値を、液晶パネル１３０上のＸｐ−Ｙｐ座標系の座標値に変換する射影変換φを求める。このような射影変換φは一意に定まる。ここで、本実施例では図１０（ｃ）に示すように、射影変換後のＸｐ−Ｙｐ座標系における全投写領域枠ＰＦｉｔの４つの頂点ａｔ１〜ａｔ４の座標値を、それぞれａｔ１（０，０）、ａｔ２（１０２３，０）、ａｔ３（０，７６７）、ａｔ４（１０２３，７６７）と設定している。これは、本実施例に用いる液晶パネル１３０の解像度と対応させることにより計算の便宜を図るためである。なお、射影変換後の全投写領域枠ＰＦｉｔの４つの頂点の座標値を、必ずしも液晶パネル１３０の解像度と対応させる必要はない。

次に求めた射影変換φを用いて、撮影画像ＣＩ上のＸｃ’−Ｙｃ’座標系における目標領域枠ＴＦｉの４つの頂点の座標値を、液晶パネル１３０上のＸｐ−Ｙｐ座標系の座標値に変換し、射影変換後の目標領域枠ＴＦｉｔを求める。このようにして、液晶パネル１３０上のＸｐ−Ｙｐ座標系において、全投写領域枠ＰＦｉｔと目標領域枠ＴＦｉｔとの相対的な関係が算出される。なお図１０（ｃ）には、射影変換後の目標領域枠ＴＦｉｔに囲まれた領域である射影変換後の目標領域ＴＡｔをハッチングを付して示している。また、以降の説明では、射影変換後の全投写領域枠ＰＦｉｔを単に全投写領域枠ＰＦｉｔと、射影変換後の目標領域枠ＴＦｉｔを単に目標領域枠ＴＦｉｔと、射影変換後の目標領域ＴＡｔを単に目標領域ＴＡｔと、それぞれ呼ぶものとする。

補正後画像形成領域算出部１２４は、変換後画像ＣＩｔにおける全投写領域枠ＰＦｉｔを液晶パネル１３０の画像形成領域ＩＦの外周線とみなしたときに、目標領域ＴＡｔに相当する液晶パネル１３０上の領域を補正後画像形成領域ＲＩＦとして算出する。図１０（ｄ）には、算出された液晶パネル１３０上の補正後画像形成領域ＲＩＦを表している。

ステップＳ４７０（図３）では、ズーム調整部１２９（図１）が、必要によりズーム状態の調整を行う。例えば、図１０（ｄ）に示した液晶パネル１３０上において、補正後画像形成領域ＲＩＦが画像形成領域ＩＦに対して小さすぎるときには、液晶パネル１３０の解像度を有効に使用していないこととなる。このようなときには、ズーム状態をテレ側に変更するとともに、補正後画像形成領域ＲＩＦを拡大することによって、液晶パネル１３０の解像度を有効に使用することが可能である。

ステップＳ４８０（図３）では、キーストーン補正部１２７（図１）が、キーストーン補正を実行する。本実施例のキーストーン補正は、目標領域ＴＡｔに相当するスクリーンＳＣ上の領域（以下「補正後投写領域ＲＡ」と呼ぶ）のみに画像を投写するために、目標領域ＴＡｔに対応する液晶パネル１３０上の画像形成領域ＩＦ中の領域（補正後画像形成領域ＲＩＦ）のみに有効パネル画像ＰＩを形成することにより行うものである。従って、キーストーン補正は、全投写領域枠ＰＦｉｔを目標領域枠ＴＦｉｔに整合させるような変換を求め、その変換を用いて入力信号を変換することによって行う。

図１１は、キーストーン補正処理後の投写状態の一例を示す説明図である。図１１（ａ）には、液晶パネル１３０の状態を、図１１（ｂ）には、スクリーンＳＣの状態を、それぞれ表している。また図１１（ｃ）には、参考として、キーストーン補正処理後の投写状態を撮像部１８０により撮像した場合の撮影画像ＣＩの状態を表している。

キーストーン補正処理後の投写状態では、図１１（ａ）に示すように、液晶パネル１３０の補正後画像形成領域ＲＩＦに有効パネル画像ＰＩが形成されている。なお、画像形成領域ＩＦ中の補正後画像形成領域ＲＩＦを除く領域には、照明光学系１４０から発せられた照明光を透過させないように全黒画像が形成される。

また、このときスクリーンＳＣ上においては、図１１（ｂ）に示すように、補正後投写領域ＲＡに表示画像が表示されている。この表示画像は、スクリーンＳＣ内に収まっており、また台形歪みが無い状態となっている。なお、全投写領域ＰＡの内の補正後投写領域ＲＡを除く領域には、画像光は投写されていない。また、撮影画像ＣＩは、図１１（ｃ）のようになる。

以上説明したように、本実施例のプロジェクタ１００は、撮影画像ＣＩからスクリーンＳＣのスクリーン枠ＳＦの辺を３辺以下しか検出できなかったときにも、キーストーン補正を行うことができる。上述したように、本実施例のプロジェクタ１００では、スクリーン枠ＳＦの各辺の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺とが検出されていれば、キーストーン補正を行うことができる。これにより、プロジェクタ１００の設置位置の自由度が向上する。また、例えば、縦長のスクリーンＳＣに投写するときにもキーストーン補正を行うことができるというように、使用できるスクリーンＳＣの種類（形状）が増える。

Ｂ．第２実施例：
図１２は、本発明の第２実施例としてのプロジェクタの構成を概略的に示すブロック図である。図１に示した第１実施例との違いは、第２実施例のプロジェクタ１００がＧセンサ１９０を備えている点だけである。Ｇセンサ１９０は、プロジェクタ１００の鉛直方向からの傾きを検出することにより、撮像部１８０のＣＣＤ光軸が水平面となす傾き角度を検出することができる。

第２実施例のプロジェクタ１００は、Ｇセンサ１９０によって検出した傾き角度（以下「センサ検出角度」と呼ぶ）を、上述の第１実施例における縦投写角度θとして用いてキーストーン補正処理を行うことができる。そのため、第２実施例のプロジェクタ１００は、スクリーン枠ＳＦｉの各辺の内、上辺または下辺の一方が検出されていれば、第１実施例と同様にキーストーン補正処理を行うことができる。このように、第２実施例のプロジェクタ１００では、第１実施例と比較して、さらに少ない辺（すなわち上辺または下辺の一方）しか検出できなかったときにも、キーストーン補正を行うことができる。

なお、センサ検出角度は、撮像部１８０のＣＣＤ光軸が水平面となす傾き角度であるため、例えば、スクリーンＳＣが鉛直に設置されていないときには誤差が発生する可能性がある。そのため、第２実施例のプロジェクタ１００においても、スクリーン枠ＳＦｉの各辺の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺とが検出されていれば、第１実施例と同様の計算を行って縦投写角度θを算出することにより、キーストーン補正処理の精度を向上させることが好ましい。

Ｃ．投写角度の算出式および消失点の算出式の根拠
以下、上記実施例において使用した投写角度の算出式および消失点の算出式の根拠を示す。図１３は、図６に示した投写角度を示す説明図に、スクリーンＳＣの各点の座標値を追加的に記載した説明図である。図１３に示すように、スクリーンＳＣの上辺および下辺のＹｏ座標値をｂと、スクリーンＳＣの右辺および左辺のＸｏ座標値をｃと、スクリーンＳＣの中心点のＺｏ座標値をｄとする。なお、ｂが大きければ上辺、小さければ下辺である。また、ｃが正であれば右辺、負であれば左辺である。このとき、スクリーンＳＣの上辺または下辺は下記の式（１６）で表され、右辺または左辺は下記の式（１７）で表される。ここでｔおよびｓは媒介変数である。

上記の直線の式を、ＣＣＤ撮像面に投影するため、回転行列を用いてＸｏ軸を中心に角度θだけ回転させる。回転後の座標（Ｘｏ’，Ｙｏ’，Ｚｏ’）とすると、回転行列は下記の式（１８）で表される。

次に、この座標（Ｘｏ’，Ｙｏ’，Ｚｏ’）を、下記の式（１９）を用いて、撮像面（Ｘｃ，Ｙｃ）に射影する。撮影画像ＣＩ上の座標系は、ＸＹＺ空間内のＺ＝１平面を２次元平面とみなしたものを使用する。これは、ＣＣＤ中心点から見て４５度方向の座標値が±１となる座標系と考えられる。

式（１６）および（１７）を、式（１８）および（１９）で撮像面に変換して媒介変数Ｓおよびｔを消去すると、以下の直線の式（２０）および（２１）を得る。

一方、スクリーン枠ＳＦｉの各辺を、上述の式（１）〜（４）で表すものとする。スクリーン枠ＳＦｉの各辺の式（１）〜（４）と上記の式（２０）および（２１）とから、上述した投写角度の算出式（５）〜（９）が得られる。

次に、消失点の算出式について説明する。縦方向消失点ＤＰｖは、右辺と左辺との交点である。右辺と左辺とは、上記の式（２１）における定数ｃが異なるだけである。右辺のｃをｃｒと、左辺のｃをｃｌとすると、右辺の式は下記の式（２２）と、左辺の式は下記の式（２３）と表される。

上記式（２２）および（２３）を解くと、上述した縦方向消失点の算出式（１０）を得る。なお、式（１０）から、右辺と左辺とは常にＹ軸上で交差することがわかる。

横方向消失点ＤＰｈは、上辺と下辺との交点である。上辺と下辺とは、上記の式（２０）における定数ｂが異なるだけである。上辺のｂをｂｔと、下辺のｂをｂｂとすると、上辺の式は下記の式（２４）と、下辺の式は下記の式（２５）と表される。

上記式（２４）および（２５）を解くと、上述した横方向の消失点算出式（１１）を得る。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ−１．変形例１：
上記実施例では、３種類の検出用パターンを用いて全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉの検出を行っているが、必ずしも３種類のパターンを用いて行う必要はない。また、検出用パターンは、全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉを検出することができるものであればどのようなパターンでもよい。さらに、撮影画像ＣＩから全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉを検出する方法についても、他の方法を用いることが可能である。

Ｄ−２．変形例２：
上記実施例では、全投写領域ＰＡは液晶パネル１３０の画像形成領域ＩＦのすべての領域に対応する画像光が投写される領域であるとしているが、ここでいう「すべての領域」とは、ほとんどすべての領域の意味を含むとしてもよい。すなわち、全投写領域ＰＡを、画像形成領域ＩＦよりも画像形成領域ＩＦの外周線に沿って４周それぞれ３画素程度小さい領域に対応する画像光が投写される領域であるとしてもよい。

Ｄ−３．変形例３：
上記実施例では、液晶パネル上の座標系（Ｘｐ−Ｙｐ座標系）を基準座標系として、全投写領域枠ＰＦｉおよびスクリーン枠ＳＦｉの射影変換を行っているが、射影変換は他の座標系を基準座標系として行ってもよい。また、射影変換は必ずしも行う必要はなく、省略することも可能である。

Ｄ−４．変形例４：
上記実施例では、液晶パネル１３０は１つしか示していないが、複数の色成分用の複数の液晶パネル１３０を備えるとしてもよい。また、液晶パネル以外の電気光学装置（例えばＤＭＤ（テキサス・インスツルメンツ社の商標））を用いるとしてもよい。また、プロジェクタ１００は、ＣＲＴプロジェクタであるとしてもよい。

Ｄ−５．変形例５：
上記実施例では、撮像部１８０がＣＣＤカメラを有しているとしているが、撮像部１８０が、例えばＣＭＯＳカメラ等の他の撮像装置を有しているとしてもよい。

Ｄ−６．変形例６：
上記実施例では、スクリーンとして、スクリーンＳＣを用いているが、スクリーンとして他のものを用いることも可能である。例えば、部屋の壁が白色である場合に、その壁に、テープや塗装などにより黒色のラインで矩形の枠を描き、その壁をスクリーンとしてもよい。あるいは、ホワイトボードに、黒色のラインマーカで矩形の枠を描き、そのホワイトボードをスクリーンとしてもよい。

また、スクリーンの色としては、枠が黒色、枠の内側及び外側の領域が白色に限定されるものでもなく、枠が白色、枠の内側及び外側の領域が黒色であってもよい。例えば、黒板に、白色のチョークで矩形の枠を描き、その黒板をスクリーンとしてもよい。

また、本発明では、白色と黒色とに限らず、スクリーンとして、枠の色と、枠の内側及び外側の領域の色は、所望のコントラスト比がある色であれば、どのような色の組み合わせであっても構わない。

Ｄ−７．変形例７：
上記実施例では、全投写領域ＰＡとスクリーンＳＣとの関係に基づきキーストーン補正処理を行っているが、全投写領域ＰＡの代わりに、画像形成領域ＩＦ中の所定の領域に対応する画像光が投写される所定投写領域を用いてキーストーン補正処理を行うことも可能である。このときには、検出用パターンを画像形成領域ＩＦ中の所定の領域に形成し、撮影画像ＣＩにおいて所定投写領域を検出し、所定投写領域と目標領域ＴＡとの関係から補正後画像形成領域ＲＩＦを算出することとなる。なお、上記実施例のように全投写領域ＰＡとスクリーンＳＣとの関係に基づきキーストーン補正処理を行えば、液晶パネル１３０を有効に利用することができるため、好ましい。

本発明の第１実施例としてのプロジェクタの構成を概略的に示すブロック図。 液晶パネル１３０と画像形成領域ＩＦとの関係を概略的に示す説明図。 プロジェクタ１００によるキーストーン補正処理の流れを示すフローチャート。 検出用パターンの投写時の液晶パネル１３０およびスクリーンＳＣの状態とその時の撮影画像ＣＩとの一例を示す説明図。 スクリーン枠補完辺算出処理の流れを示すフローチャート。 投写角度を示す説明図。 撮影画像ＣＩにおけるスクリーン枠ＳＦｉの各辺の直線の式を示す説明図。 消失点を説明する説明図。 スクリーン枠ＳＦｉの補完辺ＣＳの算出方法の一例を示す説明図。 補正後画像形成領域ＲＩＦの算出方法の一例を概略的に示す説明図。 キーストーン補正処理後の投写状態の一例を示す説明図。 本発明の第２実施例としてのプロジェクタの構成を概略的に示すブロック図。 投写角度を示す説明図にスクリーンＳＣの各点の座標値を追加的に記載した説明図。

符号の説明

１００…プロジェクタ
１０２…バス
１１０…Ａ／Ｄ変換部
１２０…内部メモリ
１２２…画像処理部
１２３…外周線検出部
１２４…補正後画像形成領域算出部
１２５…補完辺算出部
１２６…基準変換部
１２７…キーストーン補正部
１２８…アスペクト比調整部
１２９…ズーム調整部
１３０…液晶パネル
１３２…液晶パネル駆動部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５４…ズームレンズ駆動部
１６０…ＣＰＵ
１７０…リモコン制御部
１７２…リモコン
１８０…撮像部
１８２…撮影画像メモリ
１９０…Ｇセンサ
３００…ケーブル

Claims (10)

1. スクリーン上に画像を表示させるプロジェクタであって、
   光を発する光源部と、
   前記光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像を、パネル面の画像形成領域に形成する画像形成パネル部と、
   少なくとも前記画像形成領域中の所定の領域に対応する画像光が投写される所定投写領域を撮像して撮影画像を生成する画像撮像部と、
   前記撮影画像を分析して、前記撮影画像内における前記所定投写領域の外周線上および前記スクリーンの外周線上の所望の点を検出することにより、前記所定投写領域の外周線および前記スクリーンの外周線の各辺を算出する外周線検出部と、
   前記外周線検出部による検出結果に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出する補正後画像形成領域算出部と、
   前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記スクリーン上に表示される画像の台形歪みを補正するキーストーン補正部と、を備え、
   前記補正後画像形成領域算出部は、前記外周線検出部が前記スクリーンの外周線の４辺の内の３辺以下のみを検出したときは、検出された前記スクリーンの外周線の辺である検出辺の前記撮影画像内における位置および傾きに基づいて、前記補正後画像形成領域を算出する、プロジェクタ。
2. 請求項１記載のプロジェクタであって、
   前記補正後画像形成領域算出部は、
   前記検出辺の前記撮影画像内における位置および傾きに基づいて、前記プロジェクタと前記スクリーンとの相対的な角度を投写角度として算出する投写角度算出部と、
   前記投写角度に基づいて、前記スクリーン上における前記スクリーンの外周線の各辺と平行な任意の直線が前記撮影画像上の所定の基準座標系において通るべき点を消失点として算出する消失点算出部と、
   前記撮影画像上において、前記スクリーンの外周線の各辺の内の前記検出辺と共に前記所定投写領域の外周線で囲まれた領域内に含まれる目標領域を形成するための補完辺を、前記消失点を通る直線上に位置するように算出する補完辺算出部と、を含み、
   前記補正後画像形成領域算出部は、前記所定投写領域の外周線が前記検出辺と前記補完辺とで囲まれた前記目標領域の外周線と整合するような変換を用いて、前記パネル面の画像形成領域中の前記所定の領域の外周線を変換することにより、前記補正後画像形成領域を算出する、プロジェクタ。
3. 請求項１または請求項２のいずれかに記載のプロジェクタであって、
   前記投写角度算出部は、前記検出辺の内、上辺または下辺の一方とそれ以外の少なくとも１つの辺とを用いて前記投写角度を算出する、プロジェクタ。
4. 請求項１または請求項２のいずれかに記載のプロジェクタであって、さらに、
   前記プロジェクタの鉛直方向からの傾きを検出する鉛直傾斜検出部を備え、
   前記投写角度算出部は、前記検出辺の内、少なくとも上辺または下辺の一方と、前記鉛直傾斜検出部により検出された前記傾きとを用いて前記投写角度を算出する、プロジェクタ。
5. 請求項２記載のプロジェクタであって、さらに、
   前記撮影画像における前記所定投写領域の外周線と前記目標領域の外周線とを、所定の基準座標系に変換する基準変換部を備え、
   前記補正後画像形成領域算出部は、前記基準変換部によって変換された後の前記所定投写領域の外周線および前記目標領域の外周線を用いて、前記補正後画像形成領域を算出する、プロジェクタ。
6. 請求項５記載のプロジェクタであって、
   前記基準座標系は、前記画像形成領域を有する前記パネル面に平行な平面上の座標系である、プロジェクタ。
7. 請求項１記載のプロジェクタであって、
   前記画像撮像部は、前記所定投写領域内に位置する前記スクリーンの輝度が異なる複数の状態における撮像によって複数の撮影画像を生成し、
   前記外周線検出部は、前記複数の撮影画像を用いて、前記スクリーンの外周線上の所望の点を検出する、プロジェクタ。
8. 請求項７記載のプロジェクタであって、
   前記画像撮像部は、前記複数の状態における撮像時に、露出を固定して撮像する、プロジェクタ。
9. 光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像をパネル面の画像形成領域に形成する画像形成パネル部を備えるプロジェクタにおいて、スクリーンに投写する画像を補正する画像補正方法であって、
   （ａ）少なくとも前記画像形成領域中の所定の領域に対応する画像光が投写される所定投写領域を撮像して撮影画像を生成する工程と、
   （ｂ）前記撮影画像を分析して、前記撮影画像内における前記所定投写領域の外周線上および前記スクリーンの外周線上の所望の点を検出することにより、前記所定投写領域の外周線および前記スクリーンの外周線の各辺を算出する工程と、
   （ｃ）前記工程（ｂ）における検出結果に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出する工程と、
   （ｄ）前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記スクリーン上に表示される画像の台形歪みを補正する工程と、を備え、
   前記工程（ｃ）は、前記工程（ｂ）において前記スクリーンの外周線の４辺の内の３辺以下のみを検出したときは、検出された前記スクリーンの外周線の辺である検出辺の前記撮影画像内における位置および傾きに基づいて、前記補正後画像形成領域を算出する工程である、画像補正方法。
10. 光源部の発する光を画像を表す有効な画像光へと変調するための有効パネル画像をパネル面の画像形成領域に形成する画像形成パネル部と、少なくとも前記画像形成領域中の所定の領域に対応する画像光が投写される所定投写領域を撮像して撮影画像を生成する画像撮像部とを備えるプロジェクタにおいて、スクリーンに投写する画像を補正する画像補正プログラムであって、
    前記撮影画像を分析して、前記撮影画像内における前記所定投写領域の外周線上および前記スクリーンの外周線上の所望の点を検出することにより、前記所定投写領域の外周線および前記スクリーンの外周線の各辺を算出する外周線検出機能と、
    前記外周線検出部による検出結果に基づき、前記画像形成領域中の一部の領域である補正後画像形成領域を算出する補正後画像形成領域算出機能と、
    前記有効パネル画像を前記画像形成領域中の前記補正後画像形成領域に形成させることによって、前記スクリーン上に表示される画像の台形歪みを補正するキーストーン補正機能と、をプロジェクタに実現させることを特徴とし、
    前記補正後画像形成領域算出機能は、前記外周線検出機能によって前記スクリーンの外周線の４辺の内の３辺以下のみが検出されたときは、検出された前記スクリーンの外周線の辺である検出辺の前記撮影画像内における位置および傾きに基づいて、前記補正後画像形成領域を算出する機能である、画像補正プログラム。

Images