JP3970192B2

JP3970192B2 - Projection image correction apparatus and projector apparatus

Info

Publication number: JP3970192B2
Application number: JP2003035884A
Authority: JP
Inventors: 秀明高橋; 荒川　　和也
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2007-09-05
Anticipated expiration: 2023-02-14
Also published as: JP2004247978A

Description

【０００１】
【発明の属する技術分野】
本発明は、投映画像補正装置及びプロジェクタ装置に関し、特に、凹凸部、曲面部等の自由形状からなる投映面に画像を投映する際に、投映面に投映する１つの投映画像に対して歪補正を行なう歪補正領域を任意数指定可能とし、歪補正領域の歪補正後の画像と非歪補正領域の画像とを画像合成して投映画像を得る投映画像補正装置及びプロジェクタ装置に関する。
【０００２】
【従来の技術】
従来、画像を投映するプロジェクタ装置のスクリーンとしては、一般的には平面形状の平面スクリーンが用いられるが、投映された画像をより効果的に演出するなどの目的のために、凹凸面や曲面の形状を有するスクリーンに対して投映するような投映方法も提案されている。更には、かくのごとき凹凸面や曲面形状のスクリーンに対して投映する画像のうち、スクリーン形状による歪を伴うことなく原画像を忠実に投映させたい画像については、予め歪補正を行なった後に、凹凸面や曲面形状のスクリーンに投映するという投映技術も提案されており、例えば、特許文献１に示すような技術が開示されている。
【０００３】
ここで、前記特許文献１を参照すると、円球状の形状からなるドームスクリーンに対してプロジエクタ装置から画像を投映する場合に、プロジエクタ装置に入力する前に、正方格子パターンからなる画像を、正方格子形状がビール樽の外周のように外側に膨んだ樽巻格子パターンになるように歪ませることとしている。
而して、正方格子パターンの画像がそのままプロジエクタ装置によりドームスクリーンに投映された場合には、正方格子パターンが内側に収縮した糸巻格子パターンの画像として投映されることとなり、投映された画像として原画像を忠実に表示させることができないが、前述のごとく、プロジエクタ装置に入力する前に糸巻格子パターンと逆形状の樽巻格子パターンの画像に予め歪ませているので、実際にドームスクリーンに投映された際には、スクリーンに投映された画像は樽巻格子パターンと糸巻格子パターンとが打ち消し合い、正方格子パターンの原画像を忠実に表示させることができる。
【０００４】
つまり、プロジェクタ装置への入力画像として、歪補正の必要性の有無により２種類の画像を予め用意して、ドームスクリーンの形状に応じて歪ませて演出効果を得たい画像部分はそのまま合成回路に入力し、一方、ドームスクリーンの形状による歪を補正して、元の入力画像のまま忠実に投映しなければならない画像部分は歪補正回路に入力して予め樽巻格子パターンに歪ませた歪補正画像として合成回路に入力し、合成回路で２つの画像を合成した合成画像をドームスクリーンに投映することにより、より効果的な演出がなされた投映画像を映し出すことができる。
【０００５】
【特許文献１】
特開平３−８２４９３号公報（第２−３頁、第２図、第３図）
【０００６】
【発明が解決しようとする課題】
しかしながら、前述の従来例においては、プロジェクタ装置に対して入力する画像として、予め２つの入力画像を用意する必要があり、一方の入力画像は歪補正を行なわない画像とし、他方の入力画像は歪補正を行なう画像としている。従って、プロジェクタ装置により投映を行なう前に、歪補正をする画像と歪補正をしない画像とを予め決定しておく必要があり、プロジェクタ装置による画像の投映中に、歪補正を行なう歪補正領域と歪補正を行なわない非歪補正領域とを自在に変更することは不可能である。
【０００７】
更には、入力する画像として、歪補正を行なう画像領域と歪補正を行なわない画像領域とを変更したい要求が発生した場合に、２つの入力画像それぞれに対して変更を行なわなければならないので手数がかかり非効率的である。
また、自由形状からなる表面形状の投映面に対して投映する画像に対して、擬似的な３Ｄ効果や動的効果を付与した画像を作成する場合にも、２つの入力画像それぞれに対して投映面の表面形状に応じた作成作業を行なうこととなり負担が大きいものとなっている。
【０００８】
本発明は、かかる事情に鑑みてなされたものであり、自由形状からなる投映面上に投映する投映画像として、２つの画像を必要とせず、１つの画像のみを用意し、用意した１つの投映画像に対して、任意の画像領域を指定して歪補正を行なうことができ、また、同時に、複数の任意の画像領域を指定して歪補正を行なうことも可能にせんとするものである。更に、歪補正を行なう画像領域と行なわない画像領域との接合部分についても、歪補正後の画像側に引っ張られるような部分補正を歪補正されていない周辺画像に対して施すというシェーピング処理を更に行なうことにより、両方の画像領域を合成した投映画像として、より自然な画像が得られるようにせんとするものである。
【０００９】
【課題を解決するための手段】
第１の技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段と、前記投映画像に対して歪補正を施す歪補正手段とを有し、前記歪補正手段が、前記形状データを参照して、前記投映画像のうち前記歪補正領域の画像に対して歪補正を施し、前記投映画像のうち前記歪補正領域指定手段により指定されていない非歪補正領域の画像と画像合成する投映画像補正装置とすることを特徴とするものである。
【００１０】
第２の技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段と、前記投映画像に対して歪補正を施す歪補正手段と、前記歪補正領域指定手段により指定された前記歪補正領域と指定されていない非歪補正領域との接合部分を含む周辺領域をシェーピング領域として指定するシェーピング領域指定手段と、前記シェーピング領域指定手段により指定された前記シェーピング領域の画像に対して部分補正するシェーピング手段とを有し、前記歪補正手段が、前記形状データを参照して、前記投映画像のうち前記歪補正領域の画像に対して歪補正を施し、前記投映画像のうち前記非歪補正領域の画像と画像合成すると共に、前記シェーピング領域の画像に対して前記シェーピング手段により部分補正を行なう投映画像補正装置とすることを特徴とするものである。
【００１１】
第３の技術手段は、前記第２の技術手段に記載の投映画像補正装置において、前記シェーピング手段が行なう前記部分補正が、前記歪補正手段により施される歪補正内容を参照して、前記シェーピング領域の画像のうち、前記非歪補正領域の画像が前記歪補正領域において歪補正された画像側に引っ張られるように収縮又は膨張するような補正を施すものである投映画像補正装置とすることを特徴とするものである。
【００１２】
第４の技術手段は、前記第２又は第３の技術手段に記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記歪補正領域と前記非歪補正領域との前記接合部分に、前記歪補正領域における歪補正後の画像と前記非歪補正領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分を少なくとも１箇所含んでいる前記周辺領域である投映画像補正装置とすることを特徴とするものである。
【００１３】
第５の技術手段は、前記第２乃至第４の技術手段のいずれかに記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域として、前記投映画像に複数個の任意の領域を含ませることができる投映画像補正装置とすることを特徴とするものである。
【００１４】
第６の技術手段は、前記第２乃至第５の技術手段のいずれかに記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記部分補正すべき領域データを予め格納しているシェーピング領域データファイルを入力するか、又は、前記歪補正領域と前記歪補正手段により施される歪補正内容とからシェーピング領域を自動的に判別するか、又は、使用者自身がシェーピング領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記シェーピング領域を指定すると共に、該シェーピング領域に対応して施すべき前記部分補正の方法を示すシェーピング指示情報を指定する投映画像補正装置とすることを特徴とするものである。
【００１５】
第７の技術手段は、前記第１乃至第６の技術手段のいずれかに記載の投映画像補正装置において、前記歪補正領域指定手段により指定される前記歪補正領域として、前記投映画像に複数個の任意の領域を含ませることができる投映画像補正装置とすることを特徴とするものである。
【００１６】
第８の技術手段は、前記第１乃至第７の技術手段のいずれかに記載の投映画像補正装置において、前記歪補正領域指定手段が、前記歪補正すべき領域データを予め格納している歪補正領域データファイルから入力するか、又は、前記投映面獲得手段により得られた前記投映面の形状データから自動的に歪補正領域を判別するか、又は、使用者自身が歪補正領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記歪補正領域を指定すると共に、該歪補正領域に対応して施すべき前記歪補正の方法を示す歪補正指示情報を指定する投映画像補正装置とすることを特徴とするものである。
【００１７】
第９の技術手段は、前記第１乃至第８の技術手段のいずれかに記載の投映画像補正装置を備え、画像投映中の如何によらず、投映面上に投映する投映画像の歪補正を行ない、更には、場合によっては、前記シェーピング手段により投映画像の部分補正を行なった画像を投映することができるプロジェクタ装置とすることを特徴とするものである。
【００１８】
而して、自由形状（平面形状も含む）からなる投映面に対して投映画像を投映する場合、投映面に投映する投映画像の歪補正機能として、歪補正を施す画像領域と歪補正を施さない画像領域とを指定することができ、１つの投映画像を用いて歪補正した画像としない画像とを合成した合成画像を投映することができる。また、歪補正を施す領域（逆に言えば、歪補正を施さない領域）を１つ以上の任意の個数指定することができる。もって、１つの投映画像から該投映画像に忠実な画像部分と投映面の形状に依存して歪ませた画像部分とを得て、両者の画像部分を合成して投映することができ、１つの投映画像さえ用意すれば演出効果に富む画像を獲得することができる。
【００１９】
更には、歪補正領域と非歪補正領域との接合部分を含む周辺領域に対して、歪補正後の画像側に非歪補正領域の画像を引っ張られるように部分的に補正するシェーピング処理を行なうことにより、歪補正画像と非歪補正領域の画像とが滑らかに接合され、両者の画像の接合部分に、画像の重複が生じたり画像の欠落が生じたりして合成後の画像が不自然になるような事態を防止することができる。
【００２０】
【発明の実施の形態】
本発明に係る投映画像補正装置及びプロジェクタ装置の実施形態について、以下に図面を参照しながら説明する。
ここでは、投映画像補正装置とプロジェクタ装置とを組み合わせた場合の実施形態について説明することとするが、当該投映画像補正装置をプロジェクタ装置内に内蔵する形態とすることも当然可能である。
【００２１】
図１は、本発明に係る投映画像補正装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
図１においては、投映画像補正装置１０とプロジェクタ装置２０とが分離されて構成されている。投映画像補正装置１０は、投映面上に投映する投映画像を入力する画像入力手段１１と、自由形状からなるスクリーン２３の投映面の形状を示す形状データを得る投映面獲得手段１４と、投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段１５と、投映面獲得手段１４により得られた前記形状データと歪補正領域指定手段１５により指定された前記歪補正領域とを参照して、自由形状からなる投映面を有するスクリーン２３に対して投映する投映画像の歪補正を行なう歪補正手段１２と、歪補正手段１２から出力される画像をプロジェクタ装置２０に出力する画像出力手段１３とを備えている。
【００２２】
また、プロジェクタ装置２０は、投映画像補正装置１０から入力されてくる画像から投映面に投映すべき画像を生成する投映部２１と、投映部２１により生成された画像をスクリーン２３の投映面に投映する投映レンズ２２と、平面部や凹凸部や曲面部などの自由形状（平面形状も含む）からなる投映面を有するスクリーン２３とを備えている。
【００２３】
即ち、投映画像補正装置１０における各回路ブロックは次のような処理を司っている。画像入力手段１１は、フラッシュメモリ等に蓄積されている画像ファイルやパソコン等からの画像データに関する入力信号により、投映面上に投映する投映画像を入力する手段を提供しており、歪補正手段１２に該投映画像を送出する。即ち、画像入力手段１１は、外部機器からのみならず、当該投映画像補正装置１０内に保存している画像を投映画像として入力する手段を提供している。
また、投映面獲得手段１４は、投映画像を投映するスクリーン２３の投映面の形状を示す形状データ（投映面の大きさも含む）を獲得するために、例えば、
・投映面の形状を示す形状データを予め格納している形状データファイルを入力
・ＣＣＤカメラなどにより撮像して得られた投映面の形状データを入力
・使用者自身がユーザインターフェースを介して投映面の形状データを直接入力
等のいずれか１乃至複数の手段を用いることにより、スクリーン２３の投映面の大きさやどのような形状をしているかを示す投映面の形状データを入手する手段を提供しており、入手された形状データを歪補正手段１２に送出する。
【００２４】
歪補正領域指定手段１５は、投映画像に対して歪補正を施す歪補正領域を指定するために、例えば、
・歪補正すべき画像領域を示す領域データを予め格納している歪補正領域データファイルを入力
・投映面獲得手段１４により得られた投映面の形状データから自動的に歪補正領域を判別
・使用者自身がユーザインターフェースを介して歪補正領域を直接指定
等のいずれか１乃至複数の手段を用いることにより、自由形状からなる投映面に対して投映する際に発生する画像の歪について補正を施す歪補正領域を任意数指定し（即ち、１乃至複数の歪補正領域を指定し）、指定した歪補正領域を歪補正手段１２に送出する。即ち、歪補正領域指定手段１５が指定する歪補正領域は投映画像中の複数領域を指定することが可能である。
【００２５】
また、歪補正領域指定手段１５は、投映画像のうち、歪補正を施すべき画像領域即ち歪補正領域そのものではなく、逆に、歪補正を施さない画像領域即ち非歪補正領域を指定するようにしても良い。更には、各歪補正領域に対応して施すべき歪補正の方法を示す歪補正指示情報を指定することも可能であり、歪補正量算出部１２ｂにより算出される歪補正量は、歪補正領域指定手段１５からの各歪補正領域毎の歪補正指示情報に応じて、各歪補正領域毎に適応的に求められる。例えば、該歪補正指示情報として、スクリーン２３の投映面の形状データを参照して、各歪補正領域毎に、投映面に形状によらず投映画像を忠実に投映するように指示することができる。
【００２６】
歪補正手段１２は、まず、歪補正領域抽出部１２ａにより、画像入力手段１１から入力されてきた投映画像即ち原画像の中から歪補正領域指定手段１５により指定された各歪補正領域を取り出し、指定されている各歪補正領域毎の歪補正指示情報に応じて、投映面獲得手段１４により得られた投映面の形状データを参照して、取り出された各歪補正領域の原画像に対して歪補正を施す際の各歪補正量を歪補正量算出部１２ｂにより算出し、算出された各歪補正量に基づいて、歪補正画像生成部１２ｃによりそれぞれ歪補正を施して歪補正画像を生成した後、画像合成部１２ｄにより、各歪補正画像と歪補正を施していない非歪補正画像（原画像）とを画像合成し、画像出力手段１３に出力する。
【００２７】
換言すると、歪補正領域指定手段１５により複数の領域が歪補正領域として指定された場合においても、各歪補正領域について歪補正指示情報に応じて逐一それぞれの歪補正領域に適合する歪補正を行ない、歪補正された各画像が歪補正されていない領域にある原画像と合成されて画像出力手段１３に出力される。
更に、歪補正量算出部１２ｂにより算出される歪補正量は、歪補正指示情報に応じて算出されるものであり、投映面獲得手段１４により得られた投映面の形状データを参照して、かかる形状データの投映面の各位置が同一平面上の位置に変換できるような座標変換パラメータを歪補正量として求める（即ち、自由形状の投映面に原画像を忠実に投映することができる座標変換パラメータを求める）。
【００２８】
また、画像出力手段１３は、歪補正手段１２から入力されてきた合成画像（即ち、各歪補正画像と非歪補正画像とが画像合成された画像）を伝送可能な信号形式に変換した後、例えば、光ケーブルや同軸ケーブルなどに接続されている画像出力端子を介してプロジェクタ装置２０側に送信する。
プロジェクタ装置２０では、受信した画像を投映部２１により投映画像に変換して投映レンズ２２を介して、自由形状からなる投映面を有するスクリーン２３上に投映する。
【００２９】
而して、図１に示す第１の実施形態によれば、スクリーン２３の投映面の形状データを獲得する投映面獲得手段１４と１乃至複数の歪補正領域を任意の時点で指定することができる歪補正領域指定手段１５とを備えることにより、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の歪補正領域を指定して歪補正を施すことを可能としており、演出効果に富む画像を得ることができる。
【００３０】
図２は、本発明に係る投映画像補正装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
本実施形態においては、図１に示す第１の実施形態に対して、投映画像補正装置１０′がシェーピング領域指定手段１６を更に追加して備えていると共に歪補正手段１２′がシェーピング処理部１２ｅを更に追加した形態として構成されている。シェーピング領域指定手段１６は、歪補正領域指定手段１５により指定された歪補正領域と指定されていない非歪補正領域との接合部分を含む周辺領域をシェーピング領域として指定する手段である。更には、シェーピング領域指定手段１６は、かかる周辺領域のうち、前記歪補正領域と前記非歪補正領域との前記接合部分に、前記歪補正領域における歪補正後の画像と前記非歪補正領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分を少なくとも１箇所含んでいる前記周辺領域をシェーピング領域として選択して指定することにしても良い。一方、シェーピング処理部１２ｅは、シェーピング領域指定手段１６により指定されたシェーピング領域の画像に対して部分補正を施す手段であり、合成された投映画像の不自然さを除去するための手段を提供するものである。
【００３１】
換言すると、シェーピング領域指定手段１６とシェーピング処理部１２ｅとは、歪補正領域指定手段１５により指定された歪補正領域に対して歪補正手段１２の歪補正画像生成部１２ｃを用いて歪補正画像を生成した後、歪補正手段１２の画像合成部１２ｄにおいて合成された合成画像について、前記歪補正領域と前記非歪補正領域との接合部分に、画像が重なる部分及び／又は画像が欠落して画像が無い部分が生じてしまうような問題が発生した場合を解決するために、前記シェーピング領域内の画像領域のうち、前記非歪補正領域の画像を歪補正画像側に引っ張り込むように収縮又は膨張するような部分補正処理（即ちシェーピング処理）を行なう手段を提供している。
【００３２】
シェーピング領域指定手段１６は、合成画像に対してシェーピング処理を施すシェーピング領域を指定するために、例えば、
・シェーピング処理（即ち部分補正）すべき領域データを予め格納しているシェーピング領域データファイルを入力
・歪補正領域と歪補正が施される歪補正内容とからシェーピング領域を自動的に判別
・使用者自身がユーザインターフェースを介してシェーピング領域を指定
等のいずれか１乃至複数の手段を用いることにより、シェーピング領域を指定し、指定したシェーピング領域を歪補正手段１２に送出する。また、歪補正領域指定手段１５が指定する歪補正領域の場合と同様に、シェーピング領域指定手段１６は、シェーピング領域を複数領域指定することも可能である。
【００３３】
更には、シェーピング領域指定手段１６は、各シェーピング領域に対応して施すべき部分補正処理の方法を示すシェーピング指示情報を指定することも可能であり、シェーピング処理部１２ｅにより施される部分補正処理（即ちシェーピング処理）は、シェーピング領域指定手段１６からの各シェーピング領域毎のシェーピング指示情報に応じて、歪補正画像生成部１２ｃにより生成された歪補正後の画像を参照しながら実行される。
即ち、歪補正手段１２のシェーピング処理部１２ｅは、シェーピング領域指定手段１６により指定された各シェーピング領域の画像に対して、指定されている各シェーピング領域毎のシェーピング指示情報に応じて、歪補正量算出部１２ｂにより算出された歪補正量即ち歪補正内容を参照して、歪補正前の画像が歪補正された画像側に引っ張られるように収縮又は膨張するように部分補正する。
【００３４】
以上のように、歪補正領域指定手段１５により指定された歪補正領域に対して歪補正手段１２の歪補正画像生成部１２ｃにより歪補正画像を生成し、また、シェーピング領域指定手段１６により指定されたシェーピング領域に対して歪補正手段１２のシェーピング処理部１２ｅにより部分補正即ちシェーピング処理を施して、シェーピング処理された合成画像を画像出力手段１３に送る。他の各ブロック部分については、図１に示す各ブロックについて前述したものと全く同様である。
【００３５】
而して、図２に示す第２の実施形態によれば、図１に示す第１の実施形態の場合と同様に、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の歪補正領域を指定して歪補正を施すことを可能としている上に、更に、シェーピング処理を施すことにより、歪補正した画像と歪補正していない画像との接合部分の不自然さを解消して、より演出効果に富む投映画像を得ることができる。
【００３６】
図１及び図２に示す投映画像補正装置１０，１０′及びプロジェクタ装置２０に関する動作について、図３乃至図８の模式図を用いて更に具体的に説明する。
図３は、自由形状からなる投映面を有するスクリーン２３の投映面の一例を示す模式図である。図３に示す模式図において、３１は、スクリーン２３上の投映可能な全体領域である矩形形状からなる投映面を示し、３２は、投映面３１の左下領域に形成されている凸面状の歪部を示している。
【００３７】
また、図４は、図３に示すような凸形状の歪部３２を有する投映面３１に投映する投映画像に対して歪補正を行なう作業手順を示す模式図である。
まず、図１に示す映像入力手段１１を用いて、図３に示す投映面３１に投映したい投映画像即ち原画像を入手し歪補正手段１２に送出する。一方、図４（Ａ）において、図１に示す投映面獲得手段１４により、スクリーン２３の投映面３１の形状データ（投映面３１の左下領域にある凸面状の歪部３２に関する形状や大きさを示すデータ）を獲得して、歪補正手段１２に送出する。
【００３８】
更に、図４（Ｂ）において、図１に示す歪補正領域指定手段１５により、歪補正手段１２に送出されてきたスクリーン２３の投映面３１の形状データに基づいて、投映すべき原画像４１のうち、投映面３１の左下領域にある歪部３２上に投映されることになる原画像領域を歪補正領域として指定して、原画像を忠実に投映させるような歪補正を施すべき旨を指示する歪補正指示情報と共に、歪補正手段１２に送出する。なお、該歪補正指示情報は、かくのごとく、原画像を忠実に投映させるような歪補正を施すべき旨を指示する場合にはデフォルト値として扱うこととし、歪補正領域指定手段１５は、歪補正領域のみを指定して、特に歪補正指示情報を指定しないようにすることも勿論可能である。
【００３９】
次に、図４（Ｃ）において、歪補正手段１２の歪補正領域抽出部１２ａにより、歪補正領域指定手段１５により歪補正領域として指定された歪補正領域画像４２を、原画像４１の中から取り出す。更に、歪補正手段１２の歪補正量算出部１２ｂにより、スクリーン２３の投映面３１の形状データを参照して、前記歪補正指示情報に応じて、歪補正領域画像４２の各部に対して歪補正を施すべき歪補正量（即ち、投映面３１上の凸面状の歪部３２の膨らんだ形状と逆の関係にある収縮した形状を形成するような補正量）を算出する。
更に、図４（Ｄ）において、歪補正手段１２の歪補正画像生成部１２ｃにより、歪補正量算出部１２ｂにより算出された歪補正量を用いて、歪補正領域画像４２に対して歪補正を施して、歪補正画像４２′を生成する。
【００４０】
然る後に、図４（Ｅ）において、歪補正手段１２の画像合成部１２ｄにより、歪補正領域指定手段１５により歪補正領域として指定されていない残りの非歪補正領域にある非歪補正画像４３と歪補正画像生成部１２ｃにより生成された歪補正画像４２′とを合成して、原画像４１に対応する合成画像４１′を生成して、図１に示す画像出力手段１３を介してプロジェクタ装置２０に送信して、スクリーン２３の投映面３１上に投映する。スクリーン２３の投映面３１上の投映画像は、歪補正手段における歪補正処理により、たとえ、スクリーン２３の投映面３１に凸面状の歪部３２が存在していても、原画像４１と略同様の画像とされ、もって、原画像４１が忠実に投映された状態とされる。
【００４１】
しかしながら、歪補正手段１２の画像合成部１２ｄにより合成された合成画像４１′を詳細に確認すると、歪補正領域指定手段１５により指定された歪補正領域と指定されていない非歪補正領域との接合部分においては、両者の領域の画像が互いに重複した重複部が存在したり、あるいは、両者の領域の画像が共に欠落した間隙部が存在したりしている。即ち、歪補正手段１２によって作成された合成画像４１′は、図５に示すように、非歪補正領域画像４３と歪補正画像４２′との接合部分に両者の画像が互いに重複した重複部４４や両者の画像が共に欠落した間隙部４５が存在し、場合によっては、合成画像としての自然さを喪失してしまう場合もある。ここに、図５は、歪補正が施された後の合成画像４１′の状態の一例を示す模式図である。
かかる問題を解決するために、前述した図２に示すごとく、シェーピング領域指定手段１６とシェーピング処理部１２ｅとを更に付加して備えることにより、前記接合部分を含む周辺領域に対してシェーピング処理を行なう。
【００４２】
次に、シェーピング処理の具体例について更に説明する。図６は、歪補正領域と非歪補正領域との接合部分を含むシェーピング領域の一例を示す模式図である。図６に示すように、シェーピング領域としては、図２に示すシェーピング領域指定手段１６により、図３に示す投映面３１上の凸面状の歪部３２に該当する領域よりも少し広く見積られる周辺領域を確保される。言い換えると、図６に示すように、合成画像４１′において非歪補正領域画像４３と歪補正画像４２′との接合部分に存在している重複部４４や間隙部４５を含む領域画像がシェーピング領域画像４６として確保される。更に、図７に示すごとく、該シェーピング領域画像４６が存在するシェーピング領域内の歪補正前の画像（即ち、シェーピング領域内の原画像４１であるシェーピング領域原画像）を予め保存しておく。ここに、図７は、歪補正及びシェーピング処理が施される前のシェーピング領域原画像の状態を正方格子パターンとして示している模式図である。
【００４３】
シェーピング領域画像４６のうち、投映面３１の凸面状の歪部３２に対応する歪補正領域画像４２に対する歪補正は、前述のごとく、歪補正手段１２の歪補正画像生成部１２ｃにより施されるが、歪補正がなされた後の周辺の画像については、歪補正手段１２のシェーピング処理部１２ｅにより、図７のように保存されている正方格子パターンのシェーピング領域原画像を基にして、図８に示すように、歪補正されていない周辺の画像が、歪補正がなされた歪補正画像４２′に引っ張られるような格子パターンとなるように収縮及び／又は膨張させた部分補正（シェーピング処理）が施される。ここに、図８は、シェーピング領域に指定されたシェーピング領域画像４６に対して、シェーピング処理が施された後の状態を示す模式図である。而して、たとえ、投映面３１に歪部３２を有している場合であっても、歪補正を施すことにより原画像４１に忠実で歪を伴わない画像を投映することが可能であると共に、歪補正を行なわない周辺画像に対してもシェーピング処理という部分補正を施すことにより、歪補正画像と非歪補正画像との接合部分についても滑らかにきちんと表示させることが可能となり、接合部分の不自然さを解消することができる。
【００４４】
なお、本発明に係る投映画像補正装置１０，１０′及びプロジェクタ装置２０においては、前述のごとく、歪補正を行なう歪補正領域及び／又は歪補正を行なわない非歪補正領域についても、更には、シェーピング処理を行なうシェーピング領域についても、複数個指定することが可能である。
【００４５】
図１及び図２に示す投映画像補正装置１０，１０′及びプロジェクタ装置２０のブロック構成については、１つの実施例を示しただけであり、本発明はかかる構成のみに限るものではない。例えば、前述したように、プロジェクタ装置に投映画像補正装置を内蔵して構成するようにしても構わないし、あるいは、プロジェクタ装置に一旦入力された投映画像を投映画像補正装置側に取り出して歪補正やシェーピング処理を施して合成した画像を再度プロジェクタ装置に送り返すことにより歪補正やシェーピング処理後の合成画像を投映面に投映するようにしても構わない。あるいは、歪補正手段１２と投映面獲得手段１４及び／又は歪補正領域指定手段１５及び／又はシェーピング領域指定手段１６とが異なる別の装置から構成されていて双方を接続するようにしても構わない。
【００４６】
また、図３乃至図９を用いて説明した歪補正及びシェーピング処理の具体的な実施例は、一例を示したに過ぎず、本発明はかかる場合のみに限るものではない。例えば、歪補正領域指定手段１５による歪補正領域の指定方法として、図４においては、投映面獲得手段１４により得られた投映面の形状データに基づいて歪補正領域を指定する場合について説明したが、前述したように、歪補正領域データファイルや使用者自身等が、投映面の形状如何に関わらず、任意の領域を歪補正領域として指定することとしても構わない。
【００４７】
更には、投映面獲得手段１４は、投映面の形状データが予め格納された形状データファイルから投映面の形状データを取得する場合のみに限るものではなく、前述のように、ＣＣＤカメラなどによってリアルタイムに撮像した形状あるいは使用者自身がリアルタイムに指定した形状を投映面の形状として利用することも可能である。また、シェーピング領域指定手段１６についても、歪補正領域指定手段１５により指定された歪補正領域を含む周辺領域を自動的にシェーピング領域として指定するだけでなく、シェーピング領域を指定する情報を予め格納しているシェーピング領域データファイルにより指定したり、あるいは、使用者自身がリアルタイムに指定することも可能である。
【００４８】
【発明の効果】
以上に説明したように、本発明に係る投映画像補正装置及びプロジェクタ装置によれば、自由形状（平面形状も含む）からなる投映面上に投映する投映画像として歪なしの画像と歪補正用の画像との２つの投映画像を必要とせず、１つの画像入力手段を用いて用意した１つの投映画像について、指定された任意の画像領域の画像に対して歪補正を行なうことができ、また、同時に複数の画像領域を歪補正領域として指定することが可能である。また、歪補正を行なう画像領域と行なわない画像領域との接合部分に対してシェーピング処理を行なうことにより、両者の領域の画像を合成しても自然さを保った滑らかな画像が得られる。
【図面の簡単な説明】
【図１】本発明に係る投映画像補正装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
【図２】本発明に係る投映画像補正装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
【図３】自由形状からなる投映面を有するスクリーンの投映面の一例を示す模式図である。
【図４】図３に示すような凸形状の歪部を有する投映面に投映する投映画像に対して歪補正を行なう作業手順を示す模式図である。
【図５】歪補正が施された後の合成画像の状態の一例を示す模式図である。
【図６】歪補正領域と非歪補正領域との接合部分を含むシェーピング領域の一例を示す模式図である。
【図７】歪補正及びシェーピング処理が施される前のシェーピング領域原画像の状態を正方格子パターンとして示している模式図である。
【図８】シェーピング領域に指定されたシェーピング領域画像に対して、シェーピング処理が施された後の状態を示す模式図である。
【符号の説明】
１０，１０′…投映画像補正装置、１１…画像入力手段、１２，１２′…歪補正手段、１２ａ…歪補正領域抽出部、１２ｂ…歪補正量算出部、１２ｃ…歪補正画像生成部、１２ｄ…画像合成部、１２ｅ…シェーピング処理部、１３…画像出力手段、１４…投映面獲得手段、１５…歪補正領域指定手段、１６…シェーピング領域指定手段、２０…プロジェクタ装置、２１…投映部、２２…投映レンズ、２３…スクリーン、３１…投映面、３２…歪部、４１…原画像、４１′…合成画像、４２…歪補正領域画像、４２′…歪補正画像、４３…非歪補正画像、４４…重複部、４５…間隙部、４６…シェーピング領域画像。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a projection image correction apparatus and a projector apparatus, and in particular, when an image is projected on a projection surface having a free shape such as a concavo-convex portion and a curved surface portion, distortion correction is performed on one projection image projected on the projection surface. The present invention relates to a projected image correction apparatus and a projector apparatus that can designate an arbitrary number of distortion correction areas for performing image synthesis and obtain a projected image by synthesizing an image after distortion correction in the distortion correction area and an image in a non-distortion correction area.
[0002]
[Prior art]
Conventionally, as a screen of a projector device for projecting an image, a flat planar screen is generally used. However, for the purpose of producing a projected image more effectively, an uneven surface or curved surface is used. There has also been proposed a projection method for projecting onto a screen having a shape. Furthermore, among the images projected on the uneven surface or curved screen like this, for the image to be faithfully projected the original image without distortion due to the screen shape, after performing distortion correction in advance, There has also been proposed a projection technique of projecting onto an uneven or curved screen. For example, a technique as disclosed in Patent Document 1 is disclosed.
[0003]
Here, referring to Patent Document 1, when an image is projected from a projector device onto a dome screen having a spherical shape, an image composed of a square lattice pattern is converted into a square lattice before being input to the projector device. The shape is distorted so that it becomes a barrel-grating pattern bulging outward like the outer periphery of a beer barrel.
Thus, when the image of the square lattice pattern is projected as it is onto the dome screen by the projector device, the square lattice pattern is projected as an image of the pincushion lattice pattern contracted inward, and the original image is projected as the projected image. Although the image cannot be displayed faithfully, as described above, it is pre-distorted into an image of the barrel winding lattice pattern opposite to the pincushion lattice pattern before being input to the projector device, so it is actually projected on the dome screen. When the image is projected on the screen, the barrel winding lattice pattern and the pincushion lattice pattern cancel each other, and the original image of the square lattice pattern can be displayed faithfully.
[0004]
In other words, as the input image to the projector device, two types of images are prepared in advance depending on whether or not distortion correction is necessary, and an image portion that is distorted according to the shape of the dome screen to obtain a rendering effect is directly used as a synthesis circuit. On the other hand, the distortion due to the shape of the dome screen is corrected, and the image portion that must be faithfully projected as the original input image is input to the distortion correction circuit and previously distorted into a barrel winding pattern By inputting the image as an image to the synthesis circuit and projecting the synthesized image obtained by synthesizing the two images by the synthesis circuit onto the dome screen, a projected image with a more effective effect can be projected.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 3-82493 (page 2-3, FIGS. 2 and 3)
[0006]
[Problems to be solved by the invention]
However, in the above-described conventional example, it is necessary to prepare two input images in advance as images to be input to the projector device. One input image is an image that is not subjected to distortion correction, and the other input image is a distortion image. The image is to be corrected. Therefore, before projection by the projector device, it is necessary to determine in advance an image to be subjected to distortion correction and an image not to be subjected to distortion correction, and a distortion correction area in which distortion correction is performed during projection of an image by the projector device. It is impossible to freely change the non-distortion correction area where distortion correction is not performed.
[0007]
Furthermore, when a request for changing an image area for distortion correction and an image area for which distortion correction is not performed as an input image is generated, it is necessary to change each of the two input images. It is inefficient.
In addition, when creating an image to which a pseudo 3D effect or a dynamic effect is added to an image projected on a projection surface having a free-form surface shape, projection is performed for each of the two input images. Since the creation work is performed according to the surface shape of the surface, the burden is large.
[0008]
The present invention has been made in view of such circumstances, and as a projected image to be projected on a free-form projection surface, two images are not required, only one image is prepared, and one prepared projection is performed. It is possible to perform distortion correction by designating an arbitrary image area for an image, and at the same time, it is also possible to perform distortion correction by designating a plurality of arbitrary image areas. Further, a shaping process is further performed for a peripheral image that has not been subjected to distortion correction, such that a portion of the image area where distortion correction is performed and an image area where distortion correction is not performed are pulled to the image side after distortion correction. By doing so, a more natural image can be obtained as a projected image obtained by combining both image areas.
[0009]
[Means for Solving the Problems]
The first technical means includes a projection plane acquisition means for obtaining shape data of a projection plane having a free shape, a distortion correction area designation means for designating a distortion correction area of a projection image projected on the projection plane, and the projection image Distortion correction means for performing distortion correction on the image, the distortion correction means performs distortion correction on the image in the distortion correction area of the projected image with reference to the shape data, and the projection The projection image correction apparatus is configured to synthesize an image with an image in a non-distortion correction area not designated by the distortion correction area designation means.
[0010]
The second technical means includes a projection plane acquisition unit that obtains a projection plane shape data having a free shape, a distortion correction area designation unit that designates a distortion correction area of a projection image projected on the projection plane, and the projection image. Shaping that specifies a peripheral region including a joint portion between a distortion correction unit that performs distortion correction on a distortion correction region and a non-distortion correction region that is not specified by the distortion correction region specification unit as a shaping region Area specifying means, and shaping means for partially correcting the image of the shaping area specified by the shaping area specifying means, wherein the distortion correcting means refers to the shape data and Among them, distortion correction is performed on the image in the distortion correction area, and the image is synthesized with the image in the non-distortion correction area in the projected image. It is characterized in that a projected image correction device that performs partial correction by the shaping means with respect to the image.
[0011]
According to a third technical means, in the projected image correction apparatus according to the second technical means, the partial correction performed by the shaping means is performed with reference to the distortion correction content performed by the distortion correction means. Among the images in the region, the projection image correction device is configured to perform correction such that the image in the non-distortion correction region contracts or expands so as to be pulled toward the image subjected to distortion correction in the distortion correction region. It is a feature.
[0012]
According to a fourth technical means, in the projected image correction apparatus according to the second or third technical means, the shaping area designated by the shaping area designation means is the distortion correction area and the non-distortion correction area. The joint portion includes at least one portion where the images after distortion correction in the distortion correction region and the image of the non-distortion correction region overlap with each other and / or a portion where both images are missing. The projected image correction device is the peripheral area.
[0013]
According to a fifth technical means, in the projected image correction apparatus according to any one of the second to fourth technical means, a plurality of arbitrary images are added to the projected image as the shaping area designated by the shaping area designation means. The projected image correction apparatus can include the above-mentioned area.
[0014]
According to a sixth technical means, in the projected image correction apparatus according to any one of the second to fifth technical means, the shaping area designated by the shaping area designation means sets the area data to be partially corrected. Either a pre-stored shaping area data file is input, or the shaping area is automatically determined from the distortion correction area and the distortion correction content applied by the distortion correction means, or the user himself / herself A projection that designates the shaping area by specifying any one or more of the shaping areas and also designates the shaping instruction information indicating the partial correction method to be performed corresponding to the shaping area. An image correction apparatus is provided.
[0015]
A seventh technical means is the projected image correction apparatus according to any one of the first to sixth technical means, wherein a plurality of distortion correction areas designated by the distortion correction area designation means are provided in the projected image. The projected image correction apparatus can include any of the following areas.
[0016]
The eighth technical means is the projected image correction apparatus according to any one of the first to seventh technical means, wherein the distortion correction area designating means stores the area data to be corrected in advance. Either input from the correction area data file, or automatically determine the distortion correction area from the shape data of the projection plane obtained by the projection plane acquisition means, or the user himself designates the distortion correction area A projection image correction that designates the distortion correction instruction information indicating the distortion correction method to be performed corresponding to the distortion correction area by designating the distortion correction area by using any one or a plurality of them. It is a device.
[0017]
A ninth technical means includes the projected image correction apparatus according to any one of the first to eighth technical means, and performs distortion correction of a projected image projected on a projection surface regardless of whether the image is being projected. In some cases, the projector device is capable of projecting an image obtained by partially correcting the projected image by the shaping unit.
[0018]
Thus, when projecting a projected image on a projection surface having a free shape (including a planar shape), as a distortion correction function for the projected image projected on the projection surface, an image area for performing distortion correction and distortion correction are performed. A non-image area can be designated, and a composite image obtained by combining a distortion-corrected image and a non-distorted image using one projection image can be projected. Further, one or more arbitrary numbers of areas to be subjected to distortion correction (in other words, areas to which distortion correction is not performed) can be designated. Thus, an image part faithful to the projected image and an image part distorted depending on the shape of the projection surface can be obtained from one projected image, and the two image parts can be synthesized and projected. As long as a projection image is prepared, an image rich in effects can be obtained.
[0019]
Furthermore, a shaping process for partially correcting the image in the non-distortion correction area so as to be pulled toward the image side after the distortion correction is performed on the peripheral area including the joint portion between the distortion correction area and the non-distortion correction area. As a result, the distortion-corrected image and the image in the non-distortion-corrected area are smoothly joined together, and the overlapped image or missing image occurs at the joined portion of the images, resulting in an unnatural image after synthesis. Can be prevented.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a projected image correction apparatus and a projector apparatus according to the present invention will be described below with reference to the drawings.
Here, an embodiment in which a projection image correction apparatus and a projector apparatus are combined will be described, but it is naturally possible to adopt a form in which the projection image correction apparatus is built in the projector apparatus.
[0021]
FIG. 1 is a block configuration diagram showing a first embodiment of a projection image correction apparatus and a projector apparatus according to the present invention.
In FIG. 1, the projected image correction device 10 and the projector device 20 are separated from each other. The projected image correction apparatus 10 includes an image input unit 11 that inputs a projected image to be projected on the projection plane, a projection plane acquisition unit 14 that obtains shape data indicating the shape of the projected plane of the screen 23, and a projection plane. A distortion correction area designating unit 15 for designating a distortion correction area of a projected image to be projected on, the shape data obtained by the projection plane acquisition unit 14 and the distortion correction area designated by the distortion correction area designating unit 15. Referring to, distortion correcting means 12 for correcting distortion of a projected image projected on a screen 23 having a free-form projection surface, and image output for outputting an image output from distortion correcting means 12 to projector device 20. Means 13 are provided.
[0022]
Further, the projector device 20 generates a projection unit 21 that generates an image to be projected on the projection surface from the image input from the projection image correction device 10, and projects the image generated by the projection unit 21 on the projection surface of the screen 23. And a screen 23 having a projection surface made of a free shape (including a flat shape) such as a flat portion, an uneven portion, or a curved surface portion.
[0023]
That is, each circuit block in the projected image correction apparatus 10 performs the following processing. The image input means 11 provides means for inputting a projected image to be projected on the projection surface by an input signal relating to image data stored in a flash memory or the like or image data from a personal computer or the like. The projected image is transmitted to That is, the image input means 11 provides means for inputting an image stored in the projection image correction apparatus 10 as a projection image as well as from an external device.
Further, the projection surface acquisition means 14 acquires, for example, shape data (including the size of the projection surface) indicating the shape of the projection surface of the screen 23 that projects the projection image.
・ Input a shape data file that pre-stores shape data indicating the shape of the projection surface
・ Input projection surface shape data obtained by CCD camera etc.
・ The user himself / herself directly inputs projection surface shape data via the user interface.
By using any one or more means such as the above, a means for obtaining the projection surface shape data indicating the size of the projection surface of the screen 23 and the shape of the projection surface is provided. The shape data is sent to the distortion correction means 12.
[0024]
The distortion correction area designating unit 15 specifies, for example, a distortion correction area for performing distortion correction on a projected image.
・ Input a distortion correction area data file that prestores area data indicating the image area to be corrected.
-The distortion correction area is automatically identified from the projection surface shape data obtained by the projection surface acquisition means 14.
・ Users can directly specify the distortion correction area via the user interface.
Any one or a plurality of means such as is used to designate an arbitrary number of distortion correction areas for correcting distortion of an image generated when projecting on a free-form projection surface (that is, one to a plurality of areas). The specified distortion correction area is sent to the distortion correction means 12. That is, the distortion correction area specified by the distortion correction area specifying means 15 can specify a plurality of areas in the projected image.
[0025]
In addition, the distortion correction area designating unit 15 designates not an image area to be subjected to distortion correction, that is, a distortion correction area itself, but an image area that is not subjected to distortion correction, that is, a non-distortion correction area. May be. Furthermore, it is also possible to specify distortion correction instruction information indicating a distortion correction method to be performed corresponding to each distortion correction area, and the distortion correction amount calculated by the distortion correction amount calculation unit 12b is the distortion correction area. It is obtained adaptively for each distortion correction area in accordance with the distortion correction instruction information for each distortion correction area from the designation means 15. For example, referring to the shape data of the projection surface of the screen 23 as the distortion correction instruction information, it can be instructed to faithfully project the projected image on the projection surface regardless of the shape for each distortion correction area. .
[0026]
First, the distortion correction means 12 takes out each distortion correction area designated by the distortion correction area designation means 15 from the projected image input from the image input means 11, that is, the original image, by the distortion correction area extraction unit 12a. According to the distortion correction instruction information for each specified distortion correction area, the projection surface shape data obtained by the projection surface acquisition means 14 is referred to and the extracted original image of each distortion correction area is extracted. Each distortion correction amount when performing distortion correction is calculated by the distortion correction amount calculation unit 12b, and based on each calculated distortion correction amount, the distortion correction image generation unit 12c performs distortion correction to generate a distortion correction image. After that, the image synthesis unit 12d synthesizes each distortion-corrected image and a non-distortion-corrected image (original image) that has not been subjected to distortion correction, and outputs the resultant image to the image output means 13.
[0027]
In other words, even when a plurality of areas are designated as the distortion correction areas by the distortion correction area designating unit 15, the distortion correction suitable for each distortion correction area is performed for each distortion correction area according to the distortion correction instruction information. Then, each distortion-corrected image is combined with the original image in the area where the distortion is not corrected and output to the image output means 13.
Further, the distortion correction amount calculated by the distortion correction amount calculation unit 12b is calculated according to the distortion correction instruction information, and refers to the projection plane shape data obtained by the projection plane acquisition unit 14, referring to FIG. A coordinate conversion parameter that can convert each position of the projection surface of such shape data into a position on the same plane is obtained as a distortion correction amount (that is, coordinate conversion that can accurately project the original image on a free-form projection surface) Parameter).
[0028]
The image output means 13 converts the composite image input from the distortion correction means 12 (that is, an image obtained by synthesizing each distortion correction image and the non-distortion correction image) into a signal format that can be transmitted, For example, the image data is transmitted to the projector device 20 via an image output terminal connected to an optical cable or a coaxial cable.
In the projector device 20, the received image is converted into a projected image by the projection unit 21 and projected via the projection lens 22 onto a screen 23 having a free-form projection surface.
[0029]
Thus, according to the first embodiment shown in FIG. 1, the projection plane acquisition means 14 for acquiring the projection plane shape data of the screen 23 and one or a plurality of distortion correction areas can be designated at an arbitrary time point. By providing the distortion correction area designating unit 15 that can perform the distortion correction by designating one or a plurality of arbitrary distortion correction areas from one projected image not only before the image projection but also during the image projection. Correction can be performed, and an image rich in effects can be obtained.
[0030]
FIG. 2 is a block diagram showing a second embodiment of the projected image correction apparatus and projector apparatus according to the present invention.
In the present embodiment, in contrast to the first embodiment shown in FIG. 1, the projection image correction apparatus 10 ′ further includes a shaping area designating unit 16 and a distortion correction unit 12 ′ includes a shaping processing unit 12e. Is further added. The shaping area designating means 16 is a means for designating a peripheral area including a joint portion between a distortion correction area designated by the distortion correction area designation means 15 and a non-designated non-distortion correction area as a shaping area. Further, the shaping area designating unit 16 may include an image after distortion correction in the distortion correction area and the non-distortion correction area at the joint portion between the distortion correction area and the non-distortion correction area. The peripheral region including at least one portion where the images overlap with each other and / or a portion where both images are missing may be selected and designated as the shaping region. On the other hand, the shaping processing unit 12e is a means for performing partial correction on the image of the shaping area designated by the shaping area designation means 16, and provides means for removing the unnaturalness of the synthesized projected image. Is.
[0031]
In other words, the shaping area designating unit 16 and the shaping processing unit 12e use the distortion corrected image generating unit 12c of the distortion correcting unit 12 for the distortion correcting area designated by the distortion correcting area designating unit 15 to generate a distortion corrected image. After the generation, the synthesized image synthesized by the image synthesizing unit 12d of the distortion correction unit 12 is an image in which a portion where the image overlaps and / or an image is missing at a joint portion between the distortion correction region and the non-distortion correction region. In order to solve the case where a problem occurs in which there is a portion having no distortion, the image in the non-distortion correction area among the image areas in the shaping area is contracted or expanded so as to be pulled toward the distortion correction image side. Means for performing such partial correction processing (ie, shaping processing) is provided.
[0032]
For example, the shaping area designating unit 16 designates a shaping area for performing a shaping process on the composite image.
・ Input a shaping area data file that pre-stores area data to be shaped (ie, partial correction)
・ The shaping area is automatically identified from the distortion correction area and the distortion correction content to which distortion correction is applied.
・ The user specifies the shaping area via the user interface.
The shaping area is designated by using any one or a plurality of means such as, and the designated shaping area is sent to the distortion correction means 12. Further, similarly to the case of the distortion correction area designated by the distortion correction area designating unit 15, the shaping area designating unit 16 can designate a plurality of shaping areas.
[0033]
Furthermore, the shaping area specifying means 16 can also specify shaping instruction information indicating the method of partial correction processing to be performed corresponding to each shaping area, and the partial correction processing ( That is, the shaping process) is executed with reference to the distortion-corrected image generated by the distortion-corrected image generation unit 12c in accordance with the shaping instruction information for each shaping area from the shaping area specifying means 16.
That is, the shaping processing unit 12e of the distortion correcting unit 12 applies the distortion correction amount to the image of each shaping area designated by the shaping area designating unit 16 according to the shaping instruction information for each designated shaping area. With reference to the distortion correction amount calculated by the calculation unit 12b, that is, the distortion correction content, partial correction is performed so that the image before distortion correction contracts or expands so as to be pulled toward the distortion corrected image side.
[0034]
As described above, a distortion correction image is generated by the distortion correction image generation unit 12c of the distortion correction unit 12 with respect to the distortion correction area specified by the distortion correction area specifying unit 15, and specified by the shaping area specifying unit 16. The shaped region is subjected to partial correction, that is, shaping processing by the shaping processing unit 12e of the distortion correcting unit 12, and the shaped composite image is sent to the image output unit 13. The other block portions are exactly the same as those described above for each block shown in FIG.
[0035]
Thus, according to the second embodiment shown in FIG. 2, as in the case of the first embodiment shown in FIG. 1, not only before image projection but also during image projection, It is possible to perform distortion correction by designating one or a plurality of arbitrary distortion correction regions from one projected image, and further, by performing shaping processing, an image that has been subjected to distortion correction and an image that has not been subjected to distortion correction It is possible to eliminate the unnaturalness of the joint portion with the projection image, and to obtain a projected image with a richer effect.
[0036]
The operations relating to the projected image correction apparatuses 10 and 10 'and the projector apparatus 20 shown in FIGS. 1 and 2 will be described more specifically with reference to the schematic diagrams of FIGS.
FIG. 3 is a schematic diagram illustrating an example of a projection surface of the screen 23 having a free-form projection surface. In the schematic diagram shown in FIG. 3, reference numeral 31 denotes a rectangular projection surface that is an entire projectable area on the screen 23, and 32 denotes a convex distortion portion formed in the lower left area of the projection surface 31. Is shown.
[0037]
FIG. 4 is a schematic diagram showing a work procedure for performing distortion correction on a projected image projected on a projection surface 31 having a convex distortion portion 32 as shown in FIG.
First, using the video input means 11 shown in FIG. 1, a projection image to be projected on the projection surface 31 shown in FIG. 3, that is, an original image, is obtained and sent to the distortion correction means 12. On the other hand, in FIG. 4A, the projection plane acquisition means 14 shown in FIG. 1 determines the shape data of the projection plane 31 of the screen 23 (the shape and size of the convex distortion portion 32 in the lower left area of the projection plane 31). Data) is acquired and sent to the distortion correction means 12.
[0038]
Further, in FIG. 4B, based on the shape data of the projection surface 31 of the screen 23 sent to the distortion correction means 12 by the distortion correction area specifying means 15 shown in FIG. Among them, the original image area to be projected on the distortion portion 32 in the lower left area of the projection surface 31 is designated as the distortion correction area, and an instruction is given to perform distortion correction so that the original image is projected faithfully. Together with the distortion correction instruction information to be sent to the distortion correction means 12. As described above, the distortion correction instruction information is treated as a default value when instructing that the distortion correction should be performed so that the original image is faithfully projected. Of course, it is possible to designate only the correction region and not to designate the distortion correction instruction information.
[0039]
Next, in FIG. 4C, the distortion correction area image 42 designated as the distortion correction area by the distortion correction area designation unit 15 by the distortion correction area extraction unit 12 a of the distortion correction unit 12 is extracted from the original image 41. Take out. Further, the distortion correction amount calculation unit 12b of the distortion correction unit 12 refers to the shape data of the projection surface 31 of the screen 23, and performs distortion correction on each part of the distortion correction area image 42 according to the distortion correction instruction information. Is calculated (that is, a correction amount that forms a contracted shape that is opposite to the bulging shape of the convex distortion portion 32 on the projection surface 31).
Further, in FIG. 4D, the distortion correction image generation unit 12c of the distortion correction unit 12 performs distortion correction on the distortion correction region image 42 using the distortion correction amount calculated by the distortion correction amount calculation unit 12b. To generate a distortion corrected image 42 '.
[0040]
Thereafter, in FIG. 4E, the non-distortion corrected image 43 in the remaining non-distortion correction area not designated as the distortion correction area by the distortion correction area designation means 15 by the image synthesis unit 12d of the distortion correction means 12. And the distortion correction image 42 ′ generated by the distortion correction image generation unit 12c to generate a composite image 41 ′ corresponding to the original image 41, and the projector device via the image output means 13 shown in FIG. 20 and projected onto the projection surface 31 of the screen 23. The projected image on the projection surface 31 of the screen 23 is substantially the same as the original image 41 by the distortion correction processing in the distortion correction means, even if the convex distortion portion 32 exists on the projection surface 31 of the screen 23. Thus, the original image 41 is projected in a faithful manner.
[0041]
However, when the synthesized image 41 ′ synthesized by the image synthesizing unit 12d of the distortion correction unit 12 is confirmed in detail, the junction between the distortion correction region designated by the distortion correction region designation unit 15 and the non-distortion correction region not designated. In the portion, there is an overlapping portion in which the images of both regions overlap each other, or there is a gap portion in which the images of both regions are missing. That is, as shown in FIG. 5, the composite image 41 ′ created by the distortion correction unit 12 has an overlapping portion 44 in which both images overlap each other at the joint portion between the non-distortion correction region image 43 and the distortion correction image 42 ′. In addition, there is a gap 45 in which both images are missing, and in some cases, the naturalness as a composite image may be lost. FIG. 5 is a schematic diagram showing an example of the state of the composite image 41 ′ after the distortion correction.
In order to solve such a problem, as shown in FIG. 2 described above, the shaping region designating unit 16 and the shaping processing unit 12e are additionally provided to perform shaping processing on the peripheral region including the joint portion. .
[0042]
Next, a specific example of the shaping process will be further described. FIG. 6 is a schematic diagram illustrating an example of a shaping area including a joint portion between a distortion correction area and a non-distortion correction area. As shown in FIG. 6, as the shaping area, the surrounding area estimated by the shaping area designating unit 16 shown in FIG. 2 is slightly wider than the area corresponding to the convex distortion portion 32 on the projection surface 31 shown in FIG. Be secured. In other words, as shown in FIG. 6, the region image including the overlapping portion 44 and the gap portion 45 existing at the joint portion between the non-distortion correction region image 43 and the distortion correction image 42 ′ in the synthesized image 41 ′ is a shaping region. Secured as image 46. Further, as shown in FIG. 7, an image before distortion correction in the shaping area where the shaping area image 46 exists (that is, a shaping area original image which is the original image 41 in the shaping area) is stored in advance. FIG. 7 is a schematic diagram showing the state of the shaping area original image before the distortion correction and shaping processing is performed as a square lattice pattern.
[0043]
In the shaping area image 46, the distortion correction for the distortion correction area image 42 corresponding to the convex distortion part 32 of the projection surface 31 is performed by the distortion correction image generation unit 12c of the distortion correction unit 12 as described above. For the peripheral image after the distortion correction, the shaping processing unit 12e of the distortion correction unit 12 uses the square lattice pattern shaped area original image stored as shown in FIG. As shown in the figure, partial correction (shaping processing) is performed by contracting and / or expanding so that a peripheral image that has not been subjected to distortion correction has a lattice pattern that is pulled by the distortion-corrected image 42 ′ that has been subjected to distortion correction. Is done. FIG. 8 is a schematic diagram showing a state after the shaping process is performed on the shaping area image 46 designated as the shaping area. Thus, even if the projection surface 31 has the distorted portion 32, it is possible to project an image that is faithful to the original image 41 and is not distorted by performing distortion correction. Also, by performing partial correction called shaping processing on the peripheral image that is not subjected to distortion correction, it is possible to display smoothly and properly the joint portion between the distortion-corrected image and the non-distortion-corrected image. Naturalness can be eliminated.
[0044]
In the projected image correction apparatuses 10 and 10 'and the projector apparatus 20 according to the present invention, as described above, the distortion correction area in which distortion correction is performed and / or the non-distortion correction area in which distortion correction is not performed is further performed. A plurality of shaping areas to be subjected to the shaping process can be designated.
[0045]
The block configurations of the projected image correction apparatuses 10 and 10 'and the projector apparatus 20 shown in FIGS. 1 and 2 are only one example, and the present invention is not limited to such a configuration. For example, as described above, the projector device may be configured to incorporate the projection image correction device, or the projection image once input to the projector device may be taken out to the projection image correction device side to perform distortion correction. It is also possible to project the composite image after distortion correction and shaping processing by projecting the composite image after shaping processing back to the projector device. Alternatively, the distortion correction means 12, the projection plane acquisition means 14, and / or the distortion correction area designation means 15 and / or the shaping area designation means 16 may be configured from different devices and connected to each other. .
[0046]
Also, the specific examples of the distortion correction and shaping processing described with reference to FIGS. 3 to 9 are merely examples, and the present invention is not limited to this case. For example, as a method for designating the distortion correction area by the distortion correction area designating unit 15, FIG. 4 illustrates a case where the distortion correction area is designated based on the projection plane shape data obtained by the projection plane obtaining unit 14. As described above, the distortion correction area data file or the user himself / herself may designate an arbitrary area as the distortion correction area regardless of the shape of the projection surface.
[0047]
Further, the projection plane acquisition means 14 is not limited to the case where the projection plane shape data is acquired from the shape data file in which the projection plane shape data is stored in advance. It is also possible to use the shape picked up in time or the shape designated by the user in real time as the shape of the projection surface. The shaping area designating unit 16 not only automatically designates a peripheral area including the distortion correction area designated by the distortion correction area designation unit 15 as a shaping area, but also stores information for designating the shaping area in advance. It can be specified by a shaping area data file that is stored, or can be specified by the user in real time.
[0048]
【The invention's effect】
As described above, according to the projection image correction apparatus and the projector apparatus according to the present invention, a distortion-free image and a distortion correction image can be projected as a projection image to be projected on a projection surface having a free shape (including a planar shape). It is possible to perform distortion correction on an image of an arbitrary designated image area for one projection image prepared using one image input means without requiring two projection images with the image, At the same time, it is possible to designate a plurality of image areas as distortion correction areas. Further, by performing the shaping process on the joint portion between the image area where distortion correction is performed and the image area where distortion correction is not performed, a smooth image with naturalness can be obtained even if the images of both areas are combined.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a projected image correction apparatus and a projector apparatus according to the present invention.
FIG. 2 is a block configuration diagram showing a second embodiment of a projected image correction apparatus and a projector apparatus according to the present invention.
FIG. 3 is a schematic diagram illustrating an example of a projection surface of a screen having a free-form projection surface.
4 is a schematic diagram showing a work procedure for performing distortion correction on a projected image projected on a projection surface having a convex distortion portion as shown in FIG. 3; FIG.
FIG. 5 is a schematic diagram illustrating an example of a state of a composite image after distortion correction is performed.
FIG. 6 is a schematic diagram illustrating an example of a shaping region including a joint portion between a distortion correction region and a non-distortion correction region.
FIG. 7 is a schematic diagram showing a state of a shaping area original image before being subjected to distortion correction and shaping processing as a square lattice pattern.
FIG. 8 is a schematic diagram illustrating a state after a shaping process is performed on a shaping area image designated as a shaping area.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10,10 '... Projection image correction apparatus, 11 ... Image input means, 12, 12' ... Distortion correction means, 12a ... Distortion correction area extraction part, 12b ... Distortion correction amount calculation part, 12c ... Distortion correction image generation part, 12d DESCRIPTION OF SYMBOLS Image synthesizing unit, 12e Shaping processing unit, 13 Image output unit, 14 Projection plane acquisition unit, 15 Distortion correction area designation unit, 16 Shaping area designation unit, 20 Projector device, 21 Projection unit, 22 Projection lens, 23 Screen, 31 Projection surface, 32 Distortion part, 41 Original image, 41 ′ Composite image, 42 Distortion correction area image, 42 ′ Distortion correction image, 43 Non-distortion correction image 44 ... overlapping portion, 45 ... gap portion, 46 ... shaping region image.

Claims

Projection surface acquisition means for obtaining shape data of a projection surface having a free shape, distortion correction area designation means for designating a distortion correction area of a projection image projected on the projection surface, and distortion correction for the projection image Distortion correction means, wherein the distortion correction means performs distortion correction on the image of the distortion correction area of the projected image with reference to the shape data, and the distortion correction area of the projection image. A projected image correction apparatus characterized in that an image is synthesized with an image of a non-distortion correction area not designated by a designation means.

Projection surface acquisition means for obtaining shape data of a projection surface having a free shape, distortion correction area designation means for designating a distortion correction area of a projection image projected on the projection surface, and distortion correction for the projection image Distortion shaping means; shaping area designation means for designating a peripheral area including a joint portion between the distortion correction area designated by the distortion correction area designation means and an undesignated non-distortion correction area; and the shaping Shaping means for performing partial correction on the image in the shaping area designated by the area designation means, and the distortion correction means refers to the shape data, and the image in the distortion correction area in the projected image. The image is subjected to distortion correction, and the image is synthesized with the image in the non-distortion correction area of the projected image, and the image is corrected with respect to the image in the shaping area. Projected image correction apparatus characterized by performing a partial correction by Doping means.

The projected image correction apparatus according to claim 2, wherein the partial correction performed by the shaping unit refers to a distortion correction content performed by the distortion correction unit, and the non-distortion correction among the images in the shaping region. A projection image correction apparatus for performing correction such that an image in a region contracts or expands so as to be pulled toward a distortion-corrected image side in the distortion correction region.

4. The projected image correction apparatus according to claim 2 or 3, wherein the shaping area designated by the shaping area designation means is in the distortion correction area at the joint portion between the distortion correction area and the non-distortion correction area. It is the peripheral region including at least one portion in which the image after distortion correction and the image in the non-distortion correction region overlap each other and / or a portion that is missing from both images. Projection image correction device.

5. The projected image correction apparatus according to claim 2, wherein the projected image can include a plurality of arbitrary areas as the shaping area designated by the shaping area designating unit. Projection image correction device.

6. The projected image correction apparatus according to claim 2, wherein the shaping area designated by the shaping area designation means inputs a shaping area data file in which the area data to be partially corrected is stored in advance. Or whether the shaping area is automatically determined from the distortion correction area and the distortion correction content applied by the distortion correction means, or the user himself / herself designates the shaping area. A projected image correction apparatus characterized by specifying one of a plurality of shaping areas and specifying shaping instruction information indicating the partial correction method to be performed corresponding to the shaping area.

7. The projected image correction apparatus according to claim 1, wherein the projected image can include a plurality of arbitrary areas as the distortion correction area specified by the distortion correction area specifying means. A projected image correction device as a feature.

The projection image correction apparatus according to any one of claims 1 to 7, wherein the distortion correction area designating unit inputs from a distortion correction area data file in which the area data to be corrected for distortion is stored in advance, or Either one or more of whether the distortion correction area is automatically determined from the projection plane shape data obtained by the projection plane acquisition unit or the user himself / herself designates the distortion correction area is used. Thus, the projection image correction apparatus is characterized in that the distortion correction area is specified, and distortion correction instruction information indicating the distortion correction method to be performed corresponding to the distortion correction area is specified.

A projection image correction apparatus according to any one of claims 1 to 8, comprising: correcting distortion of a projection image projected on a projection surface regardless of whether the image is being projected; A projector apparatus capable of projecting an image obtained by partially correcting a projected image by means.