[go: up one dir, main page]

JP7584001B2 - ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 - Google Patents

ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 Download PDF

Info

Publication number
JP7584001B2
JP7584001B2 JP2022510551A JP2022510551A JP7584001B2 JP 7584001 B2 JP7584001 B2 JP 7584001B2 JP 2022510551 A JP2022510551 A JP 2022510551A JP 2022510551 A JP2022510551 A JP 2022510551A JP 7584001 B2 JP7584001 B2 JP 7584001B2
Authority
JP
Japan
Prior art keywords
viewpoint
illumination area
area
light
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022510551A
Other languages
English (en)
Other versions
JPWO2021193636A1 (ja
Inventor
誠 秦
毅 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2021193636A1 publication Critical patent/JPWO2021193636A1/ja
Application granted granted Critical
Publication of JP7584001B2 publication Critical patent/JP7584001B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/332Light emitting diodes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

本発明は、車両(乗り物)のウインドシールドやコンバイナ等の被投影部材に画像の表示光を投影(投射)し、運転者の前方等に虚像を表示するヘッドアップディスプレイ(Head-up Display:HUD)装置、表示制御装置、及び表示制御方法等に関する。
HUD装置において、アイボックスの全域を常時、照明(ライティング)すると無駄が多いため、省エネ化の観点から、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング(部分照明)を実施することが提案されている(例えば、特許文献1)。
特許第6586646号公報
本発明者は、運転者(操縦者や乗務員等、広く解釈可能である)の視点位置を検出して視点追従スポットライティングを実施することについて検討し、以下に記載する新たな課題を認識した。
運転者の視点位置が移動し、HUD装置がその視点位置を一時的に喪失(ロスト)する場合があり得る。このとき、運転者の視点(両目の少なくとも一方の目)が部分照明領域から外れると、運転者は虚像を視認できなくなる。このことが唐突感を運転者に与え、違和感につながる場合等もあり得る。
但し、運転者の視点が部分照明領域から外れても、実際はアイボックス内に位置しているのならば、その視点が位置する領域に投光できれば、虚像の視認を継続させることが可能である。
また、運転者の視点が部分照明領域から外れ、かつアイボックスからも外れた場合でも、その後、視点はアイボックスに戻るはずであり、このとき、必ず元の位置に戻るとはかぎらない。何らかの事情で元の位置から、かなり遠い位置に戻ることも想定され得る。
また、元の位置付近に戻るにしても、試行錯誤的に視点が移動しつつ、徐々に視点位置が安定化してやがて静止する、ということも想定され得る。試行錯誤的に視点が移動しているときに、その視点位置が、元の部分照明領域の外であるときは、戻っている途中の視点には投光がなされず、虚像が視認できない状態が生じる。
但し、視点がアイボックスに戻るということは、視点がアイボックス内に位置するということであり、ライティングを工夫して視点に投光する(照明光を当てる)ことができれば、虚像の視認が可能である、ということでもある。
また、視点ロストは、視点が何らかの理由で大きく移動することに起因して生じる場合もあれば、視点の移動距離は比較的短いものの、視点が瞬時的に高速に移動したことによって発生する場合もあり得る。
一口に視点ロストといっても、その態様は多様である。必要に応じて、視点ロストの状況を考慮した対策を採ることも重要となる。
さらに、近年、例えば、車両の前方のかなり広い範囲にわたって虚像表示が可能なHUD装置が開発されており、このようなHUD装置は大型化する傾向がある。省エネの観点からは、部分照明領域の面積を小さくすることが好ましいが、しかし、この場合は、視点ロスト時に運転者(ユーザー)が虚像を視認できなくなる可能性が高まる。よって、省エネ性能と視認可能性を高めることを両立させることは難しくなる傾向がある。
このように、視点追従スポットライティングを実施することに関しては、改善の余地がある。上記の特許文献1には、この点に関しては、何ら記載がない。
本発明の目的の1つは、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、虚像が見えなくなることを抑制し、違和感を低減することである。
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
例えば、本発明の他の目的の1つは、視点ロストが生じたときのみならず、視点ロストが生じ易い状態となったときにおいても、虚像が見えなくなったり、あるいは、表示光が視点に適切に照射されないことによって虚像の品位が低下したりすることを抑制し、違和感を低減することである。
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
第1の態様において、ヘッドアップディスプレイ装置は、
車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を表示する表示部と、
運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
を有し、
前記制御部は、
前記視点位置を検出できない視点ロストが生じると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記視点ロストの直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する。
第1の態様では、視点位置追従スポットライティングを実施しているときに、視点位置のロスト(視点ロスト)が生じると、視点ロスト前にスポットライティング(部分照明)していた部分照明領域よりも広い照明領域を照明する制御が実施される。
例えば、視点ロスト時には、照明領域をアイボックスの全域(全面)にまで広げてもよい。
画像を表示する表示部が、例えばLEDや有機EL等の自発光素子により画素を形成しているときは、その画素の発光状態を制御することにより、また、表示部が、例えば、液晶パネルとバックライト(光源)とを組み合わせた光透過型の表示部であるときは、光源(光源要素)の発光状態(点灯や消灯等)を制御することにより、照明領域の拡張を実現することができる。言い換えれば、例えば、視点ロストの直前に発光していた画素の周囲の画素(非発光であった画素)を発光状態(虚像の視認に寄与できる状態)に転じることによって、視点ロスト直前の照明領域を基準として、その周囲に発光領域を拡張していくことが可能である。
ここで、「視点ロスト直前の照明領域を基準とした拡張」とするのが好ましい。視点ロストが短い時間であるのならば、視点は、元の照明領域付近にとどまっている可能性が高く、元の領域の周囲に拡張することで、視点に投光できる可能性が高まるからである。
視点(左右の目の少なくとも一方)の移動に伴い、視点が一時的に喪失状態となったときでも、拡張された照明領域に視点が位置していれば、運転者(ユーザー)は、表示(虚像)を視認可能であり、唐突に表示が消えることを防止できる可能性が高まる。よって、違和感が生じることを低減する効果が得られる。また、車両等の運行上、必要な表示を視認できる可能性が高まることから、安全上の信頼性も高まる。
また、本態様は、運転者の両目の各々に同じ画像を投影する単目式のHUD、各目に異なる画像(視差画像)を投影する両目式(視差式、フォログラム式あるいは光再現方式)のHUDの双方に適用することができる。
また、本態様における「視点ロスト」としては、両目の少なくとも一方がアイボックス内にある視点ロスト、両目がアイボックスの外にある視点ロストの双方を想定することが可能である。
第1の態様に従属する第2の態様において、
前記制御部は、
前記照明領域を、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施してもよい。
第2の態様によれば、徐々に照明領域を拡張することにより、一気にアイボックスの全域に照明領域を拡張したときに発生しうる違和感を抑制できる。言い換えれば、違和感の少ない「スポットライティング拡張制御」が可能である。
時間軸上で連続的に照明領域を拡張すれば、違和感をより低減できる。また、段階的(ステップ的)に照明領域を拡張する場合は、所定の拡張アルゴリズムに従って規則性をもって効率的な拡張を、容易に(装置の負担が少なく)実施することができる。なお、連続的拡張と段階的拡張を組み合わせて使用することで、より自由度の高い照明領域の拡張が可能である。
第2の態様に従属する第3の態様において、
前記制御部は、
前記視点ロストが第1の所定時間以上継続する場合、前記アイボックスの全域を照明する制御を実施してもよい。
アイボックスにおける部分照明領域を拡張した場合、拡張した照明領域に向かう光束の一部は、元の照明領域にも入る可能性がある。第1の態様にて記載したとおり、一気にアイボックスの全域を照明してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
そこで、本態様では、照明範囲を全域にまで広げる制御は、第1の所定時間を経過したことを条件に実施する。これにより、第1の所定時間が経過する前の期間では、部分照明領域のサイズを徐々に広げていくことができる。よって、違和感を抑制(低減)することができる。
第2又は第3の態様に従属する第4の態様において、
前記制御部は、
前記照明領域を連続的又は段階的に広げる際に、照明光の光量を増加させる制御を実施してもよい。
本態様では、照明エリアを広げる際に、照明エリアを広げる方向の光源の光量を制御する(徐々に所望の輝度にあげていく)ことで、より違和感を抑制することができる。
例えば、視点ロスト直前の照明領域(部分照明領域)をAとし、拡張される領域をBとする。B領域の輝度を、一気にA領域と同じ輝度に高めることもできる。但し、この場合は、上記の第3の態様で記載したのと同様に、周辺視野の輝度変化がある程度、大きくなるのは否めない。この場合、運転者(ユーザー)が違和感をおぼえる可能性がないとはいえない。
そこで、本態様では、表示部の画素(表示画素)を、所望の輝度で点灯/非点灯の切り替え制御(点灯/消灯の2値制御)をするのではなく、時間をかけて所望の輝度に上げていく制御(言い換えれば多値点灯制御)を実施する。これによって、違和感をより低減することができる。
第2乃至第4の何れか1つの態様に従属する第5の態様において、
前記制御部は、
前記照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定又は予測して、その推定又は予測された方向を少なくとも含むように前記照明領域を拡張する制御を実施してもよい。
本態様では、視点ロストが生じた方向(視点ロスト時における視点の移動方向)を推定又は予測して、その推定(予測)の内容を活かして照明領域の拡張を行う。
視点がロストしたときでも、視点の移動方向を推定(あるいは予測)可能な場合がある。例えば、両目の一方のみがロストしたときは、ロストしていない他方の目の移動の軌跡を追うことで、視点ロストの方向を推定(予測)することができる(視点の移動方向による推定)。
また、運転者(ユーザー)には、運転中のしぐさ、動作に個人的な特徴があり、例えば、ある運転者は、運転中に頻繁に姿勢を変え、これによって上下(車両の高さ方向)に視点が変わることがある、といことが過去の学習でわかるのであれば、その学習結果を活かして、視点が上下方向に沿って移動して視点ロストが生じたと推定(予測)することができる(学習による推定又は予測)。
また、車両が現在、凹凸の多い道(未舗装の道など)を走行しているときは(これは、例えば、ECU等が収集する車両情報により判定可能である)、上下、あるいは斜めの方向に視点が瞬時的に移動してロストが生じた可能性がある、と推定(予測)することができる(運転状況による推定又は予測)。
このような推定(予測)を行って、推定(予測)方向を含むように拡張することで、効率的な拡張が可能である。例えば、推定(予測)方向の拡張を、非推定(非予測)方向よりも手厚く拡張する(拡張の度合いを大きくする)等の工夫をすることで、ロスト中における視点に、画像を投光できる可能性が高まり、照明領域の拡張が、虚像の視認可能性を高めることに、効率的に結びつく可能性を高めることができる。また、必要な領域を重点的に照明できることから、省エネの点でも有益である。
第2乃至第5の何れか1つの態様に従属する第6の態様において、
前記アイボックスは所定の外形を有し、
前記制御部は、
前記照明領域を連続的又は段階的に広げる際に、
前記照明領域を、その周囲に一様に拡張する等方的拡張、
又は、一様ではなく拡張する異方的拡張、
又は、前記等方的拡張と前記異方的拡張の組み合わせによる拡張、の何れかを実施し、
拡張を実施しているときに視点位置が再検出された場合、又は、前記照明領域が、前記アイボックスの全域まで広がった場合、拡張を終了する制御を実施してもよい。
第6の態様では、アイボックス及び照明領域の外形(輪郭)が所定の形状を有し、照明領域の拡張に際し、等方的拡張、異方的拡張、これらを組み合わせた拡張の何れかを実施することができる。なお、照明領域を、「その周囲に一様に拡張する」とは、言い換えれば、「照明領域の元の形状と相似形で、かつ、より面積の広い領域へと拡張する」ということもできる。また、「その周囲に一様ではなく拡張する」とは、言い換えれば、「照明領域の元の形状とは相似形ではなく、かつ、より面積の広い領域へと拡張する」ということもできる。
照明領域の外形の辺がアイボックスの辺に到達したときは、それ以上の拡張はできないため、他の未到達の辺についての拡張を実施し、拡張中に視点が再検出されたとき、あるいは、アイボックス全域まで拡張したときに、拡張を終了する。
本態様によれば、拡張時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
第1乃至第6の何れか1つの態様に従属する第7の態様において、
前記制御部は、
視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施してもよい。
第7の態様によれば、視点ロストから復帰したとき、違和感なく、ロスト前と同様の(通常の)スポットライティング状態に復帰できる。
第6の態様に従属する第8の態様において、
前記アイボックスは所定の外形を有し、
前記制御部は、
視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施し、
かつ、前記照明領域の縮小に際して、
前記照明領域を一様に縮小する等方的縮小と、一様ではなく縮小する異方的縮小とを組み合わせて実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
又は、
直交する2つの線分の内の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
又は、
水平収縮を実施し、続いて垂直収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施してもよい。
第8の態様では、アイボックス及び照明領域の外形(輪郭)を所定の外形、例えば矩形(正方形及び長方形を含むものとする)等とするとき、照明領域の縮小に際し、等方的縮小の後に異方的縮小を行う第1の方式、垂直収縮の後に水平収縮を行う第2の方式、水平収縮の後に垂直収縮を行う第3の方式の何れかを採用することができる。
第8の態様によれば、縮小時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
第7又は第8の態様に従属する第9の態様において、
前記制御部は、
前記広い照明領域を前記狭い照明領域とするのに要する時間が、第2の所定時間以上となるように制御してもよい。
視点が再検出されたときは、その再検出された視点位置に基づく部分照明(原則として視点ロスト前の部分照明領域と同じサイズの部分照明)へと移行するが、但し、運転者(ユーザー)の視点は、ある程度の移動を繰り返しつつ、ある位置に収束していく場合もあり得る。
よって、第9の態様では、所定時間が経過した後の時点(視点が安定するのに要する時間を経過した時点)で、通常のスポットライティング状態に復帰するようにする。これによって、戻る途中の視点の小さな移動によって、視点が照明領域から外れてしまうことを抑制(低減)することができる。
第7乃至第9の何れか1つの態様に従属する第10の態様において、
前記制御部は、
前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる制御を実施してもよい。
第10の態様によれば、照明領域の縮小の際に、徐々に照明光の光量(照明輝度)を低下させることで、一気に通常のスポットライティングに移行した場合に発生しうる違和感を抑制(低減)することができる。
第10の態様に従属する第11の態様において、
前記制御部は、
前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、
視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させてもよい。
第11の態様では、1視点に複数の画素からの光が向かうことを前提にした制御方式の一例を示す。
照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、光源要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させることで、目の位置X1に若干届いていた光(光源C2、C3・・・の光)による画像の輝度の低下を感じにくくすることができ、違和感を低減することが可能である。
第7乃至第9の何れか1つの態様に従属する第12の態様において、
前記制御部は、
前記広い照明領域を前記狭い照明領域に縮小する際に、
視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、前記視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させてもよい。
第12の態様では、1視点に複数の画素からの光が向かうことを前提にした制御方式の他の例を示す。
本態様では、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、光源要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させ、かつ、目の位置X1で視認される虚像の輝度に影響が大きい光源C1の輝度を緩やかに(時間をかけて)上昇させる。
これによって、照明範囲を変化させている途中であっても、画像(虚像)の輝度を略一定に維持できる。よって、例えば、照明範囲の拡大時と、縮小時とで、目の位置X1から見える画像(虚像)の輝度の変化(輝度の差)を小さくすることもできる。よって、違和感を、より低減することができる。
第3の態様に従属する第13の態様において、
前記制御部は、前記第1の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
第13の態様では、照明領域をアイボックスの全域(最大エリア)に広げるのに要する時間を、種々の要因に応じて可変に制御し、運転シーンに適した制御を実施する。
例えば、凹凸の多い道路を走行中であり車両ピッチングの発生頻度が所定値以上となる場合や、運転者の疲労度が高いと判定される場合や、カメラによって撮像されて取得される画像のコントラストが所定値以下の場合等においては、第1の所定時間をより短くして、最大エリアまでの拡張速度を通常の場合よりも高める(より早く最大エリアに到達するように制御する)のが好ましい。これらの場合は、表示(虚像)を確実に運転者(ユーザー)に視認させることが、安全の観点からも望ましいからである。
また、例えば、夜間は、昼間よりも人の目の感度が高いため、より時間をかけてゆっくりと拡張させる制御をして、違和感を低減する等の制御を実施することも可能である。また、トンネルなど明暗が急激に変わる場合は、照明エリアの拡張時の速度を高め、早く最大エリアに到達できるようにしてもよい。雨天時は、晴天時よりも、表示(虚像)を視認しづらいため、ロスト時の照明エリアの拡大の速度を上げて、表示輝度変化による違和感発生よりも、確実に表示を視認させることを優先させるのが好ましいからである。
このように、第13の態様によれば、各種の状況に適応して最適な制御を実施することが可能である。
第9の態様に従属する第14の態様において、
前記制御部は、前記第2の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
照明領域を縮小する場合も、第13の態様で述べたのと同様の制御を実施することで、同様の効果を得ることができる。
第1乃至第14の態様の何れか1つに従属する第15の態様において、
前記制御部は、
前記照明領域(前記広い照明領域、及び前記狭い照明領域を含む)の照明光の光量分布に関して、
前記照明領域の周辺部の光量を、中央部の光量よりも少ないが、所定値以上の輝度は確保される光量となるように制御する、
又は、
前記照明領域内で光量が均一化されるように制御してもよい。
第15の態様では、照明領域(部分照明領域を含む)における光量(輝度)の分布の好ましい例を示す。視点が部分照明領域(スポットライティングのエリア)から出ると、輝度が極端に小さくなって、画像(虚像)の視認性が極端に、急に低下することが想定され得る。
この場合、部分照明領域と非照明領域との境界(縁)に、目(視点)が差し掛かった際に、突然、虚像が消える(輝度が極端に低下する)ことによる視認者の違和感を軽減することが望まれる。
そこで、好ましい1つの例では、矩形の照明領域があるとすると、中央の光量が多く、周辺部(境界近辺)の光量は少ないが、但し、ある程度(所定値以上)の光量(輝度)が確保されるような低さとして、視点が、上記の境界よりも外側に出たときに、急に虚像が見えなくなることを抑制する。この場合は、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
また、他の好ましい例では、照明領域(ライティングのエリア)内においては、所定の輝度レベルとなるように均一(略均一を含む)な光の照射がなされるようにする。この場合も、縁近傍(境界付近)から光量が低下していくが、ある程度の光量は確保されることから、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
このように、第15の態様によれば、視点が照明領域の外になったときに、突然、表示(虚像)が消える違和感が軽減される。
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
例えば、本発明では、視点ロストが生じたときのみならず、視点ロストが生じ易い状態となったときにおいても、虚像が見えなくなったり、あるいは、表示光が視点に適切に照射されないことによって虚像の品位が低下したりすることを抑制し、違和感を低減することができる。
本発明の第16の態様において、ヘッドアップディスプレイ装置は、車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を表示する表示部と、
運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
を有し、
前記制御部は、
前記視点位置を検出できない視点ロストが生じ易い状態が検出されると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する。
第16の態様によれば、視点ロストが生じ易い状態の検出、あるいは予測によって、視点ロストが実際に生じる前に、表示画像(虚像等)が見えなくなったり、表示品質が低下したりすることに対する対策を実施することができる。よって、迅速で、確実な対策が可能である。
第16の態様に従属する第17の態様において、
前記制御部は、
前記視点の移動速度が第1の閾値以上であるとき、前記視点ロストが生じ易い状態であると判定してもよい。
第17の態様では、視点(目)位置が、閾値以上の速度で高速に移動する場合に視点ロストが生じ易いと判定し、対策を実行する。例えば、運転者の顔が急に大きく振れる場合において、このような事態が生じ易い。本態様では、このような事態に迅速かつ確実に対応可能である。
第16の態様に従属する第18の態様において、
前記制御部は、
前記車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、
及び、
前記車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合
及び、
前記車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
及び、
前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、
の少なくとも1つに該当するとき、前記視点ロストが生じ易い状態であると判定してもよい。
第18の態様によれば、視点ロストが生じ易い様々な運転状況に対応して、事前に対策が可能である。明るさの急激な変化は、例えば車両がトンネルに入る、あるいはトンネルから出る際に生じ易い。明るさの急激な変化が生じると、運転者は目を閉じたり、前方から目をそらしたりする傾向があり、視点ロストの一因となり得る。
また、車両の内部の明るさの急な変化は、例えば、対向車のヘッドライトからの指向性の高い光や、LEDを用いた街路灯からの指向性の高い光が車内に入射されたときに生じ易い。この状況も視点ロストの一因となり得る。
また、後部座席モニターやチャイルドモニターがオンされたときは、運転者は、監視用端末に視線を向けることが多くなるため、視点ロストの一因となり得る。
また、車両が悪路を進行しているような場合、例えば、凹凸の多い道路を走行したり、ぬかるんだ未舗装の道路を走行しているような場合、あるいは、急カーブが連続する道路を走行している場合等においては、身体や顔の揺れ等によって視点ロストが生じ易くなる。
本態様によれば、このような様々な運転シーンにおいて、視点ロスト対策を実施可能である。
第16乃至18の何れか1つの態様に従属する第19の態様において、
前記照明領域の拡張は、複数段階の拡張過程を含んでもよい。
これによって、運転者の違和感を軽減することができる。また、装置負担も軽減することが可能となる。
第16乃至第20の何れか1つの態様に従属する第19の態様において、
前記制御部は、
前記視点ロストが生じ易い状態が解消されると、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施してもよい。
第19の態様によれば、視点ロストの可能性が高い状態が解消されると、照明領域が縮小される。これによって、例えば光源の温度上昇を抑制でき、また、光源の駆動電力の低減も可能となる。
第17の態様に従属する第21の態様において、
前記制御部は、
前記視点の移動速度が、前記第1の閾値未満となった場合、
又は、
前記第1の閾値よりも小さい、あるいは、前記第1の閾値よりも大きい第2の閾値以下
となると、
拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する。
第21の態様では、視点の移動速度と第1の閾値との比較結果に基づいて照明領域の拡張の必要性を判定する場合、照明領域の縮小の必要性の判定に関しても、第1の閾値との比較、又は、第1の閾値とは異なる第2の閾値との比較を実施する。比較判定であるため、実現が容易である。
第2の閾値は、第1の閾値よりも小さくてもよい。この場合、視点の移動速度が、第1の閾値を下回り、さらに、第2の閾値以下とならないと、照明領域の縮小要と判定されない。よって、照明領域が拡張された状態が安定的に維持できる。この場合、視点が照射範囲から外れる確率が低くなるという効果が得られる。
一方、第2の閾値は、第1の閾値よりも大きくてもよい。この場合、視点の移動速度が、第2の閾値以下となると、照明領域の縮小要と判定される。よって、照明領域が拡張されている期間を短縮でき、これによって、例えば光源の温度上昇の抑制、消費電力の削減等の効果を得ることができる。
第20又は第21の態様に従属する第22の態様において、
前記照明領域の縮小は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感を軽減することができる。
第23の態様において、表示制御装置は、第16乃至第21の態様の何れか1つにおける前記制御部を有する。
第23の態様によれば、視点ロストに対する対策が可能な制御部を、表示制御装置に含めることができる。これにより、例えば、制御部の可搬性、あるいは、設置の容易性が向上する。
第24の態様において、表示制御方法は、
運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する工程と、
前記視点位置を検出できない視点ロストが生じる場合、又は、視点ロストが生じ易い状態が検出される場合、画像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、アイボックスの部分照明領域よりも広い照明領域を照明する工程と、
視点ロストが生じた後に視点位置が再検出された場合、又は、視点ロストが生じ易い状態が解消された場合、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する工程と、
を含む。
第24の態様によれば、視点ロストが生じたとき、あるいは、視点ロストが生じ易いときに、事後的、あるいは事前に、効果的な対策を実施できる。
図1(A)は、視点追従スポットライティング制御の概要、及び視点ロスト発生時において照明領域の拡張を実施する機能を備えたHUD装置の主要な構成の一例を示す図、図1(B)は、視点ロストが発生した状態を示す図である。 図2(A)は、視点ロスト後に照明領域を拡張した状態を示す図、図2(B)は、照明領域における照明光の光量分布の好ましい例を示す図である。 図3(A)、(B)は、HUD装置で使用されるアイボックスの構成例を示す図である。 図4(A)は、本発明を適用した立体表示式(3D)HUD装置の構成例を示す図、図4(B)は、立体画像(虚像)を表示する原理を説明するための図である。 図5(A)は、時間経過に対する視点検出状態の推移(変化)を示す図、図5(B)~(F)は、アイボックスにおける視点の移動に対応した照明領域の拡張、及び縮小の様子を示す図である。 図6(A)~(H)は、照明領域の拡張と縮小の一例を示す図である。 図7(A)~(D)は、照明領域の縮小と拡張の一例を示す図である。 図8(A)、(B)は、視点位置の変化の他の例(視点ロスト状態から視点再検出状態に戻る場合も考慮した例)、ならびに、視点移動の推定又は予測による照明領域の拡張等を示す図である。 照明領域の拡張、縮小を実施するHUD装置の動作手順の一例を示すフローチャートである。 図10は、HUD装置の構成の一例を示す図である。 図11は、表示部の構成例を示す図である。 図12(A)、(B)は、図11に示した表示部を用いた視点追従スポットライティング制御の概要を示す図である。 図13は、表示部における、LEDアレイの配列の一例を示す図である。 図14は(A)は、照明領域を拡張する前の、アイボックスにおける照明領域を示す図、図14(B)は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の一例を示す図である。 図15(A)は、照明領域を段階的に拡張する場合のLEDの点灯パターン例を示す図、図15(B)は、照明領域を段階的に縮小する場合のLEDの点灯パターン例を示す図である。 図16は、照明領域の拡張又は縮小の手順の一例を示すフローチャートである。 図17は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の他の例を示す図である。 図18は、車両表示システムの構成の一例を示す図である。 図19は、表示制御装置の構成の一例を示す図である。 図20は、車両がトンネルを通過する場合における、照明領域の拡張、縮小の一例を示す図である。 図21は、照明領域の拡張又は縮小の手順の他の例を示すフローチャートである。
(第1の実施形態)
まず、図1~図9を参照しつつ、第1の実施形態において、視点ロストが生じた場合の対策について説明する。続いて、図10~図21を参照しつつ、第2の実施形態において、視点ロストが生じ易い状態における対策について説明する。
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
図1を参照する。図1(A)は、視点追従スポットライティング制御の概要、及び視点ロスト発生時において照明領域の拡張を実施する機能を備えたHUD装置の主要な構成の一例を示す図、図1(B)は、視点ロストが発生した状態を示す図である。
図1(A)に示されるHUD装置1では、アイボックスEBは、4つの部分領域Z10~Z13に分割されており、この部分領域を単位として、運転者(ユーザー)の目(視点)の位置を検出することが可能である。
図1(A)(及び(B))において、部分領域Z10~Z13の配列方向(紙面における左右方向)が、車両を運転している運転者から見た実空間におけるX方向(車両の幅方向)であり、紙面の垂線に沿う方向がY方向(車両の高さ方向)であり、Z方向は、車両の進行方向に沿う方向(前後方向あるいは奥行方向)である。なお、運転者から見た車両の外側の実空間は、図1(A),(B)で示すウインドシールド2よりも下側の空間である。
HUD装置1は、制御部100と、表示部145と、反射光学系(集光光学系)150と、を有する。各部の構成について、以下、順に説明する。
制御部100は、部分照明(スポットライティング)制御部110を有する。部分照明(スポットライティング)制御部110は、視点位置検出部112と、視点喪失(ロスト)検出部114と、発光制御部116と、を有する。図中、S1a、S1bは、視点検出情報を示す。また、S2は、視点喪失(視点ロスト)が生じたことを示す視点ロスト報知情報(報知信号)を示す。
なお、カメラ90は、人(運転者)の顔や瞳などを撮像する。撮像されて得られた情報S0は、視点位置検出部112に供給される。
また、ECU(電子制御ユニット)160は、車載エレクトロニクスを集中的に管理する。このECU160には、車両情報、車両の周囲の情報(周囲情報)、運転者や他の搭乗者の疲労度等の情報(生体情報)が集められる。よって、ECU160は、各種の情報の収集部としての機能を有する。ECU160に集められた各種の情報は、発光制御部116に提供される。図1(A)では、この提供される各種の情報をS3の符号にて示している。
なお、発光制御部116は、ECU160から供給される各種の情報S3に基づいて、視点ロスト時に実行する照明領域の拡張処理、視点再検出後の照明領域の縮小処理等の内容を、適応的に変化させる等の調整が可能である(この点については後述する)。
視点位置検出部112は、人の顔又は瞳を撮像するカメラ90からの撮像情報(撮像信号)S0に基づいて視点位置を検出する。なお、視点位置検出部120は、HUD装置1とは別に設けることもできる。
視点喪失(視点ロスト)検出部114は、視点ロストの発生を検出する。発光制御部116は、入力される信号S1a、S2、S3等に基づいて、発光制御信号S4を生成、出力し、これによって、表示部145における表示画素の発光状態(点灯/非点灯、発光時の輝度等)を制御する。なお、視点喪失(視点ロスト)検出部114は、HUD装置1とは別に設けることもできる。
表示部(表示装置)145は、光源(バックライト)120と、表示部の光学系(第1の光学系)130と、画像を表示する液晶パネル140と、を有する。なお、液晶パネルは一例であり、他の非自発光素子を用いた非自発光系の表示手段を使用してもよい。また、LED素子や有機EL素子等を画素として使用する自発光系の表示手段を使用してもよい。
光源120は、基板121の実装面上に面状(マトリクス状)に実装(配置)された複数の光源素子(ここではLED素子とする)120a~122dを有する。
表示部の光学系(第1の光学系)130は、図示はしないが、複数のレンズを組み合わせて構成される。例えば、光が入射する側の断面形状が曲面(例えば円弧状)であり、出射側の断面形状が平面である第1のフィールドレンズと、光が入射する側の断面形状が平面であり、出射側の断面形状が曲面(例えば円弧状)である第2のフィールドレンズと、を近接して配置した構成である。第1、第2のフィールドレンズによって、光源素子122a~122dから出射される光を適宜、屈折させ、その光によって、液晶パネル140を背面から照明する。液晶パネル140の各画素の光透過度を、例えば液晶素子のツイスト角を制御することで、各画素の発光/非発光、あるいは、各画素から出射される光の強度(言い換えれば、各画素の発光強度)を制御することができる。
反射光学系(集光光学系)150は、第2の光学系として機能する。図1(A)では、反射光学系(集光光学系)150は簡略化して描いているが、具体的には、例えば、反射ミラーや凹面鏡(曲面ミラー:図4(B)の符号171)等にて構成される。
表示部145から出射される光は、反射光学系(集光光学系)150の反射ミラー等で反射されながら進行し、その光(表示光:図3の符号K)は、車両のウインドシールド2(図3参照)で反射され、アイボックスEB(視点A1、A2)に投光される。
図1(A)では、視点A1(右目)は、アイボックスEBの部分領域Z10の位置にあり、視点A2(左目)は、アイボックスEBの部分領域Z12の位置にある。
また、図1(A)では、光源素子122b、122dが点灯して発光状態であり、122a、122cは消灯して非発光状態である。
光源素子122bが発光することにより生じる光線L1(一点鎖線で示される)は、最終的には、左目A2に投光される。また、光源素子122dが発光することにより生じる光線R1(実線で示される)は、最終的には、右目A1に投光される。例えば、液晶パネル140の表示面における、各光源素子122a、122dに対応する各画素が、右目用/左目用の視差をもった画像を形成しているときは、その視差画像が、運転者の目A1、A2の各々に投光される。これにより、運転者は、立体的な虚像を視認することが可能である。
次に、図1(B)を参照する。図1(B)では、視点A1、A2が、部分領域Z11、Z13に位置している。これに対応して、光源素子122a、122cが点灯して発光状態となり、光源素子122b、122dが消灯して非発光状態である。光源素子122aが発光することにより生じる光線L2(実線で示される)は、最終的には、左目A2に投光される。また、光源素子122cが発光することにより生じる光線R2(一点鎖線で示される)は、最終的には、右目A1に投光される。
この状態で、視点A1、A2がX方向(紙面における右方向)に移動し、このとき視点位置の検出ができず、視点喪失(視点ロスト)が生じたとする。なお、視点ロスト時における視点A1’は、アイボックスEBの部分領域Z12に位置し、視点A2’は、アイボックスEBの外に位置している。
この状態では、光線R2、L2は、視点A1’、A2’には投光されず、運転者はHUD装置1による表示(虚像)を視認することができない。但し、視点A1’は、アイボックスEB内にあることから、照明範囲を変更することで、視点A1’に光を照射して、視認可能な状態とすることは可能である。
次に、図2を参照する。図2(A)は、視点ロスト後に照明領域を拡張した状態を示す図、図2(B)は、照明領域における照明光の光量分布の好ましい例を示す図である。
図2(A)における視点(視点A1’、A2’)の位置は、図1(B)と同じであり、視点ロストの状態である。ここで、視点喪失検出部114が、視点ロストが生じたことを検出し、視点ロスト検出信号(検出情報)S2を発光制御部116に送る。これを受けて発光制御部116は、視点ロストに対する対策として、照明領域の拡張処理を実施する。なお、照明領域を広げることは、例えば、表示部145における虚像の表示に寄与する画素又は光源の領域を拡張し(言い換えれば、発光状態の画素や光源要素が増えるように制御し)、視点ロストの直前に照明していた、アイボックスの部分照明領域を基準として、その領域よりも広い照明領域を照明するように制御することで実現可能である。
図2(A)では、図1(B)では消灯していた光源素子122b、122dが点灯しており、光源素子122a~122dがすべて点灯(発光)している。図1(B)では、光線L2、R2のみによる照明であったが、図2(A)では、これに加えて、光線L1、R1による照明がなされ、アイボックスEBにおける照明範囲(照明領域)が拡張(拡大)されている。
アイボックスEBに着目すると、視点ロスト後の視点A1’(アイボックスの部分領域Z12に位置している)には、光線L1が投光されている。これによって、運転者が、HUD装置1による表示(虚像)をまったく視認できない事態が生じない。言い換えれば、視点ロストの発生によって、ふいに表示が完全に消えるという事態が抑制(低減、あるいは防止)されることになる。
次に、図2(B)を参照する。図2(B)は、照明領域(部分照明領域を含む)における光量(輝度)の分布の好ましい例を示す。視点が部分照明領域(スポットライティングのエリア)から出ると、輝度が極端に小さくなって、画像(虚像)の視認性が極端に、急に低下することが想定され得る。
この場合、部分照明領域と非照明領域との境界(縁)に、目(視点)が差し掛かった際に、突然、虚像が消える(輝度が極端に低下する)ことによる視認者の違和感を軽減することが望まれる。
そこで、好ましい1つの例では、矩形の照明領域があるとすると、中央の光量が多く、周辺部(境界近辺)は低いが、但し、ある程度(所定値以上)の光量(輝度)が確保されるような低さとして、視点が、上記の境界よりも外側に出たときに、急に虚像が見えなくなることを抑制する。この場合は、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
また、他の好ましい例では、照明領域(ライティングのエリア)内においては、所定の輝度レベルとなるように均一(略均一を含む)な光の照射がなされるようにする。この場合も、縁近傍(境界付近)から光量が低下していくが、ある程度の光量は確保されることから、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
図2(B)に示される光量の分布DB1、DB2は、上記の他の好ましい例に相当する。なお、DB1は、アイボックスEBの部分領域Z13に対応した部分照明領域の光量分布を示し、DB2は、アイボックスEBの全域(部分領域Z10~Z13)にまで照明領域を拡大した際の照明領域(全照明領域)における光量分布を示す。いずれの分布も、アイボックスEBの内部の境界、あるいは、アイボックスEB自体の外形の境界付近(言い換えれば、照明領域の周辺、あるいは縁)において、所定閾値Lth以上の光量が確保されている。
これによって、その境界の外側にも光量がはみ出して広がり、光の強度は、急峻に低下せず、徐々に(勾配をもって)低下する。よって、視点が、境界の外側に移動したときでも、表示(虚像)が薄くなって消えることになり、唐突に消えることがない。これによって違和感、不安感が抑制(低減)される。
このように、図2(B)の例によれば、視点が照明領域の外になったときに、突然、虚像が消える違和感が軽減される。
次に、図3を参照する。図3(A)、(B)は、HUD装置で使用されるアイボックスの構成例を示す図である。
図3(A)では、アイボックスEBは、複数(ここでは9個)の部分領域Z1~Z9に分割されており、各部分領域Z1~Z9を単位として、運転者の視点Aの位置が検出される。
HUD装置1の集光光学系150(図1、図2参照)から画像の表示光Kが出射され、その一部がウインドシールド2により反射されて、運転者の視点(目)Aに入射する。視点Aがアイボックス内にあるとき、運転者は画像の虚像を視認することができる。
図3(B)の例では、HUD装置1の集光光学系150から画像の表示光Kが出射され、その一部がウインドシールド2により反射されて、運転者の左右の視点(左右の目)A1、A2に入射する。視点A1、A2がアイボックスEB内にあるとき、運転者は画像の虚像を視認することができる。
ここで、運転者の視点(目)A1、A2から見て、車両1の幅方向(左右方向)をX方向(あるいは横方向)とし、X方向に直交し、路面の垂線に沿う高さ方向をY方向(縦方向)とし、前方(前後方向)をZ方向とする。図3(B)では、アイボックスEBの内部は、縦の境界線で区画されたE1~E8の8個の部分領域が設けられ、縦長の長方形の外形を有する各部分領域E1~E8は、横方向(X方向)に、隣接して配置(配列)されている。各部分領域E1~E8を単位(最小限の分解能の単位)として視点位置を検出することで、視点A1、A2の、アイボックスEBにおける横方向の位置を検出することができる。
なお、各部分領域Z1~Z9、又は、E1~E8を用いて検出された視点位置の情報は、視点位置追従スポットライティング以外の制御にも利用され得る。また、「アイボックスEBにおける部分領域」と、スポットライティングにおける「部分照明領域」とは、異なる概念であり、両者のサイズが一致するとは限らない。
次に、図4を参照する。図4(A)は、本発明を適用した立体表示式(3D)HUD装置の構成例を示す図、図4(B)は、立体画像(虚像)を表示する原理を説明するための図である。図4において、前掲の図面と同じ箇所には同じ符号を付している。
図4(A)において、液晶パネル(広義にはフラットパネルディスプレイ)140の表示面145に、右眼用の画像(視差画像)QR、左眼用の画像(視差画像)QLが表示される。なお、「視差画像」とは、左右の眼が異なる位置にあることによって生じる視差(各眼が知覚する画像の差)が再現されている画像である。
ここで、液晶パネル140の光出射側を前方とするとき、液晶パネル140の前方には、光学部材160が配置される。この光学部材160は光線分離部材として機能し、左上側に示されるように、具体的にはレンチキュラレンズ170、あるいは、スリットSLを有するパララックスバリア(視差バリア)180により構成することができる。なお、視差バリア180は、複数のスリット185a~185nを有する。但し、これらは例示であり、これらに限定されるものではない。
光線分離機能を有する光学部材160で分離された光(画像を再現する各眼用の再現光)L10、R10が、光の結像点に位置する両眼A1、A2に入光したとすると、人には、輻輳(光の交差)が生じている箇所にて、見かけ上の立体像IMが見える。言い換えれば、このことは、立体像IMが、3Dディスプレイによって生成された、とみることもできる。なお、図4(A)の例では、輻輳角はθcである。
図1等を用いて説明したように、液晶パネル140の後方には、制御部100と、光源(LED等のバックライト用光源)120と、光源の光学系(第1の光学系)130とが配置されている。
図4(A)に示されるように、液晶パネル140の表示面145の全面が発光しているのではなく、必要な箇所ZA、ZBが選択的に発光されている。なお、符号147、147’は、視点A1、A2(の中心)に対応する画素を示す。この選択的な発光によって、アイボックスEB上において部分照明(スポットライティング)が実現されている。
図4(B)を参照する。図4(B)では、視認者(車両の運転者等)の前にアイボックスEBが設定されており、アイポイントP(C)は、アイボックスEBの中央に位置する。ウインドシールド2の前方に、左右の各眼に対応する仮想的な結像面PS(L)、PS(R)を設定したとすると、その重なりの領域の中央に虚像V(C)が位置する。虚像V(C)の輻輳角はθdであり、虚像V(C)は、視認者(ユーザー)には立体的な像として認識されることになる。
この立体的な虚像V(C)は、以下のようにして表示(形成)される。すなわち、図3(A)に示した3Dディスプレイにより生成された仮想的な立体像IMの、左右の各眼用の再現光L10、R10を、HUD装置1の集光光学系150に含まれる曲面ミラー(凹面鏡等)171にて反射させ(反射の回数は少なくとも1回)、これによって、表示光Kとしてウインドシールド2に投射(投影)し、その反射光が視認者の両目に至り、ウインドシールド2の前方に像を結ぶことによって、虚像V(C)が表示(形成)されることになる。
次に、図5を参照する。図5(A)は、時間経過に対する視点検出状態の推移(変化)を示す図、図5(B)~(F)は、アイボックスにおける視点の移動に対応した照明領域の拡張、及び縮小の様子を示す図である。
図5(A)において、時刻t0~t2の期間は、視点が検出されている「視点検出状態」であり、時刻t2にて、視点の位置が検出できなくなり、視点喪失(視点ロスト)が発生している。この視点ロスト状態は、時刻t5まで継続する。時刻t5に視点が再検出され、以降、視点検出状態となる。
なお、「視点ロスト」としては、両目の少なくとも一方がアイボックス内にある視点ロスト、両目がアイボックスの外にある視点ロストの双方を想定することが可能である。
また、以下に説明する視点ロスト時における照明領域を拡張する制御、又は縮小する制御は、運転者の両目の各々に同じ画像を投影する単目式のHUD、各目に異なる画像(視差画像)を投影する両目式(視差式、フォログラム式あるいは光再現方式)のHUDの双方に適用することが可能である。
図5(B)、(C)、(D)、(E)、(F)は各々、時刻t1、t3、t4、t6、t7における、アイボックスEBでの照明領域を示している。なお、照明領域は、砂模様が施された矩形(正方形、長方形を含む)領域Q1~Q5として示されている。また、視点検出状態における視点A1、A2は実線で示し、視点ロスト状態における視点A1、A2は破線で示している。
図5(B)(時刻t1に対応する)において、視点A1、A2は、アイボックスEB(ここでは、正面から見た平面視での矩形領域をアイボックスとする)上で、向かって右斜め上付近に位置している。
スポットライティング制御がなされることで、位置が検出されている視点A1、A2を中心として、所定サイズの矩形の部分照明領域Q1に、画像の表示光が照射(投光)されている。視点が移動すれば、視点位置が随時、検出されて、部分照明領域Q1が、そのサイズを保ちながら、視点に追従して移動する。この状態が、通常のスポットライティング状態である。
上記の「所定サイズ」は、ここでは、視点位置が検出されており、かつ部分照明領域がアイボックスEBに接しないとき(言い換えれば、スポットライティングの通常状態)における照明サイズとする。
図5(C)(時刻t3に対応する)では、視点ロストが発生しており、HUD装置1は、視点位置を検出できていない。実際は、視点は、アイボックスEB上で、右斜め下方向に移動している。図5(C)では、部分照明領域Q2のサイズは、図5(A)での部分照明領域Q1のサイズ(言い換えれば、視点ロスト直前の部分照明領域のサイズ)よりも拡張(拡大)されている。矩形の照明領域の外形を決める4つの辺の各々に垂直な方向に、ほぼ均等に拡張されている(等方的拡張)。
図5(C)において、視点A1は部分照明領域Q2の外となるが、視点A2はQ2の内側に位置しており、視点A2対して画像の投影が可能である。よって、視点ロスト時に、運転者が表示(虚像)をまったく見えなくなるという事態が回避されている。
ここで、このような部分照明領域を広げる制御は、先に説明した制御部100(具体的には、部分照明制御部110:図1(A)参照)によってなされる。
なお、画像を表示する表示部140が、例えばLEDや有機EL等の自発光素子により画素を形成しているときは、その画素の発光状態を制御することにより、また、表示部140が、図1、図2の例のように、例えば液晶パネルとバックライト(光源)とを組み合わせた光透過型の表示装置であるときは、光源(光源要素)の発光状態(点灯や消灯等)を制御することにより、照明領域の拡張を実現することができる。言い換えれば、例えば、視点ロストの直前に発光していた画素の周囲の画素(非発光であった画素)を発光状態(虚像の視認に寄与できる状態)に転じることによって、視点ロスト直前の照明領域を基準として、その周囲に発光領域を拡張していくことが可能である。
ここで、「視点ロスト直前の照明領域を基準とした拡張」とするのが好ましい。視点ロストが短い時間であるのならば、視点は、元の照明領域付近にとどまっている可能性が高く、元の領域の周囲に拡張することで、視点に投光できる可能性が高まるからである。図5(C)の例では、視点ロストが生じる直前の、時刻t1における図5(B)の部分照明領域Q1を中心として、その周囲に照明領域を拡大しており、これによって、より大きなサイズの部分照明領域Q2が実現され、上記のとおり、視点A2への投光が可能となっている。
また、部分照明領域Q2の内の、部分照明領域Q1からはみ出している(拡張されている)領域の全部に一気に投光して拡張することもできる。但し、アイボックスEBにおける部分照明領域を拡張した場合、拡張した照明領域に向かう光束の一部は、元の照明領域にも入る可能性がある。上述のとおり、一気にアイボックスの全域を照明してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
そこで、照明領域を拡張する際には、制御部100は、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施し、時間を経て徐々に拡張してもよい。この場合、一気にアイボックスの全域に照明領域を拡張したときに発生しうる違和感を抑制できる。言い換えれば、違和感の少ない「スポットライティング拡張制御」が可能である。
時間軸上で連続的に照明領域を拡張すれば、違和感をより低減できる。また、段階的(ステップ的)に照明領域を拡張する場合は、所定の拡張アルゴリズムに従って規則性をもって効率的な拡張を、容易に(装置の負担が少なく)実施することができる。なお、連続的拡張と段階的拡張を組み合わせて使用することで、より自由度の高い照明領域の拡張が可能である。
このように、視点(左右の目の少なくとも一方)の移動に伴い、視点が一時的に喪失状態となったときでも、拡張された照明領域に視点が位置していれば、運転者(ユーザー)は、表示(虚像)を視認可能であり、唐突に表示が消えることを防止できる可能性が高まる。よって、違和感が生じることを低減する効果が得られる。また、車両等の運行上、必要な表示を視認できる可能性が高まることから、安全上の信頼性も高まる。
また、図5(B)から図5(C)に移行する際に、例えば、光源を非点灯/点灯の2値制御によって、光源要素を一気に所定の光強度まで発光させてもよい。但し、輝度変化が大きい場合は違和感の原因になることも想定される。そこで、図5(B)、(C)の例では、徐々に光量を増大させている。図5(B)と(C)の間に、先端が拡張されている白抜きの矢印が示されているが、これは、光量が徐々に増大されることを示している(この点は、図5(C)と(D)との間に描かれている矢印についても同様である)。
具体的には、表示部140の画素(表示画素)を、所望の輝度で点灯/非点灯の切り替え制御(点灯/消灯の2値制御)をするのではなく、時間をかけて所望の輝度に上げていく制御(言い換えれば多値点灯制御)が実施される。これによって、違和感をより低減することができる。
次に、図5(D)について説明する。図5(D)では、時刻t4において、照明領域がアイボックスEB上の全領域にまで拡大されている(図中、全域の照明領域には、符号Q3を付している)。
また、図5(D)では、視点A1、A2は、図5(C)から、さらに右斜め下側に移動しているが、照明領域の全範囲までの拡張によって、視点A1、A2の双方に画像が投光されており、運転者は、例えば立体的な画像(虚像)を視認することができる。
ここで、図5(A)を参照すると、時刻t4は、視点ロスト発生時点t2から、第1の所定時間Tth1が経過した後の時点である。言い換えれば、図5(D)では、視点ロストが第1の所定時間Tth1以上継続する場合に、アイボックスEBの全域を照明する制御を実施していることになる。
ここで、上述のとおり、図5(C)の段階で、一気に、アイボックスEBの全域にまで照明範囲を拡張(拡大)してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
そこで、図5(B)の後、図5(C)の状態とし、それでも視点が再検出されないときに、図5(D)の状態(アイボックスの全域にまで照明範囲を広げた状態)としている。言い換えれば、照明範囲を全域にまで広げる制御は、第1の所定時間Tth1を経過したことを条件に実施されている。これにより、第1の所定時間Tth1が経過する前の期間では、部分照明領域のサイズを徐々に広げていくことができる(例えば、図5(C))。よって、違和感を抑制(低減)することができる。
以上、部分照明領域の拡張制御の一例について説明したが、拡張の具体例、変形例については後述する。また、視点の移動方向を推定(あるいは予測)した拡張制御を実施してもよいが、これについても後述する。
次に、図5(E)、(F)を参照する。図5(E)では、時刻t6の状態が示されている。時刻t5に視点が再検出されたことから、その再検出された視点位置に対応するように、照明領域を、部分照明領域Q4に縮小している。但し、部分照明領域Q4のサイズは、図5(B)の部分照明領域Q1よりも大きく、完全には、元のサイズには戻っていない。次の5(F)にて、元のサイズにまで縮小されている。ここで、図5(F)は、時刻t7における状態を示している。
視点が再検出されたときは、その再検出された視点位置に基づく部分照明(原則として視点ロスト前の部分照明領域と同じサイズの部分照明)へと移行する。これにより、視点ロストから復帰したとき、違和感なく、ロスト前と同様の(通常の)スポットライティング状態に復帰できる。図5(E)の段階で、一気に、元の部分照明サイズと同じサイズにまで縮小してもよい。
但し、運転者(ユーザー)の視点は、ある程度の移動を繰り返しつつ、ある位置に収束していく場合もあり得る。
よって、図5(E)、(F)の例では、視点が再検出された時点t5から第2の所定時間Tth2が経過した後の時点(視点が安定するのに要する時間を経過した時点)である時刻t7、通常のスポットライティング状態に復帰するようにする。これによって、戻る途中の視点の小さな移動によって、視点が照明領域から外れてしまうことを抑制(低減)することができる。また、第2の所定時間Tth2が経過する前の期間においては、徐々に、照明領域を縮小することができ(例えば、図5(E))、少しずつ照明領域が小さくなることで、運転者に違和感を与えることが抑制(低減)される。
また、図5(D)から(E)への移行の際、及び図5(E)から(F)への移行の際、徐々に照明光の光量(照明輝度)を低下させることで、一気に通常のスポットライティングに移行した場合に発生しうる違和感を抑制(低減)することができる。なお、図5(D)と(E)の間、及び、図5(E)と(F)との間に、先細の白抜きの矢印が示さているが、これは、光量が徐々に低下することを示している。照明領域を縮小する場合の、他の例については後述する。
次に、図6を参照する。図6(A)~(H)は、照明領域の拡張と縮小の一例を示す図である。図示されるように、アイボックスEBは所定の形状(ここでは、正方形又は長方形とする)の外形を有している。但し、本発明がこれに限定されるものではない。より正確に述べれば、「アイボックス」は、車両の内部における左右方向(X軸方向)、上下方向(Y軸方向)、及び奥行方向(Z軸方向)で区画される所定の領域(上記所定の領域の形状は、例えば、立方体、直方体、楕円体を含む。)であり、HUD装置20が搭載される車両で観察者の視点位置の配置が想定されるエリア(アイリプスとも呼ぶ)と同じ、又は上記アイリプスの大部分(例えば、80%以上)を含むように設定される。本実施形態の説明に用いる図面では、奥行き方向の概念を省略し、アイボックスを左右方向及び上下方向で区画される長方形等で示している。なお、左右方向及び上下方向で区画されるアイボックスの形状は、四角形あるいは矩形(長方形や正方形が含まれる)の他、多角形、楕円などで設定され得る。
まず、図6の拡張パターンについて説明する。制御部100(又は110)は、照明領域を、例えば連続的又は段階的に広げるに際し、照明領域を、その周囲に一様に拡張する等方的拡張、一様ではなく拡張する異方的拡張、これらの組み合わせの、何れかを実施することができる。正方形又は長方形の外形をもつ照明領域EBを例にとると、4辺の各々に対する垂線に沿って拡張する「等方的拡張」、又は、1辺、又は2辺あるいは3辺の各々に対する垂線に沿って拡張する「異方的拡張」、又は、「等方的拡張と異方的拡張の組み合わせによる拡張」の何れかを実施することができる。、また、照明領域の外形の何れかの辺が、アイボックスEBの外形の、対応する辺に到達したときは、未到達の他の辺についての拡張を実施し、拡張を実施しているときに視点位置が再検出された場合に、又は、照明領域が、アイボックスEBの全域まで広がった場合に、拡張を終了する制御を実施することができる。
図6には、3通りの拡張パターン(図5とは、少なくとも一部において相違する具体的な例)が示されている。1つの拡張パターンは、図6(A)、(B)、(E)、(H)と拡張する例である。この例は、先に示した図5(B)、(C)、(D)(これらが、図6(A)、(B)、(H)に相当する)に、図6(E)を挿入したパターンである。
2つ目の拡張パターンは、図6(A)、(C)、(F)、(H)と拡張するパターンである。3つ目の拡張パターンは、図6(A)、(D)、(G)、(H)と拡張するパターンである。等方的拡張、異方的拡張を用いて効率的な拡張を行っている。
図6の例では、拡張時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
次に、縮小パターンについて説明する。照明エリアの縮小に際しては、例えば、制御部100又は110は、視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された広い照明領域を、再検出された視点位置に対応した、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域へと縮小する制御を実施する。
このとき、照明領域を一様に収縮する等方的縮小、一様ではなく縮小する異方的縮小、これらの組み合わせによる縮小の何れかを実施することができる。具体的には、例えば、正方形又は長方形の外形をもつ照明領域の、4辺の各々に対する垂線に沿って縮小する「等方的縮小」と、1辺、又は2辺あるいは3辺の各々に対する垂線に沿って縮小する「異方的縮小」を組み合わせて実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する1つ目の縮小パターン(第1の方式)が想定され得る。
また、直交する2つの線分の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、これらを適宜、実施する(組み合わせて実施する場合を含む)ことで、元の照明サイズに戻すことができる。なお、「直交する2つの線分」としては、アイボックスの奥行きを無視して見たときの平面が、路面に垂直に立設されている矩形(正方形や長方形を含む)として把握できるような場合には、車両の高さ方向の線分、ならびに車両の幅方向の線分を採用することができる。具体的には、例えば、正方形又は長方形の縦の辺に沿う方向の収縮を垂直収縮とし、横の辺に沿う方向の収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する2つの縮小パターン(第2の方式)が想定され得る。
また、水平収縮を実施し、続いて垂直収縮を実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する3つ目の縮小パターン(第3の方式)が想定され得る。
これらによれば、縮小時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
図6では、先に説明した3つの拡張パターンの各々を、逆にたどることで、3つの縮小パターンが得られる。なお、図6に示される縮小パターンは、上記の第2、第3の方式のものである(第1の方式の縮小パターンは図7を用いて説明する)。
図6の例では、図6(H)を起点として、図6(E)、(B)、(A)と縮小する1番目の縮小パターンと、図6(F)、(C)、(A)と縮小する2番目の縮小パターンと、図6(G)、(D)、(A)と縮小する3番目の縮小パターンの何れかが実施され得る。
次に、図7を参照する。図7(A)~(D)は、照明領域の縮小と拡張の一例を示す図である。
図7では、2つの縮小(あるいは拡張)のパターンが示されている。図7(A)、(B)、(D)の縮小パターンは、異方的縮小の後、等方的縮小を実施する場合を示す。図7(A)、(C)、(D)の縮小パターンは、等方的縮小の後、異方的縮小を実施する場合を示す。これらは、上記の第1の縮小パターンに相当する。また、各縮小パターンを逆にたどることで、2通りの拡張パターンが得られる。なお、これらのパターンは一例であり、これらに限定されるものではない。
次に、図8を参照する。図8(A)、(B)は、視点位置の変化の他の例(視点ロスト状態から視点再検出状態に戻る場合も考慮した例)、ならびに、視点移動の推定又は予測による照明領域の拡張等を示す図である。図8では、図3(B)で示したアイボックスが使用されている。
図8(A)では、視点A1、A2は、当初は、アイボックスEBの部分領域W7、W8に位置している(視点検出状態)。その後、視点が、向かって右側(正のX方向)に大きく移動し、片方の視点(視点A2)が、アイボックスEBの外に出る(視点移動(1))。次に、視点A1、A2は、左側(負のX方向)に移動して、外れていた視点A2もアイボックスEB内に戻るが、戻り方はやや少なく、元の位置には戻らない。
また、視点A1、A2が、右下側に少し移動し(視点移動(3))、その後、元の位置よりも左側へと戻る(視点移動(4))。
このような多様な視点移動が想定され得る。この場合でも、視点ロスト時に、照明領域を拡張する制御を実施すれば、例えば視点が元に戻ろうとする途中において、運転者がHUD装置1による表示(虚像)を視認できる可能性が高まり、この点でも有益である。
また、照明範囲を拡張する際に、視点の移動方向等を推定、あるいは予測して、その推定(予測)される方向に、より大きく拡張する(その方向のみに拡張することを含む)制御を行うこともできる。
言い換えれば、制御部100(又は110)は、照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定、又は予測して、その推定又は予測された方向を少なくとも含むように照明領域を拡張する制御を実施してもよい。
言い換えれば、視点ロストが生じた方向(視点ロスト時における視点の移動方向)を推定又は予測して、その推定(予測)の内容を活かして照明領域の拡張を行ってもよい。
視点がロストしたときでも、視点の移動方向を推定(あるいは予測)可能な場合がある。例えば、両目の一方のみがロストしたときは、ロストしていない他方の目の移動の軌跡を追うことで、視点ロストの方向を推定(予測)することができる(視点の移動方向による推定)。
また、運転者(ユーザー)には、運転中のしぐさ、動作に個人的な特徴があり、例えば、ある運転者は、運転中に頻繁に姿勢を変え、これによって上下(車両の高さ方向)に視点が変わることがある、といことが過去の学習でわかるのであれば、その学習結果を活かして、視点が上下方向に沿って移動して視点ロストが生じたと推定(予測)することができる(学習による推定又は予測)。
また、車両が現在、凹凸の多い道(未舗装の道など)を走行しているときは(これは、例えば、ECU等が収集する車両情報により判定可能である)、上下、あるいは斜めの方向に視点が瞬時的に移動してロストが生じた可能性がある、と推定(予測)することができる(運転状況による推定又は予測)。
このような推定(予測)を行って、推定(予測)方向を含むように拡張することで、効率的な拡張が可能である。例えば、推定(予測)方向の拡張を、非推定(非予測)方向よりも手厚く拡張する(拡張の度合いを大きくする)等の工夫をすることで、ロスト中における視点に、画像を投光できる可能性が高まり、照明領域の拡張が、虚像の視認可能性を高めることに、効率的に結びつく可能性を高めることができる。また、必要な領域を重点的に照明できることから、省エネの点でも有益である。
図8(A)の例では、当初、範囲F1を照明していたが、上記の推定(予測)を行って、推定(予測)された方向である右側(正のX方向)に、大きく照明面積を拡大し(範囲F2に拡大)、一方、左側(負のX方向)には、小さく照明面積を拡大する(範囲F3に拡大)。
図8(A)では、このような照明エリアの拡大(拡張)が実施されることで、上記の視点移動(1)、(2)又は(3)、(4)の何れの場合でも、運転者に、表示(虚像)を視認させること(あるいは、視認できる機会を増やすこと)ができる。
次に、図8(B)を参照する。図8(B)では、視点A1、A2が、右側(正のX方向)に大きく移動して、各視点がアイボックスEBの外に出る(視点移動(5))。その後も、視点はアイボックスEBの外で移動する(視点移動(6))。そして、左側(負のX方向)に大きく移動し、元の位置を大きく通り過ぎて、元の位置よりもかなり左の位置へと移動する(視点移動(7))。
図8(B)の例でも、図8(A)と同様の、視点移動の推定(予測)が実施されて、照明範囲は、F1から、F2及びF3を含めた領域へと拡張される。但し、その拡張が有った後も視点が再検出されないことから、さらに、照明範囲がF4まで含めた領域(アイボックスEBの全域)にまで拡張される。
図8(B)では、このような照明エリアの拡大(拡張)が実施されることで、上記の視点移動(5)、(6)、(7)の場合でも、運転者に、表示(虚像)を視認させること(あるいは、視認できる機会を増やすこと)ができる。また、必要な領域を重点的に照明した後、アイボックスEBの全域に拡張することから、省エネの点でも有益となる。
以上、いくつかの例により、本発明の照明領域の変更制御について説明したが、本発明は、これらに限定されるものではなく、種々、変形、応用が可能である。
例えば、制御部100(又は110)は、広い照明領域を狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させてもよい。
この制御は、1視点に複数の画素(光源)からの光が向かうことを前提にした制御方式の一例である。アイボックスにおける部分照明領域に向かう光束の一部は、他の部分照明領域にも向かう可能性がある。つまり、図3(A)の部分領域Z5には、部分領域Z2に向かう光束の一部が入り得る。部分領域Z1、Z2、Z3・・・、Z9のそれぞれに主に光束を導く画素又は光源を、照明要素C1、C2、C3・・・、C9とすると、部分領域Z5には、照明要素C5から導かれる光束と、この部分領域Z5に隣接する部分領域Z2,Z4,Z6,Z8に向けて照射される照明要素C2,C4,C6,C8からの光束の一部と、が照射される。したがって、広い照明領域(例えば、部分領域Z2、Z4、Z5、Z6、Z8)から狭い照明領域(例えば、部分領域Z5)に縮小する際、照明要素C2,C4,C6,C8の光量を減少させると、照明領域Z5で視認される画像の輝度が低下する。視認される輝度の変化(低下)は、視認者に違和感を与えることも想定される。
したがって、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(部分領域X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させることで、目の位置X1に若干届いていた光(照明要素C2、C3・・・の光)による画像の輝度の低下を感じにくくすることができ、違和感を低減することが可能である。
また、いくつかの実施形態では、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(図3の例では、部分領域Z5とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C5を除いた、C1、C2・・・C9とする)の輝度を緩やかに(時間をかけて)低下させる際、目の位置で視認される虚像の輝度に影響が小さい光源(例えば、部分領域Z5から比較的離れた部分領域Z1,Z3,Z7,Z9に対応する照明要素C1,C3,C7,C9)ほど、輝度を速く低下させ、影響が大きい光源(例えば、部分領域Z5から比較的近い部分領域Z2,Z4,Z6,Z8に対応する照明要素C2,C4,C6,C8)ほど、輝度を遅く低下させてもよい。ここでは、輝度を速く低下させるとは、例えば、輝度を漸減する速度が他方より急速にすること、速度を低下させるタイミングを他方より早くすること、又はこれらの組み合わせ、などを含む(これらに限定されない。)。
また、制御部100(又は110)は、広い照明領域を前記狭い照明領域に縮小する際に、視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させてもよい。この制御は、1視点に複数の画素からの光が向かうことを前提にした制御方式の他の例である。
言い換えれば、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(部分領域X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させ、かつ、目の位置X1で視認される虚像の輝度に影響が大きい光源(ここでは、照明要素C1)の輝度を緩やかに(時間をかけて)上昇させる。
これによって、照明範囲を変化させている途中であっても、画像(虚像)の輝度を略一定に維持できる。よって、例えば、照明範囲の拡大時と、縮小時とで、目の位置X1から見える画像(虚像)の輝度の変化(輝度の差)を小さくすることもできる。よって、違和感を、より低減することができる。
また、制御部100(又は110)は、図5(A)で示した、第1の所定時間Tth1を、車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
言い換えれば、照明領域をアイボックスの全域(最大エリア)に広げるのに要する時間を、種々の要因に応じて可変に制御し、運転シーンに適した制御を実施することができる。
例えば、凹凸の多い道路を走行中であり車両ピッチングの発生頻度が所定値以上となる場合や、運転者の疲労度が高いと判定される場合や、カメラによって撮像されて取得される画像のコントラストが所定値以下の場合等においては、第1の所定時間Tth1をより短くして、最大エリアまでの拡張速度を通常の場合よりも高める(より早く最大エリアに到達するように制御する)のが好ましい。これらの場合は、表示(虚像)を確実に運転者(ユーザー)に視認させることが、安全の観点からも望ましいからである。
また、例えば、夜間は、昼間よりも人の目の感度が高いため、より時間をかけてゆっくりと拡張させる制御をして、違和感を低減する等の制御を実施することも可能である。また、トンネルなど明暗が急激に変わる場合は、照明エリアの拡張時の速度を高め、早く最大エリアに到達できるようにしてもよい。雨天時は、晴天時よりも、表示(虚像)を視認しづらいため、ロスト時の照明エリアの拡大の速度を上げて、表示輝度変化による違和感発生よりも、確実に表示を視認させることを優先させるのが好ましいからである。
このように、各種の状況に適応して最適な制御を実施することが可能である。
また、制御部100(又は110)は、図5(A)で示した第2の所定時間Tth2を、車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
照明領域を縮小する場合も、拡張の場合と同様の制御を実施することで、同様の効果を得ることができる。
次に、図9を参照する、図9は照明領域の拡張、縮小を実施するHUD装置の動作手順の一例を示すフローチャートである。
視点追従スポットライティング制御を実施しているときに(ステップS1)、例えば、閾値時間以上の視点ロストが発生することが検出されると(ステップS2)、照明領域の拡張処理が実施される(ステップS3)。なお、「閾値時間以上の視点ロストの発生」を検出するのは、ごく短い視点ロストが生じる毎に拡張処理を実施すると、かえって輝度変化による違和感の原因となるため、ある程度の期間継続する視点ロストを対象として対策を施すためである。
ステップS3では、照明領域の拡張制御(最大領域はアイボックスの全域とする)が実施される。このとき、連続的、段階的に拡張してもよい。また、第1の所定時間以上の視点ロスト継続により、アイボックスの全域まで拡張させるようにしてもよい。また、光量を徐々に増大することも可能である。また、等方的拡張、異方的拡張(視点ロスト方向の推定や予測による異方的拡張を含む)、これらの組み合わせ、の少なくとも1つを実施してもよい。また、環境要因(運転シーン、昼夜や天候等)、生体状態要因(運転者の疲労度等)による通常とは異なる処理を行うこと(例えば、第1の所定時間を可変に制御すること)も可能である。
ステップS4では、視点(視点位置)が再検出されたか否かが判定される。Nの場合はステップS3に戻り、Yの場合は、ステップS5に移行する。
ステップS5では、照明領域の縮小制御が実施される。このとき、等方的縮小、異方的縮小の組み合わせによる縮小を実施してもよい。また、第2の所定時間以上が経過した時点で、元のサイズに戻す制御を実施してもよい。また、光量を徐々に減少させることも可能である。また、環境要因(運転シーン、昼夜や天候等)、生体状態要因(運転者の疲労度等)による通常とは異なる処理を実施すること(例えば、第2の所定時間を可変に制御すること)も可能である。
以上説明したように、本発明によれば、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、虚像が見えなくなることを抑制し、違和感を低減することができる。
(第2の実施形態)
第2の実施形態では、視点ロストが生じ易い状態における対策について説明する。
図10を参照する。図10は、HUD装置の構成の一例を示す図である。図10において、前掲の図と共通する部分には同じ符号を付している。但し、図10では、HUD装置は、符号1’にて示している。
HUD装置1’は、筐体141内に、表示部(表示装置)145と、折り返しミラー(反射ミラー)169と、曲面ミラー(凹面鏡)171と、光を出射する窓部143と、を有する。窓部143を介して表示光が、ウインドシールド2に向けて出射される。
表示部145は、光源(バックライト)120と、光源の光学系130と、拡散板137と、液晶パネル149と、を備える。運転者の視点(目)Aの位置は、視点検出部としてのカメラ90により撮像される。虚像Vは、車両の前方において、虚像表示面PS上に表示される。
次に、図11を参照する。図11は、表示部の構成例を示す図である。表示部145は、光源基板121と、光源(光源要素)としてのLED122と、光源の光学系としてのレンズ130と、拡散板137と、液晶パネル149、とを備える。光源基板121上で、LED122は格子状に配列されており、これによってLEDアレイが形成されている。
次に、図12を参照する。図12(A)、(B)は、図11に示した表示部を用いた視点追従スポットライティング制御の概要を示す図である。なお、図中、x’、y’、z’は、表示部に適用される座標を示す。図12(A)は、z’軸に沿う方向から見た構成を示し、図12(B)は、X’軸に沿う方向から見た構成を示す。図12(A)では、LED120g、120iが発光している。図12(B)では、LED122e、122g、122fが発光している。これによって、図12(A)の上側に示されるように、運転者の左右の目A1、A2に表示光が投射され、スポットライティングが実現される。なお、符号EBは、アイボックスを示す。また、符号169は、図10の折り返しミラーを示し、符号171は凹面鏡等の曲面ミラーを示す。符号VPは、図10の虚像Vと共役である表示像である。
次に、図13を参照する。図13は、表示部における、LEDアレイの配列の一例を示す図である。図13では、光源基板121上に、格子状にLED122が配列されてLEDアレイが構成されている。図13の例では、LED122g、122iが発光している。LED122の発光は、制御部100の発光制御部116によって制御される。この点は、先に示した図1の構成と同じである。
次に、図14を参照する。図14は(A)は、照明領域を拡張する前の、アイボックスにおける照明領域を示す図、図14(B)は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の一例を示す図である。
図14(A)において、アイボックスEBは、複数の領域Z20~Z28に分割されている。運転者の左目A1は、分割された領域Z24に位置している。図中、符号R100は、表示光の照射領域を示す。
次に、図14(B)を参照する。表示制御装置350は、制御部100を有する。制御部100は、視点速度検出部305と、視点速度判定部307と、発光制御部116と、を有する。
図14(B)では、視点は、アイボックスEBの分割された領域Z24からZ22へと移動している。視点速度検出部305は、視点の移動速度vsを検出する。視点速度判定部307は、視点移動速度vsを、第1の閾値θv1、第2の閾値θv2と比較する。比較判定は簡単な構成で実現が可能であり、よって実現が容易である。また、高速で正確な判定が可能である。
視点移動速度vsが、第1の閾値θv1以上となると、制御部100は、視点位置を検出できない視点ロストが生じ易い状態が生じたと判定し、発光制御部116を介して、表示光の照明領域を拡大する。上記のような事態は、運転者の顔が急に大きく振れる場合等において、生じ易い。
このように、制御部100は、視点位置を検出できない視点ロストが生じ易い状態が検出されると、表示部145における虚像の表示に寄与する画素又は光源の領域を拡張し、拡張の直前に照明していた、アイボックスEBの部分照明領域よりも広い照明領域を照明するように制御する。具体的には、例えば、先に示したLEDユニットにおいて、LEDの発光を個別に制御することで、照明範囲の拡大が実現される。
図14(B)では、視点(目)の移動速度(視点速度)vsが、第1の閾値θv1以上となったため、制御部100の制御によって、表示光の照射領域が拡大されている。拡大された照明領域200は、アイボックスEBの、ほぼ全域を照射している。
表示光の照明領域の拡大によって、画像(虚像)が見えなくなったり、表示光が視点(目)に適切に照射されないことによる画像(虚像)の表示品質の低下が抑制される。また、比較判定は高速、かつ精度よく実施されるため、照明範囲の拡張を、迅速かつ確実に行うことができる。
また、制御部100は、視点の移動速度vsが、第2の閾値θv2以下となると、拡大されていた照明領域R200を、図14(A)に示される照明領域R100と同等の大きさにまで縮小する。これによって、消費電力の削減、光源の温度上昇の抑制、装置負担の軽減等の効果が得られる。
なお、照明領域を縮小する際、拡張のときと同じように、視点(目)の移動速度vsを第1の閾値θv1と比較し、移動速度vsが、第1の閾値θv1未満になった場合に照明領域を縮小するようにしてもよい。この場合は、第2の閾値θv2が不要となる。
また、第2の閾値θv2を使用する場合、この第2の閾値θv2は、第1の閾値θv1よりも小さくてもよい。この場合、視点の移動速度が、第1の閾値θv1を下回り、さらに、第2の閾値θv2以下とならないと、照明領域の縮小要と判定されない。よって、照明領域が拡張された状態が安定的に維持できる。この場合、視点が照射範囲から外れる確率が低くなるという効果が得られる。
一方、第2の閾値θv2は、第1の閾値θv1よりも大きくてもよい。この場合、視点の移動速度が、第2の閾値θv2以下となると、照明領域の縮小要と判定される。よって照明領域が拡張されている期間を短縮でき、これによって、例えば光源の温度上昇の抑制、消費電力の削減等の効果を得ることができる。
次に、図15を参照する。図15(A)は、照明領域を段階的に拡張する場合のLEDの点灯パターン例を示す図、図15(B)は、照明領域を段階的に縮小する場合のLEDの点灯パターン例を示す図である。
光源基板121上には、複数のLED122が格子状に配列されてLEDアレイが構成されている。
図15(A)では、状態A1から状態A4へと移行するにつれて、点灯するLED122の数が増加する。状態A1では、2個のLEDが点灯しており、状態A2では、点灯しているLEDは9個に増加する。状態A3では、点灯しているLEDは15個となる。状態A3では、全LEDが全部、点灯する。言い換えれば、全点灯状態となる。これによって、照明範囲の段階的な拡張が実現される。
図15(B)では、図15(A)とは逆の点灯パターンの変化が生じ、状態B1から状態B4へと移行するにつれて、点灯しているLED122の数が減少する。これによって照明範囲の段階的な縮小が実現される。
このように、照明領域の拡大は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感が軽減される。また、装置負担も軽減される。
また、照明領域の縮小は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感を軽減することができる。
次に、図16を参照する。図16は、照明領域の拡張又は縮小の手順の一例を示すフローチャートである。
ステップS100では、視点位置情報を取得する。ステップS101では、視点速度を検出する。ステップS102では、LEDアレイが全点灯状態であるかが判定される。Yのときは、ステップS103に移行する。
ステップS103では、視点速度が第2の閾値θv2以下であるが判定される。Yのときは、ステップS104にて、点灯領域(点灯するLEDの個数)を縮小する。LEDアレイの点灯パターンは、検出された視点位置に基づいて決定される。
Nのときは、ステップS105に移行する。ステップS105では、全点灯状態を維持する。
ステップS102にてNのときは、ステップS106に移行する。ステップS106では、視点速度が第1の閾値θv1以上であるが判定される。Yのときは、ステップS107にて、点灯領域(点灯するLEDの個数)を拡大する。Nのときは、現状の発光状態が維持される。言い換えれば、視点位置に基づいて点灯パターンが決定され、LEDアレイがその点灯パターンで発光し、その発光状態が維持される。
次に、図17を参照する。図17は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の他の例を示す図である。図17では、制御部100が、視点ロストが発生し易い状態が生じたことを判定する手段として、状況判定部309を有している。状況判定部309には、例えば、ECU160から、運転状況に関する種々の情報が提供される。
制御部100の状況判定部309は、車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、言い換えれば、具体的には車両がトンネルを通過する場合、
及び、
車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、具体的には、対向車のヘッドライトからの指向性の高い光が車内に入射される場合やLEDを用いた街路灯から指向性の高い光が車内に入射される場合、
及び、
車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
及び、
前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、具体的には、車両が悪路を走行している場合、
の少なくとも1つに該当するとき、視点ロストが生じ易い状態であると判定することができる。この判定結果に基づいて照明領域が拡大される。
このような状況判定を行うことで、視点ロストが生じ易い様々な運転状況に対応して、事前に対策が可能となる。
明るさの急激な変化は、例えば車両がトンネルに入る、あるいはトンネルから出る際に生じ易い。明るさの急激な変化が生じると、運転者は目を閉じたり、前方から目をそらしたりする傾向があり、視点ロストの一因となり得る。
また、車両の内部の明るさの急な変化は、例えば、対向車のヘッドライトからの指向性の高い光や、LEDを用いた街路灯からの指向性の高い光が車内に入射されたときに生じ易い。この状況も視点ロストの一因となり得る。
また、後部座席モニターやチャイルドモニターがオンされたときは、運転者は、監視用端末に視線を向けることが多くなるため、視点ロストの一因となり得る。
また、車両が悪路を進行しているような場合、例えば、凹凸の多い道路を走行したり、ぬかるんだ未舗装の道路を走行しているような場合、あるいは、急カーブが連続する道路を走行している場合等においては、身体や顔の揺れ等によって視点ロストが生じ易くなる。
図17の構成によれば、このような様々な運転シーンにおいて、視点ロスト対策を実施可能である。
次に、図18を参照する。図18は、車両表示システムの構成の一例を示す図である。
車両表示システムは、ECU160と、アンテナANと、通信部298と、地図データベース306と、後部座席モニターあるいはチャイルドモニターに使用され得る液晶表示装置等の監視用端末310と、前方を含む周囲の明るさを検出する周囲明るさセンサ(周囲明るさ検出部)312と、車内の明るさを検出する車内明るさセンサ(車内明るさ検出部)314と、前方を含む周囲の実景を撮像する周囲撮像カメラ316と、視点位置を検出するカメラ(視点検出部)90と、後部座席に着席している人、あるいは子どもを監視する、後部座席モニター用あるいはチャイルドモニター用の監視用カメラ320とを有する。
図18の例では、運転者201は、後部座席(ここではチャイルドシートとする)に着席している子ども203の状況を、監視用端末310を介して知ることができる。
視点撮像信号S0、ECU160から出力される各種情報(車速情報を含む)S3、周囲明るさセンサ312から出力される周囲明るさ検出信号S5、車内明るさセンサ314から出力される車内明るさ検出信号S6、周囲撮像カメラ316から出力される周囲撮像画像情報S7、監視用カメラ320から出力される監視情報S8の各々は、表示制御装置350に供給される。表示制御装置350は、これらの各種の信号や情報に基づいて、視点ロストが生じ易い状態の発生を検出、あるいは予測し、図14(B)あるいは図17に示したような事前の対策を採る。
次に、図19を参照する。図19は、表示制御装置の構成の一例を示す図である。図19において、図1(A)及び図2(A)に示される制御部の構成と共通する部分には、同じ符号を付している。
図19の表示制御装置350は、図1(A)及び図2(A)の構成と同様に、制御部100を有する。但し、図19では、図1(A)及び図2(A)の構成に、視点速度検出部305、視点速度判定部307、及び、状況判定部309が追加されている。
図18で示した各種の信号(あるいは情報)S5~S9は、状況判定部309に供給される。
表示制御装置350は、図10に示したHUD装置1’(広義には各種の画像表示が可能な機器)の内部に設けることができる。但し、これに限定されるものではない。
HUD装置1’の外に、表示制御装置350を設置することも可能である。この場合は、表示制御装置350とHUD装置1’とを、無線あるいは有線の通信手段で接続して使用する。このような変形、応用は、適宜、なし得る。
次に、図20を参照する。図20は、車両がトンネルを通過する場合における、照明領域の拡張、縮小の一例を示す図である。
図20の例では、車両401は、トンネル403を通過する。車両401の周囲の明るさの状態は、時刻t0~t2の期間においては「明状態」であり、時刻t2~t3の期間においては「明から暗への遷移状態」であり、時刻t3~t4の期間は「暗状態」であり、時刻t4~t6の期間は「暗から明への遷移状態」であり、時刻t6以降は「明」状態である。
時刻t0において、車両401の前方にトンネル403があることが検出される。この検出は、例えばGPS通信及び地図データベース306を利用することで実現可能である。また、周囲撮像カメラ316で前方を撮像し、撮像画像に基づく画像処理を実施することで、トンネル403の存在を検出することもできる。また、周囲明るさセンサ312によって、前方のトンネル内の明るさが急激に低下することを検出してもよい。
時刻t0以前は、視点追従スポットライティングにおける照明範囲は、通常の範囲(図14(A)の照明範囲R100)に設定されている。
トンネル403の存在が検出されると表示制御装置350は、視点ロストが生じ易い状態が予測されると判定し、時刻t0において、照明範囲を拡大する(図17の照明範囲R200参照)。照明範囲が拡張された状態は、時刻t3まで継続する。
時刻t3を経過すると、照明範囲は縮小され、通常の範囲にもどる。
時刻t4になると、周囲の明るさが急激に上昇することが、例えば、周囲明るさセンサ312によって検出される。表示制御装置350は、視点ロストが生じ易い状態が予測されると判定し、時刻t4において、照明範囲を拡大する(図17の照明範囲R200参照)。照明範囲が拡張された状態は、時刻t7まで継続する。
時刻t7を経過すると、照明範囲は縮小され、通常の範囲にもどる。
このように、車両401がトンネル403に入る前に、周囲の明るさの急激な低下を予測して、視点追従スポットライティングにおける照明範囲を拡張することが可能である。同様に、車両401がトンネル403から出る前に、周囲の明るさの急激な上昇を予測して、視点追従スポットライティングにおける照明範囲を拡張することが可能である。したがって、運転者が表示画像(虚像)を視認できなくなったり、表示画像の品質が低下したりする事態を十分に抑制することができる。
次に、図21を参照する。図21は、照明領域の拡張又は縮小の手順の他の例を示すフローチャートである。図21において、図16と共通するステップには同じ符号を付している。
図21のフローチャートでは、図16のステップS101、S103、S106が、ステップS101’、S103’、S106’に置換されている。S101’では、状況判定部309による状況判定が実施される。ステップS103’では、照明範囲の縮小が必要であるかが判定される。ステップS106’では、照明範囲の拡大が必要であるかが判定される。他のステップは、図16と同様である。
以上説明したように、発明によれば、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、又は、視点ロストが生じ易い状態となったとき、運転者による虚像の視認が困難になったり、虚像の表示品質が低下したりすることが抑制される。よって、違和感を低減することができる。
このことは、安全運転にも寄与する。また、運転者は、様々な運転シーンにおいて、常に、良好なHUD装置による表示を視認することができ、運転の快適性も確保される。
本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのHUD装置においても使用可能である。
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、HUD装置には、シミュレータ(例えば、航空機のシミュレータ)として使用されるものも含まれるものとする。
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
2・・・ウインドシールド(被投影部材、反射透光部材)、90・・・カメラ(視点検出用の瞳や顔の撮像部)、100・・・制御部、110・・・部分照明(スポットライティング)制御部、112・・・視点位置検出部、114・・・視点喪失検出部、116・・・発光制御部、120・・・光源(バックライト)、121・・・光源基板、122a~122d・・・光源要素(LED等)、130・・・光源の光学系(第1の光学系)、140・・・集光光学系(第2の光学系、画像をウインドシールド等に投影する反射鏡を含む光学系)、160・・・ECU(電子制御ユニット、統括制御部、情報収集部)、EB・・・アイボックス、Z1~Z9、W1~W12・・・アイボックスの部分領域(分割領域)、306・・・地図データベース、305・・・視点速度検出部、307・・・視点速度判定部、309・・・状況判定部、350・・・表示制御装置。

Claims (24)

  1. 車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
    前記画像を表示する表示部と、
    運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
    を有し、
    前記制御部は、
    前記視点位置を検出できない視点ロストが生じると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記視点ロストの直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する、
    ヘッドアップディスプレイ装置。
  2. 前記制御部は、
    前記照明領域を、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施する、請求項1に記載のヘッドアップディスプレイ装置。
  3. 前記制御部は、
    前記視点ロストが第1の所定時間以上継続する場合、前記アイボックスの全域を照明する制御を実施する、請求項2に記載のヘッドアップディスプレイ装置。
  4. 前記制御部は、
    前記照明領域を連続的又は段階的に広げる際に、照明光の光量を増加させる制御を実施する、請求項2又は3に記載のヘッドアップディスプレイ装置。
  5. 前記制御部は、
    前記照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定又は予測して、その推定又は予測された方向を少なくとも含むように前記照明領域を拡張する制御を実施する、
    請求項2乃至4の何れか1項に記載のヘッドアップディスプレイ装置。
  6. 前記アイボックスは所定の外形を有し、
    前記制御部は、
    前記照明領域を連続的又は段階的に広げる際に、
    前記照明領域を、その周囲に一様に拡張する等方的拡張、
    又は、前記照明領域をその周囲に、一様ではなく拡張する異方的拡張、
    又は、前記等方的拡張と前記異方的拡張の組み合わせによる拡張、
    の何れかを実施し、
    拡張を実施しているときに視点位置が再検出された場合、又は、前記照明領域が、前記アイボックスの全域まで広がった場合、拡張を終了する制御を実施する、
    請求項2乃至5の何れか1項に記載のヘッドアップディスプレイ装置。
  7. 前記制御部は、
    視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
    請求項1乃至6の何れか1項に記載のヘッドアップディスプレイ装置。
  8. 前記アイボックスは所定の外形を有し、
    前記制御部は、
    視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施し、
    かつ、前記照明領域の縮小に際して、
    前記照明領域を一様に縮小する等方的縮小と、一様ではなく縮小する異方的縮小とを組み合わせて実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
    又は、
    直交する2つの線分の内の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
    又は、
    水平収縮を実施し、続いて垂直収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
    請求項6に記載のヘッドアップディスプレイ装置。
  9. 前記制御部は、
    前記広い照明領域を前記狭い照明領域とするのに要する時間が、第2の所定時間以上となるように制御する、請求項7又は8に記載のヘッドアップディスプレイ装置。
  10. 前記制御部は、
    前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる制御を実施する、請求項7乃至9の何れか1項に記載のヘッドアップディスプレイ装置。
  11. 前記制御部は、
    前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、
    視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させる、
    請求項10に記載のヘッドアップディスプレイ装置。
  12. 前記制御部は、
    前記広い照明領域を前記狭い照明領域に縮小する際に、
    視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、前記視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させる、
    請求項7乃至9の何れか1項に記載のヘッドアップディスプレイ装置。
  13. 前記制御部は、前記第1の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御する、請求項3に記載のヘッドアップディスプレイ装置。
  14. 前記制御部は、前記第2の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御する、請求項9に記載のヘッドアップディスプレイ装置。
  15. 前記制御部は、
    前記照明領域の照明光の光量分布に関して、
    前記照明領域の周辺部の光量を、中央部の光量よりも少ないが、所定値以上の輝度は確保される光量となるように制御する、
    又は、
    前記照明領域内で光量が均一化されるように制御する、
    請求項1乃至14の何れか1項に記載のヘッドアップディスプレイ装置。
  16. 車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
    前記画像を表示する表示部と、
    運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
    を有し、
    前記制御部は、
    前記視点位置を検出できない視点ロストが生じ易い状態が検出されると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する、
    ヘッドアップディスプレイ装置。
  17. 前記制御部は、
    前記視点の移動速度が第1の閾値以上であるとき、前記視点ロストが生じ易い状態であると判定する、
    請求項16に記載のヘッドアップディスプレイ装置。
  18. 前記制御部は、
    前記車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、
    及び、
    前記車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合
    及び、
    前記車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
    及び、
    前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、
    の少なくとも1つに該当するとき、前記視点ロストが生じ易い状態であると判定する、
    請求項16に記載のヘッドアップディスプレイ装置。
  19. 前記照明領域の拡張は、複数段階の拡張過程を含む、
    請求項16乃至18の何れか1項に記載のヘッドアップディスプレイ装置。
  20. 前記制御部は、
    前記視点ロストが生じ易い状態が解消されると、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
    請求項16乃至19の何れか1項に記載のヘッドアップディスプレイ装置。
  21. 前記制御部は、
    前記視点の移動速度が、前記第1の閾値未満となった場合、
    又は、
    前記第1の閾値よりも小さい、あるいは、前記第1の閾値よりも大きい第2の閾値以下となると、
    拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
    請求項17に記載のヘッドアップディスプレイ装置。
  22. 前記照明領域の縮小は、複数段階の縮小過程を含む、
    請求項20又は21に記載のヘッドアップディスプレイ装置。
  23. 請求項1乃至21の何れか1項における前記制御部を有する表示制御装置。
  24. 運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する工程と、
    前記視点位置を検出できない視点ロストが生じる場合、又は、視点ロストが生じ易い状態が検出される場合、画像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、アイボックスの部分照明領域よりも広い照明領域を照明する工程と、
    視点ロストが生じた後に視点位置が再検出された場合、又は、視点ロストが生じ易い状態が解消された場合、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する工程と、
    を含む表示制御方法。
JP2022510551A 2020-03-25 2021-03-23 ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 Active JP7584001B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020055204 2020-03-25
JP2020055204 2020-03-25
JP2021047316 2021-03-22
JP2021047316 2021-03-22
PCT/JP2021/011997 WO2021193636A1 (ja) 2020-03-25 2021-03-23 ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2021193636A1 JPWO2021193636A1 (ja) 2021-09-30
JP7584001B2 true JP7584001B2 (ja) 2024-11-15

Family

ID=77892215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510551A Active JP7584001B2 (ja) 2020-03-25 2021-03-23 ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法

Country Status (4)

Country Link
JP (1) JP7584001B2 (ja)
CN (1) CN115280215B (ja)
DE (1) DE112021001814T5 (ja)
WO (1) WO2021193636A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11753024B1 (en) 2022-07-15 2023-09-12 Ghost Autonomy Inc. Anticipatory vehicle headlight actuation
WO2024128170A1 (ja) * 2022-12-16 2024-06-20 株式会社小糸製作所 画像生成装置及び画像投影装置
CN119389275B (zh) * 2024-12-31 2025-05-02 中铁通信信号勘测设计院有限公司 用于城市轨道交通列车的显示融合方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002344A1 (ja) 2015-07-01 2017-01-05 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ及びヘッドアップディスプレイを備えた移動体
JP2018045143A (ja) 2016-09-15 2018-03-22 株式会社デンソー ヘッドアップディスプレイ装置
US20200012098A1 (en) 2016-07-05 2020-01-09 Valeo Comfort And Driving Assistance Image-generation device for a head-up display and method for controlling such a device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
CN108292045B (zh) * 2016-02-12 2020-11-06 麦克赛尔株式会社 车辆用影像显示装置
WO2017183556A1 (ja) * 2016-04-20 2017-10-26 日本精機株式会社 ヘッドアップディスプレイ装置
JP6811106B2 (ja) * 2017-01-25 2021-01-13 矢崎総業株式会社 ヘッドアップディスプレイ装置および表示制御方法
JP2018184114A (ja) * 2017-04-27 2018-11-22 日本精機株式会社 ヘッドアップディスプレイ装置と表示方法
JP2019015936A (ja) * 2017-07-11 2019-01-31 マクセル株式会社 ヘッドアップディスプレイ装置
WO2019044732A1 (ja) * 2017-08-31 2019-03-07 日本精機株式会社 車両用表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002344A1 (ja) 2015-07-01 2017-01-05 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ及びヘッドアップディスプレイを備えた移動体
US20200012098A1 (en) 2016-07-05 2020-01-09 Valeo Comfort And Driving Assistance Image-generation device for a head-up display and method for controlling such a device
JP2018045143A (ja) 2016-09-15 2018-03-22 株式会社デンソー ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
CN115280215B (zh) 2025-09-19
JPWO2021193636A1 (ja) 2021-09-30
WO2021193636A1 (ja) 2021-09-30
DE112021001814T5 (de) 2023-01-05
CN115280215A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US11740457B2 (en) Augmented reality display systems enhancing virtual images with redirected light
JP7584001B2 (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法
US9759916B2 (en) Mediated reality display system improving lenses, windows and screens
CN105358374B (zh) 动态的视域照亮
US9321329B2 (en) Glare elimination and image enhancement system improving lenses, windows and displays
CN112639573B (zh) 用于运行机动车用的视野显示设备的方法
WO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
JP7131397B2 (ja) 虚像表示装置
JP2009229752A (ja) 表示装置、表示方法及びヘッドアップディスプレイ
JPWO2018225710A1 (ja) 車両用灯具およびその制御装置、制御方法
WO2018168595A1 (ja) ヘッドアップディスプレイ装置
WO2019123975A1 (ja) 表示制御ユニット及びヘッドアップディスプレイ装置
JP2013097885A (ja) ヘッドライト装置、及びヘッドライトシステム
US11875530B2 (en) Image display system and image controller
JP7182368B2 (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
JP2023077857A (ja) ヘッドアップディスプレイ装置
JP7661790B2 (ja) ヘッドアップディスプレイ装置
EP3594058A1 (en) Lighting device
JP2024141826A (ja) 画像投影装置
JP2022181908A (ja) ヘッドアップディスプレイ装置
JP7495584B1 (ja) 虚像表示装置、移動体、虚像表示装置の駆動方法、及びプログラム
JP7661769B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置及び、表示制御方法
JP7535225B2 (ja) ヘッドライト制御装置及びヘッドライト制御方法
JP7294169B2 (ja) 表示装置
WO2025047810A1 (ja) 虚像表示装置および移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241016

R150 Certificate of patent or registration of utility model

Ref document number: 7584001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150