[go: up one dir, main page]

JP7576064B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP7576064B2
JP7576064B2 JP2022133869A JP2022133869A JP7576064B2 JP 7576064 B2 JP7576064 B2 JP 7576064B2 JP 2022133869 A JP2022133869 A JP 2022133869A JP 2022133869 A JP2022133869 A JP 2022133869A JP 7576064 B2 JP7576064 B2 JP 7576064B2
Authority
JP
Japan
Prior art keywords
pupil
pupil diameter
driver
vehicle
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022133869A
Other languages
English (en)
Other versions
JP2024030764A (ja
Inventor
征也 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2022133869A priority Critical patent/JP7576064B2/ja
Priority to US18/452,507 priority patent/US11961430B2/en
Priority to DE102023122405.0A priority patent/DE102023122405A1/de
Priority to CN202311066690.6A priority patent/CN117647889A/zh
Publication of JP2024030764A publication Critical patent/JP2024030764A/ja
Application granted granted Critical
Publication of JP7576064B2 publication Critical patent/JP7576064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/234—Head-up displays [HUD] controlling the brightness, colour or contrast of virtual images depending on the driving conditions or on the condition of the vehicle or the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/347—Optical elements for superposition of display information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/349—Adjustment of brightness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両用表示装置に関する。
自動車等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ）装置では、運転者の前方に表示される虚像の明るさに対して感じ方に個人差があることから、例えば、照度センサと運転者の瞳孔の瞳孔径を利用し、虚像の明るさを調整するものがある。
ところで、運転者の瞳孔位置を検出する方法として、明瞳孔画像と暗瞳孔画像との差分画像に基づき瞳孔位置を特定するものがある（例えば、特許文献１参照）。
特開２０１９－２８６４０号公報
ところで、車両の悪路走行などにより運転者が揺れると、当該運転者の瞳孔を正しく検出できず、瞳孔径を利用して虚像の明るさを精度よく調整し難いおそれがあり、この点で改善の余地がある。
本発明は、表示する虚像の明るさを精度よく調整することができる車両用表示装置を提供することを目的とする。
上記目的を達成するために、本発明に係る車両用表示装置は、表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、前記運転者の顔を含む顔画像を取得する撮像手段と、前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、前記瞳孔径算出手段は、前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、ことを特徴とする。
本発明に係る車両用表示装置によれば、表示する虚像の明るさを精度よく調整することができる、という効果を奏する。
図１は、実施形態に係る車両用表示装置の概略構成を示す模式図である。 図２は、実施形態に係る車両用表示装置の概略構成を示すブロック図である。 図３は、実施形態に係る車両用表示装置における虚像の明るさ調整の流れを示すフローチャートである。
以下に、本発明に係る車両用表示装置の実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
［実施形態］
本実施形態に係る車両用表示装置１は、図１に示すように、例えば、自動車等の車両１００に搭載されるヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）である。車両用表示装置１は、表示デバイス６に表示される表示画像を、反射ミラー５を介して被投影部材であるウインドシールドＷに投影することで、車両１００の運転者Ｄに虚像Ｓとして視認させるものである。車両用表示装置１は、例えば、運転者Ｄ前方の実風景における車両や歩行者、信号機、標識、車線等に虚像Ｓを重畳して表示することができる。車両用表示装置１は、例えば、車室内のインストルメントパネル（不図示）の内側に配置される。
ウインドシールドＷは、入射する光の一部を反射し、他の一部を透過させる半透過性を有することから、車両の前景を透過させながら、車両用表示装置１から投影される表示画像を表示光Ｌとして運転者ＤのアイポイントＥＰに向けて反射する。アイポイントＥＰは、運転者Ｄの視点位置として予め想定される。運転者Ｄは、ウインドシールドＷによって反射された表示画像を虚像Ｓとして認識する。虚像Ｓは、運転者Ｄにとって、ウインドシールドＷよりも前方に認識される。
車両用表示装置１は、照度センサ２と、運転者用カメラ３と、筐体４と、表示デバイス６と、３つの反射ミラー５Ａ～５Ｃとを備える。
照度センサ２は、照度検出手段の一例であり、車両１００の照度を検出するものである。照度センサ２は、例えば車室内のインストルメントパネルやルームミラー（不図示）の裏側等に取付けられ、車両前方、例えば運転者Ｄの前方の照度を検出する。照度センサ２は、筐体４に収容された表示デバイス６に対して、例えば信号線Ｔａにより接続されている。照度センサ２は、当該照度センサ２が検出した照度を、信号線Ｔａを介して表示デバイス６に出力する。
運転者用カメラ３は、撮像手段の一例であり、カメラレンズ（不図示）が運転者Ｄに向けて配置され、運転者Ｄの顔Ｆを含む顔画像を連続して取得するものである。運転者用カメラ３は、例えば車室内のステアリングコラム（不図示）の上部で、かつ運転者Ｄから見てステアリングホイール（不図示）の背後に配置される。運転者用カメラ３は、例えば運転者Ｄの顔Ｆを動画として撮像し、撮像した動画から得られる静止画（フレーム画）を顔画像として取得することができる。運転者用カメラ３は、表示デバイス６に対して、例えば信号線Ｔｂにより接続されている。運転者用カメラ３は、取得した顔画像を、信号線Ｔｂを介して表示デバイス６に出力する。
運転者用カメラ３は、例えば、不図示の光源を有する。光源は、例えば、運転者Ｄに向けて近赤外光を出射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。光源は、不図示の制御部から入力された点灯信号に応じて点灯（赤外光を発光）し、消灯信号に応じて消灯する。運転者用カメラ３は、光源により運転者Ｄの顔Ｆに照射された光による反射光を受光して運転者Ｄの顔画像を撮像する。運転者用カメラ３は、車両１００のＡＣＣ（アクセサリ）電源またはＩＧ（イグニッション）電源がＯＮされた場合に起動し、これらに電源がＯＦＦされるまで運転者Ｄの顔画像を撮像し続ける。
筐体４は、例えば、合成樹脂等で成形され、車体（不図示）に固定される。筐体４は、図１に示すように、反射ミラー５Ａ～５Ｃ、表示デバイス６を内部に収容し、これらを支持している。
反射ミラー５Ａ～５Ｃは、表示デバイス６からウインドシールドＷまでの表示光Ｌの光路上に配置され、表示デバイス６から出射された表示光ＬをウインドシールドＷに向けて反射する。反射ミラー５Ａ～５Ｃは、例えば、平面ミラーや凹面ミラー等で構成される。
表示デバイス６は、画像表示手段の一例であり、車両１００の運転者Ｄに虚像Ｓとして視認させる表示画像を表示光Ｌとして出射するものである。表示デバイス６は、例えば、背面側から前面側へと光が透過する光透過型の表示器である。光透過型の表示器としては、例えばＴＦＴ（Thin Film Transistor）液晶表示器が用いられる。本実施形態の表示デバイス６は、図２に示すように、瞳孔径出力部７と、画像制御部８とを有する。
瞳孔径出力部７は、運転者用カメラ３から入力された顔画像に基づいて瞳孔Ｅを検出し、検出した瞳孔Ｅの瞳孔径を算出して画像制御部８に出力するものである。また、瞳孔径出力部７は、例えば、公知の画像処理を用いて１フレームの顔画像から運転者Ｄの瞳孔Ｅの粗探索を行い、その結果に基づいて瞳孔Ｅの位置を検出する。また、瞳孔径出力部７は、複数フレームにわたる顔画像の瞳孔Ｅの位置から単位時間当たりの瞳孔Ｅの移動速度Ｍを算出する。瞳孔径出力部７は、車両用表示装置１において、装置を構成するコンピュータ（例えばマイクロコンピュータ）がプログラムを実行することにより、各種処理が実現される。各種処理には、公知の画像処理、瞳孔Ｅの位置検出処理、瞳孔Ｅの移動速度Ｍの算出処理等が含まれる。
瞳孔径出力部７は、瞳孔検出部１０と、移動速度算出部１１と、瞳孔径算出部１２とを有する。
瞳孔検出部１０は、瞳孔検出手段の一例であり、運転者用カメラ３により取得された顔画像に基づいて運転者Ｄの瞳孔Ｅを検出するものである。瞳孔検出部１０は、例えば、公知の画像処理を用いて１フレームの顔画像から運転者Ｄの瞳孔Ｅの粗探索を行い、その結果に基づいて瞳孔Ｅの位置を検出する。公知の画像処理には、例えば、Viola-Jones法、眼球３Ｄモデルを用いるモデルベース手法、テンプレートマッチング手法、パーティクル手法等が含まれる。
移動速度算出部１１は、移動速度検出手段の一例であり、瞳孔検出部１０により検出された瞳孔Ｅの位置に基づいて、当該瞳孔Ｅの移動速度Ｍを算出するものである。
瞳孔径算出部１２は、瞳孔径算出手段の一例であり、瞳孔検出部１０により検出された瞳孔Ｅに基づいて、当該瞳孔Ｅの瞳孔径を算出するものである。また、瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値との比較結果に基づいて、瞳孔径を明るさ調整部１５に出力する。
閾値は、例えば車両１００が悪路を走行した場合における瞳孔検出率（瞳孔Ｅの位置が正しく検出された確率）に基づいて設定されたものである（例えば、特開２０２０－８７１６６号公報参照）。この瞳孔検出率は、例えば、車両１００の悪路走行時における被験者３名を、下記撮影環境で撮影して得られた顔画像に基づいて算出される。
＜撮影環境＞
センササイズ：ＶＧＡ（６４０×４８０）
フレームレート：３０［ｆｐｓ］（０．０３３３［ｓｅｃ］）
焦点距離：６．０［ｍｍ］（水平画角：５０°）
撮像水平範囲：約７４０［ｍｍ］（０．７４［ｍ］）
１ピクセルあたり：１．１５６［ｍｍ］（０．００１１５６［ｍ］）
瞳孔位置の移動量が１フレーム当たり６ピクセル（Ｐｉｘｅｌ）の場合、０．００１１５６×６＝０．００６９３７［ｍ］となり、瞳孔検出率が低下する。瞳孔位置の１フレーム当たりの移動量６ピクセルは、瞳孔Ｅの移動速度Ｍ＝０．００６９３７／０．０３３３＝０．２０８３［ｍ／ｓ］に相当する。そこで、瞳孔検出率が低下したか否かを判定する基準として、瞳孔Ｅの移動速度の閾値を０．２［ｍ／ｓ］としている。
瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値以下の場合、瞳孔検出部１０によって検出された今回の瞳孔Ｅに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部１５に出力する。出力された瞳孔径の値は、瞳孔径出力部７に設けられた不揮発性メモリ等のアドレスに日時情報と共に保存される。
一方、瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力する。つまり、瞳孔径出力部７は、瞳孔Ｅの移動速度Ｍと閾値とを比較した結果、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、瞳孔径算出部１２により運転者Ｄの瞳孔Ｅの瞳孔径を算出させることなく、前回算出して不揮発性メモリに保存されていた瞳孔径を、例えば日時情報を参照して読み出して明るさ調整部１５に出力する。
画像制御部８は、表示デバイス６に表示する表示画像の表示制御を行うものである。画像制御部８は、明るさ調整部１５を有する。
明るさ調整部１５は、照度センサ２により検出結果、及び、運転者Ｄの瞳孔Ｅの瞳孔径に基づいて虚像Ｓの明るさ（輝度）を調整するものである。明るさ調整部１５は、運転者Ｄの瞳孔Ｅの瞳孔径が一定の場合、照度センサ２により検出された照度が大きいときは、虚像Ｓの輝度を明るくなるように調整し、照度が小さいときは、虚像Ｓの輝度を暗くなるように調整する。一方、明るさ調整部１５は、照度センサ２により検出された照度が一定の場合、運転者Ｄの瞳孔Ｅの瞳孔径が大きいときは、虚像Ｓの輝度の明るさを暗くし、瞳孔径が小さいときは、虚像Ｓの輝度を明るくする。
次に、車両用表示装置１における虚像Ｓの明るさ調整制御の流れについて図３に示すフローチャートを参照して説明する。車両用表示装置１は、車両１００のＡＣＣ（アクセサリ）電源またはＩＧ（イグニッション）電源がＯＮされた場合に起動し、これらの電源がＯＦＦされるまで以下に説明する処理を繰り返す。
ステップＳ１では、運転者用カメラ３は、顔画像を取得して、瞳孔径出力部７に出力する。
次に、ステップＳ２では、瞳孔検出部１０は、運転者用カメラ３から入力された顔画像に基づいて運転者Ｄの瞳孔Ｅを検出する。
次に、ステップＳ３では、移動速度算出部１１は、瞳孔検出部１０により検出された運転者Ｄの瞳孔Ｅの位置に基づいて、瞳孔Ｅの移動速度を算出する。
次に、ステップＳ４では、瞳孔径算出部１２は、不揮発性メモリから閾値（例えば、０．２［ｍ／ｓ］）を読み出して、移動速度算出部１１により算出された瞳孔Ｅの移動速度と当該閾値とを比較する。
次に、ステップＳ５では、瞳孔径算出部１２は、瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値を越えたか否かを判定する。この判定の結果、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、ステップＳ８へ進む。一方、瞳孔Ｅの移動速度Ｍが閾値を越えていない場合、すなわち、瞳孔Ｅの移動速度Ｍが閾値以下の場合は、ステップＳ６へ進む。
次に、ステップＳ６では、瞳孔径算出部１２は、ステップＳ２で瞳孔検出部１０により検出された瞳孔Ｅに基づいて当該瞳孔Ｅの瞳孔径を算出し、算出した瞳孔径を不揮発性メモリに一時保存する。
次に、ステップＳ７では、瞳孔径算出部１２は、ステップＳ６で算出した今回の瞳孔径を明るさ調整部１５に出力して、ステップＳ１０へ進む。
一方、ステップＳ８では、瞳孔径算出部１２は、不揮発性メモリに保存していた前回の瞳孔径を読み出す。
次に、ステップＳ９では、瞳孔径算出部１２は、読みだした瞳孔径を明るさ調整部１５に出力して、ステップＳ１０へ進む。
ステップＳ１０では、瞳孔径出力部７は、本処理を終了するか否かを判定する。本処理を終了しない場合は、ステップＳ１に戻る。
上記処理により、明るさ調整部１５は、瞳孔Ｅの移動速度Ｍが閾値以下の場合、今回の瞳孔Ｅに基づいて算出された今回の瞳孔径を用いて、虚像Ｓの明るさ調整を行う。一方、明るさ調整部１５は、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、今回の瞳孔Ｅに基づく今回の瞳孔径を用いることなく、前回の瞳孔径を用いて虚像Ｓの明るさ調整を行う。これにより、車両用表示装置１は、瞳孔Ｅの移動速度Ｍが閾値を越えて、瞳孔Ｅを正しく検出できていないと推定される場合には、移動速度Ｍが閾値を越えていないときの瞳孔径を用いて虚像Ｓの明るさ調整を行うことが可能となる。
以上説明したように、本実施形態に係る車両用表示装置１は、瞳孔検出部１０により検出された瞳孔Ｅの位置に基づいて、当該瞳孔Ｅの移動速度Ｍを算出する移動速度算出部１１を備える。瞳孔径算出部１２は、瞳孔Ｅの移動速度Ｍが閾値以下の場合、今回の瞳孔Ｅに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部１５に出力する、一方、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力する。
上記構成により、車両用表示装置１は、車両１００の悪路走行などにより運転者Ｄが揺れて当該運転者Ｄの瞳孔Ｅを正しく検出できないおそれがある場合、前回算出した瞳孔径を今回の瞳孔径として使用して虚像Ｓの明るさ調整が行われる。この結果、表示する虚像Ｓの明るさを精度よく調整することができ、運転者Ｄの虚像Ｓの視認性を向上させることができる。
また、本実施形態に係る車両用表示装置１は、明るさ調整部１５が、照度センサ２により検出された照度、及び、瞳孔径出力部７により出力された瞳孔径に基づいて、虚像Ｓの明るさを調整する。これにより、車両用表示装置１は、車両環境の明るさを考慮して虚像Ｓの明るさ調整を行うことができ、照度を検出しない場合と比べて、運転者Ｄの虚像Ｓの視認性を向上させることができる。
なお、上記実施形態では、明るさ調整部１５は、照度センサ２により検出された照度、及び、瞳孔径出力部７から出力された瞳孔径という２つのパラメータに基づいて虚像Ｓの明るさを調整しているが、これに限定されるものではない。例えば、明るさ調整部１５は、瞳孔径出力部７から出力された瞳孔径のみに基づいて虚像Ｓの明るさを調整してもよい。または、明るさ調整部１５は、必要に応じて照度センサ２により検出された照度のみに基づいて虚像Ｓの明るさを調整してもよい。
また、上記実施形態では、瞳孔径出力部７は、移動速度Ｍが閾値を越えた場合、瞳孔Ｅの瞳孔径を算出することなく、前回算出して不揮発性メモリに保存されていた瞳孔径を明るさ調整部１５に出力するが、これに限定されるものではない。例えば、瞳孔径出力部７は、移動速度Ｍが閾値を越えた場合、照度センサ２の検出結果に基づくマップ制御を行い、予め用意された瞳孔径を出力する構成であってもよい。この場合、瞳孔径出力部７は、各照度に対する運転者Ｄの瞳孔Ｅの瞳孔径をマップとして保持し、移動速度Ｍが閾値を越えた場合には、検出した照度に対応する瞳孔径をマップから読み出して出力する。
また、上記実施形態では、車両用表示装置１は、上述したように、車両１００のＡＣＣ電源等がＯＮされたときに起動し、これらの電源がＯＦＦされるまで図３に示す処理を繰り返し実行する。瞳孔径算出部１２は、移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力しているが、初期状態では、移動速度Ｍが閾値を越えたとしても、前回算出した瞳孔径が存在しない場合がある。この場合、例えば、瞳孔径算出部１２は、瞳孔径が適正に算出されるまで予め設定された固定値を使う構成であってもよい。または、明るさ調整部１５が、瞳孔径が適正に算出されるまで虚像Ｓの明るさ調整を行わないように構成してもよい。
また、上記実施形態では、照度センサ２は、車両用表示装置１専用に設けられたものであるが、これに限定されるものではなく、車両１００の前照灯の自動点灯用に設けられたものを流用してもよい。
また、上記実施形態では、運転者用カメラ３は、ステアリングコラムに設置されているが、これに限定されず、インストルメントパネル、ダッシュボード、ルームミラー等に設置されていてもよい。
また、上記実施形態では、表示デバイス６は、３つの反射ミラー５Ａ～５Ｃを有するが、この数に限定されるものではない。
また、上記実施形態では、車両用表示装置１は、自動車等の車両１００に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。
１ 車両用表示装置
３ 運転者用カメラ（撮像手段）
６ 表示デバイス（画像表示手段）
７ 瞳孔径出力部
１０ 瞳孔検出部（瞳孔検出手段）
１１ 移動速度算出部（移動速度算出手段）
１２ 瞳孔径算出部（瞳孔径算出部）
１５ 明るさ調整部（調整手段）
Ｄ 運転者
Ｅ 瞳孔
Ｆ 顔
Ｍ 移動速度
Ｓ 虚像
Ｗ ウインドシールド（被投影部材）

Claims (2)

  1. 表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、
    前記運転者の顔を含む顔画像を取得する撮像手段と、
    前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、
    前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、
    前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、
    少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、
    前記瞳孔径算出手段は、
    前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、
    前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、
    前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、
    ことを特徴とする車両用表示装置。
  2. 前記車両の照度を検出する照度検出手段をさらに備え、
    前記調整手段は、
    前記照度検出手段により検出された照度、及び、前記瞳孔径に基づいて、前記虚像の明るさを調整する、
    請求項１に記載の車両用表示装置。
JP2022133869A 2022-08-25 2022-08-25 車両用表示装置 Active JP7576064B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022133869A JP7576064B2 (ja) 2022-08-25 2022-08-25 車両用表示装置
US18/452,507 US11961430B2 (en) 2022-08-25 2023-08-18 Display device for vehicle
DE102023122405.0A DE102023122405A1 (de) 2022-08-25 2023-08-22 Fahrzeuganzeigevorrichtung
CN202311066690.6A CN117647889A (zh) 2022-08-25 2023-08-23 车辆用显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022133869A JP7576064B2 (ja) 2022-08-25 2022-08-25 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2024030764A JP2024030764A (ja) 2024-03-07
JP7576064B2 true JP7576064B2 (ja) 2024-10-30

Family

ID=89905442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022133869A Active JP7576064B2 (ja) 2022-08-25 2022-08-25 車両用表示装置

Country Status (4)

Country Link
US (1) US11961430B2 (ja)
JP (1) JP7576064B2 (ja)
CN (1) CN117647889A (ja)
DE (1) DE102023122405A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12327499B2 (en) * 2023-04-20 2025-06-10 GM Global Technology Operations LLC Automatic screen setting adjustment based on biological responses
DE102024001660A1 (de) 2024-05-23 2025-11-27 Mercedes-Benz Group AG Verfahren zum Steuern einer Ambientebeleuchtung und Kraftfahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018138394A (ja) 2017-02-24 2018-09-06 三菱電機株式会社 車両に用いられる表示装置、車両に用いられる表示制御装置、及び車両に用いられる表示制御方法
JP2019169828A (ja) 2018-03-23 2019-10-03 三菱電機株式会社 車載表示制御装置及び車載表示制御方法
JP2022028389A (ja) 2020-08-03 2022-02-16 日本精機株式会社 ヘッドアップディスプレイ装置、表示制御装置、及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587254B2 (ja) * 2016-09-16 2019-10-09 株式会社東海理化電機製作所 輝度制御装置、輝度制御システム及び輝度制御方法
JP2019028640A (ja) 2017-07-28 2019-02-21 アルプス電気株式会社 視線検出装置
JP2020087166A (ja) 2018-11-29 2020-06-04 矢崎総業株式会社 視線検出処理装置、視線検出処理方法及びプログラム視線検出処理装置、視線検出処理方法及びプログラム
EP3948402B1 (en) * 2019-04-01 2023-12-06 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
CN116057451A (zh) * 2020-09-03 2023-05-02 三星电子株式会社 改变显示器的设置的方法及电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018138394A (ja) 2017-02-24 2018-09-06 三菱電機株式会社 車両に用いられる表示装置、車両に用いられる表示制御装置、及び車両に用いられる表示制御方法
JP2019169828A (ja) 2018-03-23 2019-10-03 三菱電機株式会社 車載表示制御装置及び車載表示制御方法
JP2022028389A (ja) 2020-08-03 2022-02-16 日本精機株式会社 ヘッドアップディスプレイ装置、表示制御装置、及び方法

Also Published As

Publication number Publication date
US11961430B2 (en) 2024-04-16
CN117647889A (zh) 2024-03-05
US20240071269A1 (en) 2024-02-29
JP2024030764A (ja) 2024-03-07
DE102023122405A1 (de) 2024-03-07

Similar Documents

Publication Publication Date Title
US11181743B2 (en) Head up display apparatus and display control method thereof
JP3855439B2 (ja) 夜間運転視界支援装置
US10908417B2 (en) Vehicle vision system with virtual retinal display
US10989929B2 (en) Head-up display apparatus
JP6643969B2 (ja) 車両用表示装置
US6731436B2 (en) Display apparatus for a vehicle
US20190025580A1 (en) Head-up display apparatus
EP3041712B1 (en) A rearview assembly of a vehicle for displaying images
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
CN112470060A (zh) 抬头显示器
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP2005184225A (ja) 車両用表示装置
TWI522257B (zh) 車用安全系統及其運作方法
JP7576064B2 (ja) 車両用表示装置
CN104015658A (zh) 车用后视环景抬头显示装置
CN111556281B (zh) 车用安全系统及其操作方法
JP3884815B2 (ja) 車両用情報表示装置
JP2020149431A (ja) 運転支援システム
JP2009035162A (ja) 後方視認装置
US10401621B2 (en) Display unit for vehicle head-up display system
JP7488013B2 (ja) 車両用表示装置
JP2019159216A (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
JP4033170B2 (ja) 車両用表示装置
JP7568694B2 (ja) 車両用表示装置
JP2024112199A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240117

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241010

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241018

R150 Certificate of patent or registration of utility model

Ref document number: 7576064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150