JP2006308375A - 赤外線利用型目位置検出装置 - Google Patents

Abstract

【課題】 目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供する。
【解決手段】 目位置検出装置１０は、赤外線を照射する赤外線照射装置１１と、赤外線照射装置１１によって照射された赤外線の反射光を捉える赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像から顔の画像を取得する顔画像取得部２１と、顔画像取得部２１によって取得された顔の画像中の輝度に基づいて顔の画像中の目の位置を検出する目位置検出部２２とを備える。
【選択図】 図１

Description

本発明は、赤外線を利用して目の位置を検出する赤外線利用型目位置検出装置に関するものである。

従来の赤外線利用型目位置検出装置としては、取得画像の温度分布に基づいて目の位置を検出するものが知られている（例えば、特許文献１参照。）。

特開平７−１６７６１８号公報（第３頁、第２図）

しかしながら、従来の赤外線利用型目位置検出装置においては、取得画像の温度分布に基づいて目の位置を検出するので、画像のコントラストが十分に取れず、目の位置の検出の精度が低いという問題があった。

本発明は、従来の問題を解決するためになされたもので、目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供することを目的とする。

本発明の赤外線利用型目位置検出装置は、赤外線を照射する赤外線照射手段と、前記赤外線照射手段によって照射された前記赤外線の反射光を捉える赤外線撮像手段と、前記赤外線撮像手段によって撮像された画像から顔の画像を取得する顔画像取得手段と、前記顔画像取得手段によって取得された前記顔の画像中の輝度に基づいて前記顔の画像中の目の位置を検出する目位置検出手段とを備えた構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、自身が照射した赤外線の反射光に基づいて目の位置を検出するので、顔の画像における目の画像が従来より明確になり、目の位置を従来より高精度に検出することができる。

また、本発明の赤外線利用型目位置検出装置は、顔認証を行う顔認証手段と、前記顔認証用の顔の画像を記憶する顔画像記憶手段とを備え、前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像記憶手段によって記憶された前記顔の画像とに基づいて、前記顔認証を行う構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に顔認証を行うことができる。

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを前記目位置検出手段によって検出された前記目の位置に基づいて推定する顔向推定手段と、前記顔画像記憶手段によって記憶された複数の前記顔の画像から少なくとも１つの前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択する顔画像選択手段とを備え、前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像選択手段によって選択された前記顔の画像とに基づいて、前記顔認証を行う構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、予め記憶している顔の画像のうち実際の顔の向きに近い向きの顔の画像に基づいて顔認証を行うことができるので、より確実に顔認証を行うことができる。

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する顔向確定手段を備え、前記顔画像選択手段は、前記顔画像記憶手段によって記憶された複数の前記顔の画像から２つ以上の前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択し、前記顔向確定手段は、前記顔画像選択手段によって選択された前記顔の画像毎の前記顔認証手段による前記顔認証の結果に基づいて、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、複数の顔認証の結果に基づいて顔認証の対象者の顔の向きを確定するので、赤外線撮像手段によって撮像された対象者の顔の向きを高精度に確定することができる。

また、本発明の赤外線利用型目位置検出装置は、前記顔向確定手段によって確定された前記顔の向きに基づいて脇見運転を判定する脇見運転判定手段を備えた構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、顔認証の対象者が乗物の運転者であるときに、運転者が脇見運転を行っているか否かを判定することができる。

また、本発明の赤外線利用型目位置検出装置は、虹彩認証を行う虹彩認証手段と、前記虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段とを備え、前記虹彩認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の虹彩の画像と、前記虹彩画像記憶手段に記憶された前記虹彩の画像とに基づいて、前記虹彩認証を行う構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に虹彩認証を行うことができる。

また、本発明の赤外線利用型目位置検出装置は、網膜認証を行う網膜認証手段と、前記網膜認証用の網膜の画像を記憶する網膜画像記憶手段とを備え、前記網膜認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の網膜の画像と、前記網膜画像記憶手段に記憶された前記網膜の画像とに基づいて、前記網膜認証を行う構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、目の位置を従来より高精度に検出することができるので、従来より高精度に網膜認証を行うことができる。

また、本発明の赤外線利用型目位置検出装置は、前記顔画像取得手段によって取得された前記顔の画像のコントラストに基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段を備えた構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、赤外線の照射量を調整するので、より高精度に目の位置を検出することができる。

また、本発明の赤外線利用型目位置検出装置は、前記赤外線撮像手段の撮像環境の明暗を検出する明暗検出手段と、前記明暗検出手段による検出結果に基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段とを備えた構成を有している。

この構成により、本発明の赤外線利用型目位置検出装置は、赤外線の照射量を調整するので、より高精度に目の位置を検出することができる。

本発明は、画像処理の負荷を軽減しながら目の位置を従来より高精度に検出することができる赤外線利用型目位置検出装置を提供することができるものである。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る赤外線利用型目位置検出装置の構成について図１を用いて説明する。

図１に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置１０は、赤外線を照射する赤外線照射手段としての赤外線照射装置１１と、赤外線照射装置１１によって照射された赤外線の反射光を捉える赤外線撮像手段としての赤外線カメラ１２と、赤外線照射装置１１及び赤外線カメラ１２の動作を制御する制御装置２０と、目位置検出結果を報知する報知部１４とを備えている。

制御装置２０は、顔を赤外線カメラ１２によって撮像し、その撮像された顔の画像（以下「顔画像」という。）を取得する顔画像取得手段としての顔画像取得部２１と、顔画像取得部２１によって取得された顔画像中の輝度に基づいて顔画像中の目の位置を検出する目位置検出手段としての目位置検出部２２とを有している。なお、制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成された一般的なコンピュータである。

次に、目位置検出装置１０の動作について、図２を用いて説明する。

まず制御装置２０は、対象者に向けて赤外線照射装置１１に赤外線を照射させ（Ｓ４１）、赤外線カメラ１２に対象者を撮像させる（Ｓ４２）。ここで、対象者の眼球の角膜や、角膜の前面の液体は、赤外線照射装置１１によって照射された赤外線を対象者の顔の構成の中で最も多量に反射する。したがって、赤外線カメラ１２によって撮像された画像中の顔画像においては、対象者の眼球の角膜や、角膜の前面の液体に対応する部分が撮像画像中、最も輝度が高くなる。

そして、制御装置２０は、赤外線カメラ１２によって撮像された画像から顔画像を顔画像取得部２１によって取得して（Ｓ４３）、顔画像取得部２１によって取得された顔画像中の輝度に基づいて顔画像中の目の位置を目位置検出部２２によって検出する（Ｓ４４）。即ち、目位置検出部２２は、顔画像取得部２１によって取得された顔画像にイコライズ処理を行い、イコライズ処理を行った顔画像中の最も輝度が高い２点について２点の間隔や２点を通る直線と水平線との角度（図３参照。）が規定範囲内であるかを検証し、規定範囲内であると検証したとき、顔画像中の最も輝度が高い２点の位置を、目の位置として検出する。

次いで、制御装置２０は、目位置検出部２２によって目の位置が検出できたか否かを判別し（Ｓ４５）、目位置検出部２２によって目の位置が検出できなかったとＳ４５において判断すると、目の位置が検出できなかったことを報知部１４によって利用者に報知する（Ｓ４６）。例えば、運転者の両目の目位置が一定時間検出できないと、片目又は両目を開けていないか、又は横を向いていると判断し、『居眠り注意』等の注意音声を出力する。

以上に説明したように、目位置検出装置１０は、自身が照射した赤外線の反射光に基づいて目の位置を検出するので、顔画像における目の画像が従来より明確になり、目の位置を従来より高精度に検出することができる。また、目位置検出装置１０は、顔画像における目の画像が従来より明確になるので、目の位置を検出するときの画像処理負荷を簡易にすることができる。また、目位置検出装置１０は、可視光ではなく赤外線を利用して目の位置を検出するようになっているので、夜間であっても目の位置を高精度に検出することができる。

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る赤外線利用型目位置検出装置の構成について図４を用いて説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。

図４に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての認証装置６０の構成は、制御装置７０を制御装置２０（図１参照。）に代えて備えた目位置検出装置１０が、エンジン始動制御を行うエンジン始動装置１５を更に備えた構成と同様である。

また、制御装置７０の構成は、顔認証を行う顔認証手段としての認証部７１と、顔認証用の顔画像を記憶する顔画像記憶手段としての画像記憶部７２と、画像記憶部７２への顔画像の登録や画像記憶部７２からの顔画像の削除を行う登録削除部７３とを制御装置２０が備えた構成と同様である。

なお、認証部７１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部７２に記憶されている顔画像とに基づいて、顔認証を行うようになっている。

次に、認証装置６０の動作について図５を用いて説明する。

なお、認証装置６０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。

図５に示すように、制御装置７０は、目位置検出部２２によって目の位置が検出できたとＳ４５において判断すると、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部７２に記憶された顔画像とに基づいて、目位置を中心に正規化し認証部７１によって顔認証を行う（Ｓ９１）。認証がＯＫになると、制御装置７０は、エンジン始動装置１５に、エンジン始動要求を出力し、エンジン始動をし（Ｓ９２）、認証結果がＯＫであったこととエンジン始動を開始したことを報知部１４を通して運転者に報知する（Ｓ９３）。

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ９４）、目位置が検出できる様、正面に向くことを促す。

一方、Ｓ９１で、顔認証ＮＧの場合は、顔認証ＮＧであった事とエンジン始動ができなかった事を報知部１４を通して運転者に報知し（Ｓ９５）、顔認証開始が認証開始ＳＷ押下による物であれば、それを押下する等、再度顔認証を開始する様、促す。

以上に説明したように、認証装置６０は、目位置検出装置１０と同様に目の位置を従来より高精度に検出することができるので、画像処理の負荷を増すことなく従来より高精度に顔認証を行うことができる。

なお、認証装置６０は、顔認証を行うようになっているが、虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段として画像記憶部７２を機能させ、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像中の目の虹彩の画像と、画像記憶部７２に記憶された虹彩の画像とに基づいて、虹彩認証を行う虹彩認証手段として認証部７１を機能させることによって、従来より高精度に虹彩認証を行うことができる。

また、認証装置６０は、網膜認証用の網膜の画像を記憶する網膜画像記憶手段として画像記憶部７２を機能させ、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像中の目の網膜の画像と、画像記憶部７２に記憶された網膜の画像とに基づいて、網膜認証を行う網膜認証手段として認証部７１を機能させることによって、従来より高精度に網膜認証を行うことができる。

（第３の実施の形態）
まず、本発明の第３の実施の形態に係る赤外線利用型目位置検出装置の構成について図６を用いて説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第２の実施の形態に係る認証装置６０（図４参照。）の構成と同様な構成については、認証装置６０の構成と同一の符号を付して説明する。

図６に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての認証装置１１０の構成は、シフトロック解除制御を行う機能を有したシフトロック解除部１６と、制御装置１２０とを、エンジン始動装置１５（図４参照。）及び制御装置７０（図４参照。）に代えて認証装置６０が備えた構成と同様である。

また、制御装置１２０の構成は、顔認証を行う顔認証手段としての認証部１２１と、正面向き、上向き、下向き、左向き、右向き等の複数の向きの顔画像を顔認証用の顔画像として記憶する顔画像記憶手段としての画像記憶部１２２と、顔画像取得部２１によって取得された顔画像における顔の向きを目位置検出部２２によって検出された目の位置に基づいて推定する顔向推定手段としての顔向推定部１２３と、画像記憶部１２２に記憶された複数の顔画像から１つの顔画像を顔向推定部１２３によって推定された顔の向きに基づいて選択する顔画像選択手段としての顔画像選択部１２４とを、認証部７１（図４参照。）及び画像記憶部７２（図４参照。）に代えて制御装置７０が備えた構成と同様である。

また、認証部１２１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１２４によって選択された顔画像とに基づいて、顔認証を行うようになっている。

次に、認証装置１１０の動作について、図７を用いて説明する。

なお、認証装置１１０の動作のうち、認証装置６０の動作と同様な動作については、認証装置６０の動作と同一の符号を付して説明を省略する。

図７に示すように、制御装置１２０は、目位置検出部２２によって目の位置が検出できたとＳ４５において判断すると、顔画像取得部２１によって取得された顔画像における顔の向きを目位置検出部２２によって検出された目の位置に基づいて顔向推定部１２３によって推定する（Ｓ１４１）。例えば、正面時、顔輪郭に対する両目位置は、左右対称であるが、右向き時は、両目位置が右側に偏る（図８参照。）。

次いで、制御装置１２０は、画像記憶部１２２に記憶された複数の顔画像から、顔の向きが顔向推定部１２３によって推定された顔の向きに最も近い顔画像を、顔画像選択部１２４によって選択する（Ｓ１４２）。

そして、制御装置１２０は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１２４によって選択された顔画像とに基づいて、認証部１２１によって顔認証を行う（Ｓ１４３）。顔認証結果がＯＫであれば、シフトロック解除部１６にシフトロック解除命令を出力しシフトロックを解除する（Ｓ１４４）。そして、報知部１４を通してシフトロックを解除したことを運転者に報知する（Ｓ１４５）。

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ１４６）、目位置が検出できる様、正面に向くことを促す。

一方、Ｓ１４３で、顔認証ＮＧの場合は、顔認証ＮＧであった事とシフトロックが解除ができなかった事を報知部１４を通して運転者に報知し（Ｓ１４７）、顔認証開始が認証開始ＳＷ押下による物であれば、それを押下する等、再度顔認証を開始する様、促す。

例えば、制御装置１２０は、顔画像取得部２１によって取得された顔画像における顔の向きを顔向推定部１２３によって上向きと推定すると、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、画像記憶部１２２に記憶された複数の顔画像のうち顔の向きが上向きである顔画像とに基づいて、認証部１２１によって顔認証を行う。

以上に説明したように、認証装置１１０は、予め記憶している顔画像のうち実際の顔の向きに近い向きの顔画像に基づいて顔認証を行うことができるので、画像処理の負荷を増すことなくより確実に顔認証を行うことができる。

（第４の実施の形態）
まず、本発明の第４の実施の形態に係る赤外線利用型目位置検出装置の構成について図９を用いて説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第３の実施の形態に係る認証装置１１０（図６参照。）の構成と同様な構成については、認証装置１１０の構成と同一の符号を付して説明する。

図９に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての顔向検出装置１６０の構成は、ヘッドライト向きを制御する機能を有するヘッドライト向制御部１７と、制御装置１７０とを、シフトロック解除部１６（図６参照。）及び制御装置１２０（図６参照。）に代えて認証装置１１０が備えた構成と同様である。

また、制御装置１７０の構成は、顔認証を行う顔認証手段としての認証部１７１と、画像記憶部１２２に記憶された複数の顔画像から２つ以上の顔画像を顔向推定部１２３によって推定された顔の向きに基づいて選択する顔画像選択手段としての顔画像選択部１７２と、顔画像取得部２１によって取得された顔画像における顔の向きを確定する顔向確定手段としての顔向確定部１７３とを、認証部１２１（図６参照。）及び顔画像選択部１２４（図６参照。）に代えて制御装置１２０が備えた構成と同様である。

また、認証部１７１は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１７２によって選択された顔画像とに基づいて、顔画像選択部１７２によって選択された顔画像毎に顔認証を行うようになっている。

また、顔向確定部１７３は、顔画像選択部１７２によって選択された顔画像毎の認証部１７１による顔認証の結果に基づいて、顔画像取得部２１によって取得された顔画像における顔の向きを確定するようになっている。

次に、顔向検出装置１６０の動作について図１０を用いて説明する。

なお、顔向検出装置１６０の動作のうち、認証装置１１０の動作と同様な動作については、認証装置１１０の動作と同一の符号を付して説明を省略する。

図１０に示すように、制御装置１７０は、顔画像取得部２１によって取得された顔画像における顔の向きをＳ１４１において推定すると、画像記憶部１２２に記憶された複数の顔画像から、顔の向きが顔向推定部１２３によって推定された顔の向きに近い２方向以上の顔画像を、顔画像選択部１７２によって選択する（Ｓ１９１）。

次いで、制御装置１７０は、顔画像取得部２１によって取得され目位置検出部２２によって目の位置が検出された顔画像と、顔画像選択部１７２によって選択された顔画像とに基づいて、顔画像選択部１７２によって選択された顔画像毎に認証部１７１によって顔認証を行う（Ｓ１９２）。例えば、上向きの顔画像と、正面向きの顔画像とが顔画像選択部１７２によって選択された場合、制御装置１７０は、上向きの顔画像に基づいた顔認証と、正面向きの顔画像に基づいた顔認証とを認証部１７１によって行う。

そして、制御装置１７０は、顔画像選択部１７２によって選択された顔画像毎の認証部１７１による顔認証の結果に基づいて、顔画像取得部２１によって取得された顔画像における顔の向きを顔向確定部１７３によって確定する（Ｓ１９３）。例えば、上向きの顔画像に基づいた顔認証と、正面向きの顔画像に基づいた顔認証とが認証部１７１によって行われ、上向きの顔画像に基づいた顔認証の結果が正面向きの顔画像に基づいた顔認証の結果と比較して良好である場合、顔向確定部１７３は、顔画像取得部２１によって取得された顔画像における顔の向きを上向きと確定する。顔向きを確定すると、ヘッドライト向制御部１７に、現在の顔向き情報を出力し、ヘッドライトの向きを顔向きと合うように動かす（Ｓ１９４）。そして、ヘッドライト向制御可能状態に入った事を運転者に報知する（Ｓ１９５）。これにより、夜間、カーブ先路面状況等の情報が顔向きによりいち早く入手できる。

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ１９６）、目位置が検出できる様、正面方向に向くことを促す。

一方、Ｓ１９３で、顔向き確定ＮＧの場合は、顔向き確定ＮＧであった事とヘッドライト向制御に入らなかった事を報知部１４を通して運転者に報知し（Ｓ１９７）、顔向き検出開始が検出開始ＳＷ押下による物であれば、それを押下する等、再度顔検出を開始する様、促す。

以上に説明したように、顔向検出装置１６０は、予め顔向角度も登録した複数の顔認証の結果に基づいて顔認証の対象者の顔の向きを確定するので、複数登録画像と認識をすればするほど、赤外線カメラ１２によって撮像された対象者の顔の向きを高精度に確定することができる。

（第５の実施の形態）
まず、本発明の第５の実施の形態に係る赤外線利用型目位置検出装置の構成について図１１を用いて説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第４の実施の形態に係る顔向検出装置１６０（図９参照。）の構成と同様な構成については、顔向検出装置１６０の構成と同一の符号を付して説明する。

図１１に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての脇見運転検出装置２１０の構成は、車両速度を減速する機能を備えた減速制御部１８と、制御装置２２０とを、ヘッドライト向制御部１７（図９参照。）及び制御装置１７０（図９参照。）に代えて顔向検出装置１６０が備えた構成と同様である。なお、脇見運転検出装置２１０は、車両の運転者の顔が赤外線カメラ１２によって撮像されるように車両に搭載されている。

また、制御装置２２０の構成は、顔向確定部１７３によって確定された顔の向きに基づいて運転者の脇見運転を判定する脇見運転判定手段としての脇見運転判定部２２１を制御装置１７０が備えた構成と同様である。

次に、脇見運転検出装置２１０の動作について図１２を用いて説明する。

なお、脇見運転検出装置２１０の動作のうち、顔向検出装置１６０の動作と同様な動作については、顔向検出装置１６０の動作と同一の符号を付して説明を省略する。

図１２に示すように、制御装置２２０は、赤外線カメラ１２によって撮像された対象者の顔の向きをＳ１９３において確定すると、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上連続したか否かを脇見運転判定部２２１によって判断する（Ｓ２４１）。

そして、制御装置２２０は、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上（交通環境にもよるが、例えば、高速走行時は２秒間）連続したと脇見運転判定部２２１によってＳ２４１において判断すると、運転者の脇見運転であると脇見運転判定部２２１によって判定し（Ｓ２４２）、減速制御部１８に減速命令を出力し車両の速度を減速する（Ｓ２４３）。そして、報知部１４を用いて、脇見をしている事と減速している事を運転者に報知する（Ｓ２４４）。

一方、制御装置２２０は、顔向確定部１７３によって確定した対象者の顔の向きが正面向き以外の向きであることが一定時間以上連続していないと脇見運転判定部２２１によってＳ２４１において判断すると、再びＳ４１の処理を実行する。

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ２４５）、目位置が検出できる様、正面を向くことを促す。

以上に説明したように、脇見運転検出装置２１０は、運転者が脇見運転を行っているか否かを判定することができる。

（第６の実施の形態）
まず、本発明の第６の実施の形態に係る赤外線利用型目位置検出装置の構成を図１３に示し、説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。

図１３に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置２６０の構成は、制御装置２７０を制御装置２０（図１参照。）に代えて備えた目位置検出装置１０が、運転者の疲労度を検知する疲労検知部１９を更に備えた構成と同様である。

また、制御装置２７０の構成は、目位置検出部２２の検出結果に基づいて赤外線照射装置１１による赤外線の照射量を調整する赤外線照射量調整手段としての赤外線照射量調整部２７２を制御装置２０が備えた構成と同様である。

次に、図１４により、目位置検出装置２６０の動作について説明する。

なお、目位置検出装置２６０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。

図１４に示すように、制御装置２７０は、目位置検出部の検出結果に基づいて赤外線照射装置１１による赤外線の照射量を赤外線照射量調整部２７２に調整させる。即ち、取得顔画像中、最高輝度部２点を検出しその位置関係が、目位置テンプレート（顔の輪郭に対する両目の位置関係と制限したもの）に入るか確認し、入れば目位置検出ＯＫ、入らなければ、目位置検出ＮＧとする（Ｓ４５）。Ｓ４５で目位置検出ＮＧとなると、赤外線の照射量設定値を前回照射値よりあげて（Ｓ２９２）、再度、赤外線を照射し（Ｓ４１）、再度、赤外線カメラ１２により対象者を撮像させる（Ｓ４２）。

一方、Ｓ４５において目位置検出ができた場合は、常に、目位置情報を疲労検知部１９に出力する。疲労検知部１９では、両目位置の変化を記録し（Ｓ２９４）、時間に対する変化率が大幅に低下すると、疲労による運動反射の低下と判断し（Ｓ２９５）、報知部１４を通して、疲労している事と休息の促進を運転者に報知する（Ｓ２９６）。

一方、Ｓ２９５において、疲労と判断されなかった場合は、Ｓ４１にもどり疲労判定制御を続ける。

以上に説明したように、目位置検出装置２６０は、赤外線の照射量を調整するので、目位置検出装置１０と比較して、より高精度に確実に目の位置を検出することができる。

（第７の実施の形態）
まず、本発明の第７の実施の形態に係る赤外線利用型目位置検出装置の構成について図１５に示し説明する。

なお、本実施の形態に係る赤外線利用型目位置検出装置の構成のうち、第１の実施の形態に係る目位置検出装置１０（図１参照。）の構成と同様な構成については、目位置検出装置１０の構成と同一の符号を付して説明する。

図１５に示すように、本実施の形態に係る赤外線利用型目位置検出装置としての目位置検出装置２８０の構成は、制御装置２９０を制御装置２０（図１参照。）に代え、撮像環境の明暗を検出する明暗検出手段としての明暗センサ１３を更に備え、さらにハンドル位置を動かすハンドル位置制御部３１を備えた目位置検出装置１０の構成と同様である。

また、制御装置２９０の構成は、明暗センサ１３による明暗検出結果に基づいて赤外線照射装置１１による赤外線の照射量を調整する赤外線照射量調整手段としての赤外線照射量調整部２９１とを制御装置２０が備えた構成と同様である。

次に、目位置検出装置２８０の動作について図１６を用いて説明する。

なお、目位置検出装置２８０の動作のうち、目位置検出装置１０の動作と同様な動作については、目位置検出装置１０の動作と同一の符号を付して説明を省略する。

図１６に示すように、制御装置２９０は、明暗センサ１３から撮像環境の明暗データを取得する（Ｓ２９３）。次にこれを元に赤外線照射量を赤外線照射量調整部２９１により調整する（Ｓ２９１）。そして、赤外線を照射する（Ｓ４１）。即ち、赤外線照射量調整部２９１は明暗センサ１３による検出結果に基づいて撮像環境を判断し、赤外線照射装置１１による赤外線の照射量が十分となる量まで照射量を増加し、赤外線カメラ１２により対象者を撮像させる（Ｓ４２）。

Ｓ４３，Ｓ４５と通して、目位置を検出し、目位置を検出できると、報知部１４を通して、目位置を検出できた事とハンドル位置制御を開始することを運転者に報知する（Ｓ３０１）。そして、制御装置２９０は、目位置情報をハンドル位置制御部３１に出力する。ハンドル位置制御部３１は、運転者の目位置の高さに予め記憶された最適なハンドル位置を推定し、その位置にハンドルを移動する（Ｓ３０２）。

一方、Ｓ４５において目位置検出ができなかった場合は、目位置検出ができなかった事を報知部１４を通して運転者に報知し（Ｓ３０３）、目位置が検出できる様、正面に向くことを促す。

以上に説明したように、目位置検出装置２８０は、赤外線の照射量を調整するので、目位置検出装置１０と比較して、より高精度に確実に目の位置を検出することができる。

なお、目位置検出結果/認証結果を他の制御装置に出力する例として、エンジン始動装置、シフトロック解除装置を例に挙げたが、目の状態/目位置の変化/認証結果に基づいて制御可能な装置が対象であれば、いずれの制御装置に、目位置検出結果/認証結果を出力しても良い。

以上のように、本発明に係る赤外線利用型目位置検出装置は、画像処理の負荷を軽減しながら目の位置を従来より高精度に検出することができるという効果を有し、顔認証、虹彩認証又は網膜認証に利用される赤外線利用型目位置検出装置等として有用である。

本発明の第１の実施の形態に係る目位置検出装置のブロック図 図１に示す目位置検出装置の動作を示すフローチャート 高輝度部分の２点間の水平に対する角度を算出し、目位置を検出する方法を示す図 本発明の第２の実施の形態に係る認証装置のブロック図 図４に示す認証装置の動作を示すフローチャート 本発明の第３の実施の形態に係る認証装置のブロック図 図６に示す認証装置の動作を示すフローチャート 正面と右向き時の、顔輪郭／目位置の違いを示す図 本発明の第４の実施の形態に係る顔向検出装置のブロック図 図９に示す顔向検出装置の動作を示すフローチャート 本発明の第５の実施の形態に係る脇見運転検出装置のブロック図 図１１に示す脇見運転検出装置の動作を示すフローチャート 本発明の第６の実施の形態に係る目位置検出装置のブロック図 図１３に示す目位置検出装置の動作を示すフローチャート 本発明の第７の実施の形態に係る目位置検出装置のブロック図 図１５に示す目位置検出装置の動作を示すフローチャート

符号の説明

１０ 目位置検出装置（赤外線利用型目位置検出装置）
１１ 赤外線照射装置（赤外線照射手段）
１２ 赤外線カメラ（赤外線撮像手段）
１３ 明暗センサ（明暗検出手段）
１４ 報知部（運転者への報知手段）
１５ エンジン始動装置
１６ シフトロック解除部
１７ ヘッドライト向制御部
１８ 減速制御部（車両速度の減速）
１９ 疲労検知部（運転者の疲労検知）
２１ 顔画像取得部（顔画像取得手段）
２２ 目位置検出部（目位置検出手段）
３１ ハンドル位置制御部
６０ 認証装置（赤外線利用型目位置検出装置）
７１ 認証部（顔認証手段、虹彩認証手段、網膜認証手段）
７２ 画像記憶部（顔画像記憶手段、虹彩画像記憶手段、網膜画像記憶手段）
１１０ 認証装置（赤外線利用型目位置検出装置）
１２１ 認証部（顔認証手段）
１２２ 画像記憶部（顔画像記憶手段）
１２３ 顔向推定部（顔向推定手段）
１２４ 顔画像選択部（顔画像選択手段）
１６０ 顔向検出装置（赤外線利用型目位置検出装置）
１７１ 認証部（顔認証手段）
１７２ 顔画像選択部（顔画像選択手段）
１７３ 顔向確定部（顔向確定手段）
２１０ 脇見運転検出装置（赤外線利用型目位置検出装置）
２２１ 脇見運転判定部（脇見運転判定手段）
２６０ 目位置検出装置（赤外線利用型目位置検出装置）
２７２ 赤外線照射量調整部（赤外線照射量調整手段）

Claims (9)

1. 赤外線を照射する赤外線照射手段と、前記赤外線照射手段によって照射された前記赤外線の反射光を捉える赤外線撮像手段と、前記赤外線撮像手段によって撮像された画像から顔の画像を取得する顔画像取得手段と、前記顔画像取得手段によって取得された前記顔の画像中の輝度に基づいて前記顔の画像中の目の位置を検出する目位置検出手段とを備えたことを特徴とする赤外線利用型目位置検出装置。
2. 顔認証を行う顔認証手段と、前記顔認証用の顔の画像を記憶する顔画像記憶手段とを備え、
   前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像記憶手段によって記憶された前記顔の画像とに基づいて、前記顔認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。
3. 前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを前記目位置検出手段によって検出された前記目の位置に基づいて推定する顔向推定手段と、前記顔画像記憶手段によって記憶された複数の前記顔の画像から少なくとも１つの前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択する顔画像選択手段とを備え、
   前記顔認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像と、前記顔画像選択手段によって選択された前記顔の画像とに基づいて、前記顔認証を行うことを特徴とする請求項２に記載の赤外線利用型目位置検出装置。
4. 前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定する顔向確定手段を備え、
   前記顔画像選択手段は、前記顔画像記憶手段によって記憶された複数の前記顔の画像から２つ以上の前記顔の画像を前記顔向推定手段によって推定された前記顔の向きに基づいて選択し、
   前記顔向確定手段は、前記顔画像選択手段によって選択された前記顔の画像毎の前記顔認証手段による前記顔認証の結果に基づいて、前記顔画像取得手段によって取得された前記顔の画像における前記顔の向きを確定することを特徴とする請求項３に記載の赤外線利用型目位置検出装置。
5. 前記顔向確定手段によって確定された前記顔の向きに基づいて脇見運転を判定する脇見運転判定手段を備えたことを特徴とすることを特徴とする請求項４に記載の赤外線利用型目位置検出装置。
6. 虹彩認証を行う虹彩認証手段と、前記虹彩認証用の虹彩の画像を記憶する虹彩画像記憶手段とを備え、
   前記虹彩認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の虹彩の画像と、前記虹彩画像記憶手段に記憶された前記虹彩の画像とに基づいて、前記虹彩認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。
7. 網膜認証を行う網膜認証手段と、前記網膜認証用の網膜の画像を記憶する網膜画像記憶手段とを備え、
   前記網膜認証手段は、前記顔画像取得手段によって取得され前記目位置検出手段によって前記目の位置が検出された前記顔の画像中の前記目の網膜の画像と、前記網膜画像記憶手段に記憶された前記網膜の画像とに基づいて、前記網膜認証を行うことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。
8. 前記顔画像取得手段によって取得された前記顔の画像のコントラストに基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段を備えたことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。
9. 前記赤外線撮像手段の撮像環境の明暗を検出する明暗検出手段と、前記明暗検出手段による検出結果に基づいて前記赤外線照射手段による前記赤外線の照射量を調整する赤外線照射量調整手段とを備えたことを特徴とする請求項１に記載の赤外線利用型目位置検出装置。

Images