JP6992693B2 - 乗員状態認識装置 - Google Patents

Description

本発明は、乗員状態認識装置に関する。

従来、乗員状態を認識する装置に関する技術として、被験者の瞬きを利用してコミュニケーションを図るためのコミュニケーションシステムが知られている（例えば特許５８７１２９０号公報）。このコミュニケーションシステムでは、被験者の瞬きを判定するために、被験者の眼が撮影された時系列に連続する複数のフレーム画像を用いて、フレーム画像上で被験者の眼を示す領域の減少により閉眼が判定され、閉眼が判定されてから当該領域の増加により開眼が判定される。

特許５８７１２９０号公報

ところで、瞼の開度と開度閾値とに基づいて開眼状態か閉眼状態かを判定することで乗員状態を認識する技術においては、瞼の開閉の程度に関する個人差として、開眼状態が半目の状態となる場合、又は、閉眼状態が半目の状態となる場合がある。したがって、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが望まれる。

そこで、本技術分野では、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが望まれている。

上記課題を解決するため、本発明に係る乗員状態認識装置は、車両の運転席に着座するドライバの眼の開眼状態及び閉眼状態を判定することで乗員状態を認識する乗員状態認識装置であって、車両のドライバモニタカメラの撮像情報に基づいて、ドライバの瞼の開度と、当該ドライバの瞼の開度の最大値と、当該ドライバの瞼の開度の最小値と、を認識する瞼開度認識部と、瞼の開度が予め設定された閾値以上となる場合に開眼状態を判定すると共に、瞼の開度が閾値未満となる場合に閉眼状態を判定する眼状態判定部と、一定時間又は一定の瞼開閉回数の間において最大値が閾値以上とならない場合、あるいは、一定時間又は一定の瞼開閉回数の間において最小値が閾値以下とならない場合、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値を再設定する閾値再設定部と、を備える。

本発明の一態様に係る乗員状態認識装置によれば、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が閾値以上とならない場合（開眼状態が半目の状態となる場合）、あるいは、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が閾値以下とならない場合（閉眼状態が半目の状態となる場合）には、閾値再設定部により、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値が再設定されることにより、眼状態判定部により開眼状態及び閉眼状態の判定をすることが可能となる。したがって、乗員状態認識装置によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することができる。

一実施形態において、上記乗員状態認識装置では、閾値再設定部は、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値を再設定してもよい。この場合、例えば当該乗換え前のドライバと乗換え後のドライバとで瞼の開閉の程度に関する個人差が異なっていたとしても、当該乗換えに伴って閾値を再設定することで、眼状態判定部により開眼状態及び閉眼状態の判定を確実にすることが可能となる。

以上説明したように、本発明の種々の態様及び実施形態によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが可能となる。

一実施形態の乗員状態認識装置を示すブロック図である。 第１の閾値再設定の例を示すタイミングチャートである。 第１の閾値再設定の例を示す他のタイミングチャートである。 乗員状態認識装置の処理を示すフローチャートである。 第１の閾値再設定の判定処理を示すフローチャートである。 第１の閾値再設定の再設定処理を示すフローチャートである。 第２の閾値再設定の例を示すタイミングチャートである。 第２の閾値再設定の判定処理を示すフローチャートである。 第２の閾値再設定の例を示す他のタイミングチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、一実施形態の乗員状態認識装置を示すブロック図である。図１に示されるように、乗員状態認識装置１００は、車両の運転席に着座するドライバの眼の開眼時間及び閉眼時間を推定することでドライバの状態（乗員状態）を認識する。乗員状態認識装置１００は、例えば、開眼時間及び閉眼時間の少なくとも何れか一方に基づいて、ドライバの覚醒度が低下していると判定される場合、ドライバに対して音声等で報知を行う。

［乗員状態認識装置１００の構成］
図１に示されるように、乗員状態認識装置１００は、ＥＣＵ［Electronic Control Unit］１０を備えている。ＥＣＵ１０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。

ＥＣＵ１０は、ドライバモニタカメラ１及びＨＭＩ［Human Machine Interface］２と接続されている。

ドライバモニタカメラ１は、例えば、車両のステアリングコラムのカバー上でドライバの正面の位置に設けられ、ドライバの撮像を行う。ドライバモニタカメラ１は、ドライバを複数方向から撮像するために複数設けられていてもよい。ドライバモニタカメラ１は、ドライバの撮像情報をＥＣＵ１０へ送信する。

ＨＭＩ２は、乗員状態認識装置１００とドライバとの間で情報の入出力を行うための車載のインターフェイスである。ここでのＨＭＩ２は、音声出力が可能なスピーカ等を含んでいる。ＨＭＩ２は、ＥＣＵ１０からの制御信号に応じて、スピーカからの音声出力を行う。

次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、瞼開度認識部１１、眼状態判定部１２、閾値再設定部１３、時間算出部１４、及び報知制御部１５を有している。なお、以下に説明するＥＣＵ１０の機能の一部は、車両Ｖと通信可能なサーバにおいて実行される態様であってもよい。

瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、ドライバの瞼の開度を認識する。瞼の開度とは、瞼の開き具合を表す指標であり、例えば瞼距離の割合とすることができる。瞼距離の割合とは、瞼開度認識部１１で算出した瞼距離と、瞼距離の割合の分母である分母瞼距離との割合を意味する。分母瞼距離は、当該ドライバの瞼の開度の最大値ではなく、予め設定された瞼距離であり、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最大値とすることができる。

瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、上瞼と下瞼との間の瞼距離を算出する。瞼開度認識部１１は、瞼距離として、例えば上瞼から下瞼までの３次元距離を算出する。上瞼から下瞼までの３次元距離とは、３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さに相当する。瞼開度認識部１１は、公知の手法により３次元距離を算出することができる。瞼開度認識部１１は、例えば、ドライバモニタカメラ１で撮像されたドライバの眼の目頭及び目尻に特徴点を設定し、特徴点を用いたパターンマッチング等の画像解析により、３次元顔モデル上での上瞼と下瞼とを認識する。瞼開度認識部１１は、認識した３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さを算出し、瞼距離として認識する。

瞼開度認識部１１は、算出した瞼距離を分母瞼距離で除算することにより、瞼の開度を認識する。瞼の開度は、百分率で表され、例えば、算出した瞼距離が０％である（瞼が完全に閉じている）場合、瞼の開度は０となり、算出した瞼距離が最大瞼距離と等しい（瞼が完全に開いている）場合、瞼の開度は１００％となる。瞼の開度は、０～１の割合で表されてもよい。

瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最大値と当該ドライバの瞼の開度の最小値とを認識する。瞼開度認識部１１は、例えば、後述の開度閾値の再設定の処理において、所定の取得時間中に算出した瞼距離のうち最大となる瞼距離に基づいて、瞼の開度の最大値を認識する。瞼開度認識部１１は、例えば、開度閾値の再設定の処理において、取得時間中に算出した瞼距離のうち最小となる瞼距離に基づいて、瞼の開度の最小値を認識する。

眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度に基づいて、ドライバの眼の状態を判定する。ドライバの眼の状態には、開眼状態及び閉眼状態が含まれる。

開眼状態は、ドライバの瞬きにより瞼が一定開度以上で開いている状態を意味する。開眼状態は、必ずしも完全に瞼が開いた状態でなくてもよく、半目状態であってもよい。ここでの「完全に瞼が開いた状態」とは、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最大値に瞼の開度が達している状態を意味する。

閉眼状態は、ドライバの瞬き又は覚醒度の低下により瞼が一定開度未満となっている状態を意味する。閉眼状態は、必ずしも完全に瞼が閉じた状態でなくてもよく、半目状態であってもよい。ここでの「完全に瞼が閉じた状態」とは、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最小値まで瞼の開度が小さくなっている状態を意味する。

具体的には、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が開度閾値（閾値）以上となる場合に開眼状態を判定すると共に、瞼の開度が開度閾値未満となる場合に閉眼状態を判定する。眼状態判定部１２は、ドライバの眼の状態（開眼状態又は閉眼状態）の判定結果を、当該判定結果の判定時刻と関連付けて記憶してもよい。眼状態判定部１２は、当該判定結果を時系列のフラグ情報として記憶してもよい。

開度閾値は、開眼状態又は閉眼状態を判定するための瞼の開度の閾値である。開度閾値としては、例えばＥＣＵ１０が起ち上げられて初回の眼状態判定部１２の処理においては、予め設定された初期開度閾値が用いられる。初期開度閾値は、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布に基づいて、予め設定することができる。初期開度閾値は、ＥＣＵ１０に予め記憶されていてもよい。

開度閾値は、後述の閾値再設定部１３により再設定され得る。開度閾値が閾値再設定部１３により再設定された場合、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が再設定された開度閾値以上となる場合に開眼状態を判定すると共に、瞼の開度が再設定された開度閾値未満となる場合に閉眼状態を判定する。

閾値再設定部１３は、例えば第１の閾値再設定として、所定の閾値再設定条件が成立した場合に、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。所定の閾値再設定条件としては、例えば、一定時間又は一定の瞼開閉回数の間において瞼の開度の最大値が開度閾値以上とならない場合、あるいは、一定時間又は一定の瞼開閉回数の間において瞼の開度の最小値が開度閾値以下とならない場合が挙げられる（詳しくは後述）。

また、閾値再設定部１３は、例えば第２の閾値再設定として、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する（詳しくは後述）。

時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である開眼時間を算出する。開眼時間とは、ドライバの瞬きにより瞼が一定開度以上で開いている状態の継続時間を意味する。開眼時間の開始時刻は、ドライバの眼が開眼状態となった判定時刻であり、具体的には、眼状態判定部１２の判定結果が閉眼状態から開眼状態に変化した判定時刻とすることができる。開眼時間の終了時刻は、ドライバの眼が閉眼状態となった判定時刻であり、具体的には、当該開眼時間の開始時刻以後において眼状態判定部１２の判定結果が開眼状態から閉眼状態に変化した判定時刻とすることができる。

報知制御部１５は、時間算出部１４の算出結果に基づいて、ドライバへの報知を制御する。報知制御部１５は、例えば、時間算出部１４により算出された開眼時間に基づいて瞬きの時間間隔を算出し、瞬きの時間間隔が所定の瞬き間隔閾値未満となった場合、ドライバの覚醒度が低下していると判定する。報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、例えばドライバへの音声等で「お疲れですか？」等の報知を行うことで、休息を取ることをドライバに働きかける。

［第１の閾値再設定］
次に、閾値再設定部１３による第１の閾値再設定の動作及び処理について、図２～図６を参照しつつ説明する。

図２は、乗員状態認識装置の動作例を示すタイミングチャートである。図２の横軸には、時間が示されている。図２の縦軸には、瞼の開度が示されている。図２の実線は、ドライバの瞼の開度の時間的変化を示している。図２は、一例として、後述のドライバの乗換えがないと判定される場合において、閉眼状態が半目の状態となる場合を示している。

図２において、時刻Ｔ_１は、瞼の開度Ｅ_１が開度閾値Ｔｈ_０と等しくなった時刻である。開度閾値Ｔｈ_０は、特に限定されないが、例えば予め設定された初期開度閾値である。時刻Ｔ_２は、時刻Ｔ_１から時間ＴＭ_１（一定時間）が経過した時刻である。時間ＴＭ_１の開始時刻は、例えば瞼の開度が開度閾値Ｔｈ_０と最後に等しくなった時刻とすることができる。

時刻Ｔ_１から時刻Ｔ_２までの時間において、図２では詳しい図示を省略しているが、瞼の開度が開度閾値Ｔｈ_０よりも大きい開度となっている。つまり、時刻Ｔ_１から時刻Ｔ_２までの時間においては、瞼の開度の最小値が開度閾値Ｔｈ_０以下とならない。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

時刻Ｔ_３は、時刻Ｔ_２から時間ＴＭ_２（取得時間）が経過した時刻である。取得時間は、開度閾値の再設定のために、当該ドライバの瞼の開度の最大値と最小値とを認識するための時間である。取得時間は、複数回の瞬きがドライバにより行われ得る時間として予め設定されてもよい。取得時間は、特に限定されないが、例えば１５０秒とすることができる。

瞼開度認識部１１は、時刻Ｔ_２から時刻Ｔ_３までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図２の例では、時刻Ｔ_２から時刻Ｔ_３までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ_２が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ_３が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ_４が当該ドライバの瞼の開度の新たな最大値として認識される。

時刻Ｔ_３において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ_４と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ_３との間の開度となるように、開度閾値Ｔｈ_１を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出する。一例として、図２では、閾値再設定部１３は、最大値（瞼の開度Ｅ_４）と最小値（瞼の開度Ｅ_３）との中間値を算出し、当該中間値を開度閾値Ｔｈ_１として再設定する。これにより、時刻Ｔ_３以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。

続いて、閾値再設定部１３は、一定の瞼開閉回数の間において瞼の開度の最小値が開度閾値以下とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

図３は、乗員状態認識装置の他の動作例を示すタイミングチャートである。図３の横軸及び縦軸は、図２の横軸及び縦軸と同様である。図３は、図２と同様、後述のドライバの乗換えがないと判定される場合において、閉眼状態が半目の状態となる場合を示している。

図３において、時刻Ｔ_４は、瞼の開度Ｅ_５が開度閾値Ｔｈ_０と等しい実線上の点Ｐ_１に対応する時刻である。時間ＴＮは、一定の瞼開閉回数の間に相当し、一定の瞼開閉回数での瞬きがドライバにより行われた実線上の点Ｐ_２に対応する時刻Ｔ_５までの時刻Ｔ_４からの時間である。時間ＴＮの開始時刻は、瞼開閉回数の積算を開始する時刻を意味し、例えば瞼の開度が開度閾値Ｔｈ_０と最後に等しくなった時刻とすることができる。瞼開閉回数は、ドライバによる瞬きによって、瞼の開度が開度閾値Ｔｈ_０を跨がないで瞼が開閉された回数である。瞼開閉回数は、瞼の開度が開度閾値Ｔｈ_０よりも大きい開度のままで減少から増加に転じたタイミング（実線上の点Ｐ_３，点Ｐ_４，点Ｐ_５）で増加されてもよい。

時刻Ｔ_４から時刻Ｔ_５までの時間において、図３では詳しい図示を省略しているが、瞼の開度が開度閾値Ｔｈ_０よりも大きい開度の状態で、一定の瞼開閉回数での瞬きがドライバにより行われている。つまり、一定の瞼開閉回数の間である時間ＴＮにおいては、瞼の開度の最小値が開度閾値Ｔｈ_０以下とならない。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

時刻Ｔ_６は、時刻Ｔ_５からの取得時間の終了時刻に相当し、時刻Ｔ_５より後に所定の取得瞼開閉回数での瞬きがドライバにより行われた時刻である。取得瞼開閉回数は、開度閾値の再設定のために、当該ドライバの瞼の開度の最大値と最小値と認識するための瞼開閉回数である。取得瞼開閉回数は、ドライバにより行われる複数の瞬きに対応する回数として予め設定されてもよい。なお、図３の例では、説明の簡易化のために、取得瞼開閉回数が３回の例が示されている（実線上の点Ｐ_３，点Ｐ_４，点Ｐ_５）が、取得瞼開閉回数は、特に限定されない。

瞼開度認識部１１は、時刻Ｔ_５より後に所定の取得瞼開閉回数での瞬きがドライバにより行われる時刻Ｔ_６までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図３の例では、時刻Ｔ_５から時刻Ｔ_６までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ_６が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ_７が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ_８が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ_９が当該ドライバの瞼の開度の新たな最小値として認識される。

時刻Ｔ_６において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ_８と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ_９との間の開度となるように、開度閾値Ｔｈ_２を再設定する。一例として、図３では、閾値再設定部１３は、最大値（瞼の開度Ｅ_８）と最小値（瞼の開度Ｅ_９）との中間値を算出し、当該中間値を開度閾値Ｔｈ_２として再設定する。これにより、時刻Ｔ_６以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。

次に、乗員状態認識装置１００による演算処理の一例について説明する。図４は、乗員状態認識装置１００の処理を示すフローチャートである。図４に示されるフローチャートの処理は、例えば、乗員状態認識装置１００を備える車両の走行中を含むＥＣＵ１０の電源がオンの場合に実行される。

Ｓ１１において、乗員状態認識装置１００のＥＣＵ１０は、眼状態判定部１２により、ＥＣＵ１０の処理が初回処理か否かの判定を行う。眼状態判定部１２は、ＥＣＵ１０の処理が初回処理であると判定した場合（Ｓ１１：ＹＥＳ）、Ｓ１２において、開度閾値の初期化を行う。眼状態判定部１２は、ＥＣＵ１０の処理が初回処理ではないと判定した場合（Ｓ１１：ＮＯ）、開度閾値の初期化を行わない。

Ｓ１３において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の認識を行う。瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、瞼の開度を認識する。

Ｓ１４において、ＥＣＵ１０は、眼状態判定部１２により、ドライバの瞼の開度が開度閾値以上であるか否かの判定を行う。眼状態判定部１２は、ドライバの瞼の開度が開度閾値以上であると判定した場合（Ｓ１４：ＹＥＳ）、Ｓ１５において、ドライバの眼の状態が開眼状態であると判定する。眼状態判定部１２は、ドライバの瞼の開度が開度閾値未満であると判定した場合（Ｓ１４：ＮＯ）、Ｓ１６において、ドライバの眼の状態が閉眼状態であると判定する。

Ｓ１７において、ＥＣＵ１０は、時間算出部１４により、開眼時間の算出を行う。時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼時間を算出する。

Ｓ１８において、ＥＣＵ１０は、報知制御部１５により、ドライバへの報知の制御を行う。報知制御部１５は、例えば、時間算出部１４により算出された開眼時間に基づいて瞬きの時間間隔を算出し、瞬きの時間間隔が所定の瞬き間隔閾値未満となった場合、ドライバの覚醒度が低下していると判定する。報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、例えばドライバへの音声等で報知を行うことで、休息を取ることをドライバに働きかける。その後、ＥＣＵ１０は、図４の演算処理を終了する。

続いて、図５は、第１の閾値再設定の判定処理を示すフローチャートである。図５に示されるフローチャートの処理は、例えば、図４の処理の実行中において並行して実行される。

Ｓ２１において、ＥＣＵ１０は、閾値再設定部１３により、閾値再設定条件が成立したか否かの判定を行う。閾値再設定部１３は、閾値再設定条件が成立したと判定した場合（Ｓ２１：ＹＥＳ）、Ｓ２２において、開度閾値の再設定を行う。閾値再設定部１３は、閾値再設定条件が成立していないと判定した場合（Ｓ２１：ＮＯ）、開度閾値の再設定を行わない。その後、ＥＣＵ１０は、図５の演算処理を終了する。

Ｓ２２の開度閾値の再設定の処理として、具体的には、ＥＣＵ１０は、瞼開度認識部１１及び閾値再設定部１３により図６の処理を行う。図６は、第１の閾値再設定の再設定処理を示すフローチャートである。

Ｓ３１において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の認識を行う。瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、瞼の開度を認識する。Ｓ３２において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の最大値の認識を行う。瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最大値を認識する。Ｓ３３において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の最小値の認識を行う。瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最小値を認識する。

Ｓ３４において、ＥＣＵ１０は、閾値再設定部１３により、取得時間が経過したか否かの判定を行う。閾値再設定部１３により取得時間が経過していないと判定された場合（Ｓ３４：ＮＯ）、ＥＣＵ１０は、Ｓ３１に移行し、Ｓ３１～Ｓ３３の処理を繰り返す。閾値再設定部１３により取得時間が経過したと判定された場合（Ｓ３４：ＹＥＳ）、Ｓ３５において、ＥＣＵ１０は、閾値再設定部１３により、中間値の算出を行う。閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出する。

Ｓ３６において、ＥＣＵ１０は、閾値再設定部１３により、開度閾値の再設定を行う。閾値再設定部１３は、算出した中間値を開度閾値として再設定する。その後、ＥＣＵ１０は、図６の演算処理を終了する。

以上説明した乗員状態認識装置１００によれば、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が開度閾値以下とならない場合（閉眼状態が半目の状態となる場合）には、閾値再設定部１３により、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定されることにより、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。したがって、乗員状態認識装置１００によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することができる。

［第２の閾値再設定］
次に、閾値再設定部１３による第２の閾値再設定の動作及び処理について、図７，図８を参照しつつ説明する。

閾値再設定部１３は、第２の閾値再設定の条件として、ドライバの乗換えの有無を判定する。ドライバの乗換えの有無を判定とは、車両の運転席に着座するドライバが入れ替わった可能性があると閾値再設定部１３により判定されたことを意味する。ドライバの乗換えとは、必ずしもドライバが実際に乗換えをすることを要しない。

閾値再設定部１３は、例えば、運転席ドアの開閉センサの検出結果に基づいて、閉じていた運転席ドアが開かれたと判定された場合、ドライバの乗換えがあったと判定してもよい。閾値再設定部１３は、例えば、運転席ドアのカーテシーランプへの出力電流に基づいて、当該電流が出力されたと判定された場合、ドライバの乗換えがあったと判定してもよい。閾値再設定部１３は、例えば、運転席のシートベルトセンサの検出結果に基づいて、装着されていた運転席のシートベルトが取り外されたことが判定された場合、ドライバの乗換えがあったと判定してもよい。

閾値再設定部１３は、ドライバの乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

図７は、第２の閾値再設定の例を示すタイミングチャートである。図７の横軸には、時間が示されている。図７の縦軸には、瞼の開度が示されている。図７の実線は、ドライバの瞼の開度の時間的変化を示している。図７は、一例として、ドライバの乗換えがあったと判定される場合において、閉眼状態が半目の状態となる場合を示している。

図７において、時刻Ｔ_７は、閾値再設定部１３によりドライバの乗換えがあったと判定された時刻である。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

時刻Ｔ_８は、時刻Ｔ_７から時間ＴＭ_２（上述の取得時間）が経過した時刻である。瞼開度認識部１１は、時刻Ｔ_７から時刻Ｔ_８までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図７の例では、時刻Ｔ_７から時刻Ｔ_８までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ_１０が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ_１１が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ_１２が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ_１３が当該ドライバの瞼の開度の新たな最小値として認識される。

時刻Ｔ_８において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ_１２と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ_１３との間の開度となるように、開度閾値Ｔｈ_３を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、最大値（瞼の開度Ｅ_１２）と最小値（瞼の開度Ｅ_１３）との中間値を算出し、当該中間値を開度閾値Ｔｈ_３として再設定する。これにより、時刻Ｔ_８以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。

次に、閾値再設定部１３による第２の閾値再設定の動作及び処理について、図８を参照しつつ説明する。図８は、第２の閾値再設定の判定処理を示すフローチャートである。図８に示されるフローチャートの処理は、例えば、図４の処理の実行中において並行して実行される。

Ｓ４１において、ＥＣＵ１０は、閾値再設定部１３により、ドライバの乗換えの有無の判定を行う。閾値再設定部１３は、ドライバの乗換えがあったと判定した場合（Ｓ４１：ＹＥＳ）、Ｓ４２において、開度閾値の再設定を行う。Ｓ４２の開度閾値の再設定の処理として、具体的には、ＥＣＵ１０は、瞼開度認識部１１及び閾値再設定部１３により図６と同じ処理を行うことができる。閾値再設定部１３は、ドライバの乗換えがないと判定した場合（Ｓ４１：ＮＯ）、開度閾値の再設定を行わない。その後、ＥＣＵ１０は、図８の演算処理を終了する。

以上説明した乗員状態認識装置１００によれば、閾値再設定部１３は、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。これにより、例えば当該乗換え前のドライバと乗換え後のドライバとで瞼の開閉の程度に関する個人差が異なっていたとしても、当該乗換えに伴って開度閾値を再設定することで、眼状態判定部１２により開眼状態及び閉眼状態の判定を確実にすることが可能となる。

［変形例］
本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

上記実施形態では、図２，図３及び図７に示されるように、瞼の開度の最小値が開度閾値以下とならない場合（閉眼状態が半目の状態となる場合）について例示したが、図９に示されるように、瞼の開度の最大値が開度閾値以上とならない場合（開眼状態が半目の状態となる場合）にも、閾値再設定部１３は、開度閾値を再設定することができる。

図９は、第２の閾値再設定の例を示す他のタイミングチャートである。図９の横軸及び縦軸は、図７の横軸及び縦軸と同様である。図９は、一例として、ドライバの乗換えがあったと判定される場合において、開眼状態が半目の状態となる場合を示している。

図９において、時刻Ｔ_９は、閾値再設定部１３によりドライバの乗換えがあったと判定された時刻である。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。

時刻Ｔ_１０は、時刻Ｔ_９から時間ＴＭ_２（上述の取得時間）が経過した時刻である。瞼開度認識部１１は、時刻Ｔ_９から時刻Ｔ_１０までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図９の例では、時刻Ｔ_９から時刻Ｔ_１０までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ_１４が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ_１５が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ_１６が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ_１７が当該ドライバの瞼の開度の新たな最小値として認識される。

時刻Ｔ_１０において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ_１６と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ_１７との間の開度となるように、開度閾値Ｔｈ_４を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、最大値（瞼の開度Ｅ_１６）と最小値（瞼の開度Ｅ_１７）との中間値を算出し、当該中間値を開度閾値Ｔｈ_４として再設定する。これにより、時刻Ｔ_１０以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。

なお、閾値再設定部１３は、一定時間（例えば時間ＴＭ_１）において瞼の開度の最大値が開度閾値（例えば開度閾値Ｔｈ_０）以上とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定してもよい。

また、閾値再設定部１３は、一定の瞼開閉回数の間（例えば時間ＴＮ）において瞼の開度の最大値が開度閾値（例えば開度閾値Ｔｈ_０）以上とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定してもよい。ここでの瞼開閉回数は、例えば、瞼の開度が開度閾値Ｔｈ_０をよりも小さい開度のままで増加から減少に転じたタイミングで増加されてもよいし、瞼の開度が開度閾値Ｔｈ_０をよりも小さい開度のままで減少から増加に転じたタイミングで増加されてもよい。

したがって、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が開度閾値以上とならない場合（開眼状態が半目の状態となる場合）についても、閾値再設定部１３により、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定されることにより、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。

上記実施形態では、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出し、当該中間値を開度閾値として再設定したが、例えば、最大値又は最小値のいずれか一方のみを用いて開度閾値を再設定してもよい。例えば、閾値再設定部１３は、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が開度閾値以下とならない場合には、最小値のみを用いて、最小値に所定値を加算した瞼の開度を開度閾値として、最大値と最小値との間の開度となるように再設定してもよい。また、閾値再設定部１３は、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が開度閾値以上とならない場合には、最大値のみを用いて、最大値から所定値を減算した瞼の開度を開度閾値として、最大値と最小値との間の開度となるように再設定してもよい。

上記実施形態では、瞼開度認識部１１は、瞼の開度を認識するために、上瞼から下瞼までの３次元距離を瞼距離として算出したが、これに限定されない。例えば、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像上における上瞼から下瞼までの距離を瞼距離として算出してもよい。あるいは、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像における白目部分と黒目部分との面積比率を算出し、当該面積比率を瞼の開度として認識してもよい。

上記実施形態では、瞼の開度として、瞼開度認識部１１で算出した瞼距離と、瞼距離の最大値である最大瞼距離との割合を例示したが、瞼開度認識部１１で算出した瞼距離を、そのまま瞼の開度として用いてもよい。

上記実施形態では、報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、ドライバへ音声での報知を行ったが、例えばシート等を振動させることでドライバへの報知を行ってもよいし、必ずしもドライバへの報知を行わなくてもよい。報知制御部１５は、省略されてもよい。

上記実施形態の図３の例（閉眼状態が半目の状態となる場合）では、瞼開閉回数は、瞼の開度が開度閾値Ｔｈ_０よりも大きい開度のままで減少から増加に転じたタイミングで増加させたが、瞼の開度が開度閾値Ｔｈ_０よりも大きい開度のままで増加から減少に転じたタイミングで増加させてもよい。

上記実施形態では、時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である開眼時間を算出したが、閉眼状態となってから開眼状態となるまでの時間である閉眼時間を算出してもよい。

上記実施形態において、乗員状態認識装置１００は、第１の閾値再設定に加えて、第２の閾値再設定を実施可能であったが、第１の閾値再設定、及び、第２の閾値再設定のうちの少なくとも何れか一方を実施可能であればよい。

上記実施形態において、閾値再設定部１３は、開度閾値を一旦再設定した場合、所定の条件が成立するまでは、更なる開度閾値の再設定を禁止してもよい。所定の条件としては、例えば、閾値再設定部１３がドライバの乗換えがあったと判定した場合であってもよい。この場合、開度閾値の再設定が何度も行われることを回避することができる。

１…ドライバモニタカメラ、２…ＨＭＩ、１０…ＥＣＵ、１１…瞼開度認識部、１２…眼状態判定部、１３…閾値再設定部、１４…時間算出部、１５…報知制御部、１００…乗員状態認識装置、Ｖ…車両。

Claims (2)

1. 車両の運転席に着座するドライバの眼の開眼状態及び閉眼状態を判定することで乗員状態を認識する乗員状態認識装置であって、
   前記車両のドライバモニタカメラの撮像情報に基づいて、前記ドライバの瞼の開度と、当該ドライバの瞼の開度の最大値と、当該ドライバの瞼の開度の最小値と、を認識する瞼開度認識部と、
   前記瞼の開度が予め設定された閾値以上となる場合に前記開眼状態を判定すると共に、前記瞼の開度が前記閾値未満となる場合に前記閉眼状態を判定する眼状態判定部と、
   一定時間又は一定の瞼開閉回数の間において前記最大値が前記閾値以上とならない場合、あるいは、前記一定時間又は前記一定の瞼開閉回数の間において前記最小値が前記閾値以下とならない場合、前記瞼開度認識部により認識された当該ドライバの前記瞼の開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する閾値再設定部と、
   を備え、
   前記眼状態判定部は、前記閾値が前記閾値再設定部により再設定された場合、前記瞼開度認識部により認識された前記瞼の開度が再設定された前記閾値以上となる場合に前記開眼状態を判定すると共に、前記瞼の開度が再設定された前記閾値未満となる場合に前記閉眼状態を判定する、乗員状態認識装置。
2. 前記閾値再設定部は、
   前記ドライバの乗換えの有無を判定し、
   前記乗換えがあったと判定した場合、前記瞼開度認識部により認識された当該ドライバの瞼の前記開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する、請求項１に記載の乗員状態認識装置。

Images