JP7137746B2

JP7137746B2 - 映像処理装置、映像処理方法および映像処理プログラム

Info

Publication number: JP7137746B2
Application number: JP2019014444A
Authority: JP
Inventors: 久小磯
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2019-01-30
Filing date: 2019-01-30
Publication date: 2022-09-15
Anticipated expiration: 2039-01-30
Also published as: EP3920525A4; EP3920525B1; CN113287298B; CN113287298A; JP2020123829A; US12125316B2; EP3920525A1; WO2020158413A1; US20210357619A1

Description

本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。

例えば車両に搭載されるドライブレコーダ等では、車両の外部や車室内を撮影して得られる映像を記憶装置に記憶する。車室内を撮影する場合、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。

例えば特許文献１には、赤外光が照射された被写体を撮影して得られた画像を画像処理する画像処理装置が開示されている。画像処理装置の制御マイコンは、顔検出部を制御して画像において被写体の顔領域を検出し、当該顔領域から虹彩部分を検出する。制御マイコンは、輝度変化部を制御して虹彩部分における輝度を予め定められた輝度に下げる虹彩補正処理を行う。画像処理装置は、暗所において赤外光を照射して人物などの被写体を撮影した際に、虹彩補正処理によって、顔の印象に違和感が生じない画像を得る。

特開２０１４－０４９８６３号公報

特許文献１に記載の従来の画像処理装置は、高輝度で撮影された虹彩部分の輝度を下げることによって顔の印象に違和感が生じない画像を得るが、例えば顔画像をもとに目開閉度等の被写体の状態を分析することを考慮するものではなかった。例えば画像処理装置によって目の輪郭などを検出して目開閉度等の目の部分について分析するためには、撮影した画像における虹彩部分だけでなく、まぶたなどを含めた輝度調整が必要となる。

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、目の部分に関する分析に適した輝度調整を行うことができる映像処理装置、映像処理方法および映像処理プログラムを提供することにある。

本発明のある態様の映像処理装置は、被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識部と、前記映像認識部により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得部と、前記輝度値取得部により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整部と、を備える。

また本発明の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、を備える。

本発明によれば、目の部分に関する分析に適した輝度調整を行うことができる。

実施形態１に係る映像処理装置を含むドライバーモニターの構成を示すブロック図である。図２（ａ）は目が開いている状態での輝度値の取得を説明するための模式図であり、図２（ｂ）は目が閉じている状態での輝度値の取得を説明するための模式図である。図３（ａ）は可視光カメラで撮影したときの目を示す模式図であり、図３（ｂ）は近赤外線カメラで撮影したときの目を示す模式図である。図４（ａ）および図４（ｂ）は、カメラに対する目の角度や光の状況が異なる場面で撮影したときの目を示す模式図である。映像処理装置における輝度調整処理の手順を示すフローチャートである。図６（ａ）は眼鏡の反射によって輝度値が高い部分が生じる例を示す模式図であり、図６（ｂ）は角膜反射によって輝度値が高い部分が生じる例を示す模式図である。コントラスト調整について説明するための模式図である。

以下、本発明を好適な実施の形態をもとに図１から図７を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

（実施形態１）
図１は、実施形態１に係る映像処理装置３０を含むドライバーモニター１００の構成を示すブロック図である。ドライバーモニター１００は、車両に搭載され、車両の車室内を時間的に連続して撮影する。ドライバーモニター１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。ドライバーモニター１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。ドライバーモニター１００の映像処理装置３０は、例えば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔から目を認識する。

映像処理装置３０は、まぶた部分および虹彩部分について輝度値を取得し、各輝度値を調整する。赤外光を照射した被撮像体の顔では、虹彩部分の輝度値が高くなることがあり、一般的に高輝度で撮影されるまぶた部分と虹彩部分とのコントラストが低下する。映像処理装置３０は、まぶた部分と虹彩部分の輝度値に応じて、コントラストを上げるように輝度調整する。

映像処理装置３０によって輝度が調整された映像は、例えば左右の目の輪郭が判別し易くなり、目の開閉度や、左右の目の傾きなど目部分に関する分析に適したものとなり、目およびまぶたの境界などの識別が良好となる。本実施形態では、目部分に関する分析機能に関して記載を省略するが、映像処理装置３０において、目の開閉度や、左右の目の傾きなど目部分に関する分析機能を設けてもよい。また映像処理装置３０によって蓄積または出力される映像に基づいて、外部装置において目部分に関して分析してもよい。尚、目の開閉度や左右の目の傾きなど目部分に関する分析機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張状態など）の判定などに用いられる。

ドライバーモニター１００は、撮像部１０、記録部２０、映像処理装置３０、外部入力部４０および外部出力部４１等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮影する。撮像部１０は、夜間の暗い時でも運転者等の被撮像体が撮影できるように、適宜、赤外光を被撮像体に照射するものとする。撮像部１０は、時間的に連続して映像を取得し、後述する映像処理装置３０の映像取得部３１へ送出する。

記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、ドライバーモニター１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、ドライバーモニター１００に着脱可能とすることで、ドライバーモニター１００から取り外し、別のＰＣ等で映像を再生等することができる。

外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、映像処理装置３０によって処理された映像情報等を外部装置へ出力する。ドライバーモニター１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録または外部へ出力するようにしてもよい。

映像処理装置３０は、映像取得部３１、映像認識部３２、輝度値取得部３３、輝度差算出部３４および輝度調整部３５を有する。映像処理装置３０は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理装置３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。

映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。

映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１から入力された映像から被撮像体の顔や目を認識する。記憶部３０ａに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や目等を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を認識することができる。

輝度値取得部３３は、目の虹彩部分の輝度値Ｘおよびまぶた部分の輝度値Ｙを取得する。図２（ａ）は目が開いている状態での輝度値の取得を説明するための模式図であり、図２（ｂ）は目が閉じている状態での輝度値の取得を説明するための模式図である。輝度値取得部３３は、図２（ａ）および図２（ｂ）に長方形で示した枠内において、虹彩部分およびまぶた部分における輝度値を取得する。輝度値取得部３３は、例えば枠内における輝度平均値を算出し、輝度値として取得することで、局所的な輝度値による輝度調整の変動を抑制する。輝度値取得部３３は、取得した輝度値を輝度差算出部３４および輝度調整部３５へ出力する。

図２（ａ）に示す目が開いている状態では、まぶた部分および虹彩部分の枠内に、それぞれまぶたおよび虹彩が存在し、各枠内でそれぞれまぶた部分および虹彩部分の輝度値が取得される。一方、図２（ｂ）に示す目が閉じている状態では、まぶた部分および虹彩部分の枠内にまぶたが存在することになり、各枠内でまぶた部分の輝度値が取得される。

輝度差算出部３４は、輝度値取得部３３から入力された輝度値の差を求め、輝度差ΔＢ（ΔＢ＝Ｙ－Ｘ）を算出する。例えば図２（ａ）に示す目が開いている状態での輝度差は、図２（ｂ）に示す目が閉じている状態での輝度差よりも大きくなる。図２（ｂ）に示す目が閉じている状態において、輝度値を算出する枠の位置が虹彩部分とまぶた部分とで異なるので、各部分において算出される輝度値は、やや異なる可能性があるものの近い値となり、輝度差も小さい値となることが想定される。

［目の開閉判別］
輝度調整部３５は、虹彩部分およびまぶた部分における輝度値が所望の値となるように映像取得部３１で取得した映像を輝度調整するが、まず目が開いているか閉じているかについて判別する。目の開閉判別では、所定の輝度差閾値ΔＢｓと、輝度差算出部３４により算出した輝度差ΔＢとを比較判定する。虹彩部分およびまぶた部分の輝度値を０～２５５の階調としている場合、輝度差閾値ΔＢｓは、例えば２０程度に設定するが、輝度差閾値ΔＢｓの設定値はこれに限られるものではない。輝度調整部３５は、輝度差ΔＢが輝度差閾値ΔＢｓ以上である場合に目が開いていると判定し、輝度差ΔＢが輝度差閾値ΔＢｓ未満である場合に目が閉じていると判定する。

輝度調整部３５は、目が閉じていると判定した場合には、まぶた部分の輝度値Ｙがまぶた輝度基準値Ｌｓとなるように、虹彩部分およびまぶた部分の輝度を調整する。ここで、まぶた輝度基準値Ｌｓは、撮像部１０自体の明るさ設定にもよるが、例えば輝度範囲０～２５５の範囲において２００の値などに設定する。輝度基準値Ｌｓの設定値は、これに限られるものではなく、また撮影環境における明るさなどによって変更されてもよい。

［虹彩輝度上限閾値への調整］
輝度調整部３５は、目が開いていると判定した場合には、虹彩部分の輝度値が虹彩輝度上限閾値Ｒ１以下となるように、調整量を算出し、虹彩部分およびまぶた部分の輝度を調整する。ここで、虹彩輝度上限閾値Ｒ１は、例えば、輝度範囲０～２５５の範囲において、５０程度に設定するが、虹彩輝度上限閾値Ｒ１の設定値はこれに限られるものではない。

図３（ａ）は可視光カメラで撮影したときの目を示す模式図であり、図３（ｂ）は近赤外線カメラで撮影したときの目を示す模式図である。図３（ｂ）に示す近赤外線カメラで撮影した映像は、図３（ａ）に示す可視光カメラで撮影したときの映像に比べて、虹彩部分の輝度値がやや高く、白目の部分との輝度差が少なくなっている。例えば、夜間の暗い状況において、車両の運転者に赤外光を当てて撮影した場合には、図３（ｂ）のような映像となり、虹彩部分とまぶた部分との輝度差が小さくなり、これらの部分に対する輝度調整が必要となる。

やや高めの輝度値となっている虹彩部分が、虹彩輝度上限閾値Ｒ１以下となるように、虹彩部分およびまぶた部分の輝度を調整する。ここで、輝度値取得部３３により取得された虹彩部分の輝度値をＸ０、まぶた部分の輝度値をＹ０とする。輝度調整部３５は、調整量Δ１（Δ１＝Ｘ０－Ｒ１）を算出し、輝度調整後の虹彩部分の輝度値Ｘ１、まぶた部分の輝度値Ｙ１は、次式のようになる。
Ｘ１＝Ｘ０－Δ１（＝Ｒ１）・・・（１）
Ｙ１＝Ｙ０－Δ１・・・（２）

輝度調整部３５は、まぶた部分の輝度値Ｙ１がまぶた輝度下限閾値Ｌ１以上であれば、映像取得部３１により取得された画像が調整量Δ１で輝度調整されて終了する。ここで、まぶた輝度下限閾値Ｌ１は、例えば、輝度範囲０～２５５の範囲において、１５０程度に設定するが、まぶた輝度下限閾値Ｌ１の設定値はこれに限られるものではない。

［まぶた輝度下限閾値との調整］
図４（ａ）および図４（ｂ）は、カメラに対する目の角度や光の状況が異なる場面で撮影したときの目を示す模式図である。図４（ａ）は被撮像体を正面から、図４（ｂ）は被撮像体を斜め前から撮影した場面を表している。図４（ｂ）における虹彩部分の輝度値は、図４（ａ）における虹彩部分の輝度値よりも高く、虹彩部分とまぶた部分との輝度差が小さくなっている。

虹彩部分とまぶた部分との輝度差が小さい場合、上述の式（１）および式（２）に基づく輝度調整をすると、輝度調整後のまぶた部分の輝度値Ｙ１（＝Ｙ０－Δ１）が下がり過ぎて、まぶた輝度下限閾値Ｌ１を下回る。輝度調整部３５は、輝度値が下がり過ぎて映像が暗くなることを緩和するために、まぶた輝度下限閾値Ｌ１側へ輝度を上げるべく、輝度調整を行う。輝度調整部３５は、調整量Δ１に代えて、調整量Δ２（Δ２＜Δ１）を採用し、次式によって輝度調整する。
Ｘ１＝Ｘ０－Δ２・・・（３）
Ｙ１＝Ｙ０－Δ２・・・（４）
このとき、輝度調整後の虹彩部分の輝度値Ｘ１は虹彩輝度上限閾値Ｒ１より大きく、まぶた部分の輝度値Ｙ１はまぶた輝度下限閾値Ｌ１より小さくなる。

調整量Δ２は、例えば、輝度調整後の輝度値Ｘ１および虹彩輝度上限閾値Ｒ１の差分と、輝度値Ｙ１およびまぶた輝度下限閾値Ｌ１の差分とが同等となるようにするとよい。このとき、次の関係式が得られる。
Ｘ１－Ｒ１＝Ｌ１－Ｙ１・・・（５）

式（３）～式（５）をΔ２について解いて次式を得る。
Δ２＝｛（Ｘ０＋Ｙ０）－（Ｒ１＋Ｌ１）｝／２・・・（６）
輝度調整部３５は、式（６）で得られる調整量Δ２を用いると、輝度値Ｘ１および虹彩輝度上限閾値Ｒ１の差分、並びに輝度値Ｙ１およびまぶた輝度下限閾値Ｌ１の差分が同等となり、いずれの差分も最小となる輝度調整をすることになる。

次に映像処理装置３０の動作について、輝度調整処理に基づいて説明する。図５は、映像処理装置３０における輝度調整処理の手順を示すフローチャートである。映像処理装置３０の輝度値取得部３３は、虹彩部分の輝度値Ｘ０およびまぶた部分の輝度値Ｙ０を取得する（Ｓ１）。輝度差算出部３４は、輝度値Ｘ０と輝度値Ｙ０との輝度差ΔＢを算出する（Ｓ２）。

輝度調整部３５は、輝度差ΔＢと輝度差閾値ΔＢｓとを比較判定し（Ｓ３）、ΔＢがΔＢｓ未満である場合（Ｓ３：ＮＯ）、目が閉じていると判断し、まぶた部分の輝度値がまぶた輝度基準値Ｌｓとなるように映像を輝度調整し（Ｓ４）、処理を終了する。例えば、輝度差閾値ΔＢｓが２０と設定されており、取得された虹彩部分の輝度値Ｘ０が１９５、まぶた部分の輝度値Ｙ０が２１０であったとき、輝度差ΔＢが１５となり、輝度調整部３５は、ステップＳ４の処理を実行することになる。

ステップＳ３において輝度差ΔＢが輝度差閾値ΔＢｓ以上であった場合（Ｓ３：ＹＥＳ）、輝度調整部３５は、調整量Δ１（Δ１＝Ｘ０－Ｒ１）を算出する（Ｓ５）。輝度調整部３５は、調整量Δ１によってまぶた部分の輝度値が下がり過ぎないかどうかを、まぶた輝度下限閾値Ｌ１からの輝度低下閾値ΔＢ１を用いて判別する。即ち、調整後のまぶた部分の輝度値が、Ｌ１－ΔＢ１以上であれば輝度値が下がり過ぎておらず、Ｌ１－ΔＢ１未満であれば輝度値が下がり過ぎていると判別する。輝度調整部３５は、調整後の輝度値となるＹ０－Δ１が、Ｌ１－ΔＢ１以上かを判定し（Ｓ６）、Ｌ１－ΔＢ１以上である場合（Ｓ６：ＹＥＳ）、調整量Δ１により、映像を輝度調整して（Ｓ７）、処理を終了する。

例えば、虹彩輝度上限閾値Ｒ１が５０、まぶた輝度下限閾値Ｌ１が１５０、輝度低下閾値ΔＢ１が２０と設定されており、取得された虹彩部分の輝度値Ｘ０が１２０、まぶた部分の輝度値Ｙ０が２１０である例を考える。調整量Δ１は、Ｘ０－Ｒ１＝７０となり、Ｙ０－Δ１は１４０、Ｌ１－ΔＢ１は１３０となる。調整量Δ１による調整後のまぶた部分の輝度値は１４０となり、まぶた輝度下限閾値Ｌ１を下回るが、まぶた輝度下限閾値Ｌ１の輝度低下閾値ΔＢ１以内に納まっており、ステップＳ７により、調整量Δ１を用いて映像を輝度調整する。

輝度調整部３５は、Ｙ０－Δ１がＬ１－ΔＢ１未満である場合（Ｓ６：ＮＯ）、調整量Δ２を上述の式（６）により算出する（Ｓ８）。輝度調整部３５は、算出した調整量Δ２を用いて映像を輝度調整し（Ｓ９）、処理を終了する。

例えば、上述の例で、取得された虹彩部分の輝度値Ｘ０が１４０、まぶた部分の輝度値Ｙ０が２１０であった場合を考える。調整量Δ１はＸ０－Ｒ１＝９０となり、Ｙ０－Δ１は１２０、Ｌ１－ΔＢ１は１３０となり、ステップＳ６での判定はＮＯとなって、ステップＳ８で調整量Δ２が算出される。輝度調整部３５は、式（６）によって調整量Δ２を７５と算出し、算出した調整量Δ２を用いて映像を輝度調整する。

映像処理装置３０の輝度調整部３５は、虹彩部分およびまぶた部分の輝度値がそれぞれ、虹彩輝度上限閾値Ｒ１およびまぶた輝度下限閾値Ｌ１に近づくように輝度を調整する。即ち、輝度調整部３５は、上述の調整量Δ２を用いることによって、まぶた部分の輝度値が下がり過ぎないように輝度調整する。これにより、映像処理装置３０は、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整をすることで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。例えば目の部分に関する分析では、まぶた部分および虹彩間の輪郭を画像認識し、該輪郭に基づいて目開閉度等が算出される。

また、輝度調整部３５は、虹彩部分の輝度値および虹彩輝度上限閾値Ｒ１の差分、並びにまぶた部分の輝度値およびまぶた輝度下限閾値Ｌ１の差分のいずれもが、最小化するように輝度調整する。輝度調整部３５は、例えば上述の式（６）に基づき調整量Δ２を算出し、虹彩部分およびまぶた部分の輝度値がそれぞれの閾値により近づき、バランスの良い輝度調整を行うことができる。

（実施形態２）
映像取得部３１によって取得された映像において、虹彩部分およびまぶた部分に周辺よりも輝度値が高い部分が生じることがあり、実施形態２に係る映像処理装置３０は、輝度値が所定の閾値以上で周辺より高い部分を除いて輝度値を取得する。図６（ａ）は眼鏡の反射によって輝度値が高い部分が生じる例を示す模式図であり、図６（ｂ）は角膜反射によって輝度値が高い部分が生じる例を示す模式図である。

図６（ａ）に示す例では、輝度値取得部３３において虹彩部分の輝度平均値を算出すると、光の反射部分の輝度が極端に高いため、誤差が生じる。輝度値取得部３３は、所定の閾値以上に高く、周囲に対して極端に輝度値が高い部分を除いて虹彩部分の輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。

図６（ｂ）に示す角膜反射は、例えば近赤外線カメラを撮像部１０として用い、近赤外線ＬＥＤから照射して撮影したときに、角膜に光が反射して輝度が極端に高くなるなどして、発生する。この例においても、輝度値取得部３３において虹彩部分の輝度平均値を算出すると、光の反射部分の輝度が極端に高いため、誤差が生じる。輝度値取得部３３は、所定の閾値以上に高く、周囲に対して極端に輝度値が高い部分を除いて虹彩部分の輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。また輝度値取得部３３は、例えば、映像内において輝度値の算出対象となる画素を輝度の高い順に並べ、輝度の低い半分程度の画素について輝度平均値を算出し、虹彩部分の輝度値とすることで、輝度値の誤差を低減することができる。

（実施形態３）
上述の実施形態１において、輝度調整部３５は、調整量Δ２によって映像を輝度調整したが、更に虹彩部分およびまぶた部分のコントラストを上げるように輝度調整してもよい。図７はコントラスト調整について説明するための模式図である。輝度調整部３５は、調整量Δ２による映像の輝度調整後、コントラストを上げる輝度調整を行う。

例えば、上述の取得された虹彩部分の輝度値Ｘ０が１４０、まぶた部分の輝度値Ｙ０が２１０であった場合を考える。虹彩輝度上限閾値Ｒ１は５０、まぶた輝度下限閾値Ｌ１は１５０、輝度低下閾値ΔＢ１が２０と設定されている。上述のとおり、輝度調整部３５は、調整量Δ２を７５として算出し、算出した調整量Δ２を用いて映像の輝度調整を行う。この結果、映像において、輝度調整後の虹彩部分の輝度値は６５に、まぶた部分の輝度値は１３５に調整される。元の虹彩部分の輝度値Ｘ０と、まぶた部分の輝度値Ｙ０との差が更に小さいと、輝度調整後の虹彩部分の輝度値はより高く、まぶた部分の輝度値はより低くなる。

輝度調整部３５は、調整量Δ２による輝度調整の後、更に、虹彩部分の輝度値とまぶた部分の輝度値との中間値を中心にコントラストを上げる処理を行う。上述の例では、虹彩部分の輝度値６５およびまぶた部分の輝度値１３５の中間値である輝度値１００を中心にコントラストを上げる。輝度調整部３５は、コントラストを上げることによって、虹彩部分の輝度値を虹彩輝度上限閾値Ｒ１に、まぶた部分の輝度値をまぶた輝度下限閾値Ｌ１に更に近づけることができ、虹彩部分とまぶた部分の識別が容易にできるようになる。また、輝度調整部３５は、コントラストを上げることで、輝度調整後の映像におけるまぶた部分の黒つぶれや虹彩部分の白とびを抑制することができる。

次に、上述の各実施形態に係る映像処理装置３０、映像処理方法および映像処理プログラムの特徴を説明する。
実施形態に係る映像処理装置３０は、映像取得部３１、映像認識部３２、輝度値取得部３３および輝度調整部３５を備える。映像取得部３１は、被撮像体の顔を撮影した映像を取得する。映像認識部３２は、映像取得部３１によって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得部３３は、映像認識部３２により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整部３５は、輝度値取得部３３により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。これにより、映像処理装置３０は、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。

また輝度調整部３５は、虹彩部分の輝度値および虹彩輝度上限閾値Ｒ１の差分、並びにまぶた部分の輝度値およびまぶた輝度下限閾値Ｌ１の差分が同等となるように輝度調整する。これにより、映像処理装置３０は、虹彩部分およびまぶた部分の輝度値がそれぞれの閾値により近づき、バランスの良い輝度調整を行うことができる。

また輝度値取得部３３は、虹彩部分およびまぶた部分において平均化された輝度値を取得する。これにより、映像処理装置３０は、局所的な輝度値によって輝度調整が変動することを抑制する。

また輝度値取得部３３は、虹彩部分およびまぶた部分の少なくともいずれかにおいて、輝度値が所定の閾値以上に高い部分を除いて輝度値を取得する。これにより、映像処理装置３０は、各種の反射などで生じる極端に高輝度な部分を除いて輝度値を取得することができる。

また輝度調整部３５は、更に虹彩部分およびまぶた部分における輝度値のコントラストを上げる。これにより、映像処理装置３０は、虹彩部分の輝度値を虹彩輝度上限閾値Ｒ１に、まぶた部分の輝度値をまぶた輝度下限閾値Ｌ１に更に近づけることができ、虹彩部分とまぶた部分の識別が容易になる。

実施形態に係る映像処理方法は、映像取得ステップ、映像認識ステップ、輝度値取得ステップおよび輝度調整ステップを備える。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得ステップは、映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整ステップは、輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。この映像処理方法によれば、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。

実施形態に係る映像処理プログラムは、映像取得ステップ、映像認識ステップ、輝度値取得ステップおよび輝度調整ステップをコンピュータに実行させる。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から虹彩部分とまぶた部分を認識する。輝度値取得ステップは、映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する。輝度調整ステップは、輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値Ｒ１、およびまぶた部分における所定のまぶた輝度下限閾値Ｌ１に近づくように、映像の輝度値を調整する。この映像処理プログラムによれば、虹彩部分だけでなく、周辺のまぶた部分を含めた輝度調整を行うことで、虹彩を含む目の部分と周辺のまぶた部分との識別性の低下を抑制し、目の部分に関する分析に適した輝度調整を行うことができる。

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

３０映像処理装置、３１映像取得部、３２映像認識部、
３３輝度値取得部、３５輝度調整部。

Claims

被撮像体の顔を撮影した映像を取得する映像取得部と、
前記映像取得部によって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識部と、
前記映像認識部により認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得部と、
前記輝度値取得部により取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整部と、
を備えることを特徴とする映像処理装置。
前記輝度調整部は、虹彩部分の輝度値および前記虹彩輝度上限閾値の差分、並びにまぶた部分の輝度値および前記まぶた輝度下限閾値の差分が同等となるように輝度調整することを特徴とする請求項１に記載の映像処理装置。
前記輝度値取得部は、虹彩部分およびまぶた部分において平均化された輝度値を取得することを特徴とする請求項１または２に記載の映像処理装置。
前記輝度値取得部は、虹彩部分およびまぶた部分の少なくともいずれかにおいて、輝度値が所定の閾値以上に高い部分を除いて輝度値を取得することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
前記輝度調整部は、更に虹彩部分およびまぶた部分における輝度値のコントラストを上げることを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、
前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、
前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、
を備えることを特徴とする映像処理方法。
被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から虹彩部分とまぶた部分を認識する映像認識ステップと、
前記映像認識ステップにより認識された虹彩部分およびまぶた部分におけるそれぞれの輝度値を取得する輝度値取得ステップと、
前記輝度値取得ステップにより取得された虹彩部分およびまぶた部分における輝度値がそれぞれ、虹彩部分における所定の虹彩輝度上限閾値、およびまぶた部分における所定のまぶた輝度下限閾値に近づくように、前記映像の輝度値を調整する輝度調整ステップと、
をコンピュータに実行させることを特徴とする映像処理プログラム。