JP6191517B2

JP6191517B2 - 検出装置、検出プログラム、及び検出方法

Info

Publication number: JP6191517B2
Application number: JP2014052179A
Authority: JP
Inventors: 将志里見
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-03-14
Filing date: 2014-03-14
Publication date: 2017-09-06
Anticipated expiration: 2034-03-14
Also published as: JP2015173810A; US20150262027A1

Description

本発明は、検出装置、検出プログラム、及び検出方法に関する。

従来、人の顔を撮影した顔画像を用いて、人の脈波を検出する検出装置（以下では、「脈波検出装置」と呼ぶことがある）が、提案されている。従来の脈波検出装置は、まず、人が撮像された複数の画像フレームを取得して、各画像フレーム内で顔の画像領域を特定する。そして、従来の脈波検出装置は、特定した顔画像領域内に特定の「枠」を設定する。この「枠」は、目及び口の画像は入らないように、設定される。また、「枠」の形状は、顔の横方向に長い矩形である。そして、従来の脈波検出装置は、設定した枠内の全画素の輝度の平均値を算出する。この輝度の平均値は、周波数成分（例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue））毎に算出される。そして、従来の脈波検出装置は、算出した輝度の平均値に基づいて、脈波を検出する。すなわち、算出した輝度の平均値の時間変動は脈波に対応するので、その時間変動を検出することにより、脈波を検出することができる。この脈波の検出には、主に、周波数成分Ｇが用いられる。また、周波数成分Ｒ及び周波数成分Ｂは、ノイズ成分の除去に用いられる。こうして検出された脈波に基づいて、人の心拍数を算出することができる。

特開２０１３−１０１４１９号公報特開２０１１−１３０９９６号公報

ところで、特に屋外で撮影が行われる場合、環境光によって、画像の輝度がフレーム間で大きく変化することがある。特に、車両等の移動手段に乗っている人の画像が用いられる場合、このような画像の輝度が大きく変化する可能性がある。このような環境光に起因した、画像の輝度の変化によって、脈波検出精度を低下させる可能性がある。

しかしながら、従来の脈波検出装置では、環境光に起因した脈波検出精度の低下を考慮していないため、脈波検出精度が低下する可能性がある。

開示の技術は、上記に鑑みてなされたものであって、脈波の検出精度を向上させることができる、検出装置、検出プログラム、及び検出方法を提供することを目的とする。

開示の態様では、脈波検出の対象物を撮像した複数の画像フレームのそれぞれの解析領域内の平均輝度に基づいて、脈波を検出する検出装置は、設定部と、算出部とを具備する。前記設定部は、各画像フレームに対して、複数のセグメントを含む解析領域候補を設定する。前記算出部は、前記設定部が対象フレームに設定した解析領域候補内の複数のセグメントのうちで、前記対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度を、前記対象フレームの解析領域内の平均輝度として算出する。

開示の態様によれば、脈波の検出精度を向上させることができる。

図１は、実施例１の脈波検出装置の一例を示すブロック図である。図２は、実施例１の算出部の一例を示すブロック図である。図３は、実施例１の脈波検出装置の処理動作例を示すフローチャートである。図４は、対象フレームの輝度平均の算出処理の説明に供する図である。図５は、脈波検出装置のハードウェア構成例を示す図である。

以下に、本願の開示する検出装置、検出プログラム、及び検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願の開示する検出装置、検出プログラム、及び検出方法が限定されるものではない。

［実施例１］
［脈波検出装置の構成例］
図１は、実施例１の脈波検出装置の一例を示すブロック図である。図１において、脈波検出装置１０は、取得部１１と、設定部１２と、輝度検出部１３と、平均輝度算出部１４と、脈波検出部１５と、心拍数算出部１６とを有する。脈波検出装置１０は、脈波検出の対象物を撮像した複数の画像フレームのそれぞれの「解析領域」内の平均輝度値に基づいて、脈波を検出する装置である。脈波検出装置１０は、例えば、車両及び携帯端末等に搭載されてもよい。

取得部１１は、撮像装置（図示せず）によって脈波検出の対象物を撮影した、複数の画像フレームを取得し、取得した複数の画像フレームを設定部１２へ出力する。脈波検出の対象物は、例えば、人である。

設定部１２は、取得部１１から受け取った各画像フレームに対して、「解析領域候補」を設定する。「解析領域候補」は、複数のセグメント（つまり、区域）を含む。例えば、「解析領域候補」として特定の枠が設定され、枠に囲まれた領域がｎ行ｍ列の格子状に分割されて、（ｎ×ｍ）個の分割領域が設定される。ｎ及びｍは、例えば、それぞれ２以上の自然数である。この分割領域が上記のセグメントに対応する。各セグメントは、１つの画素を含んでもよいし、複数の画素を含んでもよい。

ここで、設定部１２は、各画像フレーム内で顔の画像領域（以下では、「顔画像領域」と呼ぶことがある）を特定し、特定した顔画像領域で、且つ、目及び口の画像を含まない領域に、上記の「解析領域候補」を設定してもよい。これにより、脈波の検出精度を向上させることができる。

また、設定部１２は、「解析領域候補」を設定した各画像フレームを輝度検出部１３へ出力する。

輝度検出部１３は、設定部１２から、「解析領域候補」が設定された、複数の画像フレームを受け取る。そして、輝度検出部１３は、各画像フレームについて、「解析領域候補」内の各セグメントの輝度を検出する。そして、輝度検出部１３は、フレーム番号とセグメント番号（例えば、ｋ番目の行のｌ番目の列）と対応づけて検出輝度値を、平均輝度算出部１４へ出力する。ここで、輝度検出部１３は、周波数成分（例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue））毎に、輝度を検出する。

平均輝度算出部１４は、上記の複数の画像フレームのそれぞれを順次「対象フレーム」として、対象フレームの「解析領域」内の平均輝度値を算出する。例えば、平均輝度算出部１４は、対象フレームの解析領域候補内の複数のセグメントのうちで、対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度値を、対象フレームの解析領域内の平均輝度値として算出する。ここで、以下では、対象フレームのセグメントと輝度を比較する比較対象は、対象フレームより１つ前のフレームのセグメントとする。また、平均輝度値は、上記の周波数成分毎に算出される。

例えば、平均輝度算出部１４は、図２に示すように、判定部２１と、算出処理部２２とを有する。図２は、実施例１の算出部の一例を示すブロック図である。

判定部２１は、対象フレームの解析領域候補の各セグメントの輝度と、対象フレームの１つ前のフレームの対応セグメントの輝度との差分が、所定値以上であるか否かを判定する。

算出処理部２２は、判定部２１で所定値以上でないと判定されたセグメントの輝度を用いて、対象フレームの解析領域内の平均輝度値を算出する。これにより、環境光の影響を大きく受けていると考えられるセグメントを除いたセグメントの輝度を用いて輝度平均を求めることができる。こうして得られた平均輝度値を用いて脈波を検出することにより、脈波の検出精度を向上させることができる。

そして、算出処理部２２は、各画像フレームの解析領域について算出した平均輝度値を、フレーム番号と対応づけて出力する。出力された平均輝度値は、記憶部（図示せず）にフレーム番号と対応づけて記憶されてもよい。

脈波検出部１５は、算出処理部２２で算出された平均輝度値に基づいて、「脈波検出処理」を実行する。例えば、脈波検出部１５は、「脈波検出処理」において、周波数成分Ｇの平均輝度値の時間に対する変動を、脈波の波形として検出する。また、「脈波検出処理」は、周波数成分Ｒ及び周波数成分Ｂを用いたノイズ除去処理、及び、リサンプリング処理が行われてもよい。

心拍数算出部１６は、脈波検出部１５で検出された脈波の波形に基づいて、心拍数を算出し、算出した心拍数の値を出力する。

［脈波検出装置の動作例］
以上の構成を有する脈波検出装置の動作例について説明する。図３は、実施例１の脈波検出装置の処理動作例を示すフローチャートである。

取得部１１は、撮像装置（図示せず）によって脈波検出の対象物である人の顔を撮影した、複数の画像フレームを取得する（ステップＳ１０１）。

設定部１２は、取得部１１が取得した各画像フレームに対して、上記の「解析領域候補」を設定する（ステップＳ１０２）。

輝度検出部１３は、各画像フレームについて、「解析領域候補」内の各セグメントの輝度を検出する（ステップＳ１０３）。

平均輝度算出部１４は、上記の複数の画像フレームのそれぞれを順次「対象フレーム」として、対象フレームの「解析領域」内の平均輝度値を算出する（ステップＳ１０４）。例えば、平均輝度算出部１４は、対象フレームの解析領域候補内の複数のセグメントのうちで、対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度値を、対象フレームの解析領域内の平均輝度値として算出する。

図４は、対象フレームの輝度平均の算出処理の説明に供する図である。図４では、一例として、ｍ＝３，ｎ＝５の場合の解析領域候補が示されている。すなわち、ここでは、解析領域候補は、１５個のセグメントを含む。

対象フレームがフレームＳである場合、平均輝度算出部１４は、フレームＳに設定された解析領域候補Ｓのセグメント（ｋ，ｌ）の輝度値と、フレーム（Ｓ−１）に設定された解析領域候補（Ｓ−１）のセグメント（ｋ，ｌ）の輝度値とを比較する。そして、解析領域候補Ｓのセグメント（ｋ，ｌ）の輝度値が解析領域候補（Ｓ−１）のセグメント（ｋ，ｌ）の輝度値と所定レベル以上離れている場合、平均輝度算出部１４は、解析領域候補Ｓのセグメント（ｋ，ｌ）を、解析領域から除外する、つまり、解析領域に含めない。図４に示す例では、例えば、解析領域候補Ｓのセグメント（１，１）は、解析領域から除外されている。また、例えば、解析領域候補Ｓのセグメント（１，２）は、解析領域に含められている。図４では、解析領域から除外されたセグメントに「×」を付し、解析領域に含められたセグメントに「○」を付している。すなわち、図４に示すように、フレームＳでは、「○」が付されたセグメント群によって解析領域が形成されている。

図３の説明に戻り、脈波検出部１５は、ステップＳ１０４で算出された平均輝度値に基づいて、「脈波検出処理」を実行する（ステップＳ１０５）。例えば、脈波検出部１５は、「脈波検出処理」において、周波数成分Ｇの平均輝度値の時間に対する変動を、脈波の波形として検出する。また、「脈波検出処理」では、周波数成分Ｒ及び周波数成分Ｂを用いたノイズ除去処理、及び、リサンプリング処理が行われてもよい。

心拍数算出部１６は、ステップＳ１０５で検出された脈波の波形に基づいて、心拍数を算出する（ステップＳ１０６）。

以上のように本実施例によれば、脈波検出装置１０において、設定部１２は、取得部１１から受け取った各画像フレームに対して、「解析領域候補」を設定する。「解析領域候補」は、複数のセグメント（つまり、区域）を含む。そして、平均輝度算出部１４は、複数の画像フレームのそれぞれを順次「対象フレーム」として、対象フレームの「解析領域」内の平均輝度値を算出する。具体的には、平均輝度算出部１４は、対象フレームの解析領域候補内の複数のセグメントのうちで、対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度値を、対象フレームの解析領域内の平均輝度値として算出する。

例えば、平均輝度算出部１４において、判定部２１は、対象フレームの解析領域候補の各セグメントの輝度と、対象フレームの１つ前のフレームの対応セグメントの輝度との差分が、所定値以上であるか否かを判定する。そして、算出処理部２２は、判定部２１で所定値以上でないと判定されたセグメントの輝度を用いて、対象フレームの解析領域内の平均輝度値を算出する。

この脈波検出装置１０の構成により、解析領域候補のすべてのセグメントを常に解析領域に含めるのではなく、例えば環境光の影響を受けていると推定されるセグメントを解析領域から除外することができる。こうして得られた解析領域の平均輝度値を用いて脈波検出を行うことができるので、検出精度を向上させることができる。

［他の実施例］
［１］実施例１では、対象フレームのセグメントと輝度を比較する比較対象を、対象フレームより１つ前のフレームのセグメントとしたが、これに限定されるものではない。例えば、対象フレームのセグメントと輝度を比較する比較対象を、対象フレームよりＮ（Ｎは、２以上の自然数）個前までのフレームのセグメントとしてもよい。この場合、例えば、対象フレームのセグメントの輝度値が、Ｎ個のどのフレームの対象セグメントの輝度値と比べても、一定レベルの差の中に収まる時に、その対象フレームのセグメントを解析領域に含めてもよい。

［２］実施例１の脈波検出装置１０は、例えば、自動車に搭載することができる。この場合、各自動車のドライバの顔を撮影した位置情報と顔画像から求めた心拍数とを対応づけて記憶する。この記憶した情報を検出装置が解析することにより、ドライバの心拍数が高くなる場所、つまり危険の多い場所を特定することができる。

［３］実施例１で図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

更に、各装置で行われる各種処理機能は、ＣＰＵ（Central Processing Unit）（又はＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部又は任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよい。

実施例１の脈波検出装置は、次のようなハードウェア構成により実現することができる。

図５は、脈波検出装置のハードウェア構成例を示す図である。図５に示すように、脈波検出装置１００は、カメラモジュール１０１と、カメラＤＳＰ（Digital Signal Processor）１０２と、プロセッサ１０３と、メモリ１０４と、表示装置１０５とを有する。プロセッサ１０３の一例としては、ＣＰＵ、ＤＳＰ、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。また、メモリ１０４の一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。

そして、実施例１の脈波検出装置で行われる各種処理機能は、不揮発性記憶媒体などの各種メモリに格納されたプログラムをプロセッサで実行することによって実現してもよい。

すなわち、取得部１１と、設定部１２と、輝度検出部１３と、平均輝度算出部１４と、脈波検出部１５と、心拍数算出部１６とによって実行される各処理に対応するプログラムがメモリ１０４に記録され、各プログラムがプロセッサ１０３で実行されてもよい。

１０脈波検出装置
１１取得部
１２設定部
１３輝度検出部
１４平均輝度算出部
１５脈波検出部
１６心拍数算出部
２１判定部
２２算出処理部

Claims

脈波検出の対象物を撮像した複数の画像フレームのそれぞれの解析領域内の平均輝度に基づいて、脈波を検出する検出装置であって、
各画像フレームに対して、複数のセグメントを含む解析領域候補を設定する設定部と、
前記設定部が対象フレームに設定した解析領域候補内の複数のセグメントのうちで、前記対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度を、前記対象フレームの解析領域内の平均輝度として算出する算出部と、
を具備することを特徴とする検出装置。
前記算出部は、
前記設定部が対象フレームに設定した解析領域候補の各セグメントの輝度と、前記各セグメントに対応する前記対応セグメントの輝度との差分が、所定値以上であるか否かを判定する判定部と、
前記所定値以上でないと判定されたセグメントの輝度を用いて、前記対象フレームの解析領域内の平均輝度を算出する算出処理部と、
を具備することを特徴とする請求項１に記載の検出装置。
脈波検出の対象物を撮像した複数の画像フレームのそれぞれの解析領域内の平均輝度に基づいて、脈波を検出する検出装置に、
各画像フレームに対して、複数のセグメントを含む解析領域候補を設定し、
前記複数の画像フレームのうちの対象フレームに対して設定した解析領域候補内の複数のセグメントのうちで、前記対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度を、前記解析領域内の平均輝度として算出する、
処理を、実行させることを特徴とする検出プログラム。
脈波検出の対象物を撮像した複数の画像フレームのそれぞれの解析領域内の平均輝度に基づいて、脈波を検出する検出方法であって、
各画像フレームに対して、複数のセグメントを含む解析領域候補を設定し、
前記複数の画像フレームのうちの対象フレームに設定した解析領域候補内の複数のセグメントのうちで、前記対象フレームの前のフレームの対応セグメントとの輝度差が所定レベル以上であるセグメントを除いた、セグメント群の平均輝度を、前記解析領域内の平均輝度として算出する、
ことを特徴とする検出方法。