JP7777010B2 - 測定装置、呼吸数測定方法及びプログラム - Google Patents

Description

本開示は、測定装置、呼吸数測定方法及びプログラムに関する。

特許文献１は、撮影された被測定者の動画像から呼吸とみなせる周期の振動を検出することによって被測定者の呼吸数を測定する技術を開示する。

特開２０１４－１７１５７４号公報

店舗やイベント会場等で、呼吸数を測定することで健康状態を検査するスクリーニング検査を行うときには、各人の呼吸数を測定するための測定時間が短い程、効率的に大人数の呼吸数を測定することが可能になる。

特許文献１に開示された技術では、撮影された被測定者の動画像から呼吸とみなせる周期の振動を検出するために、測定範囲の最小呼吸数に応じてパワースペクトルを算出するための時間窓を変更する必要がある。さらに、特許文献１に開示された技術では、測定範囲の最小呼吸数が少ない程、パワースペクトルを算出するための時間窓を大きく設定する。その結果、特許文献１に開示された技術では、測定範囲の最小呼吸数が少ない程、呼吸数を測定するために長い測定時間を要するおそれがある。また、特許文献１に開示された技術では、動画像に含まれるノイズの影響によって誤った呼吸数を算出するおそれがある。そこで、本開示の一態様は、測定時間を抑制しつつ、信頼性を保証して呼吸数を出力できる測定装置、呼吸数測定方法及びプログラムを提供することを目的とする。

本開示の一態様に係る測定装置は、生体を撮像して動画像を取得する撮像部と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する呼吸数算出部と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する信頼度算出部と、前記信頼度が閾値以上である場合、前記呼吸数を出力する出力部とを備える。

本開示の一態様に係る呼吸数測定方法は、生体を撮像して動画像を取得する工程と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する工程と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する工程と、前記信頼度が閾値以上である場合、前記呼吸数を出力する工程とを含む。

本開示の一態様に係るプログラムは、コンピュータに、生体を撮像して動画像を取得する機能と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する機能と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する機能と、前記信頼度が閾値以上である場合、前記呼吸数を出力する機能とを実行させる。

測定装置の使用態様の一例を示す図である。 第一実施形態に係る測定装置の構成の一例を示すブロック図である。 第一実施形態に係る測定装置の動作の一例を示すフローチャートである。 動画像を構成する画像の一例を示す。 移動速度の時間変化を示す時系列信号の一例を示すグラフである。 図５Ａに例示する時系列信号についての自己相関値の時間変化の一例を示すグラフである。 移動速度の時間変化を示す時系列信号についての自己相関値の時間変化の一例を示すグラフである。 図６Ａに例示する時系列信号のパワースペクトルの一例を示すグラフである。 図３に続く第一実施形態に係る測定装置の動作の一例を示すフローチャートである。 互いに異なる測定時間、生体が撮像されて取得された動画像から生成された時系列信号と、パワースペクトルとの一例を示す図である。 第二実施形態に係る測定装置の構成の一例を示すブロック図である。 第二実施形態に係る測定装置の動作の一例を示すフローチャートである。 第三実施形態に係る測定装置の構成の一例を示すブロック図である。 第三実施形態に係る測定装置の動作の一例を示すフローチャートである。 複数の顔の像を含む画像の一例を示す図である。

（第一実施形態）
図１～図８を参照して、第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

図１は、本実施形態に係る測定装置１００の使用態様の一例を示す図である。測定装置１００は、撮像部１０１を備える。測定装置１００は、撮像部１０１によって取得された画像から呼吸数を算出する。例えば、測定装置１００は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、呼吸数測定専用端末等である。

撮像部１０１は、生体１０２を撮像して動画像２１１（図２参照）を取得する。動画像２１１は、生体１０２の顔の像及び胸部の像を含む。例えば、撮像部１０１は、ＣＣＤ（Charged Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサによって構成される。撮像部１０１は、ＲＧＢ（Red Green Blue）のフィルタを含むカメラ用のイメージセンサによって構成されてもよい。

図２は、測定装置１００の構成の一例を示すブロック図である。測定装置１００は、撮像部１０１と、記憶部２０１と、制御部２０２とを備える。

撮像部１０１は、測定時間、生体１０２を撮像して動画像２１１を取得する。

記憶部２０１は、各種データ、プログラム等を記録可能な記録媒体であり、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、半導体メモリ等により構成される。

制御部２０２は、記憶部２０１に格納されるプログラム及びデータに従って、各種処理を実行する。制御部２０２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサによって実現される。

制御部２０２は、領域特定部２０３と、信号生成部２０４と、呼吸数算出部２０５と、信頼度算出部２０６と、判定部２０７と、出力部２０８と、測定時間設定部２０９とを備える。

領域特定部２０３は、動画像２１１を構成する各画像から、生体１０２の胸部の像を含む領域２１２を特定する。

信号生成部２０４は、動画像２１１に含まれる複数の画素値の時間変化を示す時系列信号２１３を生成する。複数の画素値は、生体１０２の胸部の像を含む領域２１２内の画素値である。時系列信号２１３には、呼吸信号２１３ａと、ノイズ信号２１３ｂとが含まれる。呼吸信号２１３ａは、生体１０２の呼吸運動に起因する画素値の時間変化を示す。ノイズ信号２１３ｂは、照明等によるノイズに起因する画素値の時間変化を示す。

呼吸数算出部２０５は、動画像２１１に含まれる複数の画素値の時間変化に含まれる呼吸信号２１３ａの振動周期を検出することにより呼吸数２１４を算出する。

信頼度算出部２０６は、呼吸信号２１３ａとノイズ信号２１３ｂとの対比結果から、呼吸数２１４の信頼度２１５を算出する。

判定部２０７は、信頼度２１５が閾値以上であるか否かを判定する。

出力部２０８は、信頼度２１５が閾値以上である場合、呼吸数２１３を出力する。

測定時間設定部２０９は、測定時間を設定する。さらに、測定時間設定部２０９は、信頼度２１５が閾値より低い場合、測定時間を延長する。

図３は、本実施形態に係る測定装置１００の動作の一例を示すフローチャートである。本例では、撮像部１０１が起動した場合、制御部２０２は、図３に例示するステップＳ３０１の処理を開始する。撮像部１０１による撮像範囲には、生体１０２の顔と胸部とが含まれるものとする。さらに、ステップＳ３０１の処理を開始する時点において、測定時間設定部２０９は、初期値である測定時間を設定しているものとする。例えば、測定時間の初期値は３秒である。

ステップＳ３０１において撮像部３０１は、測定時間設定部２０９によって設定された測定時間、生体１０２を撮像して動画像２１１を取得し、取得した動画像２１１を記憶部２０１に格納する。例えば、撮像部１０１は、３０～６０ｆｐｓ（frames per second）で、測定時間、生体１０２を撮像して動画像２１１を取得する。動画像２１１は、生体１０２の顔の像と、胸部の像とを含む。

ステップＳ３０２において領域特定部２０３は、動画像２１１を構成する各画像から生体１０２の顔の像を検出できるか否かを判定する。動画像２１１を構成する各画像とは、動画像２１１を構成する各フレームの画像である。例えば、領域特定部２０３は、動画像２１１を構成する各画像から、目、鼻、口等の特徴点を検出し、検出した特徴点に基づいて顔の像を検出する。例えば、領域特定部２０３は、カスケード検出器、サポートベクターマシン、ＣＮＮ（Convolutional Neural Network）等の手法を用いて顔の像を検出する。

ステップＳ３０２において顔の像が検出されない場合、制御部２０２は、処理をステップＳ３０１に戻す。つまり、動画像２１１を構成する各画像から生体１０２の顔の像を検出されるまで、撮像部３０１は、測定時間、生体１０２を撮像することを繰り返す。

ステップＳ３０２において顔の像が検出された場合、ステップＳ３０３において領域特定部２０３は、ステップＳ３０２で検出された顔の像の位置に基づいて、生体１０２の胸部の像を含む領域２１２を特定する。例えば、領域２１２は、顔の像を含む領域の位置よりも、＋Ｙ方向（図４参照）である下方の所定の大きさの領域である。

図４は、動画像２１１を構成する画像４０１の一例を示す。図４に例示する領域２１２は、画像４０１に含まれる顔の像４０２の位置よりも下方の所定の大きさの領域である。例えば、所定の大きさの領域は、垂直方向であるＹ方向の長さが、顔の像４０２を含む領域と同一の長さを有し、且つ、水平方向であるＸ方向の長さが、顔の像４０２を含む領域の２倍の長さを有する矩形領域である。例えば、図４に例示するように、領域２１２は、生体１０２の胸部の像を含む。なお、領域２１２は、生体１０２の胸部の一部の領域を含めばよく、生体１０２の胸部の全領域を含まなくてもよい。

生体１０２が息を吸うときには、胸郭が拡張する。また、生体１０２が息を吐くときには、胸郭が縮小する。つまり、生体１０２は呼吸するときには、胸部及び肩を上下に運動させる呼吸運動を行う。そのため、撮像部１０１が生体１０２を撮像して動画像２１１を取得した場合、動画像２１１に含まれる領域２１２の画素値は、呼吸運動に起因して時間変化する。

そこで、続くステップＳ３０４において信号生成部２０４は、領域２１２内の複数の画素の画素値の時間変化を示す時系列信号２１３を生成する。時間変化は、動画像２１１に含まれる複数の画素値の変動、又は動画像２１１に含まれる複数の画素値から決定される速度ベクトルの変動によって示される。

例えば、信号生成部２０４は、動画像２１１を構成する各画像について、領域２１２内のＲ（赤）、Ｇ（緑）又はＢ（青）のいずれかの画素の画素値の代表値を算出する。代表値は、平均値、中央値、最頻値等である。

または、信号生成部２０４は、動画像２１１を構成する各画像について、領域２１２内のＲ、Ｇ及びＢの各画素の画素値の平均値に重みの係数をかけて足し合わせた値を、代表値として算出してもよい。

そして、信号生成部２０４は、算出された代表値の時間変化を示す時系列信号２１３を生成する。または、信号生成部２０４は、算出された代表値の所定時間毎の時間変化を示す信号についてノイズ抑制処理を行い、ノイズを抑制した信号を、時系列信号２１３として生成してもよい。例えば、信号生成部２０４は、算出された代表値の所定時間毎の時間変化を示す信号を、自己相関関数に入力して、所定時間毎の自己相関値を算出してもよい。そして、信号生成部２０４は、自己相関値の時間変化を示す信号を、時系列信号２１３として生成してもよい。または、信号生成部２０４は、算出された代表値の所定時間毎の時間変化を示す信号を、所定の周波数以下の周波数成分を抽出するローパスフィルタに入力することで、時系列信号２１３を生成してもよい。これにより、信号生成部２０４は、所定の周波数を超える周波数成分が除去された時系列信号２１３を生成できる。

または、信号生成部２０４は、動画像２１１を構成する各画像に関して、Ｙ方向の移動速度を示すベクトルＶ（ｉ）を算出してもよい。ベクトルＶ（ｉ）は、動画像２１１を構成するフレームｉ－１の画像が撮像された時点から、フレームｉの画像が撮像された時点までのＹ方向の移動速度を示す。

例えば、信号生成部２０４は、動画像２１１を構成するフレームｉの画像に含まれる、領域２１２内の複数の画素に関して、ブロックマッチング法、勾配法等の手法を用いて、Ｙ方向の移動速度を示すベクトルＶ（ｉ）を算出する。具体的には、信号生成部２０４は、領域２１２内の全ての画素Ｐｉｘ_ｘ，ｙについてのベクトルＶ（ｉ，Ｐｉｘ_ｘ，ｙ）の代表値を、動画像２１１を構成するフレームｉの画像に関するベクトルＶ（ｉ）として算出する。画素Ｐｉｘ_ｘ，ｙは、領域２１２に含まれる座標値がｘ及びｙである画素を示す。ベクトルＶ（ｉ，Ｐｉｘ_ｘ，ｙ）は、フレームｉの画像に含まれる領域２１２内の画素Ｐｉｘ_ｘ，ｙのＹ方向の移動速度を示す。例えば、ベクトルＶ（ｉ，Ｐｉｘ_ｘ，ｙ）の代表値は、領域２１２内の全ての画素Ｐｉｘ_ｘ，ｙについてのベクトルＶ（ｉ，Ｐｉｘ_ｘ，ｙ）の平均値である。

そして、信号生成部２０４は、ベクトルＶ（ｉ）の時間変化を示す時系列信号２１３を生成する。または、信号生成部２０４は、ベクトルＶ（ｉ）の時間変化を示す信号についてノイズ抑制処理を行い、ノイズを抑制した信号を、時系列信号２１３として生成してもよい。

例えば、信号生成部２０４は、Ｙ方向の移動速度の所定時間毎の時間変化を示す信号を、自己相関関数に入力して、所定時間毎の自己相関値を算出してもよい。そして、信号生成部２０４は、自己相関値の時間変化を示す信号を、時系列信号２１３として生成してもよい。または、信号生成部２０４は、Ｙ方向の移動速度の時間変化を示す信号を、所定の周波数以下の周波数成分を抽出するローパスフィルタに入力することで、時系列信号２１３を生成してもよい。

図５Ａは、移動速度の時間変化を示す時系列信号の一例を示すグラフである。図５Ａにおいて、横軸に時間がとられ、縦軸に移動速度を示す信号値がとられている。時系列信号５０１は、動画像２１１に含まれるフレーム間におけるＹ方向の移動速度を示す時系列信号２１３である。

図５Ｂは、図５Ａに例示する時系列信号５０１についての自己相関値の時間変化の一例を示すグラフである。図５Ｂにおいて、横軸に時間がとられ、縦軸に自己相関値がとられている。時系列信号５０２は、図５Ａに例示する時系列信号５０１についての自己相関値の時間変化を示す時系列信号２１３である。図５Ｂに例示するように、時系列信号５０２においては、図５Ａに例示する時系列信号５０１に含まれるノイズが抑制されて平滑化される。

続くステップＳ３０５において信号生成部２０４は、時系列信号２１３に対して周波数解析を行い、時系列信号２１３についてパワースペクトルを算出する。

ステップＳ３０６において呼吸数算出部２０５は、時系列信号２１３に含まれる呼吸信号２１３ａの振動周期から、呼吸数２１４を算出する。具体的には、呼吸数算出部２０５は、ステップＳ３０５で算出されたパワースペクトルにおける最大ピーク周波数から呼吸数２１４を算出する。より具体的には、呼吸数算出部２０５は、ステップＳ３０５で算出されたパワースペクトルにおいて、対象周波数の範囲内で最大ピーク周波数を呼吸の周波数として、呼吸数を計算する。例えば、対象周波数の範囲は、２～２００回／分である周波数の範囲である。

ステップＳ３０７において信頼度算出部２０６は、時系列信号２１３から呼吸信号２１３ａの大きさを算出する。例えば、呼吸信号２１３ａの大きさは、時系列信号２１３における最大ピーク周波数のパワースペクトル値である。つまり、呼吸信号２１３ａの大きさは、ステップＳ３０６で算出されたパワースペクトルにおける、対象周波数の範囲内で最大ピーク周波数のパワースペクトル値である。

または、呼吸信号２１３ａの大きさは、時系列信号２１３における最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値であってもよい。例えば、所定範囲は、最大ピーク周波数よりも０．１Ｈｚ低い周波数以上、且つ最大ピーク周波数よりも０．１Ｈｚ高い周波数以下の範囲である。例えば、所定範囲内のパワースペクトル値の統計値は、所定範囲内のパワースペクトル値の合計値である。

ステップＳ３０８において信頼度算出部２０６は、時系列信号２１３からノイズ信号２１３ｂの大きさを算出する。例えば、ノイズ信号２１３ｂの大きさは、時系列信号２１３において二番目以下のピーク周波数のパワースペクトル値である。つまり、ノイズ信号２１３ｂの大きさは、ステップＳ３０６で算出されたパワースペクトル値における二番目以下のピーク周波数のパワースペクトル値である。

例えば、ノイズ信号２１３ｂの大きさは、時系列信号２１３において二番目に大きいピーク周波数のパワースペクトル値である。または、ノイズ信号２１３ｂの大きさは、時系列信号２１３において三番目に大きいピークを示すパワースペクトル値であってもよい。

または、呼吸信号２１３ａの大きさが、時系列信号２１３における最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値である場合、ノイズ信号２１３ｂの大きさは、所定範囲外のパワースペクトル値の統計値であってもよい。例えば、所定範囲外のパワースペクトル値の統計値は、所定範囲外のパワースペクトル値の合計値である。なお、信頼度算出部２０６は、複数の算出方法を組み合わせて、ノイズ信号２１３ｂの大きさを算出してもよい。

ステップＳ３０９において信頼度算出部２０６は、ステップＳ３０７で算出された呼吸信号２１３ａの大きさと、ステップＳ３０８で算出されたノイズ信号２１３ｂの大きさとの比から信頼度２１５を算出する。例えば、信頼度算出部２０６は、呼吸信号２１３ａの大きさと、ノイズ信号２１３ｂの大きさとの比を、信頼度２１５として算出する。信頼度２１５は、信号対雑音比（ＳＮＲ（Signal-to-Noise Ratio））を示す。つまり、信頼度２１５は、信頼度２１５の値が大きいほど、時系列信号２１３によって示される、動画像２１１に含まれる複数の画素値の時間変化において、生体１０２の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも大きいことを示す。そして、制御部２０２は、処理を図７に例示するステップＳ７０１に移行する。

図６Ａは、移動速度の時間変化を示す時系列信号についての自己相関値の時間変化の一例を示すグラフである。図６Ａにおいて、横軸に時間がとられ、縦軸に自己相関値がとられている。時系列信号６０１は、領域２１２内の同一の位置について、Ｙ方向の移動速度の所定時間毎の自己相関値を示す時系列信号２１３である。

図６Ｂは、図６Ａに例示する時系列信号６０１のパワースペクトルの一例を示すグラフである。図６Ｂにおいて、横軸に周波数がとられ、縦軸にパワースペクトル値がとられている。パワースペクトル６０２は、時系列信号６０１についてのパワースペクトルを示す。パワースペクトル値Ｐ６１１は、時系列信号６０１において最大ピーク周波数のパワースペクトルの大きさである。つまり、パワースペクトル値Ｐ６１１は、呼吸信号２１３ａの大きさを示す。

パワースペクトル値Ｐ６１２は、図６Ａに例示する時系列信号２１３において二番目に大きいパワースペクトルの大きさである。つまり、パワースペクトル値Ｐ６１２は、ノイズ信号２１３ｂの大きさを示す。

信頼度算出部２０６は、パワースペクトル値Ｐ６１１と、パワースペクトル値Ｐ６１２との比から信頼度２１５を算出する。例えば、信頼度算出部２０６は、パワースペクトル値Ｐ６１１と、パワースペクトル値Ｐ６１２との比を、信頼度２１５として算出する。

次に、図７を参照しながら、測定装置１００の動作について引き続き説明する。

ステップＳ７０１において判定部２０７は、信頼度２１５が閾値以上であるか否かを判定する。信頼度２１５が閾値以上であることは、時系列信号２１３によって示される、動画像２１１に含まれる複数の画素値の時間変化において、生体１０２の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも十分に大きいことを示す。一方、信頼度２１５が閾値より低い場合、時系列信号２１３によって示される、動画像２１１に含まれる複数の画素値の時間変化において、ノイズに起因する画素値の時間変化の影響が相対的に大きいおそれがある。

ステップＳ７０１において信頼度２１５が閾値より低い場合、ステップＳ７０２において測定時間設定部２０９は、所定時間、測定時間を延長する。例えば、所定時間は、撮像部１０１が１フレームの画像を取得する時間である。そして、制御部２０２は、処理を図３に例示するステップＳ３０１に戻す。つまり、測定時間設定部２０９は、信頼度２１５が閾値以上になるまで、測定時間を延長して、生体１０２を撮像することを継続し、呼吸数２１４を算出することを繰り返す。

一方、ステップＳ７０１において信頼度２１５が閾値以上である場合、ステップＳ７０３において出力部２０８は、図３に例示するステップＳ３０６で算出された呼吸数２１４を出力する。例えば、出力部２０８は、呼吸数２１４を示す文字を液晶ディスプレイ等に表示させる。または、例えば、出力部２０８は、呼吸数２１４を示す音声をスピーカから出力してもよい。そして、制御部２０２は、呼吸数２１４を測定する処理を終了する。

つまり、時系列信号２１３によって示される、動画像２１１に含まれる複数の画素値の時間変化において、生体１０２の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも十分に大きい場合、出力部２０８は、呼吸数２１４を出力する。これにより、本実施形態に係る測定装置１００は、出力される呼吸数２１４の信頼性を保証できる。

図８は、互いに異なる測定時間、生体１０２が撮像されて取得された動画像２１１から生成された時系列信号と、パワースペクトルとの一例を示す図である。図８において、時系列信号８０１、時系列信号８０３及び時系列信号８０５については、横軸に時間がとられ、縦軸に自己相関値がとられている。また、図８において、パワースペクトル８０２、パワースペクトル８０４及びパワースペクトル８０６については、横軸に周波数がとられ、縦軸にパワースペクトル値がとられている。

時系列信号８０１は、時間Ｔ１である測定時間で取得された動画像２１１から生成された時系列信号２１３を示す。パワースペクトル８０２は、時系列信号８０１についてのパワースペクトルを示す。

例えば、信頼度算出部２０６は、ステップＳ３０７において時系列信号８０１における最大ピーク周波数のパワースペクトル値Ｐ８１１を、呼吸信号２１３ａの大きさとして算出するとする。さらに、信頼度算出部２０６は、ステップＳ３０８において時系列信号８０１における二番目のピーク周波数のパワースペクトル値Ｐ８１２を、ノイズ信号２１３ｂの大きさとして算出するとする。その場合、ステップＳ３０９において信頼度算出部２０６は、パワースペクトル値Ｐ８１１とパワースペクトル値Ｐ８１２との比から信頼度２１５を算出する。信頼度２１５が閾値より低い場合、ステップＳ７０２において測定時間設定部２０９は、時間Ｔ１より長い時間Ｔ２に、測定時間を延長する。

時系列信号８０３は、時間Ｔ２である測定時間で取得された動画像２１１から生成された時系列信号２１３を示す。パワースペクトル８０４は、時系列信号８０３についてのパワースペクトルを示す。

例えば、信頼度算出部２０６は、ステップＳ３０７において時系列信号８０３における最大ピーク周波数のパワースペクトル値Ｐ８１３を、呼吸信号２１３ａの大きさとして算出するとする。さらに、信頼度算出部２０６は、ステップＳ３０８において時系列信号８０３における二番目のピーク周波数のパワースペクトル値Ｐ８１４を、ノイズ信号２１３ｂの大きさとして算出するとする。その場合、ステップＳ３０９において信頼度算出部２０６は、パワースペクトル値Ｐ８１３とパワースペクトル値Ｐ８１４との比から信頼度２１５を算出する。信頼度２１５が閾値より低い場合、ステップＳ７０２において測定時間設定部２０９は、時間Ｔ２より長い時間Ｔ３に、測定時間を延長する。

時系列信号８０５は、時間Ｔ３である測定時間で取得された動画像２１１から生成された時系列信号２１３を示す。パワースペクトル８０６は、時系列信号８０５についてのパワースペクトルを示す。

例えば、信頼度算出部２０６は、ステップＳ３０７において時系列信号８０５における最大ピーク周波数のパワースペクトル値Ｐ８１５を、呼吸信号２１３ａの大きさとして算出するとする。さらに、信頼度算出部２０６は、ステップＳ３０８において時系列信号８０５における二番目のピーク周波数のパワースペクトル値Ｐ８１６を、ノイズ信号２１３ｂの大きさとして算出するとする。その場合、ステップＳ３０９において信頼度算出部２０６は、パワースペクトル値Ｐ８１５とパワースペクトル値Ｐ８１６との比から信頼度２１５を算出する。

信頼度２１５が閾値以上である場合、ステップＳ７０３において出力部２０８は、時系列信号８０５における最大ピーク周波数ＰＥＦＱから算出された呼吸数２１４を出力する。そして、制御部２０２は、呼吸数２１４を測定する処理を終了する。つまり、測定装置１００は、信頼度２１５に応じて測定時間を変更し、信頼度２１５が閾値以上である場合に呼吸数２１４を出力する。これにより、測定装置１００は、測定時間を抑制しつつ、信頼性を保証して呼吸数２１４を出力できる。

（第一実施形態の変形例１）
本実施形態に係る測定装置１００の変形例１として、測定時間設定部２０９が測定時間を延長した場合、制御部２０２は、２フレーム以上である所定フレームの画像が取得される毎に、ステップＳ３０５～ステップＳ３０９の処理、及びステップＳ７０１の処理を実行してもよい。つまり、測定時間設定部２０９が測定時間を延長した場合、所定フレームの画像が取得される毎に、呼吸数算出部２０５が呼吸数２１４を算出するとともに、信頼度算出部２０６が信頼度２１５を算出し、判定部２０７が、信頼度２１５が閾値以上であるか否かを判定してもよい。これにより、本変形例１に係る測定装置１００は、測定時間設定部２０９が測定時間を延長した場合に、１フレームの画像が取得される毎に、呼吸数２１４及び信頼度２１５を算出する場合よりも処理時間を抑制できる。

（第一実施形態の変形例２）
本実施形態に係る測定装置１００の変形例２として、測定時間設定部２０９は、測定時間の下限値及び上限値からなる群より選択される少なくとも一方を設定してもよい。例えば、測定時間の下限値は、３秒である。また、例えば、測定時間の上限値は、２０秒である。

測定時間設定部２０９が、測定時間の上限値を設定したとする。その場合、上限時間である測定時間、撮像部１０１が継続して生体１０２を撮像し、信頼度２１５が閾値以上にならない場合、制御部２０２は、呼吸数２１４を測定する処理を終了する。さらに、出力部２０８は、エラーを示すメッセージを出力する。例えば、出力部２０８は、「呼吸数を測定できませんでした。もう一度測定してください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部２０８は、当該メッセージを示す音声をスピーカから出力してもよい。

（第二実施形態）
図９～図１０を参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

図９は、本実施形態に係る測定装置１００の構成の一例を示すブロック図である。図９に例示する測定装置１００と図２に例示する測定装置１００との相違点は、図９に例示する測定装置１００は、測定時間設定部２０９に替えて、測定時間設定部９０１を備える点にある。

測定時間設定部９０１は、測定時間の下限値と上限値とを同一の値に設定する。つまり測定時間設定部９０１は、測定時間を延長しない。

本実施形態に係る呼吸数算出部２０５は、信頼度２１５が閾値より低い場合、呼吸数２１４を算出する処理を終了する。

本実施形態に係る出力部２０８は、信頼度２１５が閾値より低い場合、エラーを示すメッセージを出力する。

図１０は、本実施形態に係る測定装置１００の動作の一例を示すフローチャートである。

図３に例示するステップＳ３０９において信頼度算出部２０６が、呼吸信号２１３ａの大きさと、ノイズ信号２１３ｂの大きさとの比から信頼度２１５を算出した場合、ステップＳ１００１において判定部２０７は、信頼度２１５が閾値以上であるか否かを判定する。

ステップＳ１００１において信頼度２１５が閾値以上である場合、ステップＳ１００２において出力部２０８は、ステップＳ３０６で算出された呼吸数２１４を出力する。図１０に例示するステップＳ１００１及びステップＳ１００２の処理は、図７に例示するステップＳ７０１及びステップＳ７０３の処理と同様であるため、詳細な説明は省略する。

一方、ステップＳ１００１において信頼度２１５が閾値より低い場合、ステップＳ１００３において出力部２０８は、エラーを示すメッセージを出力する。例えば、出力部２０８は、「呼吸数を測定できませんでした。もう一度測定してください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部２０８は、当該メッセージを示す音声をスピーカから出力してもよい。

測定装置１００が生体１０２の呼吸数２１４を測定するためには、生体１０２は、撮像部１０１の撮像範囲に留まる必要がある。そのため、測定時間が長い程、生体１０２は、長い時間、撮像部１０１の撮像範囲に留まる必要がある。しかし、本実施形態に係る測定装置１００は、測定時間を延長せず、信頼度２１５が閾値より低い場合には、エラーを示すメッセージを出力する。これにより、本実施形態に係る測定装置１００は、測定時間を延長しないことで、呼吸数の測定に要する時間を制限することができる。さらに、本実施形態に係る測定装置１００は、測定時間を延長しないことで、生体１０２の負担を軽減できる。

（第三実施形態）
図１１～図１３を参照して、第三実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

図１１は、本実施形態に係る測定装置１００の構成の一例を示すブロック図である。図１１に例示する測定装置１００と、図２に例示する測定装置１００との相違点は、図１１に例示する測定装置１００は、距離算出部１１０１を備える点にある。

距離算出部１１０１は、動画像２１１に複数の顔の像が含まれる場合、複数の顔の像間の距離１１１１を算出する。

本実施形態に係る出力部２０８は、複数の顔の像間の距離１１１１の最小値が所定の距離以下である場合、エラーを示すメッセージを出力する。

本実施形態に係る呼吸数算出部２０５は、距離１１１１の最小値が所定の距離以下である場合、呼吸数２１４を算出する処理を終了する。

図１２は、本実施形態に係る測定装置１００の動作の一例を示すフローチャートである。本例では、測定装置１００が起動した場合、制御部２０２は、図１２に例示するステップＳ３０１の処理を開始する。さらに、制御部２０２がステップＳ３０１の処理を開始する時点に置いて、測定時間設定部２０９は、初期値である測定時間を設定しているものとする。ステップＳ１２０１～ステップＳ１２０２の処理は、図３に例示するステップＳ３０１～Ｓ３０２の処理と同様であるため、詳細な説明は省略する。

ステップＳ１２０２において顔の像が検出された場合、ステップＳ１２０３において距離算出部１１０１は、動画像２１１に複数の顔の像が含まれるか否かを判定する。例えば、動画像２１１を構成する少なくとも一の画像に、複数の顔の像が含まれる場合、距離算出部１１０１は、動画像２１１に複数の顔の像が含まれると判定する。

ステップＳ１２０３において動画像２１１に複数の顔の像が含まれない場合、制御部２０２は、処理を図３に例示するステップＳ３０３に移行する。

一方、ステップＳ１２０３において動画像２１１に複数の顔の像が含まれる場合、ステップＳ１２０４において距離算出部１１０１は、複数の顔の像間の距離１１１１を算出する。

複数の顔の像間の距離１１１１の最小値が所定の距離以下である場合、領域特定部２０３は、隣り合う複数の生体１０２の領域２１２の一部を含む領域を、一の生体１０２の領域２１２として誤って特定するおそれがある。その場合、信号生成部２０４は、隣り合う複数の生体１０２の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体１０２についての時系列信号２１３として誤って生成するおそれがある。

そこで、ステップＳ１２０５において距離算出部１００１は、複数の顔の像間の距離１１１１の最小値が所定の距離以下であるか否かを判定する。

ステップＳ１２０５において複数の顔の像間の距離１１１１の最小値が所定の距離以下である場合、ステップＳ１２０６において出力部２０８は、エラーを示すメッセージを出力する。例えば、出力部２０８は、「隣の人との間隔を空けてください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部２０８は、当該メッセージを示す音声をスピーカから出力してもよい。そして、制御部２０２は、呼吸数２１４を測定する処理を終了する。つまり、呼吸数算出部２０５は、複数の顔の像間の距離１１１１の最小値が所定の距離以下である場合、呼吸数２１４を算出する処理を終了する。

一方、ステップＳ１２０５において複数の顔の像間の距離１１１１の最小値が所定の距離より長い場合、制御部２０２は、動画像２１１に含まれる各生体１０２の像について、図３に例示するステップＳ３０３～ステップＳ３０９の処理を実行する。そして、制御部２０２は、動画像２１１に含まれる各生体１０２の像について、図７に例示するステップＳ７０１において、信頼度２１５が閾値以上であるか否かを判定する。

信頼度２１５が閾値以上である生体１０２の像については、図７に例示するステップＳ７０３において出力部２０８は、呼吸数２１４を出力する。また、信頼度２１５が閾値より低い生体１０２の像については、図７に例示するステップＳ７０２において測定時間設定部２０９は、測定時間を延長する。そして、制御部２０２は、処理を図３に例示するステップＳ３０１に戻す。つまり、撮像部１０１が、信頼度２１５が閾値より低い生体１０２を撮像することを継続し、制御部２０２は、当該生体１０２については呼吸数２１４を測定することを継続する。

図１３は、顔の像１３０１～顔の像１３０６を含む画像１３１０の一例を示す図である。距離１１１１ａは、顔の像１３０１と顔の像１３０２間の距離である。距離１１１１ｂは、顔の像１３０２と顔の像１３０３間の距離である。距離１１１１ｃは、顔の像１３０３と顔の像１３０４間の距離である。距離１１１１ｄは、顔の像１３０４と顔の像１３０５間の距離である。距離１１１１ｅは、顔の像１３０５と顔の像１３０６間の距離である。

領域１３１１は、顔の像１３０２の下方の所定の大きさの領域であり、一の生体１０２の胸部の像を含む。領域１３１２は、顔の像１３０３の下方の所定の大きさの領域であり、他の生体１０２の胸部の像を含む。領域１３１１と領域１３１２とは、互いに一部が重複するため、信号生成部２０４は、隣り合う複数の生体１０２の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体１０２についての時系列信号２１３として誤って生成するおそれがある。

つまり、顔の像１３０２と顔の像１３０３間の距離が所定の距離以下である場合、信号生成部２０４は、隣り合う複数の生体１０２の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体１０２についての時系列信号２１３として誤って生成するおそれがある。そのため、動画像２１１に複数の顔の像が含まれる場合において、信号生成部２０４が、各生体１０２についての時系列信号２１３を生成するためには、顔の像間が十分に離れていることが必要である。

そこで、例えば、距離１１１１ａから距離１１１１ｅのうちで、距離１１１１ｂが最小値であり、且つ距離１１１１ｂが所定の距離以下である場合、呼吸数算出部２０５は、呼吸数２１４を算出する処理を終了する。さらに、出力部２０８は、距離１１１１ｂが所定の距離以下である場合、エラーを示すメッセージを出力する。

以上より、本実施形態に係る測定装置１００は、動画像２１１に複数の顔の像が含まれる場合、顔の像間が十分に離れている状態で、複数の生体のうちの各生体１０２について、呼吸数２１４を測定できる。そのため、本実施形態に係る測定装置１００は、動画像２１１に複数の顔の像が含まれる場合であっても、各生体１０２について測定時間を抑制しつつ、信頼性を保証して呼吸数を出力できる。

（第三実施形態の変形例）
本実施形態に係る測定装置１００の変形例として、測定装置１００は、測定時間設定部２０９に替えて測定時間設定部９０１を備えてもよい。その場合、本変形例に係る呼吸数算出部２０５は、信頼度２１５が閾値より低い場合、呼吸数を算出する処理を終了する。さらに、本変形例に係る出力部２０８は、信頼度２１５が閾値より低い場合、エラーを示すメッセージを出力する。これにより、本変形例に係る測定装置１００は、動画像２１１に複数の顔の像が含まれる場合において、測定時間を延長しないことで、呼吸数の測定に要する時間を制限することができ、且つ複数の生体１０２の負担を軽減できる。

上記実施形態で実行される各処理は、各実施形態で例示した処理態様に限定されない。上述した機能ブロックは、集積回路等に形成された論理回路（ハードウェア）、又はＣＰＵを用いたソフトウェアの何れを用いて実現してもよい。上記実施形態で実行される各処理は、複数のコンピュータで実行されてもよい。例えば、測定装置１００の制御部２０２の各機能ブロックで実行される処理は、他のコンピュータで一部の処理が実行されてもよいし、複数のコンピュータで全ての処理が分担して実行されてもよい。

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１００ 測定装置、１０１ 撮像部、１０２ 生体、２０１ 記憶部、２０２ 制御部、２０３ 領域特定部、２０４ 信号生成部、２０５ 呼吸数算出部、２０６ 信頼度算出部、２０７ 判定部、２０８ 出力部、２０９ 測定時間設定部、２１１ 動画像、２１２ 領域、２１３ 時系列信号、２１５ 信頼度、３０１ 撮像部、４０１ 画像、４０２ 顔の像、５０１ 時系列信号、５０２ 時系列信号、６０１ 時系列信号、６０２ パワースペクトル、８０１ 時系列信号、８０２ パワースペクトル、８０３ 時系列信号、８０４ パワースペクトル、８０５ 時系列信号、８０６ パワースペクトル、９０１ 測定時間設定部、１００１ 距離算出部、１１０１ 距離算出部、１１１１ 距離、１１１１ａ～１１１１ｅ 距離、１３０１～１３０６ 顔の像、１３１０ 画像、１３１１ 領域、１３１２ 領域、Ｐ６１１ パワースペクトル値、Ｐ６１２ パワースペクトル値、Ｐ８１１ パワースペクトル値、Ｐ８１２ パワースペクトル値、Ｐ８１３ パワースペクトル値、Ｐ８１４ パワースペクトル値、Ｐ８１５ パワースペクトル値、Ｐ８１６ パワースペクトル値、ＰＥＦＱ 最大ピーク周波数

Claims (10)

1. 生体を撮像して動画像を取得する撮像部と、
   前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する呼吸数算出部と、
   前記呼吸信号と前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する信頼度算出部と、
   前記信頼度が閾値以上である場合、前記呼吸数を出力する出力部と、
   前記生体を撮像するための測定時間を設定する測定時間設定部と、
   を備え、
   前記撮像部は、前記測定時間、前記生体を撮像して前記動画像を取得し、
   前記測定時間設定部は、前記信頼度が前記閾値より低い場合、前記測定時間を延長する
   測定装置。
2. 前記信頼度算出部は、前記呼吸信号の大きさと、前記ノイズ信号の大きさとの比から前記信頼度を算出する
   請求項１に記載の測定装置。
3. 前記複数の画素値は、前記生体の胸部の像を含む領域内の画素値であり、
   前記時間変化は、前記複数の画素値の変動、又は前記複数の画素値から決定される速度ベクトルの変動を示す時系列信号によって示され、
   前記呼吸数算出部は、前記時系列信号において最大ピーク周波数から前記呼吸数を算出する
   請求項１または２に記載の測定装置。
4. 前記呼吸信号の大きさは、前記最大ピーク周波数のパワースペクトル値であり、
   前記ノイズ信号の大きさは、前記時系列信号において二番目以下のピーク周波数のパワースペクトル値である
   請求項３に記載の測定装置。
5. 前記呼吸信号の大きさは、前記最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値であり、
   前記ノイズ信号の大きさは、前記所定範囲外のパワースペクトル値の統計値である
   請求項３に記載の測定装置。
6. 前記測定時間設定部は、前記測定時間の下限値及び上限値からなる群より選択される少なくとも一方を設定する
   請求項１～５のいずれか１項に記載の測定装置。
7. 前記出力部は、前記信頼度が前記閾値より低い場合、エラーを示すメッセージを出力し、
   前記呼吸数算出部は、前記信頼度が前記閾値より低い場合、前記呼吸数を算出する処理を終了する
   請求項１～５のいずれか１項に記載の測定装置。
8. 前記動画像に複数の顔の像が含まれる場合、前記複数の顔の像間の距離を算出する距離算出部をさらに備え、
   前記出力部は、前記距離の最小値が所定の距離以下である場合、エラーを示すメッセージを出力し、
   前記呼吸数算出部は、前記最小値が前記所定の距離以下である場合、前記呼吸数を算出する処理を終了する
   請求項１～７のいずれか１項に記載の測定装置。
9. 測定装置が、
   生体を撮像して動画像を取得する工程と、
   前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する工程と、
   前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する工程と、
   前記信頼度が閾値以上である場合、前記呼吸数を出力する工程と
   前記生体を撮像するための測定時間を設定する工程と、
   を実行し、
   前記測定装置は、前記動画像を取得する工程において、前記測定時間、前記生体を撮像して前記動画像を取得し、
   前記測定装置は、前記測定時間を設定する工程において、前記信頼度が前記閾値より低い場合、前記測定時間を延長する
   呼吸数測定方法。
10. コンピュータに、
    生体を撮像して動画像を取得する機能と、
    前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する機能と、
    前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する機能と、
    前記信頼度が閾値以上である場合、前記呼吸数を出力する機能と、
    前記生体を撮像するための測定時間を設定する機能と、
    を実行させ、
    前記動画像を取得する機能において、前記測定時間、前記生体を撮像して前記動画像を取得し、
    前記測定時間を設定する機能において、前記信頼度が前記閾値より低い場合、前記測定時間を延長する
    プログラム。