JP4590745B2

JP4590745B2 - 画像処理装置

Info

Publication number: JP4590745B2
Application number: JP2001024724A
Authority: JP
Inventors: 忠洋荒川; 聡古川; 啓史松田; 健一萩尾
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2001-01-31
Filing date: 2001-01-31
Publication date: 2010-12-01
Anticipated expiration: 2021-01-31
Also published as: JP2002230533A

Description

【０００１】
【発明の属する技術分野】
本発明は、人を居室内で監視するために用いられる画像処理装置に関する。
【０００２】
【従来の技術】
従来、居室内の被介護者を監視するために用いられる画像処理装置は、図１０に示す、居室斜め上方から居室下方に向けて撮像カメラで撮影した画像情報の中で、室内床面上に設置されるベッドが占有する領域であるベッド領域Ｂと、ベッドが置かれる領域以外の床面の領域である床面領域Ａとを識別可能であり、ベッド領域Ｂと床面領域Ａとの境界をも識別可能である。ベッド領域Ｂと床面領域Ａは予め設定入力操作部により、監視画面に合わせて設定され、記憶される。ベッドの外形を表わす境界は、境界辺Ｂ１と、境界辺Ｂ２と、境界辺Ｂ３と、境界辺Ｂ４と、境界辺Ｂ５と、境界辺Ｂ６と、で示される。
【０００３】
しかし、画像処理装置は、床面領域Ａからベッド領域Ｂへの人体移動を検知すると、この事象を入床事象と判断し、ベッド領域Ｂから床面領域Ａへの人体移動を検知すると、この事象を離床事象と判断する。しかし、この判断の際、境界辺Ｂ１乃至境界辺Ｂ６のいずれかをまたぐようにして人体の移動を検知した際に入床、離床の発生と認識していたため、ベッド領域Ｂ内を越え、境界をまたぐように人体が存在して画像に捉えられたり、ベッド領域Ｂの内部に収まっていても寝返りをうってベッド領域Ｂの上方や側方にはみだしたように画像に捉えられると、離床の発生と認識されてしまう。つまり、画像の写る角度によってベッド領域Ｂを越えてはいるように見えるものの、実際はベッド上での動作であった場合でも、離床事象の発生だと認識してしまうため、正確な離床判断をしているものではなかった。
【０００４】
【発明が解決しようとする課題】
そこで、本発明は上記問題点に鑑みてなされたもので、その目的とするところは、入床事象、離床事象を正確に判断することのできる画像処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は、以下の構成を備える。すなわち、請求項１の発明では、撮影を行う撮像カメラと、室内斜め上方から室内下方に向けて前記撮像カメラにより撮影された画像情報に基づいて人の離床、入床を判断する画像処理部と、を備える画像処理装置であって、前記画像処理部は、前記画像情報のうち、室内床面上に設置されたベッドが占有する領域であるベッド領域と、床面の領域で前記ベッドが置かれる領域以外の床面領域と、を識別可能であるとともに、前記ベッドの外形下辺を表わす境界辺を通過して、前記床面領域から前記ベッド領域への人体移動を検知すると、入床事象と判断し、前記境界辺を通過して、前記ベッド領域から前記床面領域への人体移動を検知すると、離床事象と判断することを特徴とする。
【０００６】
請求項２の発明では、前記撮像カメラにより撮影した前記画像情報を画像上部から画像下部へ向けて走査し、前記画像情報が前記ベッド領域から前記床面領域へ変化した画像位置を、前記境界辺として設定することを特徴とする。
【０００７】
請求項３の発明では、前記境界辺の長辺のみを入床事象もしくは離床事象の判断に用いることを特徴とする。
【０００８】
請求項４の発明では、前記床面領域のうち前記ベッド領域上部の所定の領域を不感領域とし、該不感領域での人体移動の検知は、入床事象もしくは離床事象の判断基準から除外することを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。本発明に係わる画像処理装置の第１の実施の形態を、図１に基づいて以下に説明する。
【００１０】
まず、本実施の形態における画像処理装置の構成を説明する。画像処理装置は、人物を撮影する撮像カメラ１と、画像入力インターフェース２と、画像データバッファ３と、画像処理部４と、制御部５と、設定情報記憶部６と、設定入力操作部７と、を備えてなる。撮像カメラ１は、人物の画像を撮影し、その画像情報を、画像入力インターフェース２を介して、画像処理部４へ伝送する。設定入力操作部７は、図２に示すように、撮像カメラ１で撮像された室内斜め上方からの画像情報の中で、室内床面上に設置されるベッドが占有する領域であるベッド領域Ｂと、室内でベッドが置かれる領域以外の床面の領域である床面領域Ａと、を設定する。設定情報記憶部６は、設定入力操作部７により設定される、ベッド領域Ｂ、床面領域Ａ、境界辺を記憶する。制御部５は、画像処理を行う際に、設定情報記憶部６から必要な設定情報を引き出し、画像処理部４に送信する。画像処理部４は、設定された情報に基づいて画像処理を行う。
【００１１】
本実施の形態における画像処理装置は、ベッド外形下辺をあらわす境界辺Ｂ４と境界辺Ｂ５を通過して人体の領域移動が発生した場合のみを事象発生としている。つまり、床面領域Ａから、境界辺Ｂ４もしくは境界辺Ｂ５を通過して、ベッド領域Ｂへの人体移動を検知すると、この事象を入床事象と判断し、ベッド領域Ｂから境界辺Ｂ４もしくは境界辺Ｂ５を通過して、床面領域Ａへの人体移動を検知すると、この事象を離床事象と判断する。このとき、境界辺Ｂ４もしくは境界辺Ｂ５を通過しない場合は、単にベッドの中で手足を動かしたり、寝返りをうったなどのベッド空間内での動きとみなし、離床とは判定しないものである。
【００１２】
次に、画像処理装置の動作を説明する。説明する動作としては、図３に示すアルゴリズムと、図４に示す離床を検出するアルゴリズムと、図５に示す入床を検出するアルゴリズムであり、図３に示すアルゴリズムから、離床を検出するときは、図４に示すアルゴリズムを用い、入床を検出するときは、図５に示すアルゴリズムを用いる。なお、ベッド領域Ｂと、床面領域Ａ、境界辺は、設定情報記憶部６に記憶されたものであり、これらを用いて、入床事象、離床事象を判断するアルゴリズムを、図３と、図４、図５を参照して、説明する。
【００１３】
まず、図３に示すフローチャートを参照して、本実施の形態における入床／離床を自動的に判断するアルゴリズムを詳細に説明する。処理が開始すると（ステップＳＡ１）、アルゴリズムで使用される変数の初期化を行い（ステップＳＡ２）、新規に画像を取得する（ステップＳＡ３）。次に、前回のサイクルにおいて取得した画像との差分処理を行い（ステップＳＡ４）、所定のしきい値で２値化して、変化領域を抽出する（ステップＳＡ５）。抽出された変化領域が、ベッド領域Ｂ、床面領域Ａ、境界辺のどこに当たるかを、設定情報記憶部６に記憶された画像情報と照合し（ステップＳＡ６）、判定処理へ移る（ステップＳＡ７）。
ここまでが、入床／離床を自動的に判断するアルゴリズムである。
【００１４】
次に、ステップＳＡ７の判定処理の動作説明をするが、判定処理には、図４のフローチャートに示される、離床事象を判断するアルゴリズムと、図５のフローチャートに示される、入床事象を判断するアルゴリズムがある。これは、離床事象を判断したい場合には、図４の離床事象を判断するアルゴリズムを用い、入床事象を判断したい場合には、図５の入床事象を判断するアルゴリズムを用いるものである。
【００１５】
まず、図４のフローチャートに示される、離床事象を判断するアルゴリズムを説明する。ステップＳＡ７である判定処理から、前回のサイクルにおける状態ＦＬＡＧの値を参照する（ステップＳＢ１）。ここで、状態ＦＬＡＧの値が特に設定された値でない場合には、状態ＦＬＡＧの値が１である（ステップＳＢ２）とし、ステップＳＢ３以降に進み、状態ＦＬＡＧの値が２であれば、ステップＳＢ５以降に進み、状態ＦＬＡＧの値が３であれば、ステップＳＢ１０以降に進む。
【００１６】
ステップＳＢ２から、ステップＳＡ６で照合された変化領域の参照を行う（ステップＳＢ３）。変化領域がベッド領域Ｂであった場合は、状態ＦＬＡＧ＝２とする（ステップＳＢ４）。変化領域が、床面領域Ａもしくは、前回のサイクルにおいて、ベッド領域Ｂで変化があったが、今回のサイクルにおいては、変化がなかった場合には、特別に処理せずに、非発報処理に進む（ステップＳＡ８）。
【００１７】
状態ＦＬＡＧの値を参照し（ステップＳＢ１）、その値が２であれば（ステップＳＢ５）、今回のサイクルにおいて変化した領域を参照する（ステップＳＢ６）。変化領域が、床面領域Ａであれば、同時に境界辺において変化があったかどうかの判断を行う（ステップＳＢ７）。もし、境界辺でも変化があれば、タイマのカウントをリセットし、状態ＦＬＡＧ＝３とする（ステップＳＢ９）。境界辺での変化がなければ、非発報処理（ステップＳＡ８）に進む。
【００１８】
状態ＦＬＡＧの値を参照し（ステップＳＢ１）、その値が２であれば（ステップＳＢ１０）、今回のサイクルで変化した領域を参照し（ステップＳＢ１１）、それが、ベッド領域Ｂであれば、状態ＦＬＡＧ＝２とし（ステップＳＢ１２）、非発報処理（ステップＳＡ８）に進む。変化した領域が、床面領域Ａ、もしくは動作がなければ、カウンタに１を加える（ステップＳＢ１３）。カウンタの値が、予め設定したしきい値以上に達していなければ、非発報処理（ステップＳＡ８）に進む。カウンタの値が、しきい値以上に達していれば、発報装置（図示せず）で発報させるための発報処理をする（ステップＳＡ９）。発報処理を行えば、自動判断処理終了となる（ステップＳＡ１０）。以上が、離床事象を自動的に判断するアルゴリズムである。
【００１９】
次に、図５に示すフローチャートを参照して、入床事象の判断を行うアルゴリズムの説明をするが、入床事象を判断するアルゴリズムは、図４に示す離床事象を判断するアルゴリズムとほぼ同じ動作をし、異なるところは、図５におけるステップＳＣ３、ステップＳＣ６、ステップＳＣ１１において、参照する領域が異なるだけであるので、説明を省略する。以上が、入床／離床を検出するアルゴリズムである。
【００２０】
上述した入床／離床を検出するアルゴリズムでは、設定情報記憶部６に手動で設定されたベッド外形下辺を表わす境界辺を用いていたが、図６に示す、この境界辺を自動的に検出するアルゴリズムを以下に説明する。
【００２１】
まず、図６に示すベッド外形下辺を表わす境界辺を自動的に検出するアルゴリズムの概要を説明する。ベッド外形下辺を表わす境界辺は、設定入力操作部７で、ベッド領域Ｂ、床面領域Ａと同様に手動で設定することができるが、本実施の形態では、自動的に境界辺を検出するアルゴリズムを用いて設定するものである。
【００２２】
図２に示すように、斜方向から室内を撮影した場合、通常、ベッド領域Ｂは凸多角形として設定される。このようにして設定されたベッド領域Ｂは、凸の頂点を持つ多角形であるため、画像情報を画面上方から画面下方に向けてスキャンすれば、ベッド領域Ｂから床面領域Ａに変化する画素は、１列に１点しかなく、その変化した画素をベッドの外形下辺を表わすとして認識、記憶する。
【００２３】
以下、境界辺を検知するアルゴリズムを、図６のフローチャートを参照して、詳細に説明する。行Ｘと列Ｙが画像情報の２次元アドレスを示し、Ｘｍａｘ、Ｙｍａｘは、それぞれ画像サイズを示す。Ｐ（Ｘ、Ｙ）は、アドレス（Ｘ、Ｙ）における画素を示し、初期状態では、ベッド領域Ｂと、床面領域Ａの２つが記憶されている。境界ＦＬＡＧは列Ｙにおいて、ベッド領域を検出したことを示すフラグである。
【００２４】
そこで、ベッド外形下辺を表わす境界辺を検出するため、画像情報を表示する画面上で、左上隅の画素を画面上の原点として設定する（ステップＳＤ２）。次に、列Ｙを固定し、列Ｙにおける画素を画面上端から画面下端に向かって、走査するため行Ｘをインクリメントする（ステップＳＤ３）。画素Ｐ（Ｘ、Ｙ）を走査し（ステップＳＤ４）、その画素がベッド領域Ｂであれば、走査した画素がベッド領域であったことを示す境界ＦＬＡＧを１とする（ステップＳＤ７）。ベッド領域Ｂでなければ、ステップＳＤ５に進む。
【００２５】
列Ｙにおいて走査している画素が画面下端である、すなわちＸ＝Ｘｍａｘであるかどうかを判断し（ステップＳＤ８）、画面下端でなければ、同じ列Ｙで１つ下の画素を走査するために、行Ｘをインクリメントして（ステップＳＤ３）、再度、画素Ｐ（Ｘ、Ｙ）の走査を行う（ステップＳＤ４）。もし、画面下端である、すなわちＸ＝Ｘｍａｘであれば、列Ｙが画面端に達しているか、すなわち全画面走査したかどうかを判断する（ステップＳＤ９）。全画面走査していれば、ベッド外形下辺を表わす境界辺の検知が終了する（ステップＳＤ１０）。全画面走査していなければ、走査する列を隣に移動させるため列Ｙをインクリメントし、画面上端から走査するために、行Ｘ、変数境界ＦＬＡＧを設定する（ステップＳＤ１１）。
【００２６】
ステップＳＤ４において、走査している画素がベッド領域Ｂでなければ、前回のサイクルにおいて、境界ＦＬＡＧが１であるかどうかを判断する（ステップＳＤ５）。境界ＦＬＡＧが１でなければ、すなわち、前回のサイクルにおいて、走査した画素がベッド領域Ｂでなければ、ステップＳＤ８に移行し、画面下端まで走査したかどうかを判断する。境界ＦＬＡＧ＝１であれば、前回のサイクルにおいてベッド領域Ｂである画素を走査し、今回のサイクルにおいてベッド領域Ｂでない画素を走査したということであるので、走査した画素Ｐ（Ｘ、Ｙ）が境界であると判断し、画素Ｐ（Ｘ、Ｙ）にベッド外形下辺を表わす境界辺であることを示す画像情報を書き戻す（ステップＳＤ６）。なお、図７に示すように、境界辺での動作を確実に検知するために、境界辺に対して膨張処理を施し、検知幅を広くしてもよい。以上が、ベッド外形下辺である境界辺を検出するアルゴリズムである。以上に示した、境界辺を自動的に検知するアルゴリズムにより、ベッド領域Ｂと床面領域Ａを設定するだけで、自動的にベッド外形下辺を表わす境界辺を設定できる。
【００２７】
すなわち、本実施の形態によれば、室内を斜方向から撮影することにより、ベッド上部の空間での動作であるにも関わらず、ベッドの外での動作として認識されることにより、離床事象もしくは、入床事象として判断されることを防止することができる。
【００２８】
本発明に係わる画像処理装置の第２の実施の形態を、図８に基づいて以下に説明する。本実施の形態は、ベッド外形下辺をあらわす境界辺Ｂ４と境界辺Ｂ５のうち、長い方だけを入床事象、離床事象の判断基準として用いることで、より正確に検知するものである。これは、人の入床、離床には、ベッド外形下辺となる境界辺Ｂ４と、境界辺Ｂ５のうち、長辺となる境界辺を通過して行われることを鑑みたものである。
【００２９】
そこで、境界辺Ｂ４と境界辺Ｂ５のうち、長辺を取り出すために、境界辺Ｂ４と境界辺Ｂ５を２つの交わる線分として認識させ、その交点と、境界辺Ｂ４と境界辺Ｂ５のそれぞれの端点との距離を算出し、比較することで、長い方の線分を検知する。図８に示す、境界辺の抽出により、境界辺の画素のアドレスがＴ_n（Ｘ、Ｙ）、（ｎ＝１〜Ｎ）で得られるとする。画素アドレスＴ_n（Ｘ、Ｙ）における境界辺の傾きをＧ_nとしたとき、隣合う画素の傾きの差分はＧ_n−Ｇ_n+1となるが、同一境界辺における線分の傾きは、同じであるので、差分値Ｇ_n−Ｇ_n+1は、０となり、差分値が０以外の値をとったとき、その点が交点画素アドレスＴ_m（Ｘ、Ｙ）であることになる。交点画素アドレスＴ_m（Ｘ、Ｙ）が求まれば、境界辺の１端である交点画素アドレスＴ_m（Ｘ、Ｙ）と、境界辺の他端である画素アドレスＴ₁（Ｘ、Ｙ）と、画素アドレスＴ_N（Ｘ、Ｙ）との距離を算出し、その値の大きい方を求めれば、境界辺のうち長辺を求めることができる。
【００３０】
また、正確な判断を行うために、図９に示すように、表示画像のうち、床面領域Ａとベッド領域Ｂ以外の領域を不感領域Ｃとするが、本実施の形態においては、床面領域Ａのうち、ベッド領域Ｂの上部に不感領域Ｄを設定する。この不感領域Ｄを設定することで、ベッド上にいるにも関わらず、ベッド上部の空間に手を伸ばしたときに、動作が床面領域Ａに射影され、床面領域Ａで動作が起こっていると判断されることを防ぐことが可能となる。不感領域Ｄの設定については、ベッド上で予想される動作を床面領域Ａに投影したとき、投影画像を覆うような大きさにすればよい。不感領域Ｄを設定することで、より正確に離床事象を検知できる。
【００３１】
以上、本発明の好適な実施の形態を説明したが、本発明はこの実施の形態に限らず、種々の形態で実施することができる。
【００３２】
【発明の効果】
本発明の請求項１に係わる画像処理装置によれば、正確な入床／離床を判断でき、ベッド上での寝返りなどを、入床事象、離床事象と判断して誤報することを防止することができる。
【００３３】
本発明の請求項２によれば、ベッド領域と床面領域を設定するだけで、自動的にベッド領域と床面領域の境界である境界辺を設定できる。
【００３４】
本発明の請求項３によれば、ベッド外形下辺である境界辺のうち長いほうだけを、入床事象、離床事象の判断基準として使用するので、より正確な判断をすることができる。
【００３５】
本発明の請求項４によれば、ベッド領域上部に不感領域を設けたので、離床事象の判断において、誤報の発生を防ぐことができる。
【図面の簡単な説明】
【図１】本発明に係わる画像処理装置の第１の実施の形態を示す図である
【図２】上記画像処理装置が認識する領域と境界を示す図である
【図３】上記画像処理装置の動作を示すフローチャートを示す図である
【図４】上記画像処理装置における離床事象のフローチャートを示す図である
【図５】上記画像処理装置における入床事象のフローチャートを示す図である
【図６】上記画像処理装置における境界辺を検知するフローチャートを示す図である
【図７】上記画像処理装置における境界辺に膨張処理を施したことを示す図である
【図８】本発明に係わる画像処理装置の第２の実施の形態における境界辺のうち長辺の検出を示す図である。
【図９】上記画像処理装置において設定される不感領域を示す図である。
【図１０】従来の画像処理装置が認識する領域と、境界辺を示す図である。
【符号の説明】
１撮像カメラ
２画像入力インターフェース
３画像データバッファ
４画像処理部
５制御部
６設定情報記憶部
７操作入力処理部

Claims

撮影を行う撮像カメラと、室内斜め上方から室内下方に向けて前記撮像カメラにより撮影された画像情報に基づいて人の離床、入床を判断する画像処理部と、を備える画像処理装置であって、前記画像処理部は、前記画像情報のうち、室内床面上に設置されたベッドが占有する領域であるベッド領域と、床面の領域で前記ベッドが置かれる領域以外の床面領域と、を識別可能であるとともに、前記ベッドの外形下辺を表わす境界辺を通過して、前記床面領域から前記ベッド領域への人体移動を検知すると、入床事象と判断し、前記境界辺を通過して、前記ベッド領域から前記床面領域への人体移動を検知すると、離床事象と判断することを特徴とする画像処理装置。
前記画像処理部は、前記撮像カメラにより撮影した前記画像情報を画像上部から画像下部へ向けて走査し、前記画像情報が前記ベッド領域から前記床面領域へ変化した画像位置を、前記境界辺として設定することを特徴とする請求項１に記載の画像処理装置。
前記画像処理部は、前記境界辺の長辺のみを入床事象もしくは離床事象の判断に用いることを特徴とする請求項１もしくは請求項２に記載の画像処理装
置。
前記画像処理部は、前記床面領域のうち前記ベッド領域上部の所定の領域を不感領域とし、該不感領域での人体移動の検知は、入床事象もしくは離床事象の判断基準から除外することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。