JP6941805B2

JP6941805B2 - 滞在状況表示システムおよび滞在状況表示方法

Info

Publication number: JP6941805B2
Application number: JP2018029349A
Authority: JP
Inventors: 園子平澤; 藤松　健; 健藤松
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2021-09-29
Anticipated expiration: 2038-02-22
Also published as: US20210097488A1; GB202013771D0; DE112019000931T5; GB2585557A; CN111758110A; JP2019144917A; US11461736B2; WO2019163542A1; GB2585557B

Description

本発明は、施設内の対象エリアに設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法に関するものである。

オフィスビルなどの施設においては、施設内を撮影するカメラを設置して、そのカメラの映像で施設内の状況を監視する監視システムが広く普及している。このようなカメラの映像を利用して、施設内での人物の滞在状況に関する情報を取得して、その情報をユーザに提示するようにすると、所用で面会したい人物が自席にいるかどうかなどを簡単に確認することができ、ユーザの利便性が向上する。

このような人物の滞在状況をユーザに提示する技術として、従来、オフィス等に設置したカメラで捉えた、座席に座っている人物の映像および電話機の映像についてリアルタイムに画像処理を行い、人物が在席か不在かを判定するとともに、在席の場合には電話中か否かを判定するようにしたシステムが知られている（特許文献１参照）。

特開平７−０５８８２３号公報

さて、前記従来の技術のように、人物が通話中であるか否かを検知して、人物の通話状況をユーザに提示するようにすると、訪問先の人物が在席しているため、訪問したが、その人物が通話中であるために話しかけることができなかったという問題を解消することができる。

一方、訪問先の人物が通話中でなくても、その人物に話しかけることができない場合がある。例えば、訪問先の人物が別の人物と会話中である場合や、緊急な用事で極めて煩忙な状態である場合には、その人物に話しかけることができない。そこで、通話中を含めて人物が訪問者に応対できない状態であるか否かを検知して、ユーザに提示する技術が望まれる。

しかしながら、前記従来の技術では、電話発信に関するものであることから、当然ながら、人物の通話状況をユーザに提示するだけであり、通話中以外の理由で、人物が訪問者に応対できない状態であるか否かをユーザに提示することができないという問題があった。

そこで、本発明は、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる滞在状況表示システムおよび滞在状況表示方法を提供することを主な目的とする。

本発明の滞在状況表示システムは、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信する構成とする。

また、本発明の滞在状況表示方法は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信する構成とする。

本発明によれば、通知対象の人物が在席状態となり、その人物が通話状態、会話状態、ストレス状態のいずれにも該当しない訪問に相応しい状態となった場合に、訪問に適したタイミングであることが通知されるため、ユーザは適切な訪問の機会を知ることができる。

本実施形態に係る滞在状況表示システムの全体構成図施設内の部屋のレイアウト、カメラ１の設置状況、および検知エリアの設定状況を示す説明図施設管理装置２およびユーザ端末３の概略構成を示すブロック図ユーザ端末３に表示される人物一覧画面を示す説明図ユーザ端末３に表示されるマップ画面を示す説明図施設管理装置２で行われる在席情報および状態情報に関する設定処理の手順を示すフロー図施設管理装置２で行われる通知制御の動作手順を示すフロー図

前記課題を解決するためになされた第１の発明は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信する構成とする。

これによると、通知対象の人物が在席状態となり、その人物が通話状態、会話状態、ストレス状態のいずれにも該当しない訪問に相応しい状態となった場合に、訪問に適したタイミングであることが通知されるため、ユーザは適切な訪問の機会を知ることができる。

また、第２の発明は、前記プロセッサは、人物画像を並べて表示した人物一覧画面を生成し、この人物一覧画面に、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを表示する構成とする。

これによると、対象エリアにおける人物の滞在状況を一括して確認することができ、さらに、各人物が訪問者に応対できない状態であるか否かを即座に把握することができる。

また、第３の発明は、前記プロセッサは、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを、前記対象エリアを表すマップ画像上の対応する人物の位置に重畳したマップ画面を生成し、人物を選択するユーザの操作に応じて、選択した人物の人物画像を前記マップ画面に表示する構成とする。

また、第４の発明は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信する構成とする。

これによると、第１の発明と同様に、通知対象の人物が在席状態となり、その人物が通話状態、会話状態、ストレス状態のいずれにも該当しない訪問に相応しい状態となった場合に、訪問に適したタイミングであることが通知されるため、ユーザは適切な訪問の機会を知ることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る滞在状況表示システムの全体構成図である。

この滞在状況表示システムは、施設内の各部屋（対象エリア）における人物の滞在状況に関する表示情報を生成してユーザに提示するものであり、カメラ１と、施設管理装置２と、ユーザ端末３と、を備えている。カメラ１、施設管理装置２、およびユーザ端末３は、ネットワークを介して接続されている。

カメラ１は、施設内の各部屋（対象エリア）に設置されており、各部屋に滞在する人物を撮影する。

施設管理装置２は、カメラ１から送信される映像を受信して、その映像を解析することで、施設内の各部屋（対象エリア）における人物の滞在状況に関する表示情報を生成する。

ユーザ端末３は、ユーザが操作するＰＣやタブレット端末などである。このユーザ端末３は、施設管理装置２から送信される表示情報に基づいて、施設内の各部屋（対象エリア）における人物の滞在状況に関する画面を表示し、この画面をユーザが閲覧することで、施設内の各部屋における人物の滞在状況をユーザが確認することができる。

次に、施設内の部屋のレイアウト、カメラ１の設置状況、およびカメラ１の映像に設定される検知エリアについて説明する。図２は、施設内の部屋のレイアウト、カメラ１の設置状況、および検知エリアの設定状況を示す説明図である。

部屋（執務室）には、机および座席（椅子）が並べて配置されており、各人物に座席が１つずつ割り当てられて、各人物は自分の座席に着席して執務を行う。

部屋の天井には、カメラ１が設置されており、部屋に滞在する人物を撮影する。カメラ１には、魚眼レンズを用いて３６０度の範囲を撮影する全方位カメラや、所定の画角の範囲を撮影するボックスカメラが採用される。

本実施形態では、カメラ１の映像上に座席ごとの検知エリア（点線の矩形エリア）が予め設定され、この検知エリアの映像に基づいて、人物が自席に在席しているか否かを検知する。

この検知エリアは、座席に座った人物の身体が存在することが想定される位置に設定され、１つの検知エリアが１人の人物に対応するように、人物の身体の大きさを基準にして設定される。また、検知エリアは、カメラ１の映像を表示した画面上で検知エリアの範囲をユーザが指定する操作を行うことで設定されるようにすればよいが、カメラ１の映像から物体（椅子および机）を検出して、その検出結果に基づいて検知エリアを設定するようにしてもよい。

なお、本実施形態では、カメラ１の映像を用いて人物の在席を検知する在席検知が行われ、この在席検知には、人物を上方から撮影する全方位カメラの映像が適している。また、本実施形態では、カメラ１の映像を用いて人物の心拍数を推定する非接触バイタルセンシングが行われ、この非接触バイタルセンシングには、人物の顔を正面から撮影するボックスカメラの映像が適している。

また、本実施形態では、各人物に予め座席が１つずつ割り当てられた部屋で、各人物が自席に在席しているか否かを検知するようにしたが、フリーアドレス制を採用したオフィスや会議室や談話室のように、各人物に予め座席が１つずつ割り当てられていない部屋に誰が滞在しているかを検知するようにしてもよい。この場合、カメラ１の映像から顔認証などの技術を用いて人物を識別するようにすればよい。

次に、施設管理装置２およびユーザ端末３の概略構成について説明する。図３は、施設管理装置２およびユーザ端末３の概略構成を示すブロック図である。

施設管理装置２は、通信部２１と、プロセッサ２２と、記憶部２３と、表示部２４（表示装置）と、入力部２５と、を備えている。

通信部２１は、カメラ１との間で通信を行い、カメラ１から送信される映像を受信する。また、通信部２１は、ユーザ端末３との間で通信を行い、画面の表示情報をユーザ端末３に配信し、ユーザ端末３から操作情報を受信する。

記憶部２３は、通信部２１でカメラ１から受信した映像や、検知エリアに関する設定情報などの各種の設定情報や、プロセッサ２２で実行されるプログラムなどを記憶する。

表示部２４では、検知エリアを入力する画面（図示せず）などが表示される。入力部２５では、オペレータが検知エリアを入力する操作などを行う。

プロセッサ２２は、記憶部２３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、在席検知、状態検知、画面制御、および通知制御の各処理を行う。

在席検知の処理では、カメラ１の映像に基づいて、各座席に人物が在席しているか否かをリアルタイムに検知して、人物の在席状況に関する在席情報（滞在情報）を取得する。本実施形態では、映像上に予め設定された座席ごとの検知エリアにおける人物の滞在を一定時間ごとに検知して、各検知エリアにおける一定時間ごとの人物の在席状況に関する情報を取得する。

本実施形態では、人物が滞在すると映像に何らかの変化が生じることから、検知エリアにおける映像の変化状況に基づいて、座席に人物が在席しているか否かを検知する。具体的には、まず、所定のサンプリング周期（例えば１分間）をおいた各時刻の映像から、各時刻の検知エリアの映像を切り出す。そして、各時刻の検知エリアの映像について映像変化率を取得する。このとき、サンプリング周期をおいた直前の時刻の映像と比較して、その直前の時刻の映像に対する映像変化率を取得する。次に、各時刻の映像変化率に基づいて、検知エリアにおける人物の滞在の有無を判定する。そして、判定結果に基づいて、サンプリング周期をおいた各時刻での人物の滞在の有無を表す滞在情報を生成する。なお、在席検知処理において、上記のように映像変化率によらずに、ディープラーニングにより、在席状態と不在状態との２クラスを予め学習させた識別器を用いることができる。在席検知処理の際には、識別器により、検知エリアの画像に関して在席状態としての尤度（確からしさ）と不在状態としての尤度とを求めて、２つの尤度を比較することで、在席と不在とのいずれであるかを判定することができる。

状態検知の処理では、在席検知の処理で人物が在席する場合に、カメラ１の映像に基づいて、人物が訪問者に応対できない状態であるか否かを検知して、人物の状態に関する状態情報を取得する。本実施形態では、人物が通話中であるか否かを判定する通話判定と、人物が会話中であるか否かを判定する会話判定と、人物のストレスの度合いを判定するストレス判定と、が行われる。

通話判定では、検知エリアの映像から、電話で通話を行う際に耳に当てる装置、すなわち、携帯電話（スマートフォンを含む）や、固定電話の受話器や、イヤホン等が、人物の頭部の近傍で検出されると、通話中と判定する。

会話判定では、検知エリアの周辺の映像から、対象となる人物の近傍に別の人物が検出されると、会話中と判定する。このとき、近傍を通り過ぎる人物を排除するため、別の人物が検出された状態が所定時間継続した場合に、会話中と判定するようにするとよい。また、対象となる人物の近傍で、別の人物の発話をマイクで収音して、会話判定を行うようにしてもよい。さらに、映像からの人物検出とマイクからの発話検出を組合わせることで、会話判定精度を更に向上させることができる。

ストレス判定では、カメラ１の映像に基づく非接触バイタルセンシングにより、人物の心拍数を推定して、その心拍数に基づいて、人物のストレスの度合いに応じたストレス状態を判定する。なお、非接触バイタルセンシングは、人物の顔画像から、顔の血管の収縮によって生じる肌の色の変化から、心拍数をリアルタイムに推定するものである。

ここで、心拍数が、所定の第１のしきい値以上である場合に、緊張状態と判定する。また、心拍数が、所定の第２のしきい値未満である場合に、リラックス状態と判定する。また、心拍数が、所定の第１のしきい値未満で、かつ、第２のしきい値以上である場合に、標準状態と判定する。

なお、本実施形態では、カメラ１の映像に基づく非接触バイタルセンシングにより、人物の心拍数を推定して、人物のストレス状態を判定するようにしたが、人物の音声をマイクで収音して、その音声に基づいて人物のストレス状態を判定するようにしてもよい。

画面制御の処理では、ユーザ端末３に表示させる在席状況提示画面の表示情報を生成して、その表示情報をユーザ端末３に送信して、ユーザ端末３に在席状況提示画面を表示させる。この在席状況提示画面には、在席検知で取得した人物の在席状況が表示され、さらに、状態検知で取得した人物の状態が表示される。本実施形態では、在席状況提示画面として、各人物の在席状況および状態を人物別に並べて表示する人物一覧画面（図４参照）や、各人物の在席状況および状態を部屋のマップ上に表示するマップ画面（図５参照）を表示させる。この在席状況提示画面は、在席検知の結果および状態検知の結果に応じて一定時間ごとに更新される。

通知制御の処理では、人物が座席しているか否かに関する在席情報（滞在情報）が更新された場合、すなわち、不在であった人物が自席に戻って、その人物が在席状態となった場合に、その旨を電子メールでユーザに通知する。

ユーザは、在席状況提示画面（図４、図５参照）を閲覧して、訪問先の人物が不在である場合や、その人物が在席していても、通話中、会話中、緊張状態のいずれかである場合には、訪問を断念する。この場合、ユーザが訪問先の人物を通知対象に設定することで、その人物が自席に戻ると、電子メールがユーザ端末３に送信される。

なお、本実施形態では、電子メールをユーザ端末３に送信するようにしたが、ネットワークに接続された端末同士でメッセージをやり取りする公知の通信方式で、在席情報が更新されたことを表すメッセージを送信するようにしてもよい。

また、本実施形態では、在席情報が更新されたタイミングで通知を行うようにしたが、在席情報と共に、状態情報が更新されたタイミングで通知を行うようにしてもよい。具体的には、通話状態、会話状態およびストレス状態を総合的に考慮して、訪問先の人物に関して、訪問者に応対できない状態が全て解消されて、訪問に相応しい状態になった場合、すなわち、その人物が自席に戻って在席状態となり、かつ、通話中、会話中、緊張状態のいずれにも該当しない状態になった場合に、訪問に適したタイミングであることを表す通知を行う。

また、訪問先の人物が訪問に相応しい状態か否かは考慮せず、単に在席情報または状態情報が更新されたタイミングで、その更新内容をユーザに通知するようにしてもよい。

ユーザ端末３は、通信部３１と、プロセッサ３２と、記憶部３３と、表示部３４と、入力部３５と、を備えている。

通信部３１は、施設管理装置２との間で通信を行う。記憶部３３は、プロセッサ２２で実行されるプログラムなどを記憶する。プロセッサ３２は、ユーザ端末３の各部の動作を制御し、ユーザによる入力部３５の操作に応じて、施設管理装置２から送信される画面（図４，図５参照）に関する表示情報を通信部３１で受信して、その表示情報に基づいて表示部３４に滞在状況提示画面を表示する。

なお、ユーザ端末３がタブレット端末などである場合には、入力部３５はタッチパネルとなり、表示部３４となる表示パネルと組み合わされてタッチパネルディスプレイを構成する。

次に、ユーザ端末３に表示される人物一覧画面について説明する。図４は、人物一覧画面を示す説明図である。

この人物一覧画面には、部署選択部４１と、一覧表示部４２と、が設けられている。

部署選択部４１には、部署アイコン４３が並べて表示される。この部署アイコン４３を操作することで、該当する部署に所属する人物が一覧表示部４２に表示される。

一覧表示部４２には、人物別表示部４４が並べて表示される。この人物別表示部４４には、人物の顔画像４５と名前４６とが表示される。また、人物別表示部４４は、人物が不在である場合にはグレーアウトで表示される。

なお、本実施形態では、各人物を識別するための人物画像として、人物の顔画像（人物の顔を予め撮影した撮影画像）を表示するようにしたが、この人物画像は、人物の外観の特徴を模式的に描画した画像（似顔絵、アバター）であってもよい。

また、人物別表示部４４には、人物が会話中である場合には、会話中のアイコン５１が表示され、人物が通話中である場合には、通話中のアイコン５２が表示される。

また、人物のストレス状態が緊張状態である場合には、緊張状態のアイコン５３が表示され、人物のストレス状態が標準状態である場合には、標準状態のアイコン５４が表示され、人物のストレス状態がリラックス状態である場合には、リラックス状態のアイコン５５が表示される。

また、人物別表示部４４には、電子メールのアイコン５６が表示される。この電子メールのアイコン５６を操作すると、該当する人物が通知対象に設定される。このとき、アイコン５６の表示形態が変化し、例えばアイコン５６が反転表示される。なお、訪問に相応しい状態である場合には、通知の必要性を考慮し、電子メールのアイコン５６を表示しないようにすることもできる。

次に、ユーザ端末３に表示されるマップ画面について説明する。図５は、マップ画面を示す説明図である。なお、事前に、人物一覧画面（図４参照）に設けられた部署選択部４１と同様に部署（フロア）を選択する画面を表示させて、その画面でユーザが部署を選択することで、選択した部署のマップ画面が表示される。

このマップ画面には、各人物の在席状況（滞在状況）を表す在席マップ６１が表示される。この在席マップ６１では、座席ごとの在席状況を表す座席アイコン６２が、オフィスのレイアウトを表わすエリアマップ６３（地図画像）上に重畳して表示されている。エリアマップ６３には机の画像６４が描画されている。

座席アイコン６２は、在席状況（在席および不在）に応じて表示形態が変化する。本実施形態では、在席状況に応じて色が変化し、例えば、在席の場合には赤色で表示され、不在の場合には灰色で表示される。なお、在席状況に応じて在席または不在を表す文字を表示したり、在席の場合に人物の顔画像を表示したりしてもよい。

また、このマップ画面には、人物が会話中である場合には、その人物の座席アイコン６２の近傍に会話中のアイコン５１が表示され、人物が通話中である場合には、その人物の座席アイコン６２の近傍に通話中のアイコン５２が表示される。

また、人物のストレス状態が緊張状態である場合には、緊張状態の画像６５が座席アイコン６２に表示され、人物のストレス状態が標準状態である場合には、標準状態の画像６６が座席アイコン６２に表示され、人物のストレス状態がリラックス状態である場合には、リラックス状態の画像６７が座席アイコン６２に表示される。

また、このマップ画面では、人物を通知対象に設定する操作、例えば、訪問先の人物の座席アイコン６２を操作することで表示されるメニューボックスで通知を選択する操作を行うと、その人物が通知対象に設定され、その人物の座席アイコン６２の近傍に電子メールのアイコン６８が表示される。

また、このマップ画面では、座席アイコン６２に対してマウスオーバーの操作を行うと、情報表示ボックス７１が表示される。この情報表示ボックス７１には、人物の顔画像４５と、人物に関する詳細な情報（名前、所属部署、通話状態、会話状態、ストレス状態など）を表す文字７２と、が表示される。

次に、施設管理装置２で行われる在席情報（滞在情報）および状態情報に関する設定処理について説明する。図６は、在席情報および状態情報に関する設定処理の手順を示すフロー図である。

施設管理装置２では、まず、在席検知の結果を取得して、対象となる人物が在席しているか否かを判定する（ＳＴ１０１）。ここで、対象となる人物が不在である場合には（ＳＴ１０１でＮｏ）、対象となる人物の在席情報を不在に設定して（ＳＴ１０２）、処理を終了する。

一方、対象となる人物が在席している場合には（ＳＴ１０１でＹｅｓ）、対象となる人物の在席情報を在席に設定する（ＳＴ１０３）。次に、対象となる人物が通話中であるか否かを判定する（ＳＴ１０４）。

ここで、対象となる人物が通話中である場合には（ＳＴ１０４でＹｅｓ）、対象となる人物の対人状態に関する状態情報を通話中に設定して（ＳＴ１０５）、ＳＴ１０９に進む。

一方、対象となる人物が通話中でない場合には（ＳＴ１０４でＮｏ）、次に、対象となる人物が会話中であるか否かを判定する（ＳＴ１０６）。

ここで、対象となる人物が会話中である場合には（ＳＴ１０６でＹｅｓ）、対象となる人物の対人状態に関する状態情報を会話中に設定して（ＳＴ１０７）、ＳＴ１０９に進む。

一方、対象となる人物が会話中でない場合には（ＳＴ１０６でＮｏ）、対象となる人物の対人状態に関する状態情報をヌルに設定して（ＳＴ１０８）、ＳＴ１０９に進む。

次に、対象となる人物のストレス状態を判定する（ＳＴ１０９）。ここで、ストレスの度合いが高い場合には、対象となる人物のストレス状態に関する状態情報を緊張状態に設定する（ＳＴ１１０）。また、ストレスの度合いが標準である場合には、対象となる人物のストレス状態に関する状態情報を標準状態に設定する（ＳＴ１１１）。また、ストレスの度合いが低い場合には、対象となる人物のストレス状態に関する状態情報をリラックス状態に設定する（ＳＴ１１２）。

以上の処理は、一定周期で定期的に実行される。

次に、施設管理装置２で行われる通知制御について説明する。図７は、通知制御の動作手順を示すフロー図である。

まず、通知対象に設定された人物がいるか否かを判定する（ＳＴ２０１）。ここで、通知対象に設定された人物がいる場合には（ＳＴ２０１でＹｅｓ）、通知対象に設定された全ての人物を対象にして、通知判定の処理（ＳＴ２０２〜ＳＴ２０６）を行う。

この通知判定の処理では、まず、対象となる人物が在席したか否かを判定する（ＳＴ２０３）。ここで、対象となる人物が在席した場合には（ＳＴ２０３でＹｅｓ）、その人物のユーザ端末３に電子メールを送信する（ＳＴ２０４）。次に、通知済みの人物を通知対象から除外する（ＳＴ２０５）。一方、人物が不在である場合には（ＳＴ２０３でＮｏ）、特に処理を行わず、次の人物の処理に進む。

以上の処理は、一定周期で定期的に実行される。

なお、これまで通知制御について、電子メールによる通知機能を例に説明したが、ユーザ端末３にインストールされた滞在状況提示に関するアプリケーションによるアプリプッシュ通知機能、あるいは、Ｗｅｂプッシュ通知機能によって、タイムリーな通知を受けられるようにすることができる。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る滞在状況表示システムおよび滞在状況表示方法は、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる効果を有し、施設内の対象エリアに設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法などとして有用である。

１カメラ
２施設管理装置
３ユーザ端末
２１通信部
２２プロセッサ
２３記憶部
２４表示部
２５入力部
４５顔画像（人物画像）
５１会話中のアイコン（状態アイコン）
５２通話中のアイコン（状態アイコン）
５３緊張状態のアイコン（状態アイコン）
５４標準状態のアイコン（状態アイコン）
５５リラックス状態のアイコン（状態アイコン）
５６電子メールのアイコン
６１在席マップ
６２座席アイコン（状態アイコン）
６３エリアマップ
６５緊張状態の画像
６６標準状態の画像
６７リラックス状態の画像
６８電子メールのアイコン
７１情報表示ボックス

Claims

対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、
前記プロセッサは、
前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、
さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、
前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、
人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信することを特徴とする滞在状況表示システム。
前記プロセッサは、
人物画像を並べて表示した人物一覧画面を生成し、
この人物一覧画面に、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを表示することを特徴とする請求項１に記載の滞在状況表示システム。
前記プロセッサは、
前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを、前記対象エリアを表すマップ画像上の対応する人物の位置に重畳したマップ画面を生成し、
人物を選択するユーザの操作に応じて、選択した人物の人物画像を前記マップ画面に表示することを特徴とする請求項１に記載の滞在状況表示システム。
対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、
前記プロセッサは、
前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、
さらに、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が通話状態、会話状態、ストレス状態のいずれかにあって訪問者に応対できない状態であるか否かを検知し、
前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成し、
人物を選択して通知対象に設定するユーザの操作に応じて、前記通知対象に設定された人物に関する前記滞在情報が在席状態に更新され、かつ、前記状態情報が、前記通話状態、前記会話状態、前記ストレス状態のいずれにも該当しない訪問に相応しい状態に更新された場合に、その旨を表す通知をユーザ端末に送信することを特徴とする滞在状況表示方法。