[go: up one dir, main page]

WO2020031850A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2020031850A1
WO2020031850A1 PCT/JP2019/030251 JP2019030251W WO2020031850A1 WO 2020031850 A1 WO2020031850 A1 WO 2020031850A1 JP 2019030251 W JP2019030251 W JP 2019030251W WO 2020031850 A1 WO2020031850 A1 WO 2020031850A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
distance image
state
information processing
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/030251
Other languages
English (en)
French (fr)
Inventor
安川　徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AI Viewlife Co Ltd
Original Assignee
AI Viewlife Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AI Viewlife Co Ltd filed Critical AI Viewlife Co Ltd
Publication of WO2020031850A1 publication Critical patent/WO2020031850A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing device and an information processing method.
  • the position of the bed is extracted from the distance image, the area of the person is detected, and the motion of the person is determined.
  • the position of the bed is obtained from the frequency distribution of the height in the longitudinal direction and the lateral direction of the bed.
  • the movement of the person is determined by detecting the position of the object with respect to a predetermined height position, such as a lying state, an upper body state, and a standing state.
  • a predetermined height position such as a lying state, an upper body state, and a standing state.
  • a caregiver who cares for the cared person may enter the room, or a family member of the cared person may enter the room. Then, when monitoring the cared person using the image captured by the distance image sensor described above, it is difficult to distinguish the cared person from other persons. For this reason, a specific state of the care receiver may be erroneously detected, and an erroneous notification or a necessary notification may not be performed. As a result, there arises a problem that the care receiver cannot be properly and promptly cared for.
  • an object of the present invention is to provide an information processing apparatus capable of solving the above-mentioned problem, that the care recipient cannot be properly and promptly cared for.
  • An information processing device includes: Distance image obtaining means for obtaining a distance image of a predetermined area, Based on the distance image, detecting means for detecting a first person in the distance image, Notifying means for determining the state of the first person detected in the distance image, and performing a predetermined notification based on the state of the first person, The notification means, when detecting the second person in the detection means while determining the state of the first person in the distance image, stops the notification, Take the configuration.
  • the notifying unit when the detecting unit stops detecting the second person in the distance image from the distance image, the first person in the distance image Restarting the notification based on the state of Take the configuration.
  • the notifying unit stores the state of the first person determined in the distance image when the detecting unit detects the second person in the distance image, and stops the notifying.
  • the first person in the distance image based on the stored state of the first person Determine the state of the Take the configuration.
  • the notifying unit when stopping the notification, when receiving a command to restart notification from the information processing terminal connected to the information processing apparatus, continues from the stored state of the first person. To determine the state of the first person in the distance image, Take the configuration.
  • the notifying unit when receiving a notification restart instruction from the information processing terminal, restarts the notification stopped based on the state of the first person in the distance image, Take the configuration.
  • the notifying unit stops based on a state of the first person in the distance image when a predetermined time has elapsed after the detection unit detects the second person in the distance image. Restarting the notification that Take the configuration.
  • the detecting means when a predetermined time has elapsed after detecting the second person in the distance image, detects a person in the distance image as the new first person,
  • the notifying unit determines a state of the first person newly detected in the distance image, and performs a predetermined notification based on the state of the first person, Take the configuration.
  • An information processing method includes: Obtain a distance image of a predetermined area, Based on the distance image, detects a first person in the distance image, Determine the state of the first person detected in the distance image, perform a predetermined notification based on the state of the first person, When detecting the second person in the distance image while determining the state of the first person in the distance image, stop the notification, Take the configuration.
  • a program includes: In information processing equipment, Distance image acquisition means for acquiring a distance image of a predetermined area, Based on the distance image, detecting means for detecting a first person in the distance image, A notification unit that determines the state of the first person detected in the distance image and performs a predetermined notification based on the state of the first person, The notification means, when detecting the second person in the detection means while determining the state of the first person in the distance image, stops the notification, Make things happen, Take the configuration.
  • the present invention as configured above, enables appropriate and prompt care of a cared person.
  • FIG. 1 is a schematic diagram illustrating a configuration of an information processing system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a monitoring server disclosed in FIG. 1.
  • FIG. 2 is a diagram illustrating a state of image processing by the monitoring server disclosed in FIG. 1.
  • FIG. 2 is a diagram illustrating a state of image processing by the monitoring server disclosed in FIG. 1.
  • 3 is a flowchart illustrating a processing operation of the monitoring server disclosed in FIG. 1.
  • 3 is a flowchart illustrating a processing operation of the monitoring server disclosed in FIG. 1.
  • FIGS. 1 and 2 are diagrams showing the configuration of the information processing system.
  • 3 to 6 are diagrams for explaining the processing operation of the information processing system.
  • the configuration and operation of the information processing system will be described with reference to the drawings.
  • the information processing system is an information processing system for monitoring the behavior of a monitoring target person P such as a cared person or a monitored person.
  • the information processing system includes a monitoring server 10, a range image camera C, a mobile terminal 20, and a monitoring terminal 30.
  • the distance image camera C (photographing device) is arranged at a position where a distance image in the room R, which is an area where the bed B on which the person P to be monitored lies, is located.
  • the distance image camera C is provided on a ceiling of a room R in a medical facility, a nursing facility, or a house, and is arranged at a position where most of the room R fits in the image.
  • the range image camera C is not necessarily installed on the ceiling, but may be installed on any location such as a wall or a stand.
  • Bed B installed in room R may be any bed such as a futon.
  • the distance image camera C captures a distance image with a pixel value as a distance value.
  • the range image camera C may be of a type that measures a distance from a round trip time when an infrared laser is projected onto a target, and may be any type of imaging device.
  • the range image camera C has a function of shooting a range image at a fixed time interval or at a timing when a shooting instruction is received, and transmitting the range image to the monitoring server 10 described later.
  • the function of the monitoring server 10 can be mounted on the range image camera C. That is, the function of the monitoring server 10 may be realized by an information processing device mounted on the range image camera C.
  • the portable terminal 20 is an information processing terminal such as a smartphone that is held and operated by a user U who is a caretaker who monitors and monitors a person P1 who is a care receiver.
  • the mobile terminal 20 is connected and communicable with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
  • the mobile terminal 20 displays, on the display screen, a distance image captured by the distance image camera C, and also displays an operation screen on which an operation instruction regarding monitoring can be input.
  • the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
  • the mobile terminal 20 also has a function of receiving the notification of the state of the person P1 who is the care receiver issued from the monitoring server 10 and notifying the user U of the notification.
  • the monitoring terminal 30 is an information processing terminal operated by a user U who is a monitor who monitors and monitors a person who is a care receiver.
  • the monitoring terminal 30 is installed in a place such as a monitoring room where a user U such as a supervisor is enrolled, and can be operated by a plurality of users U.
  • the monitoring terminal 30 displays the distance image on the display screen and enables input of an operation instruction related to monitoring similarly to the mobile terminal 20 described above, and transmits the operation instruction to the monitoring server 10 or issues the operation instruction from the monitoring server 10. It has a function of receiving the notification of the state of the person to be notified and notifying the user U of the notification.
  • the monitoring server 10 is a server device (information processing device) having an arithmetic device and a storage device. As shown in FIG. 2, the monitoring server 10 includes a distance image acquisition unit 11, a detection unit 12, a determination unit 13, and a notification unit 14, which are constructed by the execution of a program by the arithmetic device. Further, the monitoring server 10 includes a person status storage unit 15 formed in a storage device.
  • the function of the monitoring server 10 can be mounted on the range image camera C. That is, the function of the monitoring server 10 may be realized by an information processing device mounted on the range image camera C.
  • the distance image acquisition unit 11 acquires the distance image in the room R including the bed B captured by the distance image camera C from the distance image camera C as described above. Then, by passing the acquired distance image to the detection unit 12 and the determination unit 13, the distance image is used for a person detection process and a state determination process described later.
  • the detection unit 12 (detection means) first performs a process of detecting the person P1 in the distance image (Step S1 in FIG. 5).
  • the detection unit 12 detects a moving object using, for example, a difference between distance images that are temporally forward and backward, and further detects a shape of the detected object (for example, whether there is an object corresponding to a pair of a head and a body). ) Is detected as the person P1.
  • the detection unit 12 turns on the notification flag that is off in the initial setting (FIG. 5).
  • the detection of the person P1 may be performed by any method.
  • the determination unit 13 determines the state of the first person P1 by following the first person P1 detected by the detection unit 12 based on the distance image as described above (see FIG. 6). Step S11). For example, the determination unit 13 detects the height and the position of the center of gravity of the first person P1, and determines the state of the first person P1 from the positional relationship between the height and the position of the center of gravity in the distance image. Then, the determination unit 13 stores the determined state of the first person P1 in the person state storage unit 15 (step S12 in FIG. 6). At this time, the determination unit 13 stores the state of the first person P1 in association with the value of the notification flag and the time at that time.
  • the determination unit 13 determines whether the state of the first person P1 is a preset detection target state based on the height, the center of gravity position of the first person P1, and the positional relationship with the bed B in the distance image. It is determined whether or not it is (step S13 in FIG. 6). When determining that the first person P1 is in the detection target state (Yes in step S13 of FIG. 6), the determination unit 13 notifies the notification unit 14 of the determination. Such determination of the state of the first person P1 is performed at regular time intervals.
  • the detecting unit 12 detects the first person P1 from the distance image as shown in the upper diagram of FIG. 3 as described above, and the determining unit 13 determines the top and the center of gravity of the first person P1 as shown in the lower diagram of FIG.
  • the state of the first person P1 is determined based on the positional relationship between the height of the position and the height of the bed B. For example, when the first person P1 is lying on the bed B (lying position) as shown in the lower diagram of FIG. 3, the first person P1 is lying on the bed B (position lying on the bed B). ) Is merely stored in the person state storage unit 15, and the notification to the notification unit 14 is not performed.
  • the determination unit 13 determines that the first person P1 is located at the boundary of the bed B (boundary state), the first person P is standing on the bed B (standing state), and the first person P is In a state where the person P is sitting on the bed B (a state of getting up) and a state where the person P is separated from the bed B (a state of leaving the bed), the state of the first person P is detected as a detection target state, The notification unit 14 is notified.
  • the detection target state determined in the present invention is not limited to the above-described state, and another state may be determined as the detection target state.
  • the notification unit 14 (notification unit) receives the notification that the first person P1 has been determined to be in the detection target state from the determination unit 13 as described above (Yes in step S13 of FIG. 6), the notification flag is set. Check if it is on. At this time, if the notification flag is on (Yes in step S14 of FIG. 6), an alert notifying that the first person P is in the detection target state is output to the mobile terminal 20 or the monitoring terminal 30, and Notify the user U (step S15 in FIG. 6). At this time, the notification unit 14 may output information for notifying the content of the detection target state to the mobile terminal 20 or the monitoring terminal 30.
  • the detection unit 12 Even after detecting the first person P1 in the distance image (Yes in step S1 in FIG. 5, step S2), the detection unit 12 further detects another person in the distance image, that is, another person in the room R.
  • the detection of two persons P2 is also performed (step S3 in FIG. 5). That is, the detection unit 12 is another person such as a caregiver in the same room when the first person P1 such as a care receiver is detected and the operation of the first person P1 is detected by the determination unit 13.
  • the second person P2 is detected.
  • the detection of the second person P2 is performed, for example, based on the shape of an object different from the first person P1 that has been detected and the state is determined.
  • the detection unit 12 turns off the notification flag set to on (step S4 in FIG. 5).
  • the detection unit 12 starts measuring time by the timer (Step S5 in FIG. 5). For example, in the example of the distance image in FIG. 4, the detecting unit 12 detects the first person P ⁇ b> 1 existing in the room R first, and then detects the second person P ⁇ b> 2 entering and leaving the room R later. Becomes In this case, the notification flag is turned off, a timer is started, and the entry time of the second person P2 is measured.
  • the determination unit 13 follows the first person P1 even when the second person P2 is present in the room R in addition to the first person P1, The state of the first person P1 is determined, and the storage of the determined state is continued (steps S11 and S12 in FIG. 6). On the other hand, even if the determination unit 13 determines that the state of the first person P1 is the detection target state (Yes in step S13 in FIG. 6), the notification flag is off (No in step S14 in FIG. 6). However, the above-described notification is not performed. That is, even if the determination unit 13 detects the detection target state, the notification unit 14 does not notify the notification unit 14 or the determination unit 13 notifies the notification unit 14 of the detection of the notification target state. Does not notify the monitoring terminal 30 or the like, and stops the notification. Note that, when the detection unit 12 detects the second person P2 as described above, the determination unit 13 may stop the notification by stopping the determination itself of the state of the first person P1.
  • step S6 the detecting unit 12 continues until a predetermined time elapses and a timeout occurs (see FIG. 5).
  • step S6 the second person P2 in the distance image is tracked, and the detection process is continued.
  • step S9 the notification restart notification is sent to the determination unit 13 (step S9 in FIG. 5), and the notification flag is turned on (step S2 in FIG. 5).
  • the detection unit 12 receives an instruction to restart notification from an information processing terminal such as the mobile terminal 20 or the monitoring terminal 30 connected to the monitoring server 10,
  • the notification restart notification is sent to the determination unit 13.
  • the detection unit 12 may send a notification restart notification to the determination unit 13 when the second person P2 cannot be detected without receiving the notification restart instruction.
  • the determination unit 13 that has received the notification restart notification from the detection unit 12 continues to determine the state of the first person P1 in the distance image, but at this time, the first person P2 immediately before the second person P2 is detected.
  • the state of P1 is read from the person state storage unit 15 (step S10 in FIG. 6), and the determination of the state of the first person P1 is continued from this state (step S11 in FIG. 6).
  • the determination unit 13 reads the state of the first person P1 stored from the person state storage unit 15, and identifies the latest state in which the notification flag was on from the associated notification flag and time. Then, the determination of the state of the first person P1 is continued from this state, and the notification is restarted.
  • the determination unit 13 may detect the timing at which the notification flag is turned off, and store the state of the first person P1 only at that time. Then, when the notification restart notification is received, the stored state of the first person P1 may be read, and the determination of the state of the first person P1 may be continued from this state.
  • the detection unit 12 After detecting the second person P2 and starting the timer (step S5 in FIG. 5), the detection unit 12 times out after a preset time has elapsed (Yes in step S6 in FIG. 5). The processing so far is reset (step S8 in FIG. 5). In this case, the detection unit 12 sets a state in which no one has detected a person from the distance image, and sets the notification flag to an initial state of OFF. Then, as described above, the detection unit 12 detects a new first person P1 from within the distance image, and the determination unit 13 determines the state of the new first person P1.
  • the present invention when the state of the first person P1 in the room R is determined and the second person P2 is detected in the room R, a notification based on the state of the first person P1 is issued. I'm going to stop. Thereby, it is possible to suppress the erroneous notification based on the state of the second person P2 which is not the monitoring target, and it is possible to suppress the hindrance of appropriate care.
  • the notification based on the state of the first person P1 is restarted. Thereby, appropriate notification based on the state of the first person P1 is made, and quick and appropriate care can be performed.
  • Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media are magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable @ ROM), EPROM (Erasable @ PROM), flash ROM, RAM (Random @ Access @ Memory)).
  • the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer readable media can provide the program to a computer via a wired communication line such as an electric wire and an optical fiber, or a wireless communication line.
  • the present invention enjoys the benefit of a priority claim based on a patent application filed on Aug. 6, 2018 in Japanese Patent Application No. 2018-147328, and is described in the patent application. The contents are all included in this specification.
  • Reference Signs List 10 monitoring server 11 distance image acquisition unit 12 detection unit 13 determination unit 14 notification unit 15 person status storage unit 20 mobile terminal 30 monitoring terminal B bed C distance image camera P1 first person P2 second person U user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本発明の情報処理装置は、所定領域の距離画像を取得する距離画像取得手段と、距離画像に基づいて当該距離画像内の第一人物を検出する検出手段と、距離画像内において検出した第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を備える。そして、上記報知手段は、距離画像内の第一人物の状態を判別しているときに検出手段にて第二人物を検出した場合に報知を停止する。

Description

情報処理装置
　本発明は、情報処理装置及び情報処理方法に関する。
　近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
　特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。そして、この監視システムでは、判別した動作が被介護者毎に予め設定された特定の状態である場合に、介護者の待機所に対して報知することとしている。
特開２０１２－０３００４２号公報
　ここで、介護を行う場合には、被介護者を介護する介護者が部屋に入室したり、被介護者の家族が部屋に入室することがある。すると、上述した距離画像センサで撮影した画像を用いて被介護者を監視する場合には、被介護者と他の人物とを区別することが困難である。このため、被介護者の特定の状態を誤検出することがあり、誤った報知がされたり、必要な報知がされないということが生じうる。その結果、被介護者を適切かつ迅速に介護することができない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、被介護者を適切かつ迅速に介護することができない、ということを解決することができる情報処理装置を提供することにある。
　本発明の一形態である情報処理装置は、
　所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
　前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を備え、
　前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止する、
という構成をとる。
　また、上記情報処理装置では、
　前記報知手段は、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
という構成をとる。
　また、上記情報処理装置では、
　前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出したときに、前記距離画像内において判別した前記第一人物の状態を記憶し、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、記憶している前記第一人物の状態に基づいて前記距離画像内における当該第一人物の状態の判別を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記報知手段は、前記報知を停止しているときに、前記情報処理装置に接続された情報処理端末から報知再開の指令を受け付けた場合に、記憶している前記第一人物の状態から継続して前記距離画像内における当該第一人物の状態の判別を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記報知手段は、前記情報処理端末から報知再開の指令を受け付けた場合に、前記距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
という構成をとる。
　また、上記情報処理装置では、
　前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、当該距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
という構成をとる。
　また、上記情報処理装置では、
　前記検出手段は、前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、前記距離画像内の人物を新たな前記第一人物として検出し、
　前記報知手段は、前記距離画像内において新たに検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う、
という構成をとる。
　また、本発明の他の形態である情報処理方法は、
　所定領域の距離画像を取得し、
　前記距離画像に基づいて、当該距離画像内の第一人物を検出し、
　前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行い、
　前記距離画像内の前記第一人物の状態を判別しているときに前記距離画像内の第二人物を検出した場合に、前記報知を停止する、
という構成をとる。
　また、上記情報処理方法では、
　前記報知を停止しているときに前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
という構成をとる。
　また、本発明の他の形態であるプログラムは、
　情報処理装置に、
　所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
　前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を実現させると共に、
　前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止する、
ことを実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、被介護者を適切かつ迅速に介護することができる。
本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。 図１に開示した監視サーバの処理動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図６は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
　本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。
　上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域である部屋Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の部屋Ｒの天井に設けられ、部屋Ｒの大部分が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、部屋Ｒに設置されるベッドＢは、布団などのいかなる寝床であってもよい。
　距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、上記監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。
　上記携帯端末２０は、被介護者である人物Ｐ１の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物Ｐ１の状態の通知を受信して、ユーザＵに報知する機能も有する。
　上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の状態の通知を受信して、ユーザＵに報知する機能を有する。
　上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、検出部１２、判定部１３、報知部１４、を備えている。また、監視サーバ１０は、記憶装置に形成された、人物状態記憶部１５を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も図５及び図６のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。
　上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む部屋Ｒ内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を検出部１２及び判別部１３に渡することで、当該距離画像は後述する人物検出処理や状態判別処理に用いられる。
　上記検出部１２（検出手段）は、まず、距離画像内における人物Ｐ１を検出する処理を行う（図５のステップＳ１）。検出部１２は、例えば、時間的に前後する距離画像の差分を用いて移動する物体を検出し、さらに、検出した物体の形状（例えば、頭部及び胴体部の対に相当する物体があるか）に基づいて、人物Ｐ１として検出する。そして、検出部１２は、距離画像内において最初の人物である第一人物Ｐ１を検出すると（図５のステップＳ１でＹｅｓ）、初期設定ではオフにされている報知フラグをオンにする（図５のステップＳ２）。なお、人物Ｐ１の検出は、いかなる方法で行ってもよい。
　上記判別部１３（報知手段）は、距離画像に基づいて、上述したように検出部１２にて検出した第一人物Ｐ１を追従して、かかる第一人物Ｐ１の状態を判別する（図６のステップＳ１１）。例えば、判別部１３は、第一人物Ｐ１の高さと重心位置を検出し、当該高さと重心位置との距離画像内における位置関係から、第一人物Ｐ１の状態を判別する。そして、判別部１３は、判別した第一人物Ｐ１の状態を、人物状態記憶部１５に記憶しておく（図６のステップＳ１２）。このとき、判別部１３は、第一人物Ｐ１の状態に、そのときの報知フラグの値と時刻を関連付けて記憶する。
　さらに、判別部１３は、第一人物Ｐ１の高さと重心位置と距離画像内のベッドＢとの位置関係にも基づいて、第一人物Ｐ１の状態が、予め設定された検知対象状態であるか否かを判別する（図６のステップＳ１３）。そして、判定部１３は、第一人物Ｐ１が検知対象状態であると判別すると（図６のステップＳ１３でＹｅｓ）、その旨を報知部１４に通知する。このような第一人物Ｐ１の状態の判別は、一定の時間間隔で行われる。
　ここで、図３上図に、距離画像の一例を示す。図３上図に示すような距離画像から、検出部１２は上述したように第一人物Ｐ１を検出し、判別部１３は、図３下図に示すようにかかる第一人物Ｐ１の頭頂部や重心位置の高さとベッドＢの高さとの位置関係に基づいて、当該第一人物Ｐ１の状態を判別する。例えば、図３下図に示すように第一人物Ｐ１がベッドＢに横たわっている状態（臥位状態）である場合には、第一人物Ｐ１がかかる状態（ベッドＢ上に位置して横たわっている）であることを人物状態記憶部１５に記憶しておくだけで、報知部１４への通知は行わない。一方で、判別部１３は、例えば、第一人物Ｐ１がベッドＢの境界に位置する状態（境界位状態）、第一人物ＰがベッドＢに立つ状態（立位状態）、第一人物ＰがベッドＢ上に座っている状態（起き上がり状態）、人物ＰがベッドＢから離れた状態（離床状態）、である場合には、第一人物Ｐの状態が検知対象状態であることとして検知し、報知部１４に通知する。但し、本発明で判定する検知対象状態は、上述した状態に限定されず、他の状態を検知対象状態として判定してもよい。
　上記報知部１４（報知手段）は、上述したように判別部１３から第一人物Ｐ１が検知対象状態であると判別した旨の通知を受けると（図６のステップＳ１３でＹｅｓ）、報知フラグがオンであるか否かを調べる。このとき、報知フラグがオンである場合には（図６のステップＳ１４でＹｅｓ）、第一人物Ｐが検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力して、ユーザＵに報知する（図６のステップＳ１５）。このとき、報知部１４は、検知対象状態の内容を通知する情報を携帯端末２０や監視端末３０に出力してもよい。
　次に、上述した検出部１２と判別部１３とのさらなる構成を説明する。上記検出部１２は、距離画像内における第一人物Ｐ１を検出した後であっても（図５のステップＳ１でＹｅｓ、ステップＳ２）、さらに距離画像内つまり部屋Ｒ内における他の人物である第二人物Ｐ２の検出も行う（図５のステップＳ３）。つまり、検出部１２は、被介護者といった第一人物Ｐ１を検出して判別部１３にて第一人物Ｐ１の動作を検出しているときに、同一室内における介護者などの他の人物である第二人物Ｐ２の検出を行う。第二人物Ｐ２の検出は、例えば、先に検出して状態の判別を行っている第一人物Ｐ１とは異なる物体の形状に基づいて行う。
　そして、検出部１２は、第二人物Ｐ２を検出すると（図５のステップＳ３でＹｅｓ）、オンに設定されている報知フラグをオフにする（図５のステップＳ４）。加えて、検出部１２は、タイマによる時間の計測を開始する（図５のステップＳ５）。例えば、図４の距離画像の例では、検出部１２は、先に部屋Ｒ内に存在していた第一人物Ｐ１を検出した後に、後から部屋Ｒに入出した第二人物Ｐ２を検出することとなる。この場合、報知フラグをオフにし、タイマを開始して第二人物Ｐ２の入室時間を計測する。
　そして、上記判別部１３は、図４に示すように、第一人物Ｐ１に加えて第二人物Ｐ２が部屋Ｒ内に存在している場合であっても、第一人物Ｐ１を追従して、当該第一人物Ｐ１の状態の判別を行い、判別した状態の記憶を継続する（図６のステップＳ１１，Ｓ１２）。一方で、判別部１３は、第一人物Ｐ１の状態が検知対象状態として判別されたとしても（図６のステップＳ１３でＹｅｓ）、報知フラグがオフであるため（図６のステップＳ１４でＮｏ）、上述した報知は行わない。つまり、判別部１３が検知対象状態を検知しても、報知部１４への報知を行わなかったり、あるいは、判別部１３が報知対象状態の検知を報知部１４に通知したとしても当該報知部１４が監視端末３０等への報知を行わないことで、報知を停止する。なお、判別部１３は、上述したように検出部１２にて第二人物Ｐ２を検出した際には、第一人物Ｐ１の状態の判別自体を停止することで、報知を停止してもよい。
　また、上記検出部１２は、第二人物Ｐ２を検出してタイマ開始した後であっても（図５のステップＳ５）、予め設定された時間が経過してタイムアウトとなるまでは（図５のステップＳ６でＮｏ）、距離画像内における第二人物Ｐ２を追跡して検出処理を継続する。そして、検出部１２は、タイムアウトとなるまでに第二人物Ｐ２が部屋Ｒ内から検出できなくなると、つまり、第二人物Ｐ２が部屋Ｒ内から退出したことを検出すると（図５のステップＳ７でＹｅｓ）、報知再開通知を判別部１３に行い（図５のステップＳ９）、報知フラグをオンにする（図５のステップＳ２）。このとき、検出部１２は、第二人物Ｐ２が検出できなくなることに加え、監視サーバ１０に接続された携帯端末２０や監視端末３０などの情報処理端末から報知再開の指令を受けた場合に、報知再開通知を判別部１３に行う。例えば、第二人物Ｐ２が介護者などのユーザＵである場合には、介護が終了して部屋Ｒを出たユーザＵによって携帯端末２０が操作されて報知再開の指令が監視サーバ１０に入力されることとなる。但し、検出部１２は、報知再開の指令を受けることなく、第二人物Ｐ２が検出できなくなった場合に報知再開通知を判別部１３に行ってもよい。
　そして、検出部１２から報知再開通知を受けた判別部１３は、距離画像内における第一人物Ｐ１の状態の判別を継続するが、このとき、第二人物Ｐ２が検出される直前の第一人物Ｐ１の状態を人物状態記憶部１５から読出し（図６のステップＳ１０）、かかる状態から第一人物Ｐ１の状態の判別を継続する（図６のステップＳ１１）。具体的に、判別部１３は、人物状態記憶部１５から記憶されている第一人物Ｐ１の状態を読出し、関連付けられている報知フラグと時刻から、報知フラグがオンであった直近の状態を特定し、かかる状態から第一人物Ｐ１の状態の判別を継続して、報知を再開する。一例として、図４に示すように、第一人物Ｐ１がベッドＢで横たわっているときに第二人物Ｐ２が検出され、その後、第二人物Ｐ２が部屋Ｒから退出したとすると、第一人物Ｐ１がベッドＢで横たわっている状態であることとして、現在の距離画像から第一人物Ｐ１を追従し、状態の判別を行う。これにより、第二人物Ｐ２が入室したことによって、当該第二人物Ｐ２を誤って追従して状態の判別を行ってしまった場合であっても、第一人物Ｐ１が第二人物Ｐ２の入出前の状態を維持していれば、正常に第一人物Ｐ１の状態の判別処理に戻ることができる。
　なお、判別部１３は、報知フラグがオフになったタイミングを検知して、そのときだけ第一人物Ｐ１の状態を記憶してもよい。そして、上述した報知再開通知を受けたときに、記憶している第一人物Ｐ１の状態を読み出して、かかる状態から第一人物Ｐ１の状態の判別を継続してもよい。
　また、上記検出部１２は、第二人物Ｐ２を検出してタイマ開始した後に（図５のステップＳ５）、予め設定された時間が経過してタイムアウトとなると（図５のステップＳ６でＹｅｓ）、これまでの処理をリセットする（図５のステップＳ８）。この場合、検出部１２は、距離画像内からまだだれも人物を検出していない状態とし、報知フラグを初期状態であるオフにする。そして、検出部１２は、上述したように、距離画像内から新たな第一人物Ｐ１の検出を行い、判別部１３は、新たな第一人物Ｐ１の状態の判別を行う。
　以上のように、本発明では、部屋Ｒ内の第一人物Ｐ１の状態を判別しているときに、当該部屋Ｒ内に第二人物Ｐ２を検出すると、第一人物Ｐ１の状態に基づく報知を停止することとしている。これにより、監視対象ではない第二人物Ｐ２の状態に基づいて誤って報知がされることを抑制でき、適切な介護の妨げとなることを抑制することができる。
　また、本発明では、第二人物Ｐ２が部屋Ｒ内から退出したり、入出してからタイムアウトとなったときに、第一人物Ｐ１の状態に基づく報知を再開することとしている。これにより、第一人物Ｐ１の状態に基づく適切な報知がなされ、迅速かつ適切な介護を行うことができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１８年８月６日に特許出願された特願２０１８－１４７３２８の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１０　監視サーバ
１１　距離画像取得部
１２　検出部
１３　判別部
１４　報知部
１５　人物状態記憶部
２０　携帯端末
３０　監視端末
Ｂ　ベッド
Ｃ　距離画像カメラ
Ｐ１　第一人物
Ｐ２　第二人物
Ｕ　ユーザ
 

Claims (9)

  1. 　所定領域の距離画像を取得する距離画像取得手段と、
    　前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
    　前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を備え、
    　前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止する、
    情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記報知手段は、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
    情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置であって、
    　前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出したときに、前記距離画像内において判別した前記第一人物の状態を記憶し、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、記憶している前記第一人物の状態に基づいて前記距離画像内における当該第一人物の状態の判別を行う、
    情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記報知手段は、前記報知を停止しているときに、前記情報処理装置に接続された情報処理端末から報知再開の指令を受け付けた場合に、記憶している前記第一人物の状態から継続して前記距離画像内における当該第一人物の状態の判別を行う、
    情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記報知手段は、前記情報処理端末から報知再開の指令を受け付けた場合に、前記距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
    情報処理装置。
  6. 　請求項１乃至５のいずれかに記載の情報処理装置であって、
    　前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、当該距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
    情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記検出手段は、前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、前記距離画像内の人物を新たな前記第一人物として検出し、
    　前記報知手段は、前記距離画像内において新たに検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う、
    情報処理装置。
  8. 　所定領域の距離画像を取得し、
    　前記距離画像に基づいて、当該距離画像内の第一人物を検出し、
    　前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行い、
    　前記距離画像内の前記第一人物の状態を判別しているときに前記距離画像内の第二人物を検出した場合に、前記報知を停止する、
    情報処理方法。
  9. 　請求項８に記載の情報処理方法であって、
    　前記報知を停止しているときに前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
    情報処理方法。
PCT/JP2019/030251 2018-08-06 2019-08-01 情報処理装置 Ceased WO2020031850A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018147328A JP7095870B2 (ja) 2018-08-06 2018-08-06 情報処理装置
JP2018-147328 2018-08-06

Publications (1)

Publication Number Publication Date
WO2020031850A1 true WO2020031850A1 (ja) 2020-02-13

Family

ID=69415351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030251 Ceased WO2020031850A1 (ja) 2018-08-06 2019-08-01 情報処理装置

Country Status (2)

Country Link
JP (1) JP7095870B2 (ja)
WO (1) WO2020031850A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410143A (zh) * 2021-05-26 2022-11-29 精工爱普生株式会社 报知方法、信息处理装置、显示系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6835270B1 (ja) * 2020-02-17 2021-02-24 王子ホールディングス株式会社 硫酸エステル化繊維状セルロース、組成物、シート及び硫酸エステル化繊維状セルロースの製造方法
JP7563401B2 (ja) * 2022-02-15 2024-10-08 コニカミノルタ株式会社 見守り監視システム、見守り監視方法、および見守り監視プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152428A1 (ja) * 2015-03-26 2016-09-29 コニカミノルタ株式会社 被監視者監視装置および被監視者監視方法
WO2017061371A1 (ja) * 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152428A1 (ja) * 2015-03-26 2016-09-29 コニカミノルタ株式会社 被監視者監視装置および被監視者監視方法
WO2017061371A1 (ja) * 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410143A (zh) * 2021-05-26 2022-11-29 精工爱普生株式会社 报知方法、信息处理装置、显示系统

Also Published As

Publication number Publication date
JP7095870B2 (ja) 2022-07-05
JP2020024480A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
US10102730B2 (en) Monitoring apparatus for monitoring a targets exposure to danger
JP5924820B2 (ja) トイレ見守り方法およびこれに用いるトイレ見守り装置
WO2020031850A1 (ja) 情報処理装置
WO2016186160A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20180140230A1 (en) Motion detection system, motion detection device, motion detection method, and motion detection program
WO2019163561A1 (ja) 情報処理装置
WO2016181837A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP7232497B2 (ja) 情報処理装置
WO2019240196A1 (ja) 情報処理装置
JPWO2018030024A1 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP2018063641A (ja) 記録媒体、コンピュータ、ビーコンユニット及び見守りシステム
JP2022126071A (ja) 画像処理方法
JP2017076938A (ja) 情報処理装置
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
TWI577277B (zh) 具自動異常判定之餵食裝置、系統和方法
JP7607319B2 (ja) 画像処理方法
JP2019219171A (ja) 情報処理装置
JP7607320B2 (ja) 画像処理方法
WO2020021897A1 (ja) 情報処理装置
JP6807247B2 (ja) 監視システム、及び監視方法
JP6549524B2 (ja) 小型基地局
US20250260791A1 (en) Non-transitory computer-readable recording medium, watching system, and control device
JP2019146712A (ja) 行動監視システム、及び、行動監視方法
JP3215201U (ja) 監視装置
WO2024090466A1 (ja) 見守りシステム及び制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19847387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19847387

Country of ref document: EP

Kind code of ref document: A1