[go: up one dir, main page]

WO2024181108A1 - モニタリングシステム、モニタリング方法、およびプログラム - Google Patents

モニタリングシステム、モニタリング方法、およびプログラム Download PDF

Info

Publication number
WO2024181108A1
WO2024181108A1 PCT/JP2024/004782 JP2024004782W WO2024181108A1 WO 2024181108 A1 WO2024181108 A1 WO 2024181108A1 JP 2024004782 W JP2024004782 W JP 2024004782W WO 2024181108 A1 WO2024181108 A1 WO 2024181108A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
measurement
roi
respiratory
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/004782
Other languages
English (en)
French (fr)
Inventor
宇紀 深澤
奈々 河村
弘泰 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2025503742A priority Critical patent/JPWO2024181108A1/ja
Publication of WO2024181108A1 publication Critical patent/WO2024181108A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb occurring during breathing

Definitions

  • This technology relates to a monitoring system, a monitoring method, and a program, and in particular to a monitoring system, a monitoring method, and a program that enable respiratory monitoring with high robustness.
  • Capnometers are commonly used for respiratory monitoring in clinical settings such as hospitals. Capnometers are contact sensors that detect the concentration of carbon dioxide in the breath. Because they are contact sensors, measures are required to deal with false detections or inability to detect due to poor contact.
  • Non-contact respiratory monitoring systems have been proposed.
  • One example of a non-contact respiratory monitoring system is a system that uses a camera (Patent Document 1).
  • Patent Document 1 In order to apply the technology described in Patent Document 1 to actual clinical practice, high robustness is required. In actual clinical practice, movement of the patient or device, as well as changes in the ambient light, can cause disturbances to respiratory monitoring.
  • a monitoring system includes an image processing unit that acquires an RGB image obtained by photographing a patient and a depth image that indicates depth values to each position on the patient, and a measurement unit that tracks a measurement area set in the patient's respiratory area based on the RGB image and, if a tracking error occurs in the measurement area, reconfigures the measurement area based on the depth image.
  • an RGB image obtained by photographing a patient and a depth image showing depth values to each position on the patient are obtained, and a measurement area set in the patient's respiratory area is tracked based on the RGB image. Furthermore, if a tracking error occurs in the measurement area, the measurement area is re-set based on the depth image.
  • FIG. 1 is a diagram illustrating an example of the configuration of a respiratory monitoring system.
  • FIG. 1 is a diagram showing an example of an image captured by an RGB-D camera.
  • FIG. 13 is a diagram showing an example of a waveform indicating an image feature amount of a ROI.
  • FIG. 13 is a diagram showing an example of ROI.
  • FIG. 13 illustrates an example of tracking an ROI.
  • FIG. 13 is a diagram showing another example of tracking of an ROI.
  • FIG. 1 is a block diagram showing an example of the configuration of a respiratory monitoring system. 13 is a flowchart illustrating a respiration monitoring process.
  • FIG. 11 is a diagram illustrating an example of calculation of a frequency feature amount.
  • FIG. 13 is a diagram illustrating an example of calculation of respiration intensity.
  • FIG. 13 is a diagram showing an example of ROI selection using a depth value.
  • FIG. 13 is a diagram showing an example of IDR of ROI of each region.
  • FIG. 13 is a diagram showing an example of detection of a breathing region.
  • FIG. 13 is a diagram showing an example of detection of a breathing region.
  • FIG. 13 is a diagram showing an example of evaluation of breathing intensity.
  • FIG. 13 is a diagram showing the flow of an automatic ROI search process.
  • FIG. 11 is a diagram showing another flow of the ROI automatic search process.
  • FIG. 13 is a diagram showing another example of the configuration of the respiratory monitoring system.
  • FIG. 13 is a block diagram showing another example of the configuration of the respiratory monitoring system.
  • FIG. 13 is a flowchart illustrating a respiration monitoring process when the initial setting of the ROI is performed automatically.
  • FIG. 13 is a diagram showing an example of tracking an ROI by template matching.
  • FIG. 1 is a block diagram illustrating an example of the configuration of a computer.
  • FIG. 1 is a diagram showing an example of the configuration of a respiratory monitoring system according to an embodiment of the present technology.
  • the respiratory monitoring system 1 in FIG. 1 is configured by connecting an RGB-D camera 12, which photographs a patient in an ICU or the like, to an information processing device 11 via wired or wireless communication.
  • the RGB-D camera 12 is attached to an IV stand placed next to the bed on which the patient is sleeping.
  • the monitor 13 is connected to the information processing device 11.
  • the information processing device 11 and the monitor 13 are installed, for example, in an ICU.
  • the information processing device 11 and the monitor 13 may be installed in another room of the medical facility, not in the ICU.
  • the information processing device 11 and the monitor 13 may be installed in the same room, or in different rooms.
  • the respiratory monitoring system 1 is a system used by medical staff such as doctors and nurses as users to monitor the respiratory condition of patients.
  • the respiratory condition is monitored based on images captured by an RGB-D camera 12.
  • a monitoring screen used by medical staff to check the respiratory condition of the patient is displayed on a monitor 13 based on an image signal transmitted from an information processing device 11 via wired or wireless communication.
  • one RGB-D camera 12 that captures the state of one patient is connected to the information processing device 11, but multiple cameras that capture images of different patients may also be connected to the information processing device 11.
  • FIG. 2 shows an example of an image captured by the RGB-D camera 12.
  • a measurement region In the image captured by the RGB-D camera 12, a measurement region, ROI (Region of Interest), is set as shown by a rectangular frame. To enable observation of the state of breathing, the ROI is set in a position where movement occurs due to breathing, such as the chest or abdomen. While the shape of the ROI is rectangular in the above description, it may be other shapes. Furthermore, multiple ROIs may be set. When multiple ROIs are set, the size of each ROI may be the same or different sizes.
  • RGB images and depth images are captured by the RGB-D camera 12.
  • the RGB-D camera 12 is a camera equipped with a sensor for RGB images (visible light sensor) and a sensor for depth images.
  • the sensor for depth images is composed of, for example, a ToF (Time of Flight) sensor.
  • An RGB image is an image in which the value of each pixel is an RGB value.
  • a Depth image is an image in which the value of each pixel is a depth value that indicates the distance to the subject.
  • An ROI is set for each of the RGB image and the depth image. The ROI may be set at a corresponding position on each image, or the ROI may be set at a different position.
  • the information processing device 11 determines whether the patient's breathing is normal or abnormal based on the image data of the ROI from the entire image captured by the RGB-D camera 12.
  • Figure 3 shows an example of a waveform obtained by analyzing an ROI.
  • the waveform in Figure 3 shows the time series changes in image features.
  • Image features are time domain features obtained from pixel data.
  • the waveform shown in Figure 3A is a waveform that indicates changes in brightness values.
  • the horizontal axis of Figure 3A represents time, and the vertical axis represents brightness values. Changes in brightness values are detected based on RGB images taken at each time.
  • an ROI is set at the position of the mask worn by a patient receiving oxygen therapy, and a waveform like that shown in Figure 3A is generated based on the average brightness values of the pixels that make up the ROI. Changes in the brightness values of the ROI occur as the mask fogs up in response to breathing.
  • the waveform shown in Figure 3B is a waveform that indicates the change in the amount of movement in the X direction (horizontal direction of the image).
  • the horizontal axis of Figure 3B represents time, and the vertical axis represents the amount of displacement. Changes in the amount of movement in the X direction are detected based on the RGB images taken at each time. For example, as shown in Figure 4B, an ROI is set on the patient's abdomen, and the movement of each feature point within the ROI in the X direction is estimated using the Optical Flow method or the like. Motion estimation using the Optical Flow method is performed by calculating the amount of movement between frames of each feature point set at each position within the ROI.
  • the waveform shown in Fig. 3C is a waveform that indicates the change in the amount of movement in the Y direction (vertical direction of the image).
  • the horizontal axis of Fig. 3C represents time, and the vertical axis represents the amount of displacement.
  • the change in the amount of movement in the Y direction is also detected based on the RGB images captured at each time. For example, similar to the amount of movement in the X direction, the movement in the Y direction of each feature point in the ROI shown in Fig. 4B is estimated.
  • the waveform shown in Figure 3D is a waveform that indicates the change in the amount of movement in the Z direction (depth direction of the image).
  • the horizontal axis of Figure 3D represents time, and the vertical axis represents the amount of displacement.
  • the change in the amount of movement in the Z direction is detected based on the depth image taken at each time.
  • an ROI is set on the patient's abdomen, and a waveform such as that shown in Figure 3D is generated based on the average pixel values (depth values) of the pixels that make up the ROI.
  • the waveform obtained based on the depth image reflects abdominal movement due to breathing.
  • respiratory waveform data is generated based on the RGB image and the depth image captured by the RGB-D camera 12, and respiratory monitoring is performed in a non-contact manner.
  • respiratory monitoring is performed in a non-contact manner.
  • the ROI is tracked so that the waveform can be observed at the same position. If the patient moves, the position of the ROI changes to match the patient's body movements.
  • FIG. 5 is a diagram showing an example of tracking an ROI.
  • one ROI is set on the patient's chest.
  • the initial position of the ROI is set manually by a nurse or the like.
  • the RGB-D camera 12 is not shown in FIG. 5.
  • the ROI is tracked as shown in the leftmost part of Figure 5.
  • the ROI is tracked by analyzing the RGB image of each frame.
  • an automatic ROI search is performed, as indicated by the tip of arrow #2.
  • the ROI is searched for by selecting a position from which image data showing the respiratory state can be obtained, and the ROI found by the search is automatically set (reset). Respiratory monitoring continues based on the reset ROI.
  • the automatic ROI search is performed, for example, by analyzing the depth image.
  • Figure 6 shows another example of tracking an ROI.
  • tracking of the ROI is performed based on the RGB image, and if a tracking error occurs, automatic search of the ROI is performed based on the depth image. Even if an ROI tracking error occurs, it is possible to automatically reset the ROI and continue respiratory monitoring.
  • the RGB-D camera 12 is used for respiratory monitoring, it is possible to monitor the respiratory condition from multiple angles based on the brightness value and the amount of movement in each of the X, Y and Z directions. In addition, it is possible to improve the accuracy of abnormality detection based on multifaceted information.
  • FIG. 7 is a block diagram showing an example of the configuration of the respiration monitoring system 1.
  • the information processing device 11 is composed of an image processing unit 21, a respiration measurement unit 22, a state determination unit 23, and a display control unit 24.
  • Other components such as an operation unit used to input information about the patient are also provided appropriately in the information processing device 11.
  • the RGB image and depth image captured by the imaging unit 12A of the RGB-D camera 12 are input to the image processing unit 21.
  • the image processing unit 21 of the information processing device 11 acquires the image sent from the RGB-D camera 12 and stores it in memory.
  • the image processing unit 21 outputs the RGB image to the display control unit 24, and displays an image of the patient on the monitor 13.
  • the image processing unit 21 also extracts image data of the ROIs of the RGB image and the depth image, and performs image processing to analyze the image features of the ROIs. As described with reference to FIG. 3, respiratory waveform data indicating changes in luminance values and changes in the amount of movement in each of the X, Y, and Z directions is generated as the analysis result.
  • the image processing unit 21 outputs respiratory waveform data, which is the analysis result of the image feature amount of the ROI, to the respiratory measurement unit 22.
  • the RGB image and the depth image are also supplied to the respiratory measurement unit 22.
  • the respiration measurement unit 22 measures the patient's respiration state based on the information supplied from the image processing unit 21.
  • the respiration measurement unit 22 is composed of a measurement area setting unit 31, a respiration area detection unit 32, a respiration intensity evaluation unit 33, and a respiration rate calculation unit 34.
  • the measurement area setting unit 31 sets an ROI for respiratory monitoring. Information about the ROI set by the measurement area setting unit 31 is supplied to the image processing unit 21 and used for ROI analysis.
  • the breathing area detection unit 32 tracks the ROI based on the RGB image.
  • the breathing area detection unit 32 also calculates frequency features based on the image features of the ROI to detect the breathing area.
  • the frequency features are frequency domain features that are obtained by performing a specified calculation such as FFT on image features, which are time domain features.
  • the breathing intensity evaluation unit 33 evaluates breathing intensity based on the frequency features of the ROI.
  • the respiratory rate calculation unit 34 calculates the patient's respiratory rate based on the frequency features of the ROI.
  • the information obtained by each part of the respiration measurement unit 22 is supplied to the state determination unit 23 and the display control unit 24 as the monitoring result of the respiration state.
  • the details of the processing by each part of the respiration measurement unit 22 will be described later.
  • the condition determination unit 23 determines whether or not there is an abnormality in the patient's breathing based on the information supplied from the respiration measurement unit 22. Information indicating the determination result by the condition determination unit 23 is supplied to the display control unit 24.
  • the display control unit 24 controls the display of a monitoring screen, which is a screen used for monitoring the patient's breathing.
  • the monitoring screen displays information such as a respiratory waveform and respiratory rate along with a patient image in which each frame is composed of an RGB image.
  • the display control unit 24 causes information indicating that there is an abnormality to be displayed on the monitoring screen.
  • the imaging unit 12A of the RGB-D camera 12 constantly images the patient during respiratory monitoring, and outputs the captured RGB image and depth image to the information processing device 11.
  • the display unit 13A of the monitor 13 displays the monitoring screen according to the control of the display control unit 24.
  • step S1 the measurement area setting unit 31 of the respiration measurement unit 22 sets an ROI in the RGB image and the depth image, and stores ROI data, which is information indicating the position and range of the ROI.
  • the initial setting of the ROI is performed manually by medical staff while viewing the RGB image, for example.
  • a screen used for the initial setting of the ROI is displayed on the monitor 13.
  • step S2 the image processing unit 21 acquires the image transmitted from the RGB-D camera 12 and stores the image data in memory.
  • the image processing unit 21 analyzes the ROIs of each of the RGB image and the depth image, and generates respiratory waveform data as an image feature.
  • the respiratory waveform data as described with reference to FIG. 3 is generated based on the ROIs of each of the RGB image and the depth image.
  • step S3 the breathing area detection unit 32 calculates the frequency features of the ROI based on the breathing waveform data.
  • Figure 9 shows an example of frequency feature calculation.
  • the upper part of Figure 9 shows a waveform indicating the change in the amount of movement in the Z direction.
  • Calculations such as FFT are performed on the waveform data that indicates the change in the amount of movement in the Z direction, and a frequency feature with a peak at a specified frequency is generated, as shown in the lower part of Figure 9.
  • the horizontal axis of the graph shown in the lower part of Figure 9 indicates frequency, and the vertical axis indicates signal strength.
  • Curve L is a regression curve obtained based on the frequency feature.
  • Area A1, shown hatched in the lower part of Figure 9, is the area surrounded by the regression curve and the amplitude spectrum.
  • the peak frequency reflects the breathing frequency, i.e., the breathing rate, as shown in the speech bubble.
  • the breathing rate calculation unit 34 calculates the breathing rate based on such frequency feature generated by the breathing area detection unit 32.
  • the area of region A1 also reflects the breathing intensity.
  • the breathing intensity evaluation unit 33 calculates the breathing intensity based on the frequency feature generated by the breathing area detection unit 32.
  • the respiratory rate and respiratory intensity as monitoring results may be obtained by combining the respiratory rate and respiratory intensity obtained based on multiple types of analysis results, such as by averaging the respiratory rate and respiratory intensity obtained based on two types of analysis results.
  • the respiratory rate and respiratory intensity are obtained as monitoring results based on at least one of the changes in luminance value, the changes in the amount of movement in the X direction, the changes in the amount of movement in the Y direction, and the changes in the amount of movement in the Z direction.
  • step S4 of FIG. 8 the breathing area detection unit 32 tracks the ROI based on the image feature amount of the RGB image. As described above, the ROI is tracked by calculating the amount of movement between frames of each feature point set at each position within the ROI.
  • step S5 the breathing area detection unit 32 determines whether or not a tracking error of the ROI has occurred.
  • Examples of causes of tracking errors include the following: - The patient or the RGB-D camera 12 moves significantly, making it impossible to track the ROI. - A medical staff member appears in front of the RGB-D camera 12, making it impossible to capture the area where the ROI is set. - The patient is covered with a blanket or something similar, blocking out the area where the ROI is set.
  • the method of determining the tracking error is, for example, as follows.
  • the similarity of image features in the ROI and its surroundings is calculated for each frame or at regular intervals, and if the similarity falls below a threshold, it is determined that an error has occurred.
  • the tracking of the ROI may be performed based on the depth image.
  • the distance to the subject is calculated for each frame or at regular time intervals, and if the distance changes from a threshold, it is determined that a tracking error has occurred. For example, if the distance to the subject is 1 m in the initial setting of the ROI, but becomes 2 m at a certain point in time, it is determined that a tracking error has occurred.
  • step S6 the breathing area detection unit 32 outputs information indicating that an ROI tracking error has occurred to the display control unit 24.
  • the display control unit 24 displays the error by displaying the information indicating that a tracking error has occurred on the monitoring screen. A message, icon, or the like indicating that an ROI tracking error has occurred is displayed on the monitoring screen.
  • step S7 After the display of the ROI tracking error has begun, an automatic ROI search process is performed in step S7. After the ROI has been automatically reset by the automatic ROI search process, the processes from step S1 onwards are repeated.
  • the automatic ROI search process performed in step S7 will be described later with reference to the flowchart in FIG. 11.
  • step S8 the display control unit 24 displays the respiratory waveform and respiratory rate on the monitoring screen.
  • the respiratory waveform is displayed, for example, based on the analysis results of the ROI generated by the image processing unit 21. All respiratory waveforms, including those showing changes in brightness values and those showing changes in the amount of movement in each of the X, Y and Z directions, may be displayed, or at least one of the respiratory waveforms may be displayed. A waveform generated by combining multiple waveforms may also be displayed.
  • step S9 the condition determination unit 23 performs an abnormal breathing determination.
  • the abnormal breathing determination is a process for determining whether or not there is an abnormality in the patient's breathing condition.
  • the state determination unit 23 performs preprocessing on the ROI analysis results and then performs abnormal breathing determination.
  • the preprocessing is performed, for example, to align the units of the analysis results.
  • the RGB-D camera 12 it is possible to detect respiratory movement using multifaceted information such as the luminance value and the amount of movement in each of the X, Y and Z directions, but preprocessing is required for information with different units.
  • the following pre-processing is carried out: ⁇ Standardization of numerical data ⁇ If there is a discrepancy between the angle of view of the RGB image and the angle of view of the depth image, calibration is performed to convert the camera coordinate system (unit: pixel) to the world coordinate system (unit: mm). It becomes possible to handle the amount of movement in each of the X, Y and Z directions in the same unit.
  • the ratio of the area of region A1 to the area of region A2 shown in Fig. 10 is calculated as the respiration intensity.
  • Region A1 is the region surrounded by the regression curve and the amplitude spectrum in the frequency domain data.
  • Region A2 is the region of the amplitude spectrum below the regression curve.
  • Abnormal breathing is determined by threshold processing based on the analysis results data obtained through this preprocessing, or processing using a model generated by machine learning.
  • determining abnormal breathing using threshold processing for example, if the breathing rate or breathing strength is below a threshold value for a certain period of time, the patient's breathing condition is determined to be abnormal.
  • abnormal breathing determination using a model generated by machine learning data such as breathing waveform and frequency features are input to the model, and based on the output, it is determined whether the patient's breathing condition is abnormal or not.
  • a model that receives inputs such as breathing waveform and frequency features and outputs the classification result of the breathing pattern is prepared in advance in the condition determination unit 23. If the classification result of the breathing pattern output by the model indicates an abnormal pattern, the patient's breathing condition is determined to be abnormal.
  • step S10 the display control unit 24 displays information indicating that the patient's breathing is abnormal on the monitoring screen, and performs an abnormal breathing display. A message, icon, or the like indicating that the patient's breathing is abnormal is displayed on the monitoring screen.
  • step S9 if it is determined in step S9 that there is no abnormality in the patient's breathing condition, the process in FIG. 8 ends. The above process is repeated during respiratory monitoring.
  • the ROI automatic search process performed in step S7 in Fig. 8 will be described with reference to the flowchart in Fig. 11.
  • the ROI automatic search process is performed based on, for example, a depth image.
  • the measurement area setting unit 31 generates multiple ROIs and generates ROI data indicating the position and range of each ROI.
  • the ROIs generated here become candidates for the ROIs that will ultimately be set. For example, the entire depth image is divided into a grid pattern, and each divided area is generated as a candidate ROI.
  • step S22 the image processing unit 21 acquires the depth image sent from the RGB-D camera 12 and stores the image data in memory.
  • the image processing unit 21 analyzes each ROI of the depth image and calculates the change in the amount of movement in the Z direction as an image feature.
  • step S23 the breathing area detection unit 32 selects the ROI based on the depth value.
  • Figure 12 shows an example of ROI selection using depth values.
  • the depth image shown on the left side of Figure 12A is the depth image acquired when the subject in the RGB image shown on the right side is the target. Each grid-like area is set in the depth image and generated as a candidate ROI.
  • Figure 12B shows a histogram of depth values for the ROI set at the position shown in Figure 12A.
  • the selection of ROIs by the respiratory region detection unit 32 is performed based on such a histogram.
  • the depth values of ROIs set at the boundary between the background and the patient vary widely.
  • the respiratory region detection unit 32 selects ROIs by excluding ROIs whose variation in depth values is greater than a threshold value.
  • the variation in depth values is expressed, for example, by the coefficient of variation of the following formula (1).
  • the breathing region detection unit 32 calculates an invalid depth ratio (IDR) for each ROI, which indicates the ratio of pixels with invalid depth values, and selects ROIs by excluding ROIs with an IDR greater than a threshold value.
  • IDR is expressed by the following formula (2).
  • N invalid is the number of pixels with invalid depth values.
  • N total is the number of pixels that make up the ROI. For example, pixels with a depth value of 0 (distance detection failure) or pixels with a depth value outside the valid distance range are pixels with invalid depth values.
  • the valid distance range is set to, for example, a distance of 10 cm or more and 200 cm or less.
  • the IDR of each ROI shown in Figure 12 is calculated as shown in Figure 13.
  • the IDR of ROIs set in the background and on the boundary between the patient and the background is high.
  • ROIs may be selected simply by excluding ROIs whose average depth value is not within the valid range.
  • a specified distance such as within 200 cm, is set as the valid range.
  • the breathing area detection unit 32 selects the ROI based on the depth value indicated by the depth image, excluding at least one of the following: areas where the proportion of undetected pixels in the depth value is greater than a threshold, areas where the distance to the subject is outside a specified range, and areas where the coefficient of variation of the depth value is greater than a threshold.
  • step S24 of FIG. 11 the breathing area detection unit 32 calculates the frequency feature of the ROI selected in step S23. If multiple ROIs are selected, the frequency feature of each is calculated. By performing calculations such as FFT on the waveform data indicating the change in the amount of movement in the Z direction, the frequency feature as described with reference to FIG. 9 is generated.
  • the breathing region detection unit 32 detects the breathing region ROI based on the frequency feature.
  • the breathing region ROI is detected using, for example, the coefficient of determination R2 between the amplitude spectrum of the waveform indicating the change in the amount of motion in the Z direction and the regression curve.
  • Figures 14 and 15 show examples of detecting breathing areas.
  • Figure 14 shows an example of detection when the periodicity of the respiratory waveform is clear.
  • calculations such as FFT are performed on such waveform data, frequency features with peaks appearing at specific frequencies are obtained, as shown in the lower part of Figure 14.
  • the appearance of a peak in the amplitude value means that a movement corresponding to breathing occurs in the ROI.
  • the amplitude value near the peak frequency deviates from the value of the regression curve (curve L11), and the coefficient of determination R2 becomes small.
  • the coefficient of determination R2 is calculated as 0.39.
  • Figure 15 shows an example of detection when the periodicity of the respiratory waveform is unclear.
  • FFT Fast Fourier transform
  • the absence of a peak in the amplitude value means that no movement corresponding to breathing occurs in the ROI.
  • the amplitude value of each frequency becomes close to the value of the regression curve (curve L12), and the coefficient of determination R2 becomes large.
  • the coefficient of determination R2 is calculated as 0.87.
  • an ROI having a frequency feature amount as shown in Fig. 14, in which the coefficient of determination R2 is smaller than a threshold value is detected as a breathing region.
  • a plurality of ROIs are detected as breathing regions.
  • step S26 of FIG. 11 the breathing intensity evaluation unit 33 evaluates the breathing intensity of each breathing region detected in step S25.
  • the breathing intensity is evaluated based on the area of the amplitude spectrum near the breathing frequency.
  • Figure 16 shows an example of respiratory intensity evaluation.
  • the waveform in the top row of Figure 16 is a waveform with clear periodicity and large amplitude, while the waveform in the bottom row is a waveform with clear periodicity but small amplitude.
  • the area of the amplitude spectrum near the respiratory frequency is calculated based on the frequency features, and respiratory intensity is evaluated.
  • the area of the amplitude spectrum near the respiratory frequency is calculated as 0.319 based on the waveform in the upper row, and 0.031 based on the waveform in the lower row.
  • the ROI with the frequency features shown in the upper row of Figure 16 is an ROI with a higher respiratory intensity than the ROI with the frequency features shown in the lower row.
  • the measurement area setting unit 31 selects and sets, for example, the ROI with the highest breathing intensity. Instead of the highest ROI, the ROI may be selected using another algorithm that uses the breathing intensity. Multiple ROIs may be selected and set as one ROI.
  • the ROI is automatically reset in response to the occurrence of a tracking error in the ROI. After that, the process returns to step S7 in FIG. 8, and the process from step S1 onward is carried out using the automatically reset ROI.
  • FIG. 17 shows the flow of the above-described automatic ROI search process.
  • ROIs are selected using Depth values (step S23).
  • an R2 map which is a map of the determination coefficients R2 of each ROI selected by threshold processing using Depth values, is generated as shown at the end of arrow #22 (step S25).
  • the respiration intensity of the respiration region detected as the ROI with the determination coefficient R2 smaller than the threshold is calculated based on the area of the amplitude spectrum (step S26).
  • the amplitude spectrum area map shown at the right end of Fig. 17 is a map showing the area of the amplitude spectrum of each respiration region, that is, the respiration intensity.
  • the abdominal region, where the respiration intensity is the highest is finally set as the ROI.
  • the ROI can be automatically reset, making it possible to monitor the patient's respiratory condition stably and with high accuracy. It also makes it possible to provide safer respiratory management for patients.
  • the automatic ROI search process is performed using only the depth image, but the RGB image may be used for at least a portion of the processing that constitutes the automatic ROI search process.
  • FIG. 18 shows another flow of the automatic ROI search process.
  • ROI selection is performed using Depth values.
  • an R2 map which is a map of the coefficient of determination R2 of each ROI selected by threshold processing using Depth values, is generated as indicated by the tip of arrow #32.
  • the change in luminance value and the change in the amount of motion in the X and Y directions are identified based on the RGB image, and the R2 map is generated based on the frequency feature amount.
  • the R2 map may be generated by combining the change in luminance value and the change in the amount of motion in the X and Y directions identified based on the RGB image, and the change in the amount of motion in the Z direction identified based on the depth image.
  • the respiration intensity of the breathing region detected as the ROI with the determination coefficient R2 smaller than the threshold value is calculated based on the area of the amplitude spectrum.
  • the frequency feature of the RGB image is also used appropriately for the calculation of the respiration intensity.
  • RGB images and depth images for automatic ROI search, it is possible to set ROIs with greater precision based on multifaceted information.
  • FIG. 19 is a diagram showing another example of the configuration of the respiration monitoring system 1.
  • the information processing device 11 is installed in the medical facility, but as shown in FIG. 19, a server on the cloud may function as the information processing device 11. Communication is performed between the information processing device 11 installed outside the medical facility and the RGB-D camera 12 installed in the medical facility via a network 101 such as the Internet. Although not shown in the figure, the monitor 13 is installed, for example, in the medical facility.
  • respiratory waveform data as described above is generated based on the RGB image and the depth image, and is transmitted to the information processing device 11.
  • the RGB image and the depth image may be transmitted to the information processing device 11, or may not be transmitted.
  • the information processing device 11 performs the above-mentioned respiratory monitoring process based on the respiratory waveform data transmitted from the RGB-D camera 12.
  • the RGB-D camera 12 functions as an edge device, and only the respiratory waveform data is transmitted to the information processing device 11, making it possible for images of the patient to remain within the medical facility. It is possible to realize a respiratory monitoring system that takes into consideration the privacy of patients.
  • RGB-D coaxial sensor in which a sensor for an RGB image and a sensor for a depth image are arranged so as to be coaxial sensors as the sensor of the RGB-D camera 12.
  • RGB-D coaxial sensor it is possible to realize a reduction in size and cost of the housing of the RGB-D camera 12.
  • alignment of the sensor for the RGB image and the sensor for the depth image is not required.
  • the RGB-D camera 12 may be equipped with a small monitor. This makes it possible to realize a small respiratory monitoring camera equipped with an RGB-D coaxial sensor. By using the RGB-D coaxial sensor to achieve miniaturization and energy saving, it is possible to configure the RGB-D camera 12 as a battery-powered device.
  • RGB-D camera 12 This eliminates the need for power cables and allows for greater freedom in installation of the RGB-D camera 12. Also, by providing the RGB-D camera 12 with a display unit 13A, which is a small monitor, it becomes possible to check the respiratory waveform at the location where the RGB-D camera 12 is installed.
  • FIG. 20 shows an example of the configuration of an RGB-D camera 12 that functions as an edge device and is equipped with a small monitor.
  • an image processing unit 21 and a display unit 13A are provided in the RGB-D camera 12.
  • the image processing unit 21 of the RGB-D camera 12 extracts image data of the ROIs of the RGB image and the depth image captured by the imaging unit 12A, and performs image processing to analyze the image features of the ROIs.
  • the image processing unit 21 outputs respiratory waveform data, which is the analysis result of the image features of the ROIs, to the respiratory measurement unit 22.
  • the display unit 13A of the RGB-D camera 12 displays the monitoring screen according to the control of the display control unit 24 of the information processing device 11.
  • the RGB-D camera 12 may be connected to an external device such as a smartphone to enable remote control.
  • FIG. 21 is a flowchart explaining the respiration monitoring process when the initial setting of the ROI is performed automatically.
  • the process shown in FIG. 21 is the same as the process shown in FIG. 8, except that the same process as the ROI automatic search process described with reference to FIG. 11 is performed in step S21. That is, after the initial setting of the ROI is automatically performed by the ROI automatic search process, the processes from step S22 onwards are performed.
  • steps S22 to S31 are the same as those in steps S1 to S10 in FIG. 8. If a tracking error occurs in the automatically set ROI, an automatic ROI search process is performed in step S28.
  • ROI tracking is performed by motion estimation such as the Optical Flow method
  • ROI tracking may be performed by other algorithms based on image features.
  • ROI tracking may be performed by template matching.
  • Figure 22 shows an example of tracking an ROI using template matching.
  • the ROI image which is an image of the ROI within the entire RGB image, is used as a template, and matching is performed with each region of the RGB image, as shown by the arrows in Figure 22.
  • the ROI is tracked by template matching to detect the region with the highest similarity in image features.
  • Tracking of an ROI by template matching is performed, for example, as follows. - Image features of the ROI are stored in memory and tracked for each frame. If a tracking error occurs due to obstruction or the like, tracking is attempted for a predetermined period of time (a period of time during which failure to detect breathing does not pose a significant clinical problem (such as 10 seconds)). If tracking is not possible after a specified time has elapsed, an error is detected and an automatic search for the ROI is performed.
  • the tracking of the ROI using image features may be performed using the depth image.
  • the tracking of the ROI may be performed using image features of both the RGB image and the depth image. In other words, it is possible to track the ROI using image features of at least one of the RGB image and the depth image.
  • the ROI may be tracked using the frequency features of at least one of the RGB image and the depth image.
  • the processes described as being performed using RGB images may be performed using IR images instead of RGB images.
  • IR images When there is no lighting, such as at night, it can be difficult to observe the subject using RGB images.
  • IR images By using IR images, it becomes possible to perform various processes such as tracking ROIs and analyzing image features.
  • the RGB-D camera 12 can also capture an IR image at the same time as capturing the depth image.
  • the IR image captured together with the depth image is used in place of the RGB image.
  • the above-mentioned series of processes can be executed by hardware or software.
  • the program constituting the software is installed from a program recording medium into a computer incorporated in dedicated hardware, or into a general-purpose personal computer, etc.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes by a program.
  • the information processing device 11 is also configured by a computer having the configuration shown in FIG. 23.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input/output interface 205 Further connected to the bus 204 is an input/output interface 205. Connected to the input/output interface 205 are an input unit 206 consisting of a keyboard, mouse, etc., and an output unit 207 consisting of a display, speakers, etc. Also connected to the input/output interface 205 are a storage unit 208 consisting of a hard disk or non-volatile memory, a communication unit 209 consisting of a network interface, etc., and a drive 210 that drives removable media 211.
  • the CPU 201 performs the above-mentioned series of processes, for example by loading a program stored in the storage unit 208 into the RAM 203 via the input/output interface 205 and the bus 204 and executing the program.
  • the programs executed by the CPU 201 are provided, for example, by being recorded on removable media 211, or via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and are installed in the storage unit 208.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or it may be a program in which processing is performed in parallel or at the required timing, such as when called.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • this technology can be configured as cloud computing, in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the multiple processes included in that one step can be executed by one device, or can be shared and executed by multiple devices.
  • Example of combination of configurations The present technology can also have the following configurations.
  • an image processing unit that acquires an RGB image obtained by photographing a patient and a depth image that indicates a depth value to each position on the patient; a measurement unit that tracks a measurement area set in the patient's respiratory area based on the RGB image, and if a tracking error occurs in the measurement area, re-defines the measurement area based on the depth image.
  • the image processing unit acquires the RGB image and the depth image captured by an RGB-D camera.
  • the measurement unit tracks the measurement area by using the RGB image and the depth image.
  • the monitoring system according to (3) wherein the measurement unit tracks the measurement area based on image features of the measurement area in the RGB image and image features of the measurement area in the depth image.
  • the measurement unit calculates a frequency feature of the measurement region by analyzing waveform data indicating a change in depth value.
  • the measurement unit selects areas that are candidates for the measurement area based on their respective depth values.
  • the measurement unit performs the selection by excluding at least one of areas where the proportion of undetected pixels for depth values is greater than a threshold, areas where the distance to the subject is outside a predetermined range, and areas where the coefficient of variation of depth values is greater than a threshold.
  • the measurement unit calculates a respiration intensity of the respiration region based on a frequency feature in a predetermined frequency range including a peak frequency, and selects the respiration region to be the measurement region.
  • the image processing unit includes: generating waveform data indicating a change in luminance value and waveform data indicating a change in a motion amount of a subject in a planar direction by analyzing the measurement area in the RGB image;
  • the monitoring system according to any one of (1) to (10), wherein waveform data indicating a change in an amount of movement in a depth direction is generated by analyzing the measurement region in the depth image.
  • the measurement unit calculates a frequency feature amount of the measurement region by analyzing at least any one of the waveform data,
  • the measurement unit calculates a respiratory rate based on a peak frequency in a frequency feature amount of the measurement region, The monitoring system according to (13), wherein the display control unit displays the respiratory rate of the patient together with a respiratory waveform.
  • the monitoring system Acquiring an RGB image obtained by photographing a patient and a depth image indicating a depth value to each position of the patient; Tracking a measurement area set in the respiratory area of the patient based on the RGB image; When a tracking error occurs in the measurement area, the measurement area is reset based on the depth image.
  • Respiratory monitoring system 11 Information processing device, 12 RGB-D camera, 13 Monitor, 21 Image processing unit, 22 Respiratory measurement unit, 23 Status determination unit, 24 Display control unit, 31 Measurement area setting unit, 32 Respiratory area detection unit, 33 Respiratory intensity evaluation unit, 34 Respiratory rate calculation unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本技術は、高いロバスト性を確保した呼吸モニタリングを実現できるようにするモニタリングシステム、モニタリング方法、およびプログラムに関する。 本技術の一側面のモニタリングシステムは、患者を撮影して得られたRGB画像と患者の各位置までのDepth値を示すDepth画像とを取得し、患者の呼吸領域に設定された計測領域をRGB画像に基づいて追跡し、計測領域の追跡エラーが生じた場合、計測領域の再設定をDepth画像に基づいて行う。本技術は、患者の呼吸の状態のモニタリングを非接触で行うシステムに適用することができる。

Description

モニタリングシステム、モニタリング方法、およびプログラム
　本技術は、モニタリングシステム、モニタリング方法、およびプログラムに関し、特に、高いロバスト性を確保した呼吸モニタリングを実現できるようにしたモニタリングシステム、モニタリング方法、およびプログラムに関する。
　病院などの臨床現場での呼吸モニタリングにおいてはカプノメーターが一般的に利用されている。カプノメーターは、呼吸中の二酸化炭素濃度を検出する接触型のセンサである。接触型のセンサであるため、接触不良による誤検出や検出不能になったときの対策が必要になる。
　非接触での呼吸モニタリングシステムが各種提案されている。非接触での呼吸モニタリングシステムとして、カメラを用いたシステムがある（特許文献１）。
特開２０１４－１７１５７４号公報
　特許文献１に記載されているような技術を実臨床に応用するためには高いロバスト性が必要になる。実臨床では、被写体となる患者や装置が動いたり、環境光が変化したりすることなどが呼吸モニタリングの外乱となる。
　本技術はこのような状況に鑑みてなされたものであり、高いロバスト性を確保した呼吸モニタリングを実現できるようにするものである。
　本技術の一側面のモニタリングシステムは、患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得する画像処理部と、前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う測定部とを備える。
　本技術の一側面においては、患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とが取得され、前記患者の呼吸領域に設定された計測領域が前記RGB画像に基づいて追跡される。また、前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定が前記Depth画像に基づいて行われる。
呼吸モニタリングシステムの構成例を示す図である。 RGB-Dカメラにより撮影された画像の例を示す図である。 ROIの画像特徴量を示す波形の例を示す図である。 ROIの例を示す図である。 ROIの追跡の例を示す図である。 ROIの追跡の他の例を示す図である。 呼吸モニタリングシステムの構成例を示すブロック図である。 呼吸モニタリング処理について説明するフローチャートである。 周波数特徴量の計算の例を示す図である。 呼吸強度の計算の例を示す図である。 図８のステップＳ７において行われるROI自動探索処理について説明するフローチャートである。 Depth値を用いたROIの選別の例を示す図である。 各領域のROIのIDRの例を示す図である。 呼吸領域の検出例を示す図である。 呼吸領域の検出例を示す図である。 呼吸強度の評価の例を示す図である。 ROI自動探索処理の流れを示す図である。 ROI自動探索処理の他の流れを示す図である。 呼吸モニタリングシステムの他の構成例を示す図である。 呼吸モニタリングシステムの他の構成例を示すブロック図である。 ROIの初期設定が自動的に行われる場合の呼吸モニタリング処理について説明するフローチャートである。 テンプレートマッチングによるROIの追跡の例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．呼吸モニタリングシステムの概要
　２．呼吸モニタリングシステムの詳細構成
　３．呼吸モニタリング処理
　４．変形例
＜＜呼吸モニタリングシステムの概要＞＞
　図１は、本技術の一実施形態に係る呼吸モニタリングシステムの構成例を示す図である。
　図１の呼吸モニタリングシステム１は、ICUなどにいる患者を撮影するRGB-Dカメラ１２が、有線や無線の通信を介して情報処理装置１１に接続されることによって構成される。図１の例においては、患者が寝ているベッド脇に置かれた点滴スタンドにRGB-Dカメラ１２が取り付けられている。
　情報処理装置１１にはモニタ１３が接続される。情報処理装置１１とモニタ１３は、例えばICU内に設置される。ICU内ではなく、医療施設の他の部屋に情報処理装置１１とモニタ１３が設置されるようにしてもよい。情報処理装置１１とモニタ１３が同じ部屋に設置されるようにしてもよいし、それぞれ異なる部屋に設置されるようにしてもよい。
　呼吸モニタリングシステム１は、医師や看護師などの医療スタッフがユーザとなって患者の呼吸の状態をモニタリングすることに用いられるシステムである。RGB-Dカメラ１２により撮影された画像に基づいて、呼吸の状態のモニタリングが行われる。モニタ１３には、患者の呼吸の状態を医療スタッフが確認するために用いられるモニタリング画面が、有線や無線の通信を介して情報処理装置１１から送信された画像信号に基づいて表示される。
　図１の例においては１人の患者の様子を撮影する１台のRGB-Dカメラ１２が情報処理装置１１に接続されているが、それぞれ異なる患者を撮影する複数台のカメラが情報処理装置１１に接続されるようにしてもよい。
　図２は、RGB-Dカメラ１２により撮影された画像の例を示す図である。
　RGB-Dカメラ１２が撮影する画像には、矩形の枠で囲んで示すように、計測領域であるROI(Region of Interest)が設定される。呼吸の状態を観察できるように、例えば、胸部、腹部などの、呼吸運動による動きが生じる位置にROIが設定される。ROIの形状が矩形であるものとしたが、他の形状であってもよい。また、複数のROIが設定されるようにしてもよい。複数のROIが設定される場合、それぞれのROIの大きさが同じ大きさであってもよいし、異なる大きさであってもよい。
　RGB-Dカメラ１２により、RGB画像とDepth画像が撮影される。RGB-Dカメラ１２は、RGB画像用のセンサ（可視光センサ）とDepth画像用のセンサとを搭載したカメラである。Depth画像用のセンサは例えばToF(Time of Flight)センサにより構成される。
　RGB画像は、RGB値を各画素の値とする画像である。Depth画像は、被写体までの距離を示すDepth値を各画素の値とする画像である。RGB画像とDepth画像のそれぞれに対してROIが設定される。それぞれの画像の対応する位置にROIが設定されるようにしてもよいし、異なる位置にROIが設定されるようにしてもよい。
　以下、RGB-Dカメラ１２が撮影するRGB画像とDepth画像をそれぞれ区別する必要がない場合、まとめて画像という。
　RGB-Dカメラ１２により撮影された画像全体のうちのROIの画像データに基づいて、患者の呼吸が正常であるか異常であるかが情報処理装置１１により判定される。
　図３は、ROIを解析することによって求められる波形の例を示す図である。図３の波形は画像特徴量の時系列変化を示す。画像特徴量は、画素データから求められる時間領域の特徴量である。
　図３のＡに示す波形は、輝度値の変化を示す波形である。図３のＡの横軸は時刻を表し、縦軸は輝度値を表す。輝度値の変化は、各時刻に撮影されたRGB画像に基づいて検出される。例えば、図４のＡに示すように、酸素投与中の患者が装着するマスクの位置にROIが設定され、ROIを構成する画素の輝度値の平均などに基づいて、図３のＡに示すような波形が生成される。呼吸に応じてマスクが曇ることによってROIの輝度値に変化が現れる。
　図３のＢに示す波形は、Ｘ方向（画像横方向）の動き量の変化を示す波形である。図３のＢの横軸は時刻を表し、縦軸は変位量を表す。Ｘ方向の動き量の変化は、各時刻に撮影されたRGB画像に基づいて検出される。例えば、図４のＢに示すように、患者の腹部にROIが設定され、Optical Flow法などを用いることによって、ROI内のそれぞれの特徴点のＸ方向の動きが推定される。Optical Flow法による動き推定は、ROI内の各位置に設定されたそれぞれの特徴点のフレーム間の移動量を計算するようにして行われる。
　図３のＣに示す波形は、Ｙ方向（画像縦方向）の動き量の変化を示す波形である。図３のＣの横軸は時刻を表し、縦軸は変位量を表す。Ｙ方向の動き量の変化も、各時刻に撮影されたRGB画像に基づいて検出される。例えば、Ｘ方向の動き量と同様に、図４のＢに示すROI内のそれぞれの特徴点のＹ方向の動きが推定される。
　図４に示すように頭の方向を下方向、足の方向を上方向として患者の撮影が行われている場合、ROIが胸腹部に設定されているときには、Ｙ方向の動き量の変化は、Ｘ方向の動き量の変化に比べて、呼吸による胸腹部の動きを反映したものとなる。
　図３のＤに示す波形は、Ｚ方向（画像奥行き方向）の動き量の変化を示す波形である。図３のＤの横軸は時刻を表し、縦軸は変位量を表す。Ｚ方向の動き量の変化は、各時刻に撮影されたDepth画像に基づいて検出される。例えば、図４のＣに示すように、患者の腹部にROIが設定され、ROIを構成する画素の画素値（Depth値）の平均などに基づいて、図３のＤに示すような波形が生成される。ROIが腹部に設定されている場合、Depth画像に基づいて求められる波形は、呼吸による腹部の動きを反映したものとなる。
　このように、呼吸モニタリングシステム１においては、RGB-Dカメラ１２によって撮影されたRGB画像とDepth画像に基づいて呼吸波形データが生成され、呼吸モニタリングが非接触で行われる。RGB画像とDepth画像の両方の画像に基づく呼吸モニタリングが常時行われるのではなく、どの画像に基づいて呼吸モニタリングを行うのかが場面に応じて選択されるようにしてもよい。
　呼吸モニタリングの間、同じ位置の波形を観察し続けることができるようにROIの追跡が行われる。患者が体を動かした場合、患者の体の動きに合わせてROIの位置が変化する。
　図５は、ROIの追跡の例を示す図である。図５には１つのROIが患者の胸部に設定されている。例えば、ROIの初期位置は看護師などによって手動で設定される。説明の便宜上、図５にはRGB-Dカメラ１２の図示を省略している。
　呼吸モニタリングの間、図５の左端に示すようにROIの追跡が行われる。例えば、各フレームのRGB画像を解析することによって、ROIの追跡が行われる。
　この状態において、例えば矢印＃１の先に示すように患者が体を大きく動かした場合、ROIの追跡ができなくなる。少しの動きであればROIの追跡が可能であるが、動きが大きい場合、このようにROIの追跡が不可となる。
　呼吸モニタリングシステム１においては、患者が動くことによってROIの追跡エラーが生じた場合、矢印＃２の先に示すようにROIの自動探索が行われる。呼吸の状態を表す画像データを取得できる位置を選択するようにしてROIが探索され、探索により見つかったROIが自動的に設定される（再設定される）。再設定されたROIに基づいて、呼吸モニタリングが続けられる。ROIの自動探索は、例えばDepth画像を解析することによって行われる。
　図６は、ROIの追跡の他の例を示す図である。
　図６の左端に示すように、RGB画像を解析することによってROIの追跡が行われている状態において、例えば矢印＃１１の先に示すように医療スタッフの介入などで被写体となる患者が遮蔽された場合、ROIの追跡ができなくなる。
　患者が遮蔽されることによってROIの追跡エラーが生じた場合においても、患者が動くことによってROIの追跡エラーが生じた場合と同様に、矢印＃１２の先に示すようにROIの自動探索が行われる。
　このように、呼吸モニタリングシステム１においては、ROIの追跡がRGB画像に基づいて行われ、追跡エラーが生じた場合には、ROIの自動探索がDepth画像に基づいて行われる。ROIの追跡エラーが生じた場合でも、ROIを自動的に再設定し、呼吸モニタリングを継続させることが可能となる。
　呼吸モニタリングにRGB-Dカメラ１２が用いられることから、輝度値と、ＸＹＺ方向のそれぞれの方向の動き量に基づいて、呼吸の状態を多角的にモニタリングすることが可能となる。また、多角的な情報に基づいて、異常検出の精度を向上させることが可能となる。
　ROIの自動探索機能、呼吸状態の異常検出機能を実現する処理の詳細についてはフローチャートを参照して後述する。
＜＜呼吸モニタリングシステムの詳細構成＞＞
　図７は、呼吸モニタリングシステム１の構成例を示すブロック図である。
　図７に示すように、情報処理装置１１は、画像処理部２１、呼吸測定部２２、状態判定部２３、および表示制御部２４により構成される。患者に関する情報の入力に用いられる操作部などの他の構成も情報処理装置１１には適宜設けられる。RGB-Dカメラ１２の撮影部１２Ａにより撮影されたRGB画像とDepth画像は画像処理部２１に入力される。
　情報処理装置１１の画像処理部２１は、RGB-Dカメラ１２から送信されてきた画像を取得し、メモリに格納する。画像処理部２１は、RGB画像を表示制御部２４に出力し、患者の映像をモニタ１３に表示させる。
　また、画像処理部２１は、RGB画像とDepth画像のそれぞれのROIの画像データを抽出し、画像処理を行うことによってROIの画像特徴量を解析する。図３を参照して説明したような、輝度値の変化とＸＹＺ方向のそれぞれの方向の動き量の変化を示す呼吸波形データが解析結果として生成される。
　画像処理部２１は、ROIの画像特徴量の解析結果である呼吸波形データを呼吸測定部２２に出力する。呼吸測定部２２に対してはRGB画像とDepth画像も供給される。
　呼吸測定部２２は、画像処理部２１から供給された情報に基づいて、患者の呼吸の状態を測定する。呼吸測定部２２は、計測領域設定部３１、呼吸領域検出部３２、呼吸強度評価部３３、および呼吸数算出部３４により構成される。
　計測領域設定部３１は、呼吸モニタリング用のROIを設定する。計測領域設定部３１により設定されたROIの情報が画像処理部２１に供給され、ROIの解析に用いられる。
　呼吸領域検出部３２は、RGB画像に基づいてROIの追跡を行う。また、呼吸領域検出部３２は、ROIの画像特徴量に基づいて周波数特徴量を計算し、呼吸領域を検出する。周波数特徴量は、時間領域の特徴量である画像特徴量に対してFFTなどの所定の演算を施すことによって求められる周波数領域の特徴量である。
　呼吸強度評価部３３は、ROIの周波数特徴量に基づいて呼吸強度の評価を行う。
　呼吸数算出部３４は、ROIの周波数特徴量に基づいて患者の呼吸数を算出する。
　呼吸測定部２２の各部により得られた情報が、呼吸の状態のモニタリング結果として状態判定部２３と表示制御部２４に供給される。呼吸測定部２２の各部の処理の詳細については後述する。
　状態判定部２３は、呼吸測定部２２から供給された情報に基づいて、患者の呼吸に異常があるか否かを判定する。状態判定部２３による判定結果を示す情報は表示制御部２４に供給される。
　表示制御部２４は、患者の呼吸モニタリングに用いられる画面であるモニタリング画面の表示を制御する。例えば、モニタリング画面には、RGB画像によって各フレームが構成される患者映像とともに、呼吸波形、呼吸数などの情報が表示される。また、表示制御部２４は、患者の呼吸が異常であると状態判定部２３により判定された場合、異常があることを示す情報をモニタリング画面に表示させる。
　RGB-Dカメラ１２の撮影部１２Ａは、呼吸モニタリング中、患者を常時撮影し、撮影されたRGB画像とDepth画像を情報処理装置１１に出力する。
　モニタ１３の表示部１３Ａは、表示制御部２４による制御に従ってモニタリング画面を表示させる。
＜＜呼吸モニタリング処理＞＞
＜全体の流れ＞
　図８のフローチャートを参照して、以上のような構成を有する呼吸モニタリングシステム１の処理について説明する。呼吸モニタリングの間、患者を撮影することによって得られたRGB画像とDepth画像がRGB-Dカメラ１２から情報処理装置１１に供給される。
　ステップＳ１において、呼吸測定部２２の計測領域設定部３１は、RGB画像とDepth画像にROIを設定し、ROIの位置と範囲を示す情報であるROIデータを格納する。ROIの初期設定は、例えば、RGB画像を見ながら医療スタッフにより手動で行われる。モニタ１３には、ROIの初期設定に用いられる画面が表示される。
　ステップＳ２において、画像処理部２１は、RGB-Dカメラ１２から送信されてきた画像を取得し、画像データをメモリに格納する。画像処理部２１は、RGB画像とDepth画像のそれぞれのROIを解析し、画像特徴量としての呼吸波形データを生成する。図３を参照して説明したような呼吸波形のデータがRGB画像とDepth画像のそれぞれのROIに基づいて生成される。
　ステップＳ３において、呼吸領域検出部３２は、ROIの周波数特徴量を呼吸波形データに基づいて計算する。
　図９は、周波数特徴量の計算の例を示す図である。図９の上段には、Ｚ方向の動き量の変化を示す波形が示されている。
　Ｚ方向の動き量の変化を示す波形データに対してFFTなどの演算が行われ、図９の下段に示すような、所定の周波数にピークが現れる周波数特徴量が生成される。図９の下段に示すグラフの横軸は周波数を示し、縦軸は信号強度を示す。曲線Ｌは、周波数特徴量に基づいて求められる回帰曲線である。図９の下段にハッチを付して示す領域Ａ１は、回帰曲線と振幅スペクトルで囲まれる領域である。
　このようにして求められる周波数特徴量において、ピーク周波数は、吹き出しに示すように呼吸の周波数、すなわち、呼吸数を反映したものとなる。呼吸数算出部３４は、呼吸領域検出部３２により生成されたこのような周波数特徴量に基づいて呼吸数を計算する。
　また、領域Ａ１の面積は、呼吸強度を反映したものとなる。ピーク周波数近傍の周波数の振幅が他の周波数の振幅よりも相対的に大きい場合に、領域Ａ１の面積が大きくなる。呼吸強度評価部３３は、呼吸領域検出部３２により生成された周波数特徴量に基づいて呼吸強度を計算する。
　図９においては、奥行き方向であるＺ方向の動き量の変化を用いた周波数特徴量の計算について説明したが、輝度値の変化、平面方向（Ｘ方向、Ｙ方向）の動き量の変化を用いることによっても、同様にして呼吸数と呼吸強度を特定することが可能である。４種類の全ての解析結果（ROIの解析結果）に基づいて呼吸数と呼吸強度が求められるようにしてもよいし、いずれか１種類の解析結果に基づいて呼吸数と呼吸強度が求められるようにしてもよい。
　２種類の解析結果に基づいて求められた呼吸数と呼吸強度の平均を求めるなど、複数種類の解析結果に基づいて求められた呼吸数と呼吸強度を組み合わせることによって、モニタリング結果としての呼吸数と呼吸強度が求められるようにしてもよい。
　このように、輝度値の変化、Ｘ方向の動き量の変化、Ｙ方向の動き量の変化、Ｚ方向の動き量の変化のうちの少なくともいずれかに基づいて、呼吸数と呼吸強度がモニタリング結果として求められる。
　図８のステップＳ４において、呼吸領域検出部３２は、RGB画像の画像特徴量に基づいて、ROIの追跡を行う。上述したように、ROI内の各位置に設定されたそれぞれの特徴点のフレーム間の移動量を計算することによってROIの追跡が行われる。
　ステップＳ５において、呼吸領域検出部３２は、ROIの追跡エラーが生じたか否かを判定する。
　追跡エラーの発生要因には例えば以下のようなものがある。
　・患者やRGB-Dカメラ１２が大きく動いてROIの追跡ができなくなる。
　・RGB-Dカメラ１２の前に医療スタッフが現れるなどして、ROIが設定されている箇所を撮影できなくなる。
　・患者にブランケットなどが掛けられてROIの設定箇所が遮蔽される。
　追跡エラーの判定方法には例えば以下のようなものがある。
　・ROIやその周辺の画像特徴量の類似度がフレーム毎あるいは一定時間毎に求められ、類似度が閾値を下回った場合にエラーが生じたと判定される。
　ROIの追跡がDepth画像に基づいて行われるようにしてもよい。この場合、例えば、被写体までの距離がフレーム毎あるいは一定時間毎に求められ、距離が閾値より変化した場合に追跡エラーが生じたと判定される。初期設定のROIでは１ｍであった被写体までの距離があるタイミングで２ｍになった場合などに、追跡エラーが生じたと判定される。
　このように、ROIを追跡できなくなった場合だけでなく、画像特徴量を用いた各種の条件を満たさなくなった場合に追跡エラーが生じたと判定されるようにすることが可能である。
　追跡エラーが生じたとステップＳ５において判定された場合、ステップＳ６において、呼吸領域検出部３２は、ROIの追跡エラーが生じたことを示す情報を表示制御部２４に出力する。表示制御部２４は、追跡エラーが生じたことを示す情報をモニタリング画面に表示させることによってエラー表示を行う。モニタリング画面には、ROIの追跡エラーが生じたことを示すメッセージやアイコンなどが表示される。
　ROIの追跡エラーの表示が開始された後、ステップＳ７においてROI自動探索処理が行われる。ROI自動探索処理によりROIが自動的に再設定された後、ステップＳ１以降の処理が繰り返される。ステップＳ７において行われるROI自動探索処理については、図１１のフローチャートを参照して後述する。
　一方、ステップＳ５においてROIの追跡エラーが生じていないと判定された場合、ステップＳ８において、表示制御部２４は、呼吸波形と呼吸数をモニタリング画面に表示させる。
　呼吸波形は、例えば、画像処理部２１により生成されたROIの解析結果に基づいて表示される。輝度値の変化を示す呼吸波形、ＸＹＺ方向のそれぞれの方向の動き量の変化を示す呼吸波形の全ての呼吸波形が表示されるようにしてもよいし、少なくともいずれかの呼吸波形が表示されるようにしてもよい。複数の波形を組み合わせることによって生成された波形が表示されるようにしてもよい。
　ステップＳ９において、状態判定部２３は異常呼吸判定を行う。異常呼吸判定は、患者の呼吸の状態に異常があるか否かを判定する処理である。
　例えば、状態判定部２３は、ROIの解析結果に対して前処理を行った後、異常呼吸判定を行う。前処理は、例えば、解析結果の単位を揃えるために行われる。RGB-Dカメラ１２を用いることにより、輝度値とＸＹＺ方向のそれぞれの方向の動き量といったように多角的な情報を用いて呼吸運動を検出することが可能となるが、単位が異なる情報については前処理が必要になる。
　前処理として以下のような処理が行われる。
　・数値データの標準化
　・RGB画像の画角とDepth画像の画角にズレがある場合、キャリブレーションを行うことによってカメラ座標系（単位：pixel）がワールド座標系（単位：mm）に変換される。ＸＹＺ方向のそれぞれの方向の動き量を同じ単位で扱うことが可能となる。
　・図１０に示す領域Ａ１の面積と領域Ａ２の面積との比が呼吸強度として求められる。領域Ａ１は、周波数領域のデータにおける、回帰曲線と振幅スペクトルで囲まれる領域である。領域Ａ２は、回帰曲線を下回る振幅スペクトルの領域である。
　このような前処理が行われることによって得られた解析結果のデータに基づく閾値処理、あるいは、機械学習によって生成されたモデルを用いた処理が、異常呼吸判定として行われる。
　閾値処理による異常呼吸判定においては、例えば、呼吸数や呼吸強度が一定時間、閾値となる値を下回っている場合に、患者の呼吸の状態が異常であると判定される。
　一方、機械学習によって生成されたモデルを用いた異常呼吸判定においては、呼吸波形、周波数特徴量などのデータをモデルに入力し、その出力に基づいて、患者の呼吸の状態が異常であるか否かが判定される。状態判定部２３には、呼吸波形、周波数特徴量などを入力とし、呼吸パターンの分類結果を出力とするモデルが予め用意される。モデルが出力する呼吸パターンの分類結果が異常なパターンを示している場合、患者の呼吸の状態が異常であると判定される。
　図８の説明に戻り、患者の呼吸の状態に異常があるとステップＳ９において判定された場合、ステップＳ１０において、表示制御部２４は、患者の呼吸が異常であることを示す情報をモニタリング画面に表示させ、呼吸異常表示を行う。モニタリング画面には、患者の呼吸が異常であることを示すメッセージやアイコンなどが表示される。
　一方、ステップＳ９において患者の呼吸の状態に異常がないと判定された場合、図８の処理は終了となる。呼吸モニタリングの間、以上の処理が繰り返し行われる。
＜ROI自動探索処理＞
　ここで、図１１のフローチャートを参照して、図８のステップＳ７において行われるROI自動探索処理について説明する。ROI自動探索処理は、例えばDepth画像に基づいて行われる。
　ステップＳ２１において、計測領域設定部３１は、複数のROIを生成し、それぞれの位置と範囲を示すROIデータを生成する。ここで生成されるROIが、最終的に設定されるROIの候補となる。例えば、Depth画像全体が格子状に分割され、分割されたそれぞれの領域がROIの候補として生成される。
　ステップＳ２２において、画像処理部２１は、RGB-Dカメラ１２から送信されてきたDepth画像を取得し、画像データをメモリに格納する。画像処理部２１は、Depth画像のそれぞれのROIを解析し、画像特徴量としてのＺ方向の動き量の変化を計算する。
　ステップＳ２３において、呼吸領域検出部３２は、Depth値に基づいてROIの選別を行う。
　図１２は、Depth値を用いたROIの選別の例を示す図である。
　図１２のＡの左側に示すDepth画像は、右側に示すRGB画像に写る被写体を対象としたときに取得されるDepth画像である。格子状の各領域がDepth画像に対して設定され、ROIの候補として生成される。図１２のＢは、図１２のＡに示す位置に設定されたROIのDepth値のヒストグラムを示す。
　呼吸領域検出部３２によるROIの選別は、このようなヒストグラムに基づいて行われる。背景と患者の境界部分などに設定されたROIのDepth値はばらつきが大きくなる。例えば、呼吸領域検出部３２は、Depth値のばらつきが閾値より大きいROIを除外するようにしてROIの選別を行う。Depth値のばらつきは、例えば下式（１）の変動係数により表される。
Figure JPOXMLDOC01-appb-M000001
　また、呼吸領域検出部３２は、無効なDepth値の画素の割合を示すIDR(Invalid Depth Ratio)をROI毎に計算し、IDRが閾値より大きいROIを除外するようにしてROIの選別を行う。IDRは下式（２）により表される。
Figure JPOXMLDOC01-appb-M000002
　Ｎinvalidは、無効なDepth値の画素の数である。Ｎtotalは、ROIを構成する画素の数である。例えば、Depth値＝0（距離検出失敗）の画素、または、Depth値が有効距離レンジ外の画素が、無効なDepth値の画素となる。有効距離レンジとして、例えば１０cm以上、２００cm以内の距離が設定される。
　図１２に示す各ROIのIDRは、図１３に示すように求められる。背景部分や患者と背景の境界部分に設定されたROIのIDRが高くなる。
　単に、Depth値の平均が有効レンジ内にないROIを除外するようにしてROIの選別が行われるようにしてもよい。有効レンジとして２００cm以内などの所定の距離が設定される。
　このように、呼吸領域検出部３２によるROIの選別は、Depth画像により示されるDepth値に基づいて、Depth値の不検出画素の割合が閾値より多い領域、被写体までの距離が所定の範囲外にある領域、および、Depth値の変動係数が閾値より大きい領域のうちの少なくともいずれかを除外するようにして行われる。
　図１１のステップＳ２４において、呼吸領域検出部３２は、ステップＳ２３において選別したROIの周波数特徴量を計算する。複数のROIが選別されている場合、それぞれの周波数特徴量が計算される。Ｚ方向の動き量の変化を示す波形データに対してFFTなどの演算が行われることにより、図９を参照して説明したような周波数特徴量が生成される。
　ステップＳ２５において、呼吸領域検出部３２は、呼吸領域となるROIを周波数特徴量に基づいて検出する。呼吸領域となるROIは、例えば、Ｚ方向の動き量の変化を示す波形における振幅スペクトルと回帰曲線との決定係数Ｒ２を用いて検出される。
　図１４および図１５は、呼吸領域の検出例を示す図である。
　図１４は、呼吸波形の周期性が明瞭である場合の検出例を示す。このような波形データに対してFFTなどの演算が行われた場合、図１４の下段に示すような、所定の周波数にピークが現れる周波数特徴量が求められる。
　振幅値のピークが現れるということは、呼吸に応じた動きがROIに生じていることを意味する。所定の周波数にピークが現れる場合、ピーク周波数近傍の振幅値が回帰曲線（曲線Ｌ１１）の値と乖離し、決定係数Ｒ２が小さくなる。図１４の例においては、決定係数Ｒ２が0.39として求められている。
　一方、図１５は、呼吸波形の周期性が不明瞭である場合の検出例を示す。このような波形データに対してFFTなどの演算が行われた場合、図１５の下段に示すような、振幅値のピークが明瞭には現れない周波数特徴量が求められる。
　振幅値のピークが現れないということは、呼吸に応じた動きがROIに生じていないことを意味する。ピークが現れない場合、各周波数の振幅値が回帰曲線（曲線Ｌ１２）の値に近くなり、決定係数Ｒ２が大きくなる。図１５の例においては、決定係数Ｒ２が0.87として求められている。
　例えば、決定係数Ｒ２が閾値より小さい、図１４に示すような周波数特徴量を有するROIが呼吸領域として検出される。例えば複数のROIが呼吸領域として検出される。
　図１１のステップＳ２６において、呼吸強度評価部３３は、ステップＳ２５において検出したそれぞれの呼吸領域の呼吸強度を評価する。呼吸強度の評価は、呼吸周波数近傍の振幅スペクトルの面積に基づいて行われる。
　図１６は、呼吸強度の評価の例を示す図である。
　図１６の上段の波形は、周期性が明瞭で振幅が大きい波形であり、下段の波形は、周期性が明瞭であるが振幅が小さい波形である。
　図１６の右側に示すように、呼吸周波数近傍の振幅スペクトルの面積が周波数特徴量に基づいて計算され、呼吸強度の評価が行われる。図１６の例においては、呼吸周波数近傍の振幅スペクトルの面積として、上段の波形に基づいて0.319が求められ、下段の波形に基づいて0.031が求められる。図１６の上段に示す周波数特徴量を有するROIの方が、下段に示す周波数特徴量を有するROIより呼吸強度が高いROIとなる。
　図１１のステップＳ２７において、計測領域設定部３１は、例えば、呼吸強度が最も高いROIを選択し、設定する。最も高いROIではなく、呼吸強度を用いた他のアルゴリズムによってROIが選択されるようにしてもよい。複数のROIが選択され、１つのROIとして設定されるようにしてもよい。
　以上の処理により、ROIの追跡エラーが生じたことに応じて、ROIが自動的に再設定された状態になる。その後、図８のステップＳ７に戻り、自動的に再設定されたROIを用いて、ステップＳ１以降の処理が行われる。
　図１７は、以上のようなROI自動探索処理の流れを示す図である。
　矢印＃２１の先に示すように、Depth値を用いたROI選別が行われる（ステップＳ２３）。また、Depth値を用いた閾値処理によって選別されたそれぞれのROIの決定係数Ｒ２のマップであるＲ２マップが矢印＃２２の先に示すように生成される（ステップＳ２５）。
　矢印＃２３の先に示すように、決定係数Ｒ２が閾値より小さいROIとして検出された呼吸領域の呼吸強度が振幅スペクトルの面積に基づいて計算される（ステップＳ２６）。図１７の右端に示す振幅スペクトル面積マップは、各呼吸領域の振幅スペクトルの面積、すなわち呼吸強度を示すマップとなる。図１７の例においては、呼吸強度が最も高い、腹部の領域がROIとして最終的に設定されている。
　このように、実臨床で発生する外乱によってROIの追跡ができなくなった場合であっても、ROIを自動的に再設定することができ、患者の呼吸の状態を安定かつ高精度にモニタリングすることが可能となる。また、患者にとってより安全な呼吸管理を提供することが可能となる。
　さらに、ROIの追跡をRGB画像に基づいて行い、ROIの自動探索をDepth画像に基づいて行うといったように、多角的な情報に基づいて呼吸モニタリングを行うことにより、高いロバスト性を確保した呼吸モニタリングを実現することが可能となる。
　以上においては、Depth画像のみを用いてROIの自動探索処理が行われるものとしたが、ROIの自動探索処理を構成する少なくとも一部の処理にRGB画像が用いられるようにしてもよい。
　図１８は、ROI自動探索処理の他の流れを示す図である。
　矢印＃３１の先に示すように、Depth値を用いたROI選別が行われる。また、Depth値を用いた閾値処理によって選別されたそれぞれのROIの決定係数Ｒ２のマップであるＲ２マップが矢印＃３２の先に示すように生成される。
　この例においては、輝度値の変化と、Ｘ方向、Ｙ方向の動き量の変化がRGB画像に基づいて特定され、周波数特徴量に基づいてＲ２マップが生成される。RGB画像に基づいて特定される輝度値の変化、Ｘ方向、Ｙ方向の動き量の変化と、Depth画像に基づいて特定されるＺ方向の動き量の変化とを組み合わせてＲ２マップが生成されるようにしてもよい。
　また、矢印＃２３の先に示すように、決定係数Ｒ２が閾値より小さいROIとして検出された呼吸領域の呼吸強度が振幅スペクトルの面積に基づいて計算される。呼吸強度の計算についても、適宜、RGB画像の周波数特徴量が用いられる。
　ROIの自動探索にRGB画像とDepth画像を用いることにより、多角的な情報に基づいて、より精度の高いROIの設定が可能となる。
＜＜変形例＞＞
＜システム構成＞
　図１９は、呼吸モニタリングシステム１の他の構成例を示す図である。
　図１の例においては、情報処理装置１１が医療施設内に設置されるものとしたが、図１９に示すように、クラウド上のサーバが情報処理装置１１として機能するようにしてもよい。医療施設外に設置された情報処理装置１１と、医療施設内に設置されたRGB-Dカメラ１２との間では、インターネットなどのネットワーク１０１を介して通信が行われる。図示を省略しているが、モニタ１３は例えば医療施設内に設置される。
　例えばRGB-Dカメラ１２においては、RGB画像とDepth画像に基づいて上述したような呼吸波形データが生成され、情報処理装置１１に対して送信される。このとき、RGB画像とDepth画像が情報処理装置１１に対して送信されるようにしてもよいし、送信されないようにしてもよい。
　情報処理装置１１は、RGB-Dカメラ１２から送信されてきた呼吸波形データに基づいて、上述した呼吸モニタリング処理を行う。このように、RGB-Dカメラ１２がエッジデバイスとして機能し、呼吸波形データのみが情報処理装置１１に対して送信されることにより、患者が写る画像を医療施設の内部にとどめておくことが可能となる。患者のプライバシーに配慮した呼吸モニタリングシステムを実現することが可能となる。
　また、呼吸波形データの解析や呼吸パターンの分類などの負荷の大きい信号処理が情報処理装置１１において行われることにより、RGB-Dカメラ１２の処理の負荷を減らし、RGB-Dカメラ１２の小型化、省エネルギー化を実現することが可能となる。
＜RGB-Dカメラ１２の構成＞
　RGB-Dカメラ１２のセンサとして、RGB画像用のセンサとDepth画像用のセンサが同軸のセンサとなるように配置されたRGB-D同軸センサが用いられるようにすることが可能である。RGB-D同軸センサを用いることにより、RGB-Dカメラ１２の筐体の小型化と低コスト化を実現することができる。また、RGB画像用のセンサとDepth画像用のセンサの位置合わせが不要となる。
　RGB-Dカメラ１２に小型のモニタが搭載されるようにしてもよい。これにより、RGB-D同軸センサを搭載した小型の呼吸モニタリングカメラを実現することが可能となる。RGB-D同軸センサを用いて小型化・省エネ化を実現することにより、バッテリ駆動のデバイスとしてRGB-Dカメラ１２を構成することが可能となる。
　これにより、電源ケーブルなどが不要となり、RGB-Dカメラ１２の設置の自由度を高めることが可能となる。また、小型のモニタである表示部１３ＡがRGB-Dカメラ１２に設けられることにより、RGB-Dカメラ１２が設置された場所で呼吸波形を確認することが可能となる。
　エッジデバイスとして機能するとともに、小型のモニタが搭載されたRGB-Dカメラ１２の構成例を図２０に示す。図２０の例においては、画像処理部２１と表示部１３ＡがRGB-Dカメラ１２に設けられる。
　RGB-Dカメラ１２の画像処理部２１は、撮影部１２Ａにより撮影されたRGB画像とDepth画像のそれぞれのROIの画像データを抽出し、画像処理を行うことによってROIの画像特徴量を解析する。画像処理部２１は、ROIの画像特徴量の解析結果である呼吸波形データを呼吸測定部２２に出力する。
　RGB-Dカメラ１２の表示部１３Ａは、情報処理装置１１の表示制御部２４による制御に従ってモニタリング画面を表示する。
　RGB-Dカメラ１２がスマートフォン等の外部機器に接続され、リモート制御が可能となるようにしてもよい。
＜その他＞
・ROIの初期設定の変形例
　ROIの初期設定が医療スタッフにより手動で行われるものとしたが、ROI自動探索処理によって行われるようにしてもよい。
　図２１は、ROIの初期設定が自動的に行われる場合の呼吸モニタリング処理について説明するフローチャートである。
　図２１に示す処理は、図１１を参照して説明したROI自動探索処理と同じ処理がステップＳ２１において行われる点を除いて、図８に示す処理と同様である。すなわち、ROI自動探索処理によってROIの初期設定が自動的に行われた後、ステップＳ２２以降の処理が行われる。
　ステップＳ２２乃至Ｓ３１の処理は、図８のステップＳ１乃至Ｓ１０の処理と同様である。自動的に設定されたROIの追跡エラーが生じた場合、ROI自動探索処理がステップＳ２８において行われる。
・ROIの追跡の変形例
　Optical Flow法などの動き推定によってROIの追跡が行われるものとしたが、画像特徴量に基づく他のアルゴリズムによってROIの追跡が行われるようにしてもよい。例えば、テンプレートマッチングによってROIの追跡が行われるようにすることが可能である。
　図２２は、テンプレートマッチングによるROIの追跡の例を示す図である。
　RGB画像全体のうちのROIの画像であるROI画像をテンプレートとして、図２２の矢印に示すように、RGB画像の各領域とのマッチングが行われる。例えば、画像特徴量の類似度が最も高い領域を検出するようにして、テンプレートマッチングによるROIの追跡が行われる。
　テンプレートマッチングによるROIの追跡は例えば以下のようにして行われる。
　・ROIの画像特徴量をメモリに格納しておき、毎フレーム追跡を行う。
　・遮蔽などによって追跡エラーが生じた場合には、所定の時間（呼吸検出ができなくても臨床的に大きな問題にならない時間（１０秒など））だけ追跡を試みる。
　・所定の時間を過ぎても追跡できない場合にエラーとしてROIの自動探索を行う。
　Optical Flow法やテンプレートマッチングなどの画像特徴量によるROIの追跡が、Depth画像を用いて行われるようにしてもよい。また、RGB画像とDepth画像の両方の画像特徴量を用いてROIの追跡が行われるようにしてもよい。すなわち、RGB画像とDepth画像のうちの少なくともいずれかの画像の画像特徴量を用いてROIの追跡が行われるようにすることが可能である。
　また、RGB画像とDepth画像のうちの少なくともいずれかの画像の周波数特徴量を用いてROIの追跡が行われるようにしてもよい。
　RGB画像を用いて行われるとして説明した各処理が、RGB画像に代えて、IR画像を用いて行われるようにしてもよい。夜間などに照明がない場合、RGB画像では被写体を観察することが難しいことがある。IR画像を用いることにより、ROIの追跡、画像特徴量の解析などの各種の処理を行うことが可能となる。
　Depth画像の撮影にIR光が使われているため、RGB-Dカメラ１２においては、Depth画像の撮影と同時にIR画像を撮影することも可能である。Depth画像とともに撮影されたIR画像が、RGB画像に代えて用いられる。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。情報処理装置１１も図２３に示す構成を有するコンピュータにより構成される。
　CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得する画像処理部と、
　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う測定部と
　を備えるモニタリングシステム。
（２）
　前記画像処理部は、RGB-Dカメラにより撮影された前記RGB画像と前記Depth画像とを取得する
　前記（１）に記載のモニタリングシステム。
（３）
　前記測定部は、前記RGB画像とともに前記Depth画像を用いることによって前記計測領域の追跡を行う
　前記（１）または（２）に記載のモニタリングシステム。
（４）
　前記測定部は、前記RGB画像における前記計測領域の画像特徴量と前記Depth画像における前記計測領域の画像特徴量とに基づいて前記計測領域の追跡を行う
　前記（３）に記載のモニタリングシステム。
（５）
　前記測定部は、前記Depth画像における前記計測領域の周波数特徴量に基づいて前記計測領域の再設定を行う
　前記（１）乃至（４）のいずれかに記載のモニタリングシステム。
（６）
　前記測定部は、Depth値の変化を示す波形データを解析することによって前記計測領域の周波数特徴量を計算する
　前記（５）に記載のモニタリングシステム。
（７）
　前記測定部は、前記計測領域の再設定を行う場合、前記計測領域の候補となる領域の選別をそれぞれのDepth値に基づいて行う
　前記（６）に記載のモニタリングシステム。
（８）
　前記測定部は、Depth値の不検出画素の割合が閾値より多い領域、被写体までの距離が所定の範囲外にある領域、および、Depth値の変動係数が閾値より大きい領域のうちの少なくともいずれかを除外するようにして前記選別を行う
　前記（７）に記載のモニタリングシステム。
（９）
　前記測定部は、回帰曲線に対する決定係数が閾値より小さい周波数特徴量を有する領域を前記呼吸領域として判定する
　前記（７）または（８）に記載のモニタリングシステム。
（１０）
　前記測定部は、前記呼吸領域の呼吸強度を、ピーク周波数を含む所定の周波数範囲における周波数特徴量に基づいて計算し、前記計測領域とする前記呼吸領域を選択する
　前記（９）に記載のモニタリングシステム。
（１１）
　前記画像処理部は、
　前記RGB画像における前記計測領域を解析することによって、輝度値の変化を示す波形データと、被写体の平面方向の動き量の変化を示す波形データとを生成し、
　前記Depth画像における前記計測領域を解析することによって、奥行き方向の動き量の変化を示す波形データを生成する
　前記（１）乃至（１０）のいずれかに記載のモニタリングシステム。
（１２）
　前記測定部は、少なくともいずれかの波形データを解析することによって前記計測領域の周波数特徴量を計算し、
　前記患者の呼吸の状態を前記計測領域の周波数特徴量に基づいて判定する判定部をさらに備える
　前記（１１）に記載のモニタリングシステム。
（１３）
　少なくともいずれかの波形データに基づいて呼吸波形を表示させる表示制御部をさらに備える
　前記（１２）に記載のモニタリングシステム。
（１４）
　前記測定部は、前記計測領域の周波数特徴量におけるピーク周波数に基づいて呼吸数を計算し、
　前記表示制御部は、前記患者の呼吸数を呼吸波形とともに表示させる
　前記（１３）に記載のモニタリングシステム。
（１５）
　モニタリングシステムが、
　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得し、
　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、
　前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う
　モニタリング方法。
（１６）
　コンピュータに、
　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得し、
　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、
　前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う
　処理を実行させるプログラム。
　１　呼吸モニタリングシステム，　１１　情報処理装置，　１２　RGB-Dカメラ，　１３　モニタ，　２１　画像処理部，　２２　呼吸測定部，　２３　状態判定部，　２４　表示制御部，　３１　計測領域設定部，　３２　呼吸領域検出部，　３３　呼吸強度評価部，　３４　呼吸数算出部

Claims (16)

  1. 　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得する画像処理部と、
    　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う測定部と
    　を備えるモニタリングシステム。
  2. 　前記画像処理部は、RGB-Dカメラにより撮影された前記RGB画像と前記Depth画像とを取得する
    　請求項１に記載のモニタリングシステム。
  3. 　前記測定部は、前記RGB画像とともに前記Depth画像を用いることによって前記計測領域の追跡を行う
    　請求項１に記載のモニタリングシステム。
  4. 　前記測定部は、前記RGB画像における前記計測領域の画像特徴量と前記Depth画像における前記計測領域の画像特徴量とに基づいて前記計測領域の追跡を行う
    　請求項３に記載のモニタリングシステム。
  5. 　前記測定部は、前記Depth画像における前記計測領域の周波数特徴量に基づいて前記計測領域の再設定を行う
    　請求項１に記載のモニタリングシステム。
  6. 　前記測定部は、Depth値の変化を示す波形データを解析することによって前記計測領域の周波数特徴量を計算する
    　請求項５に記載のモニタリングシステム。
  7. 　前記測定部は、前記計測領域の再設定を行う場合、前記計測領域の候補となる領域の選別をそれぞれのDepth値に基づいて行う
    　請求項６に記載のモニタリングシステム。
  8. 　前記測定部は、Depth値の不検出画素の割合が閾値より多い領域、被写体までの距離が所定の範囲外にある領域、および、Depth値の変動係数が閾値より大きい領域のうちの少なくともいずれかを除外するようにして前記選別を行う
    　請求項７に記載のモニタリングシステム。
  9. 　前記測定部は、回帰曲線に対する決定係数が閾値より小さい周波数特徴量を有する領域を前記呼吸領域として判定する
    　請求項７に記載のモニタリングシステム。
  10. 　前記測定部は、前記呼吸領域の呼吸強度を、ピーク周波数を含む所定の周波数範囲における周波数特徴量に基づいて計算し、前記計測領域とする前記呼吸領域を選択する
    　請求項９に記載のモニタリングシステム。
  11. 　前記画像処理部は、
    　前記RGB画像における前記計測領域を解析することによって、輝度値の変化を示す波形データと、被写体の平面方向の動き量の変化を示す波形データとを生成し、
    　前記Depth画像における前記計測領域を解析することによって、奥行き方向の動き量の変化を示す波形データを生成する
    　請求項１に記載のモニタリングシステム。
  12. 　前記測定部は、少なくともいずれかの波形データを解析することによって前記計測領域の周波数特徴量を計算し、
    　前記患者の呼吸の状態を前記計測領域の周波数特徴量に基づいて判定する判定部をさらに備える
    　請求項１１に記載のモニタリングシステム。
  13. 　少なくともいずれかの波形データに基づいて呼吸波形を表示させる表示制御部をさらに備える
    　請求項１２に記載のモニタリングシステム。
  14. 　前記測定部は、前記計測領域の周波数特徴量におけるピーク周波数に基づいて呼吸数を計算し、
    　前記表示制御部は、前記患者の呼吸数を呼吸波形とともに表示させる
    　請求項１３に記載のモニタリングシステム。
  15. 　モニタリングシステムが、
    　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得し、
    　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、
    　前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う
    　モニタリング方法。
  16. 　コンピュータに、
    　患者を撮影して得られたRGB画像と前記患者の各位置までのDepth値を示すDepth画像とを取得し、
    　前記患者の呼吸領域に設定された計測領域を前記RGB画像に基づいて追跡し、
    　前記計測領域の追跡エラーが生じた場合、前記計測領域の再設定を前記Depth画像に基づいて行う
    　処理を実行させるプログラム。
PCT/JP2024/004782 2023-03-02 2024-02-13 モニタリングシステム、モニタリング方法、およびプログラム Pending WO2024181108A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025503742A JPWO2024181108A1 (ja) 2023-03-02 2024-02-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-031825 2023-03-02
JP2023031825 2023-03-02

Publications (1)

Publication Number Publication Date
WO2024181108A1 true WO2024181108A1 (ja) 2024-09-06

Family

ID=92589645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/004782 Pending WO2024181108A1 (ja) 2023-03-02 2024-02-13 モニタリングシステム、モニタリング方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2024181108A1 (ja)
WO (1) WO2024181108A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122136A1 (en) * 2019-12-18 2021-06-24 Koninklijke Philips N.V. Device, system and method for monitoring of a subject
WO2023189551A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122136A1 (en) * 2019-12-18 2021-06-24 Koninklijke Philips N.V. Device, system and method for monitoring of a subject
WO2023189551A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2024181108A1 (ja) 2024-09-06

Similar Documents

Publication Publication Date Title
US11776146B2 (en) Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
CN107072548B (zh) 用于人的取向和/或位置的自动检测的设备、系统和方法
JPWO2016151966A1 (ja) 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
JP6822328B2 (ja) 見守り支援システム及びその制御方法
US20230389826A1 (en) Systems and methods for determining subject positioning and vital signs
US20180300538A1 (en) Image processing system, image processing apparatus, image processing method, and image processing program
KR101070389B1 (ko) 환자 상태 모니터링 시스템
WO2014199941A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
US11666247B2 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
JP7779312B2 (ja) 患者モニタリングシステム
JP2021505264A (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
CN111191499B (zh) 一种基于最小中心线的跌倒检测方法及装置
JP5500216B2 (ja) 画像表示装置およびプログラム
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP2023548886A (ja) カメラを制御するための装置及び方法
US20250025052A1 (en) Vision-Based Cardiorespiratory Monitoring
WO2024181108A1 (ja) モニタリングシステム、モニタリング方法、およびプログラム
JP2015131057A (ja) 画像処理装置、およびプログラム
WO2025071919A1 (en) Multimodal imaging guided noncontact vital signs monitoring systems and methods
CN117635695A (zh) 一种适用于居家养老场景的步行轨迹重心分析方法及系统
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
Tan et al. Low-cost and portable physiological signal monitor using PhysRate model
CN114511796A (zh) 一种喉罩通气监测方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24763592

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025503742

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025503742

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE