[go: up one dir, main page]

CN111919236A - 生理参数的监测 - Google Patents

生理参数的监测 Download PDF

Info

Publication number
CN111919236A
CN111919236A CN201980014752.4A CN201980014752A CN111919236A CN 111919236 A CN111919236 A CN 111919236A CN 201980014752 A CN201980014752 A CN 201980014752A CN 111919236 A CN111919236 A CN 111919236A
Authority
CN
China
Prior art keywords
data
imaging
sensor
subject
physiological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980014752.4A
Other languages
English (en)
Inventor
威廉·杰克·麦克尼什
雷托·卡拉拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alonos Corp
Original Assignee
Alonos Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alonos Corp filed Critical Alonos Corp
Publication of CN111919236A publication Critical patent/CN111919236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

公开了一种生理监测设备(100)和方法。生理监测器包括成像传感器(120、122、124、126),其中之一是飞行时间成像传感器(122)。生理监测器(100)还包括处理装置(130)以从成像传感器(120、122、124、126)接收数据流。然后,处理装置(130)可以从数据流中提取时间参数数据,从所提取的参数中识别生理参数数据,以及提供生理参数的指标。

Description

生理参数的监测
技术领域
本发明涉及受试者的生理参数的监测。本发明特别涉及用于监测受试者的生理参数的设备,用于监测受试者的生理参数的方法以及用于执行该方法的步骤的计算机程序产品。
背景技术
受试者的生理参数的监测可以提供对该人的健康、表现或其他状况的洞察。例如,生理监测在医院和医生办公室进行,以监测患者的健康状况的发展。然而,生理监测不仅在具有差的或至少受损的健康状况的患者中进行,而且在健康的人和动物受试者中也广泛使用。例如,可以监测运动员的训练进度或健康幸福、尤其是年老的人的健康幸福。如今,即使在健康的人中,例如循环系统的监测也变得越来越流行,因为相关的健康事件可能突然发生并具有严重后果。
在使用现有的装置时,人或动物受试者的生理参数的监测,例如循环系统(例如心率)或其他生命体征(温度或呼吸)的生理参数的监测,通常需要将一个或多个传感器与被监测受试者直接接触。根据监测的类型和所使用的设备,在现有技术中,有时甚至必须侵入性地进行测量,即,通过将传感器至少部分地插入受试者的身体内或身体上。进行有侵入性或需要身体接触的测量不仅会使受试者不适,而且还会影响在测量期间受试者的行为,和/或甚至直接影响所测量的参数,例如,在监测睡眠实验室中的患者时。许多生理监测技术对于受试者来说可能是侵入性的,不适用于某些环境,或者出于某些目的缺乏阅读质量或准确性。
健康人的一种非常流行且广泛应用的生理监测涉及对婴儿和新生儿在其睡眠期间的监测。然而,大多数婴儿监测器的功能非常简单,并且通常仅基于捕获婴儿的声音和/或图像。如果婴儿醒来并开始哭泣,则父母能够远程听到或看到婴儿和/或由监测设备警示。大多数当前可获得的婴儿监测器限于此简单的功能。
WO 2018/034799 A1中公开了一种婴儿监测器,其提供了关于婴儿的健康状况的进一步信息。在该文献中,公开了具有飞行时间(ToF)传感器的设备,以便还捕获关于例如婴儿的呼吸频率或心律的信息。ToF传感器能够基于已知的光速以良好的空间分辨率来分辨距离,以便针对例如图像的每个点测量在传感器和受试者之间光信号的传播时间。通过ToF传感器,可以高分辨率测量例如患者或婴儿的身体或其一部分(例如,躯干)的运动,使得例如可以确定呼吸或心率。
尽管在现有技术中,ToF传感器的首次应用以监测生理参数显示出令人鼓舞的结果,但是该技术仍然不够鲁棒和可靠,而无法被常规且广泛地应用。
发明内容
本发明的目的是提供一种设备,该设备不仅允许安全可靠地监测受试者的生理参数,而且还可以容易地应用。
该目的通过如权利要求1所述的用于监测受试者的生理参数的设备得以解决。在从属权利要求2至13中提供了该设备的其他实施例。权利要求14要求保护一种用于监测受试者的生理参数的方法,以及在权利要求15中提供了一种计算机程序产品,其包括用于执行该方法的软件代码部分。
因此,本发明提供了一种用于监测受试者的生理参数的设备,即系统,包括:
多个成像传感器,其中至少一个成像传感器是飞行时间(ToF)成像传感器;和
连接至多个成像传感器的处理装置,处理装置适于:
从多个成像传感器接收数据流;
从数据流中提取时间参数数据;
从提取的时间参数数据中识别生理参数;以及
从提取的时间参数数据中提供生理参数的指标。
多个成像传感器还包括热成像装置。
因此,该设备包括至少两个成像传感器,其中一个是ToF成像传感器,另一个是热成像装置或传感器。通过除了ToF成像传感器之外还具有热成像装置,获得了用于监测受试者的生理参数的易于操作的设备,其允许更加安全和可靠的监测。热成像装置可以例如用于识别关注区域(ROI,region-of-interest)用以ToF成像传感器的数据的分析,该分析例如可以指向呼吸节律(rhythm)、心脏搏动等。可能的ROI可能是例如皮肤的未覆盖区域,其可以通过ToF成像传感器的数据对呼吸节律、心律等进行分析。替代地或附加地,由热成像装置生成的数据可用于测量受试者的温度,例如核心温度,以例如检测发烧和/或体温过低,在这种情况下,例如,设备可以生成警报。还可以想到测量受试者的胸部和四肢之间的温度差,以便例如获得关于受试者的血液灌注的信息。热成像装置也可以用于测量受试者的骨骼运动,即总体运动。这样,热成像装置组合ToF成像传感器可有助于通过例如将热成像装置的温度数据与ToF成像传感器确定的关于受试者的呼吸节律的数据相组合来检测受试者的不适或休克状态。与仅具有ToF成像传感器的设备相比,提供热成像装置因此允许改进对ToF成像传感器生成的数据的分析,并且还允许生成与受试者的状况有关的附加数据,所述附加数据可以与ToF成像传感器生成的数据相组合。通过将ToF成像传感器的数据与热成像装置的数据相组合,可以获得特别精确和可靠的所监测的生理参数的指标。因此,在具有ToF成像传感器的设备中提供热成像装置能够进行特别可靠和鲁棒的生理监测。
设备有利地是非侵入性设备,即,允许非侵入性地监测受试者的生理参数的设备。特别有利的是,该设备甚至是非接触式设备,其允许监测受试者的生理参数,而无需在任何时间与受试者进行任何物理接触。
受试者可以是人类或动物受试者。其可以例如为患者,在家中健康或患病的成人或婴儿。该设备可以是婴儿监测器或新生儿监测器,或者用于监测病房中的患者或在护理、休息或特殊护理院中的老年人。其可以例如用于监测患有帕金森症(Parkinson)或阿尔茨海默症(Alzheimer)或患有癫痫病的患者。此外,该设备可以用于监测在睡眠实验室中的受试者。该设备的目的尤其可以是防止新生儿突然死亡、睡眠呼吸暂停和/或心血管疾病。
处理装置基于所提取的时间参数数据提供的指标可例如是患者的实际心率、关于婴儿的睡眠状态的指标、受试者的核心温度等。在另一实施例中,指标可以是婴儿是否正在仰卧睡觉和/或安抚奶嘴在其嘴中,以例如降低新生儿突然死亡的风险。在此方面,还可以用婴儿或患者的闭眼和睁眼来追踪眼睛的运动,以检测被监测的受试者是否即将入睡或醒来。追踪眼睛运动可以例如通过对ROI内的ToF成像传感器的数据进行相应分析来完成,所述ROI通过热成像装置的数据以及可选地组合RGB成像装置(请参阅下文)的数据来确定。此外,以下对象可被考虑在内:所述对象在受试者的区域内(尤其是婴儿的区域内)并且可能会对受试者造成干扰甚至造成危险(枕头、宠物、玩具等)。
如果例如受试者的所识别的温度(例如,核心温度)低于某个特定阈值或超过某个特定阈值,或检测到需要立即治疗的受试者的休克状态,或受试者即将醒来和/或已经醒来,则所提供的指标可导致由设备产生警报。
在其他实施例中,设备例如也可用于闭环控制中,以控制呼吸辅助系统,例如医用呼吸机。在这种情况下,ToF或RGB成像传感器的数据优选地单独使用或与热成像装置组合使用,以检测受试者的呼吸速率和/或呼吸量。
热成像装置可以特别适合于测量在近红外范围内(即在780nm至3μm的波长范围内)的红外辐射。
该设备优选地包括照明部件,以提供窄频照明(narrow frequencyillumination)或结构照明(structured illumination)中的一个或多个。窄频照明和/或结构照明允许通过ToF成像传感器获得有关受试者的更多信息。
多个成像传感器优选地进一步包括RGB成像装置。RBG成像装置可以是二维(2D)或三维(3D)相机,并且优选地为CMOS相机或CCD相机的形式。借助于RGB成像装置,可以从受试者获得其他数据,例如受试者的皮肤颜色。对于ToF成像传感器的数据的分析,RGB成像装置的数据例如还可以用于ROI识别(作为通过热成像装置的数据的ROI识别的替代或与其组合)。RGB成像装置的数据还可以例如用于识别骨骼运动和/或识别受试者的眼睛是睁开还是闭合,这例如可以与通过热成像装置的数据识别的ROI组合,和/或与ToF成像传感器的数据组合。因此,可以将另外的数据与ToF成像传感器和热成像装置的数据相组合,以便进一步改善监测的可靠性和鲁棒性。RGB成像装置可以特别适于测量小于700nm范围内的波长。RGB成像装置还可适于在受限的波长范围内进行测量,例如在在可见光(400至700nm)范围内、紫外光(10至400nm)范围内或红外光(700至1050nm)范围内。RBG成像装置还可以用于将视频信号发送到远程设备,以允许例如父母或医护人员视觉地观察所监测的环境。
当将ToF成像传感器的数据、热成像装置的数据和RGB成像装置的数据相组合以提供生理参数的指标时,能获得特别鲁棒和可靠的结果。这样做时,优选地将与距离、温度和颜色有关的数据相组合,以提供生理参数的指标。事实证明,这种特定的数据组合提供了多种可能性以便以特别可靠和鲁棒的方式来监测受试者的重要数据。
该设备优选地包括麦克风,以在由多个成像传感器监测的环境中接收音频数据。麦克风可以是单向麦克风,也可以是多个麦克风的组合,以确定方向性。音频数据可以与ToF或RGB成像传感器的数据和/或热成像装置的数据组合,以便进一步改善监测的可靠性和鲁棒性。替代地或附加地,音频数据可以用于通过远程装置来听觉地观察所监测的环境。
为了从所接收的数据流中提取时间参数数据,处理装置优选地还适于识别数据流的至少一个的边缘并且监测所检测到的边缘的运动特征。因此,处理装置优选地适于执行边缘检测和/或边缘追踪,所述边缘检测和/或边缘追踪是在图像处理、机器视觉和计算机视觉中众所周知的术语。
在本文的上下文中,术语“时间参数数据”通常是指可以随时间潜在变化的参数数据。时间参数数据可以涉及例如距离、温度、色值、声级或其任意组合。
处理装置优选地还适于确定所接收的数据流中的数据的信噪比,并基于所确定的信噪比来对高于第二数据流的第一数据流进行加权。处理装置还有利地适于基于第一数据和第二数据的相对权重来将从数据流中提取的时间参数数据相组合,以识别生理参数。在此方面应注意的是,数据流通常由每个成像传感器产生。因此,通过基于数据流的信噪比对数据流进行加权,可以获得更鲁棒的数据分析,同时仍考虑了尽可能多的多个成像传感器的所接收的信息。
为了提取时间参数数据,处理装置还有利地适于执行图案识别(patternrecognition),以确定在所接收的数据流中的所识别的图案的运动。图案识别是图像处理中众所周知的术语,是指对数据(例如成像数据)中的图案和规律的自动识别。图案识别优选地通过机器学习或人工智能,特别是通过深度学习来执行。因此,处理装置优选地适于执行机器学习或人工智能,特别是深度学习。
处理装置有利地适于基于在第二成像传感器的第二数据流中识别的呼吸频率来对一个成像传感器的第一数据流进行滤波。替代地或附加地,处理装置有利地适于基于在第二成像传感器的第二数据流中识别的心脏搏动的频率来对一个成像传感器的第一数据流进行滤波。
生理参数优选为呼吸速率、温度或心率中的一个或多个。呼吸速率、温度和心率是生理参数,其不仅从根本上表征了受试者的健康状况,而且还提供了例如受试者是否在睡觉或即将入睡或醒来的指标。
但是,设备还可以包括脉搏血氧装置,以提供关于受试者的心率的进一步数据。脉搏血氧装置的数据可以用作成像传感器的数据的替代或补充,以确定受试者的心率。该设备还可以包括脑电图(EEG)装置,以获得有关脑电波的数据,和/或用于测量受试者的呼吸的流量计。处理装置优选地适于将脉搏血氧装置和/或EEG装置和/或流量计的数据与成像传感器的数据相组合,以提供生理参数的指标。
在特别优选的实施例中,用于监测受试者的生理参数的设备适于监测生理参数,而不接触受试者。
多个成像传感器和处理装置可以集成在单个的优选紧凑的壳体中。显示器、扬声器和/或信号发生器可以集成在壳体中,以视觉和/或听觉地反映由处理装置提供的生理参数的指标。替代地或附加地,显示器、扬声器和/或信号发生器也可以提供在远程主机接口上,由处理装置向其发送生理参数的指标,以在距处理装置一定距离处受到指示。从处理装置到远程主机接口的传输可以是有线或无线(例如,Wi-Fi或蓝牙)传输。为此,设备可以包括无线传输装置,该无线传输装置可以是处理装置的一部分,或者可以与处理装置连接。远程主机接口可以是例如计算机或智能手机。
设备优选地适于将数据流、时间参数数据、生理参数和/或生理参数的指标发送到云计算基础设施或直接发送到主机装置。在云计算基础设施中,可以存储、收集和/或处理从多个这样的设备接收的数据。在云计算基础设施中对所接收的数据的处理优选借助于人工智能来执行,所述人工智能尤其包括深度学习或其他算法。借助于云计算基础设施,可以使用所收集的“大数据”来改善用于从数据流中提取时间参数数据、用于识别生理参数和/或用于提供生理参数的指标的设备的算法。云计算基础设施可以特别地适于改善信号处理,特别是图像处理,例如边缘检测和图案识别。
本发明还涉及一种用于监测受试者的生理参数的方法,特别是通过使用如上所述的设备。该方法包括至少以下方法步骤:
通过处理装置从多个成像传感器的每一个接收多个数据流,其中,至少一个成像传感器是飞行时间成像传感器;
从数据流中提取时间参数数据;
通过处理装置从提取的时间参数数据中识别生理参数;以及
从提取的时间参数数据中提供生理参数的指标。
多个成像传感器还包括热成像装置。
此外,本发明涉及可直接加载到数字计算机的内部存储器中的计算机程序产品,所述计算机程序产品包括,当所述产品在计算机上运行时,用于执行如上所述方法的方法步骤的软件代码部分(例如,HDL、程序语言、软件、固件等)。因此,当在计算机上运行时,计算机程序产品的软件代码部分适于执行上述用于监测受试者的生理参数的方法,特别是通过使用如上所述的装置。因此,计算机程序产品优选地适于被加载到计算机或控制器的存储器中,其用于控制设备或如上所述地监测受试者的生理参数。计算机程序产品优选地存储在计算机可读的存储装置上。因此,计算机程序产品包括可执行的指令以执行所述的方法。优选地,提供了一种非暂时性计算机可读介质,其包括用于执行所述的方法的计算机程序。
因此,当在计算机的处理器中执行时,计算机程序适于执行如上所述的方法的中心部分。优选地,提供一种计算机程序产品,其可以直接加载到数字或模拟计算机的内部存储器中,并且包括当产品在计算机上运行时导致上述方法被执行的软件段。该计算机程序可以被实现为计算机程序代码元素,其包括计算机实现的指令,以使处理器执行相应的方法。其可以以任何合适的形式来提供,包括源代码或目标代码。特别地,其可以存储在计算机可读介质上或体现在数据流中。该数据流可以通过诸如因特网的网络来访问。
受试者的各种参数的生理监测可用在多种设置(settings)中,以改善受试者的健康或幸福。所监测的生理参数可能包括心率、呼吸、温度、血压或受试者健康或状况的其他指标。生理监测可以在医院、医生办公室、儿童床,运动训练设施、家庭、老年人护理设施或任何其他环境中进行,在这些环境中,知晓受试者的当前健康参数可提供其他好处。
本文公开了用于监测个体的生理参数的设备,即装置和方法。尽管通常描述为监测人类受试者的监测,但是本文描述的设备和方法可以用于监测多个受试者或非人类受试者。另外,本文描述的各种配置可以包括不同的过程(processes)或装置,其在所描述的范围内。
在一些实施例中,传感器阵列可以包括数个传感器,其接收代表目标受试者或所监测的环境的信号。例如,传感器单元可以包括光学传感器,诸如CMOS相机、麦克风、热成像装置、飞行时间(ToF)成像装置等。在一些实施例中,传感器阵列可以包括更少或附加的装置,以生成用于确定和监测目标受试者的生理参数的不同或附加的信号。
在一些实施例中,监测设备可以包括待与一个或多个传感器一起使用的一个或多个照明装置。例如,可以将闪光或调制光与ToF传感器设计为接收的特定频率的光一起使用。在一些实施例中,结构照明也可以与ToF或RGB(例如,CMOS或CCD)传感器一起使用,以提供通过ToF或RGB传感器接收的附加信息。
由传感器阵列中的各种传感器产生的数据可用于确定受试者的一个或多个生理参数。在一些实施例中,可以连续地或离散增量地来提供从每个传感器接收的数据。传感器阵列可以从每个传感器向处理装置提供信号。在一些实施例中,可以对来自传感器阵列的原始数据进行预处理以减少噪声、移动来自每个传感器的阵列值以提供对准、压缩数据或其他以改善从每个传感器接收的信号。
经处理的数据则可指示与被监测的受试者相关联的一个或多个参数。例如,经处理的数据可以基于来自一个或多个传感器的颜色或另外的参数来指示所关注区域。在一些实施例中,单色或RGB(例如,CMOS或CCD)图像传感器可以用于识别一个或多个关注区域。例如,可以基于皮肤颜色或图像的表征不太可能与受试者相关联的部分来识别区域。在一些实施例中,查看特定光谱(例如,近紫外光)可以表征存在于被监测的环境中的某些特征可以是衣服、毯子或其他已知元素。
处理装置则可以使用输出数据来确定期望的生理参数。例如,图案识别服务可以识别从一个传感器接收的第一图像中的一个或多个图案。图案识别服务然后可以尝试在其他所接收的图像数据中找到相同的图案。图案识别服务随后可以随时间输出图案的轨迹。处理装置可以使用图案的移动来确定一个或多个生理参数。例如,处理装置可以基于信号随时间的运动来确定呼吸或心率。在一些实施例中,由图案识别服务提供的轨迹可以与来自不同传感器的其他信号相组合,以进一步提高输出生理参数测量的准确性。在一些实施例中,可以使用附加过程,例如具有追踪运动的边缘检测。在一些实施例中,图案识别和边缘检测服务可以应用于RGB阵列、单色阵列、ToF传感器、热成像装置或其他装置。
在一些实施例中,传感器阵列可以包括ToF传感器。ToF传感器提供一系列测量值,指示在受监测环境中的各个元素与成像传感器之间的距离。处理装置则可以确定一个或多个区域以监测ToF数据。在一些实施例中,可以基于来自另外传感器元件的数据来确定关注区域。例如,可以基于来自RGB或热成像装置的成像数据来识别关注区域。然后,可以将ToF数据与RGB成像数据校准,并且ToF可以监测被识别为可能提供诸如呼吸或心率等生理参数指标的区域中的运动。然后,可以对ToF成像数据进行滤波和处理。信号处理系统可以基于在传感器阵列中的改变的距离中检测到的运动来确定一个或多个参数。
附图说明
通过示例而非限定性的方式示出了本公开,并且当结合附图考虑时,参考以下对优选实施例的描述,可以更全面地理解本公开。在图中显示了:
图1示出了框图,其描绘了根据本公开的一些方面的用于监测受试者的生理监测系统的示例;
图2示出了框图,其描绘了根据本公开的一些方面的用于监测受试者的生理监测系统的示例;
图3示出了框图,其描绘了根据本公开的一些方面的用于监测受试者的生理监测系统的示例;
图4示出了框图,其描绘了根据本公开的一些方面的生理监测系统中的数据流的示例;
图5示出了框图,其描绘了根据本公开的一些方面的生理监测系统中的数据流的示例;以及
图6示出了根据本公开的一个或多个方面的说明性的计算机系统。
具体执行方式
图1是描绘了用于监测受试者110的生理监测系统100的示例的框图。受试者110可以是医院中的成人、婴儿床或床上的儿童或其他要监测的受试者。生理监测系统100可以包括连接至处理系统130的传感器阵列120。在一些实施例中,传感器阵列120还可以包括照明140。传感器阵列120可以包括TOF阵列122、RGB(例如CMOS或CCD)阵列124、热阵列126和麦克风128。在一些实施方式中,生理监测系统100可以包括比图1所示更少或附加的部件。例如,与图1所示相比,生理监测系统100的一些部件可被组合进来或分开。此外,生理监测系统100可以包括附加的特征,例如通信系统、滤波系统、计算引擎,附加的存储系统或附加的处理系统。
传感器阵列120将来自阵列中的每个传感器的数据流提供给处理系统130。处理系统130则可以基于来自传感器阵列的信号的组合来确定一个或多个生理参数。例如,处理系统130可以从一个或多个传感器确定位置、运动、温度、颜色等的变化,以确定受试者的心率、呼吸、打鼾、仪态等。下面进一步描述用于确定生理参数的系统和方法。
图2是示例性生理监测系统200的框图。图2所示的生理监测系统200包括传感器单元220,该传感器单元220监测受试者210并将受试者210的生理参数的一个或多个指标提供给主机接口260和/或到云270,即云计算基础设施,以用于监测、警报、存储、记录保留或潜在的后续处理。传感器单元220可以包括信号调节单元222,在物理信号被传感器阵列230接收之前,该信号调节单元222对物理信号进行滤波或调节。传感器阵列230可以包括各种传感器,以感测传感器的视场中的不同物理参数并产生代表这些参数的电信号。来自传感器阵列230的数据可以被提供给处理装置240。在一些实施例中,处理装置240可以包括一个或多个处理器。例如,处理装置240可以包括一个或多个单核或多核处理器。传感器阵列230提供的数据则可由处理器240处理,以确定受试者210的一种或多种生理特性并发送到主机接口260。优选地,由传感器阵列230提供并由处理器240处理的部分数据(例如,实时数据)被发送到主机接口260,并且由传感器阵列230提供并由处理器240处理的部分数据(例如,存储数据)被发送到云270。数据和/或时间参数和/或生理参数和/或生理参数的指标可被直接从参数处理器247发送到云270、或者经由主机接口260间接地发送到云270。例如,这些特性可包括受试者的仪态、受试者的运动、受试者的呼吸数据、受试者的心脏数据、热数据、受试者的位置或其他数据,所述其他数据对使用生理监测系统200来监测受试者210的主机接口的用户是有用的数据。
从传感器单元220开始,信号调节单元222可以包括一个或多个物理元件,其在传感器阵列230感测到信息之前调节由传感器单元220接收的该信息。例如,这种调节可以包括一个或多个透镜,其调节待由传感器阵列230接收的光波。这种透镜可以使光聚焦以将其引导到传感器阵列230中的一个或多个传感器,可以滤除特定频率的光,以改善由传感器阵列230中的一个或多个传感器产生的信号,或另外调节光以改善传感器阵列230的性能。信号调节单元222还可以执行其他功能,例如音频压缩、声波滤波、热滤波或其他,以调节在传感器单元220处接收的物理信号。
传感器阵列230可以包括多个传感器,所述多个传感器基于诸如在传感器单元220处从受试者210接收的电磁波、声波等物理信号来产生信号。在图2所示的示例实施例中,传感器阵列包括ToF成像装置232、RGB(例如CMOS或CCD)成像装置234、热成像装置(例如红外传感器)236和麦克风238。在各种实施例中,传感器阵列230可以包括比图2所示更少或附加的传感器。例如,可能有RGB成像装置和单色成像装置。在一些实施例中,传感器阵列230可以不包括存在于传感器阵列230(如图2所示)中的麦克风238或其他感测装置之一。传感器阵列230中的每一个可以生成电信号以将信号从传感器阵列230传送到处理装置240。信号可以以并联或串联的方式从传感器阵列230提供到处理装置240。在一些实施例中,传感器阵列230中的一个或多个感测装置可以滤波或否则在将信号提供到处理装置240之前调节信号或参数。
在一些实施例中,传感器单元220还可以包括照明250。照明250可以以特定频率提供恒定光或脉冲光,以改善传感器阵列230对特定图像质量的检测。例如,可以以待被ToF成像装置检测到的频率来提供光脉冲,以便为ToF成像装置提供定时,以确定从成像装置到受试者210的一个或多个特征或周围环境的位置和距离。在一些实施例中,可以提供新的UV照明,以改善待由图像传感器检测的UV光的反射。照明250也可以提供结构化光,以在由RGB传感器或其他成像装置检测到之后提供附加信息。
处理装置240可以包括一个或多个处理器,其基于从传感器阵列230接收的信号来确定生理参数。如图2所示,处理装置240包括信号处理器245和参数处理器247,信号处理器245可以具有图像处理器的形式。在一些实施例中,可以在处理装置240中包括附加的处理器。例如,处理装置240可以包括用于与主机接口260通信的通信处理器。
如图2所示,信号处理器245可接收来自传感器阵列230中的传感器的信号。然后,信号处理器245可以确定存在于一个或多个感测装置信号中的各种特征。例如,信号处理器245可以确定受试者210的胸部运动的位置、运动的其他区域、热图像的不同部分中的温度变化、麦克风接收的音频信号位置和强度、信号中识别的图案的运动或位置、所检测的边缘位置或所检测的斑点(在彩色图像、空间图像、热图像等中)的移动。在一些实施例中,可以有多个信号处理器245。例如,可以有信号处理器245来确定来自传感器阵列230中的每个传感器的特征。来自信号处理器245的数据可以被提供给参数处理器247。
参数处理器247可解释信号处理器245的输出以确定受试者210的一个或多个生理参数。例如,信号处理器245可以向参数处理器247提供在从传感器阵列230接收的成像数据中一个或多个不同位置处的运动指标。参数处理器247然后可以解释那些指标以确定一个或多个生理参数。例如,如果信号处理器245处理了来自传感器阵列230中的第一传感器的第一数据流,以表征在从第一传感器接收的成像数据中检测到的运动,则参数处理器247可以确定该运动的频率。例如,呼吸可以以随时间可预测的速率发生。参数处理器247可以确定由图像处理器识别的运动幅度,通过在受试者的呼吸范围内的已知频率范围对运动进行滤波,以及从运动确定估计的呼吸速率。在一些实施例中,可以将所估计的呼吸速率与在来自传感器阵列230中的其他传感器的其他数据流中检测到的呼吸速率进行比较,以改善所估计的呼吸速率。可以执行类似的技术来识别呼吸期间的容量、脉搏频率、个体的骨骼运动或其他生理参数。
由处理装置240提供的数据可以在连接到传感器单元220的显示装置上示出,或者可以被发送到另外的装置,例如主机接口260。主机接口260可以是智能手机、智能手表、计算机上的浏览器、专用接口、平板电脑或可以将生理参数直接提供给用户的其他装置。在一些实施例中,主机接口260还可以包括警报系统,该警报系统响应于落入指定范围内的一个或多个生理参数来提供警报。例如,高于或低于阈值的呼吸或心率、意外受试者210的存在、所监测受试者210的热变化或指示所监测受试者210的状态潜在改善或下降的其他变化。在一些实施例中,主机接口260可以提供所选的生理参数,用于基于用户的选择或受试者210的状态的改变来监测。在一些实施例中,主机接口260可以将数据提供给联网的存储位置(例如,云270),以比较与受试者210相关联的生理参数,或与由相同或不同的生理监测系统200监测的其他受试者相比较。
图3是示出根据本公开的一些方面的生理监测器300的特征的框图。生理监测器300包括传感器阵列310、处理部件320、透镜机构342、344和346以及照明部件330。如图3所示的示例性的实施例包括生理监测器300的特定物理配置。在一些实施例中,可能会有更少或附加的部件。此外,部件可以被配置为与所示的不同。例如,在一些实施例中,处理部件320可以包括一个或多个处理装置。此外,处理部件320可以与传感器阵列310集成到单个集成电路或单个印刷电路中。
在一些实施例中,生理监测器300可以与以上参考图1和图3描述的生理监测器相同或相似。例如,生理监测器300的部件可以执行与参照图2中的生理监测器200描述的功能相同或相似的功能。
传感器阵列310可以包括ToF成像装置312、RGB(例如CMOS或CCD)成像装置314和热成像装置316。成像装置可以被配置在PCB上,所述PCB将成像装置连接到电源(未示出)、控制系统(未示出)、处理部件320等。在一些实施例中,传感器阵列可以包括更少或附加的传感器。例如,传感器阵列310可以包括一个或多个麦克风、附加的感测装置或其他图像装置。如图3所示,每个成像装置具有一个或多个光学系统,例如特别是透镜,以调节由传感器阵列310接收的光。如图3所示,存在形式为ToF透镜342的第一光学系统(用于ToF传感器312)、形式为CMOS透镜344的第二光学系统(用于RGB成像装置314)和形式为热透镜346的第三光学系统(用于热成像装置316)。一个或多个光学系统可以用作滤光器以向特定的成像装置提供特定频率的光、用作透镜以将光聚焦到成像装置,或其他功能以向每个成像装置提供适当的光量和光谱。在一些实施例中,传感器阵列310上的一个或多个成像装置可能不具有光学系统来提供调节。
生理监测器300还可包括一个或多个照明部件330。照明部件330可提供特定频率的脉冲光、由成像装置使用的预定波长的恒定光、结构照明以增加存在于由成像装置产生的信号中的数据等。
存在于传感器阵列310上的成像装置可以机械地对准或通过光学图像处理来对准。例如,成像装置可以连接到PCB的柔性部件并且在处理的校准阶段期间对准。例如,可以通过使用在设定距离处的目标来将成像装置对准,所述目标将显示在引起每个成像装置的信号的频谱中。因此,PCB可以通过在共享目标上对准每个成像装置来提供机械对准。在一些实施例中,可以使用一种或多种图像处理技术来对准成像装置。例如,当在使用中监测受试者时,处理部件320可以识别来自每个成像装置的数据流中所识别的运动或受试者,以对准和聚焦成像装置。对准成像装置(机械地或计算地)可以使处理部件320能够组合来自每个成像装置的数据流,以改善可用的生理监测的可靠性、准确性和类型。
处理部件320可包括如参考图2的处理装置240描述的一个或多个处理装置。处理部件320可从传感器阵列310上的成像装置接收信号,并基于所提供的数据流的分析来确定一个或多个生理参数。在一些实施例中,处理部件320可以在与传感器阵列310分开的PCB上,或可以被设置为传感器阵列310的一部分。处理部件可以包括微处理器、现场可编程门阵列(FPGAs)、专用集成电路(ASICs)或其他设计为或适合于从感测装置接收到的信号来确定生理参数的处理部件。在一些实施例中,处理部件320还可包括一个或多个滤波器、数字转换器、放大器或其他信号调节部件,以在信号由信号(例如图像)处理装置处理之前改善该信号的质量。处理部件320还可包括通信系统,用于将所监测的生理参数或其他数据提供给一个或多个主机接口或其他接收者。
图4是示出了生理监测器400内从传感器阵列410到主机接口440的数据流的框图。图4所示的示例生理监测器400包括可以在各个实施例中组合或进一步分开的各种部件。例如,信号分析服务420和生理参数服务430可以组合以处理来自从传感器阵列410接收的至少一些数据流的数据。
传感器阵列410可以是如上所述参照图1、2和3所描述的那样,并且包括各种成像传感器、音频传感器、温度传感器等。传感器阵列410可以提供表示在每个感测装置处感测的数据的多个数据流。例如,ToF传感器可以提供示出不同像素与成像装置的距离的距离阵列。RGB传感器可以为RGB传感器感测的像素提供颜色和/或强度阵列。热传感器可以提供由热传感器感测的不同温度的温度阵列。麦克风或多个麦克风可以提供单声道、立体声或多声道音频数据,该音频数据可以提供声音以及所感测的音频的方向或位置属性。
在一些实施例中,ToF传感器、RGB传感器、热传感器或其他成像传感器可以提供四分之一视频图形阵列(QVGA)质量、视频图形阵列(VGA)质量或另外的视频质量的数据流。阵列还可以以10fps、20fps、30fps、60fps或另外的帧速率来提供距离阵列,该帧速率取决于ToF传感器或特定生理参数的帧速率。音频传感器可以以48kHz和不同质量(例如8bit或更高)来提供数据。这些数据流或其他可在一个或多个信号数据阵列415中从传感器阵列410提供到信号分析服务420。例如,数据流可以作为单个流提供,其中每个数据流来自被封装的不同的传感器,或者数据流可以作为多个消息或多数据流从传感器阵列410中的每个传感器提供给信号分析服务420。
信号分析服务420可以对所接收的一个或多个传感器数据流执行图像分析。虽然描述为图像分析,但应理解的是,也可以执行音频分析或其他传感器分析。图像分析服务可以执行去噪、帧移位或缩放、参数提取、压缩、图案识别、运动检测等。在一些实施例中,图像分析系统还可以组合来自一个或多个传感器的信号,以在图像分析期间识别相互关联的运动、位置或其他数据。
信号分析服务420输出的信号分析数据425可以包括胸部运动(包括频率、幅度等)、受试者的整体运动、受试者部分的温度检测、包括音频的位置或强度的音频信号、皮肤位置移动或颜色改变、边缘移动、图案位置或其他图像分析参数。
信号分析数据425可被提供给生理参数服务430,所述生理参数服务430基于所接收的信号分析数据425来确定一个或多个生理参数。例如,生理参数服务430可以从所接收的不同数据流提取时间参数数据、重量信号,将一个或多个信号进行平均,确定具有低预测质量的图像分析数据等。例如,如果生理参数服务430包括具有不同呼吸速率指示的多个不同的数据流,则如果其中一个或多个数据流大于某一阈值,所述某一阈值与由另外的数据流预测的阈值不同,则该一个或多个数据流可被忽略,这是由于其可为监测不同的动作。此外,所预测的生理参数可以在不同的数据流之间平均。在一些实施例中,在一个数据流中检测的呼吸频率或心率可用于对在不同数据流中的数据进行滤波,以改善测量的准确性。例如,如果分析了ToF成像数据以预测呼吸速率,则可以使用该速率来对RGB数据中的运动进行滤波以确认该速率。还可以通过信号分析数据425的分析来生成附加的生理参数。
然后,可以将所确定的生理参数435提供给主机接口440。主机接口440可以与成像传感器410、信号分析服务420或生理参数服务430集成在一起或与之分离。在一些实施例中,所确定的生理参数435可以被提供为连续流。在一些实施例中,可周期性地,应主机接口440的请求或在其他时间段,在满足阈值时,提供生理参数435。在一些实施例中,生理参数可具有一个或多个数据流,使得主机接口能够示出来自传感器阵列410的一个或多个传感器输出的表示。
图5是示出通过生理监测系统500的数据流的框图。生理监测系统500包括传感器510、传感器数据520、(图像)分析服务530和生理参数服务570。生理监测系统500可以将一个或多个生理参数的输出提供给主机接口590。传感器510可以是一个或多个传感器或传感器阵列,如上参考图1-4所描述的那样。生理监测系统500的一个或多个部件执行的分析可参考来自单个图像的单个数据流来描述,但是也可以对从多个传感器接收的多个数据流执行。传感器数据520可以与参考图4描述的信号数据阵列415相似或相同。例如,传感器数据520可以包括从一个或多个成像装置或其他传感器提供的一个或多个像素阵列。
传感器数据520可以提供给图像分析服务530。在一些实施例中,图像分析服务530可以与参考图4描述的信号分析服务420相同或相似。图像分析服务530可以包括如所示的多个分析系统,其执行不同的滤波、分析和其他过程。在一些实施例中,图像分析服务530可以包括比图5所示更少或附加的部件。这些部件的数据路径和组织也可以与所示的不同。
在一些实施例中,图像分析服务530可以包括空间均值滤波器532,其在帧的像素之间提供混合以从传感器数据520中去除噪声。空间均值滤波器532的输出还可以由时间均值滤波器534来处理。时间均值滤波器534可以随时间对像素进行平均,以减少从一帧到另一帧的噪声。可以将时间均值滤波器534和空间均值滤波器532的输出提供给边缘查找器542,图案识别图案选择(pattern recognition pattern select)552和关注区域识别器536。在一些实施例中,边缘查找器542、图案识别图案选择552以及关注区域识别器536中的一个或多个可以接收传感器数据520,而无需通过时间均值滤波器534或空间均值滤波器532进行处理。
图案识别图案选择552可以选择存在于传感器数据520中的图案。例如,图案选择552可以基于明确定义的区域、具有特定反射特性的区域或可以通过多帧成像数据追踪的其他区域或图案来识别成像数据中的图案。图案选择552选择的图案可提供给图案识别图案匹配(pattern recognition pattern match)554。在一些实施例中,图案可以不从每组传感器数据520中选择,而是替代地可仅周期性地提供给图案匹配554。图案匹配554可以遍历存在于传感器数据520中的像素,以识别至少在阈值量以上与所选的图案匹配的区域。基于由图案匹配554提供的图案匹配与图案匹配动态(pattern match dynamics)556的比较,图案匹配动态556可以通过传感器数据520中的帧来确定诸如尺寸变化、平移或图案的其他运动之类的运动。由图案匹配动态556识别的位置或取向的变化则可以用于确定传感器数据520的一部分中的运动。
关注区域阈值识别器536也可以从时间均值滤波器534接收数据。关注区域阈值识别器536可以识别变化高于阈值的区域。例如,在ToF传感器数据中,关注区域阈值识别器可以确定阵列中某些像素的距离随时间的变化。变化超过阈值量的那些可以被关注区域阈值识别器536用来识别关注区域。在一些实施例中,识别出的区域可以与从其他传感器510接收的其他传感器数据520相互关联。例如,在一组传感器数据中识别出的关注区域可以被用来识别在另一组传感器数据中的相互关联的位置中的关注区域。然后,由关注区域识别器536识别的关注区域可被提供给快速傅立叶变换538或其他频域变换,以确定存在于传感器数据520中的一个或多个运动频率。在其他传感器数据阵列中的任何相互关联的关注区域也可确定存在于关注区域中的频率。
边缘查找器542可以识别存在于传感器数据520中的一个或多个边缘。例如,可以基于RGB或单色数据中颜色的对比度的改变、由ToF成像装置测量的距离的改变或指示传感器数据520中检测到的元素之间变化的其他边缘来识别边缘。边缘选择阈值544然后可用于确定边缘,所述边缘在阵列中的一组像素上具有超过设置阈值的变化。然后,可以通过追踪帧之间的边缘来分析所选择的边缘,以通过边缘运动分析器546来确定边缘的运动。边缘运动分析器546可以通过执行边缘位置的频域分析、对边缘位置中的运动进行滤波、或边缘位置的其他追踪来确定运动。
来自图案识别分析、关注区域分析和边缘检测分析的输出可以被提供给加权系统560,以确定要提供给每个分析输出的权重。在一些实施例中,加权系统560还可以基于不同的传感器数据流520对提供的分析输出进行加权。例如,加权系统560可以确定是否某些数据流(ToF、热、RGB、单色、音频等)为确定生理参数提供了更强的信号。例如,加权系统可以确定信噪比、测量之间的一致性或其他考虑因素,以确定为不同的测量提供多少权重。加权系统560然后可以将图像分析服务530的一个或多个输出提供给生理参数服务570。例如,分析服务530的输出可以与参照信号分析数据425(如参照图4所描述)描述的相同或相似。
生理参数服务570可以确定待输出到主机接口590的一个或多个生理参数。例如,生理参数可以类似于上述关于图1-4所描述的那些。尽管以下通常对呼吸进行描述,但是在一些实施例中,生理参数服务570还可以提供与心率、血压或其他生理参数相关的生理参数。
生理参数服务570可以在呼吸矢量生成器572处接收图像分析服务530的输出。呼吸矢量生成器572可以根据所提供的权重来组合图像分析服务530的输出信号。这些权重可以组合成描述呼吸参数的矢量函数。输出矢量可以由时间和频谱内容滤波器576分析,以减少组合数据中的噪声。
然后可以对滤波后的呼吸矢量进行分析以确定呼吸频率、呼吸幅度或呼吸量,以及呼吸特征或偏差(skew)。呼吸矢量或来自图像分析服务530的附加数据可被提供给能量交叉计数器578,所述能量交叉计数器578确定呼吸矢量中的超过设定阈值的运动的次数。计数器然后可以确定在设定的时间段内记录的呼吸次数,以估计呼吸频率580。相对幅度估计器582还可以分析呼吸矢量,以估计受试者的呼吸量或幅度。例如,在一些实施例中,幅度估计器582可以基于传感器数据520中已知受试者的大小与呼吸矢量中测量的相对运动的比较来确定记录的运动量。在一些实施例中,幅度估计器582可以比较被监测的受试者随时间的呼吸量。例如,幅度估计器582可以确定呼吸量是随着时间增加还是减少。呼吸幅度或呼吸量584可以被提供为与受试者的历史测量值相比的相对值,或者可以作为所监测的受试者的实际呼吸量的估计值。肺叶运动估计器(lobe moment estimator)586还可接收一个或多个呼吸矢量,并确定所监测的受试者的肺叶的估计运动。例如,肺叶运动估计器586可基于从一个或多个传感器数据520确定的一个或多个运动或运动矢量来确定呼吸期间肺扩张的方向。该运动可以确定是否所监测的受试者的一部分肺工作地比其他人更好或更差。因此,生理参数服务570可以提供呼吸特性或呼吸偏差588。
在一些实施例中,生理监测系统500可以向主机接口590提供更少或附加的生理参数。例如,可以提供受试者的呼吸的更少或附加的特征。另外,在一些实施例中,可以基于对生理监测系统500的传感器阵列中的一个或多个传感器510的分析,来提供受试者的附加参数,例如血压、脉搏、温度、骨骼运动或其他运动。
图6以计算机系统600的示例形式示出了机器的示意图,在其中可以执行用于使机器执行本文所讨论的方法中的任何一个或多个的一组指令。在替代实施例中,机器可以连接(例如,联网)到局域网(LAN)、内联网、外联网或互联网中的其他机器。机器可以在客户机-服务器网络环境中以服务器或客户机的功能运行,或在对等(或分布式)网络环境中作为对等机器运行。机器可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、Web设备、服务器、网络路由器、交换机或网桥、集线器、访问点、网络访问控制装置,或能够执行一组指令(顺序的或其他方式)的任何机器,所述指令规定了该机器要执行的操作。此外,虽然示出了单个机器,但是术语“机器”也应被理解为包括机器的任何集合,这些机器单独地或共同地执行一组(或多组)指令,以执行本文讨论的任何一个或多个方法。在一个实施例中,计算机系统600可以代表监测设备,例如参考图1-5描述的生理监测系统,其被配置为执行账户访问监测或系统400。
示例性计算机系统600包括处理装置602、主存储器604(例如,只读存储器(ROM)、闪速存储器、动态随机存取存储器(DRAM)、静态存储器606(例如,闪速存储器、静态随机存取存储器(SRAM)等)和数据存储装置618,它们经由总线630彼此通信。经由本文所述的各种总线提供的任何信号可以与其他信号进行时分多路复用(time multiplexed),并通过一个或多个公共总线来提供。另外,电路部件或块之间的互连可以显示为总线或单信号线。每个总线可以替代地是一个或多个单信号线,并且每个单信号线可以替代地是总线。
处理装置602代表一个或多个通用处理装置,例如微处理器、中央处理单元等。更特别地,处理装置可以是复杂指令集计算(CISC)微处理器、精简指令集计算机(RISC)微处理器、超长指令字(VLIW)微处理器,或执行其他指令集的处理器、或执行指令集组合的处理器。处理装置602还可以是一个或多个专用处理装置,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理装置602被配置为执行处理逻辑626,所述处理逻辑626可以是图4所示的系统400的一个示例,用于执行在此讨论的操作和步骤。
数据存储装置618可以包括机器可读存储介质628,其上存储了体现本文所述功能的任何一种或多种方法的一组或多组指令622(例如,软件),包括引起处理器602执行生理监测系统600的指令。在计算机系统600执行所述指令期间,指令622还可以全部或至少部分地驻留在主存储器604内或处理装置602内;主存储器604和处理装置602也构成机器可读存储介质。指令622还可以经由网络接口装置608在网络620上发送或接收。存储装置618还可以用于存储校准数据,在设备例如初始化或重启时,在多个成像传感器的校准期间发生所述校准数据。
机器可读存储介质628还可用于存储指令,以执行如本文所述的用于生理监测的方法。尽管机器可读存储介质628在示例性的实施例中显示为单个介质,但是术语“机器可读存储介质”应理解为包括用于存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据库,或关联的缓存和服务器)。机器可读介质包括用于以机器(例如,计算机)可读的形式(例如,软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁存储介质(例如,软盘);光学存储介质(例如CD-ROM);磁光存储介质;只读存储器(ROM);随机存取存储器(RAM);可擦除可编程存储器(例如EPROM和EEPROM);闪速存储器或适合存储电子指令的其他类型介质。
前面的描述阐述了多个具体细节,例如特定系统、部件、方法等的示例,以便提供对本公开的数个实施例的良好理解。然而,对于本领域的技术人员显然的是,可以在没有这些具体细节的情况下实践本公开的至少一些实施例。在其他情况下,公知的部件或方法未详细描述或者以简单的框图格式呈现,以避免不必要地模糊本公开。因此,阐述的具体细节仅是示例性的。特定实施例可以与这些示例性细节不同,并且仍被认为在本公开的范围内。
另外,一些实施例可以在分布式计算环境中实践,在分布式计算环境中,机器可读介质存储在一个以上计算机系统上或由一个以上计算机系统执行。此外,计算机系统之间传递的信息可以在连接计算机系统的通信介质上被拉动或推动。
要求保护的主题的实施例包括但不限于本文描述的各种操作。这些操作可以由硬件部件、软件、固件或其组合来执行。
尽管以特定顺序示出和描述了本文的方法的操作,但是每种方法的操作顺序可以改变,以便可以以相反的顺序执行某些操作,或者某些操作(至少部分地)可与其他操作同时执行。在另一个实施例中,不同操作的指令或子操作可以为间歇或交替方式。
上文对本发明的说明性的实现方式的描述不旨在穷举或将本发明限制为所公开的精确形式。尽管在本文中出于说明性目的描述了本发明的具体实现方式和示例,但是如相关领域的技术人员会认识的那样,在本发明的范围内可以进行各种等效修改。
应理解的是,以上公开的变型和其他特征和功能或其替代可以组合成其他不同的系统或应用。本领域技术人员可以随后进行各种目前无法预料或未预料到的替换、修改、变型或改进,这些替换,修改,变型或改进也旨在由所附权利要求书涵盖。权利要求可以涵盖硬件、软件或其组合中的实施例。
此外,特别指出以下项目:
项目1
一种系统,包括:
多个成像传感器,其中至少一个成像传感器是飞行时间成像传感器;以及
与多个成像传感器连接的处理装置,该处理装置用于:
从多个成像传感器接收数据流;
从数据流中提取时间参数数据;
从所提取的时间参数数据中识别生理参数;以及
从所提取的时间参数数据中提供生理参数的指标。
项目2
根据项目1的系统,进一步包括照明部件,以提供窄频照明或结构照明中的一个或多个。
项目3
根据项目1的系统,其中,多个成像传感器还包括RGB成像装置和热成像装置。
项目4
根据项目1的系统,进一步包括麦克风,以接收由多个成像传感器监测的环境中的音频数据。
项目5
根据项目1的系统,其中,为了从数据流中提取时间参数数据,处理装置还用于:
识别至少一个数据流中的边缘;以及
监测所检测的边缘的运动特征。
项目6
根据项目1的系统,其中,处理装置还用于:
确定所接收的数据流中数据的信噪比;以及
基于所确定的信噪比,对高于第二数据流的第一数据流进行加权;和
基于第一数据和第二数据的相对权重,将从数据流中提取的时间参数数据相组合,以识别生理参数。
项目7
根据项目1的系统,其中,为了提取时间参数数据,处理装置还执行图案识别,以确定所识别的图案在所接收的数据流中的运动。
项目8
根据项目1的系统,其中,处理装置还基于在第二成像传感器的第二数据流中识别的呼吸频率来将一个成像传感器的第一数据流进行滤波。
项目9
根据项目1的系统,其中,生理参数是呼吸速率或心率中的一个或多个。
项目10
一种方法,包括:
通过处理装置接收来自多个成像传感器的每一个的多个数据流,其中,至少一个成像传感器是飞行时间成像传感器;
从数据流中提取时间参数数据;
处理装置从所提取的时间参数数据中识别生理参数;以及
从所提取的时间参数数据中提供生理参数的指标。
项目11
根据项目10的方法,进一步包括用窄频照明或结构照明中的一个或多个来对受试者照明。
项目12
根据项目10的方法,其中,多个成像传感器还包括RGB成像装置和热成像装置。
项目13
根据项目10的方法,还包括从麦克风接收由多个成像传感器监测的环境中的音频数据。
项目14
根据项目10的方法,其中,从数据流提取时间参数数据还包括:
识别至少一个数据流中的边缘;以及
监测所检测的边缘的运动特征。
项目15
根据项目10的方法,还包括:
确定所接收的数据流中数据的信噪比;以及
基于所确定的信噪比对高于第二数据流的第一数据流进行加权;和
基于第一数据和第二数据的相对权重,将来自数据流的所提取的时间参数数据相组合,以识别生理参数。
项目16
根据项目10的方法,其中,提取时间参数数据还包括执行图案识别,以确定所识别的图案在所接收的数据流中的运动。
项目17
根据项目10的方法,还包括基于在第二成像传感器的第二数据流中识别的呼吸频率来对一个成像传感器的第一数据流进行滤波。
项目18
根据项目10的方法,其中,生理参数是呼吸速率或心率中的一个或多个。
项目19
一种非暂时性计算机可读介质,具有存储在其上的指令,当由计算机处理装置执行时,使计算机处理装置执行以下操作:
从多个成像传感器的每一个接收多个数据流,其中至少一个成像传感器是飞行时间成像传感器;
从数据流提取时间参数数据;
处理装置从所提取的时间参数数据中识别生理参数;以及
从所提取的时间参数数据中提供生理参数的指标。
项目20
根据项目19的非暂时性计算机可读介质,其中,所述指令还使所述计算机处理装置激活照明部件,以利用窄频照明或结构照明中的一个或多个来对受试者照明。
附图标记
100 生理监测系统 126 热阵列
110 受试者 128 麦克风
120 传感器阵列 130 处理系统
122 ToF阵列 140 照明
124 RGB(例如CMOS)阵列
200 生理监测系统 236 热成像装置
210 受试者 238 麦克风
220 传感器单元 240 处理装置
222 信号调节单元 245 信号处理器
230 传感器阵列 247 参数处理器
232 ToF成像装置 250 照明
234 RGB(例如CMOS)成像装置 260 主机接口
270 云
300 生理监测器 316 热成像装置
310 传感器阵列 320 处理部件
312 ToF成像装置 342 ToF透镜
314 RGB(例如CMOS)成像装置 344 CMOS透镜
330 照明部件 346 热透镜
400 生理监测器 425 信号分析数据
410 传感器阵列 430 生理参数服务
415 信号数据阵列 435 生理参数
420 信号分析服务 440 主机接口
500 生理监测系统 556 PR匹配动态
510 传感器560加权/判断(arbitration)
520 传感器数据 570 生理参数服务
530 图像分析服务 572 呼吸矢量
532 空间均值滤波器 576 时间/频谱内容滤波器
534 时间均值滤波器 578 集成的能量交叉计数器
536 改变阈值获得ROI
538 ROI元素的FFT 580 呼吸频率
542 边缘查找器 582 相对幅度
544 改变阈值获得边缘选择 584 呼吸幅度/量
586 肺叶运动估计器
546 通过边缘常态分析确定运动 588 呼吸特性/偏差
552 PR图案选择 590 主机接口
554 PR图案匹配
600 计算机系统 620 网络
602 处理装置 622 指令
604 主存储器 626 处理逻辑
606 静态存储器 628 机器可读存储介质
608 网络接口装置
618 数据存储装置 630总线

Claims (15)

1.一种用于监测受试者(110)的生理参数的设备(100),包括:
多个成像传感器(120、122、124、126),其中,所述成像传感器(120、122、124、126)中的至少一个是飞行时间成像传感器(122);以及
与所述多个成像传感器(120、122、124、126)连接的处理装置(130),所述处理装置(130)适于:
从所述多个成像传感器(120、122、124、126)接收数据流;
从所述数据流中提取时间参数数据;
从所提取的时间参数数据中识别生理参数;以及
从所提取的时间参数数据中提供生理参数的指标,
其特征在于,
所述多个成像传感器(120、122、124、126)还包括热成像装置(126)。
2.根据权利要求1所述的设备(100),其中,
还包括照明部件(140),以提供窄频照明或结构照明中的一个或多个。
3.根据权利要求1或2所述的设备(100),其中,
所述多个成像传感器(120、122、124、126)还包括RGB成像装置(124)。
4.根据权利要求3所述的设备(100),其中,
所述处理装置(130)适于将所述飞行时间成像传感器(123)的距离数据与所述热成像装置(126)的温度数据进行组合,以及进一步与所述RGB成像装置(124)的颜色数据进行组合。
5.根据前述权利要求中的任一项所述的设备(100),其中,
所述处理装置适于基于从所述热成像装置(126)接收的数据流来识别关注区域(ROI),以从所识别的关注区域内的所述飞行时间传感器(122)和/或RGB传感器成像装置(124)接收的数据流中提取所述时间参数数据。
6.根据前述权利要求中的一项所述的设备(100),其中,
还包括一个或多个麦克风(128),以接收由所述多个成像传感器(120、122、124、126)监测的环境中的音频数据。
7.根据前述权利要求中的一项所述的装置(100),其中,
为了从所述数据流中提取时间参数数据,所述处理装置(130)还适于:
识别至少一个数据流中的边缘;以及
监测所检测的边缘的运动特征。
8.根据前述权利要求中的一项所述的设备(100),其中,
所述处理装置(130)还适于:
确定所接收的数据流中数据的信噪比;以及
基于所确定的信噪比,对高于第二数据流的第一数据流进行加权;和
基于所述第一数据和所述第二数据的相对权重,将从所述数据流中提取的时间参数数据相组合,以识别所述生理参数。
9.根据前述权利要求中的一项所述的装置(100),其中,
为了提取时间参数数据,所述处理装置(130)还适于执行图案识别,以确定所识别的图案在所接收的数据流中的运动。
10.根据权利要求9所述的设备(100),其中,
所述处理装置(130)适于通过使用人工智能,特别是通过使用深度学习来执行图案识别。
11.根据前述权利要求中的一项所述的装置(100),其中,
所述处理装置(130)还适于基于在第二成像传感器的第二数据流中识别的呼吸频率来对一个成像传感器的第一数据流进行滤波。
12.根据前述权利要求中的一项所述的设备(100),其中,
所述生理参数是呼吸速率或心率中的一个或多个。
13.根据前述权利要求中的一项所述的设备(100),其中,
用于监测受试者(110)的生理参数的设备(100)适于监测所述生理参数而不接触所述受试者。
14.一种用于监测受试者(110)的生理参数的方法,特别是通过使用根据前述权利要求中的一项所述的设备,包括:
通过处理装置(130)接收来自多个成像传感器(120、122、124、126)中的每一个的多个数据流,其中,所述至少一个成像传感器(120、122、124、126)是飞行时间成像传感器(122);
从所述数据流中提取时间参数数据;
所述处理装置(130)从所提取的时间参数数据中识别生理参数;以及
从所提取的时间参数数据中提供生理参数的指标,
其特征在于,
所述多个成像传感器(120、122、124、126)还包括热成像装置(126)。
15.一种可直接加载到数字计算机的内部存储器中的计算机程序产品,包括当所述产品在计算机上运行时,用于执行根据权利要求14的步骤的软件代码部分。
CN201980014752.4A 2018-02-23 2019-02-22 生理参数的监测 Pending CN111919236A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862634684P 2018-02-23 2018-02-23
US62/634,684 2018-02-23
PCT/EP2019/054477 WO2019162459A1 (en) 2018-02-23 2019-02-22 Monitoring of physiological parameters

Publications (1)

Publication Number Publication Date
CN111919236A true CN111919236A (zh) 2020-11-10

Family

ID=65520311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014752.4A Pending CN111919236A (zh) 2018-02-23 2019-02-22 生理参数的监测

Country Status (4)

Country Link
US (1) US20210212576A1 (zh)
EP (1) EP3756159A1 (zh)
CN (1) CN111919236A (zh)
WO (1) WO2019162459A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617786A (zh) * 2020-12-14 2021-04-09 四川长虹电器股份有限公司 基于tof摄像头的心率检测装置及方法
CN112806962A (zh) * 2021-01-18 2021-05-18 珠海格力电器股份有限公司 基于tof及红外模组的小孩睡眠状态监测方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898912B1 (en) 2014-10-07 2018-02-20 State Farm Mutual Automobile Insurance Company Systems and methods for automatically generating an escape route
US11094180B1 (en) 2018-04-09 2021-08-17 State Farm Mutual Automobile Insurance Company Sensing peripheral heuristic evidence, reinforcement, and engagement system
US12385786B2 (en) 2020-05-04 2025-08-12 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging
US12352620B2 (en) * 2020-05-04 2025-07-08 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging
IL275524B (en) 2020-06-18 2021-12-01 Elbit Systems C4I & Cyber Ltd System and method for measuring parameters without contact
WO2022093707A1 (en) * 2020-10-29 2022-05-05 Roc8Sci Co. Cardiopulmonary health monitoring using thermal camera and audio sensor
US20210186344A1 (en) * 2020-12-25 2021-06-24 Boston Research Corporation Clinical artificial intelligence (ai) software and terminal gateway hardware method for monitoring a subject to detect a possible respiratory disease
US20230031145A1 (en) * 2021-07-29 2023-02-02 Comcast Cable Communications, Llc Accidental voice trigger avoidance using thermal data
IL288088A (en) * 2021-11-14 2023-06-01 Babyark Ltd Publishing and identifying the availability of information in a wireless network
CN119073946B (zh) * 2024-11-07 2025-02-14 中国人民解放军总医院第八医学中心 一种非接触式生命体征数据监测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140275832A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a subject
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
CN105266776A (zh) * 2015-09-06 2016-01-27 陈才维 一种用于人体健康监测的方法
US20160217672A1 (en) * 2015-01-28 2016-07-28 Samsung Electronics Co., Ltd. Method and apparatus for improving and monitoring sleep
CN106251381A (zh) * 2016-07-29 2016-12-21 上海联影医疗科技有限公司 图像重建方法
WO2018005316A1 (en) * 2016-07-01 2018-01-04 Bostel Technologies, Llc Phonodermoscopy, a medical device system and method for skin diagnosis

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8790269B2 (en) * 2011-05-09 2014-07-29 Xerox Corporation Monitoring respiration with a thermal imaging system
US10052038B2 (en) * 2013-03-14 2018-08-21 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
US20160007935A1 (en) * 2014-03-19 2016-01-14 Massachusetts Institute Of Technology Methods and apparatus for measuring physiological parameters
WO2017093379A1 (en) * 2015-12-01 2017-06-08 Koninklijke Philips N.V. Device, system and method for determining vital sign information of a subject
US20180053392A1 (en) 2016-08-19 2018-02-22 EGW Technologies LLC Baby monitor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140275832A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a subject
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
US20160217672A1 (en) * 2015-01-28 2016-07-28 Samsung Electronics Co., Ltd. Method and apparatus for improving and monitoring sleep
CN105266776A (zh) * 2015-09-06 2016-01-27 陈才维 一种用于人体健康监测的方法
WO2018005316A1 (en) * 2016-07-01 2018-01-04 Bostel Technologies, Llc Phonodermoscopy, a medical device system and method for skin diagnosis
CN106251381A (zh) * 2016-07-29 2016-12-21 上海联影医疗科技有限公司 图像重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617786A (zh) * 2020-12-14 2021-04-09 四川长虹电器股份有限公司 基于tof摄像头的心率检测装置及方法
CN112806962A (zh) * 2021-01-18 2021-05-18 珠海格力电器股份有限公司 基于tof及红外模组的小孩睡眠状态监测方法及装置

Also Published As

Publication number Publication date
EP3756159A1 (en) 2020-12-30
US20210212576A1 (en) 2021-07-15
WO2019162459A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN111919236A (zh) 生理参数的监测
Massaroni et al. Contactless methods for measuring respiratory rate: A review
US10506952B2 (en) Motion monitor
Al-Naji et al. Monitoring of cardiorespiratory signal: Principles of remote measurements and review of methods
US11612338B2 (en) Body motion monitor
JP6006790B2 (ja) 共通寝具における複数の被験者の移動及び呼吸をモニタリングするための方法及び装置
JP5980720B2 (ja) 呼吸速度推定のためのビデオプロセッシング
CN102869305B (zh) 呼吸运动检测装置
Mestha et al. Towards continuous monitoring of pulse rate in neonatal intensive care unit with a webcam
US10219739B2 (en) Breathing pattern identification for respiratory function assessment
CN106413533B (zh) 用于检测对象的呼吸暂停的设备、系统和方法
CN104639799B (zh) 影像式心率活动侦测装置及其方法
CN105682543B (zh) 具有用于获得患者的生命状态的患者接口的治疗系统
Cenci et al. Non-contact monitoring of preterm infants using RGB-D camera
Chatterjee et al. Real-time respiration rate measurement from thoracoabdominal movement with a consumer grade camera
Kau et al. Pressure-sensor-based sleep status and quality evaluation system
Carter et al. Deep learning-enabled sleep staging from vital signs and activity measured using a near-infrared video camera
Mateu-Mateus et al. Comparison of video-based methods for respiration rhythm measurement
Saddaoui et al. Wireless tag sensor network for apnea detection and posture recognition using LSTM
Chatterjee et al. Real-time visual respiration rate estimation with dynamic scene adaptation
Park et al. Facial Video‐Based Robust Measurement of Respiratory Rates in Various Environmental Conditions
CN114587320A (zh) 模拟心跳的方法和相关产品
Khanam et al. Remote vital signs monitoring in neonatal intensive care unit using a digital camera
KR101748672B1 (ko) 음성통신 및 유선통신을 이용하는 전자파 프리 기반 신체 및 거동정보 수집제공 시스템
Cai et al. Video-based noncontact heart rate measurement using ear features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110

WD01 Invention patent application deemed withdrawn after publication