[go: up one dir, main page]

CN106999116A - 用于皮肤检测的设备和方法 - Google Patents

用于皮肤检测的设备和方法 Download PDF

Info

Publication number
CN106999116A
CN106999116A CN201580065311.9A CN201580065311A CN106999116A CN 106999116 A CN106999116 A CN 106999116A CN 201580065311 A CN201580065311 A CN 201580065311A CN 106999116 A CN106999116 A CN 106999116A
Authority
CN
China
Prior art keywords
skin
image
regions
illumination pattern
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580065311.9A
Other languages
English (en)
Other versions
CN106999116B (zh
Inventor
V·V·马卡帕蒂
I·O·基伦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN106999116A publication Critical patent/CN106999116A/zh
Application granted granted Critical
Publication of CN106999116B publication Critical patent/CN106999116B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及一种皮肤检测的设备和相应的方法。为了能够进行可靠、准确且快速的检测，所提出的设备包括：照明单元(10)，其用于将预定照明样式投影到场景上；成像单元(12)，其用于采集所述场景的图像；以及评估单元(14)，其用于通过分析在所述图像中再现的经成像的照明样式来评估采集到的图像，并用于基于所述分析检测所述图像内的皮肤区域并将所述皮肤区域与非皮肤区域区分。

Description

用于皮肤检测的设备和方法
技术领域
本发明涉及一种用于皮肤检测的设备和对应的方法。
背景技术
人的生命体征，例如心率(HR)、呼吸率(RR)或动脉血氧饱和度(SpO2)，作为人的当前健康状态的指标并作为严重医学事件的有力预测指标。因此，在住院和门诊护理环境、在家或在其他健康、休养和健身环境中广泛地监测生命体征。
测量生命体征的一种方式是体积描记术。体积描记术一般是指对器官或身体部分的体积变化的测量，尤其是指对由于随着每次心跳心血管脉搏波行进通过对象身体而导致的体积变化的检测。
光学体积描记术(PPG)是一种光学测量技术，其评估感兴趣区域或体积光反射或透射的时变变化。PPG基于的原理是：血液比周围组织吸收更多的光，因此随着每次心跳，血液体积的变化相应地影响透射或反射。除了关于心率的信息之外，PPG波形可以包括可归因于其他生理现象(例如呼吸)的信息。通过评估在不同波长(典型为红色和红外)处的透射率和/或反射率，可以确定血氧饱和度。
最近，已经介绍了用于不引人注目的测量的非接触远程PPG(rPPG)设备(也称为相机rPPG设备)。远程PPG采用了被远离感兴趣对象设置的光源，或更普遍地，为辐射源。类似地，诸如相机或光学检测器的检测器也可以被远离感兴趣对象设置。因此，远程光学体积描记系统和设备被认为是不引人注目的并且很适合医学以及非医学的日常应用。该技术对于需要生命体征监测的皮肤极端敏感的患者，例如极端脆弱的皮肤的新生儿重症监护室(NICU)患者或早产婴儿，尤其具有显著的优势。
Verkruysse等人的“Remote plethysmographic imaging using ambient light”(Optics Express，16(26)，2008年12月22日，第21434-21445页)说明了，可以使用环境光和常规消费水平的视频相机，利用红色、绿色和蓝色颜色通道来远程测量光学体积描记信号。
Wieringa等人的“Contactless Multiple Wavelength PhotoplethysmographicImaging：A First Step Toward“SpO2 Camera”Technology”(Ann.Biomed.Eng.33，1034-1041页，2005年)公开了一种远程PPG系统，其用于基于在不同波长处的体积描记信号的测量对组织中的动脉血氧饱和度进行无接触成像。所述系统包括单色CMOS相机和具有三种不同波长的LED的光源。相机在三种不同波长处相继采集对象的三段影片。可以根据在单个波长处的影片来确定脉搏率，而需要在不同波长处的至少两段影片来确定氧饱和度。测量是在暗室中一次仅使用一个波长来执行的。
除了完全无接触的优势之外，相机(一般称为成像设备)还提供2D信息，这允许多点和大面积测量，并且常常包含额外的背景信息。不像依赖于在特定测量点/区域上的正确放置的接触传感器，用于使用rPPG技术测量脉搏信号的区域是从实际图像中确定的。因此，在任何照明条件下可靠的对皮肤区域的准确检测成为基于相机的rPPG设备和方法的处理链中的关键部分。
当前，存在已知用于对皮肤区域的可靠检测和跟踪的两种主要方式。
一种方式基于皮肤颜色(基于RGB的)检测和分割。根据这种方式的方法对具有皮肤颜色的区域进行检测和跟踪都很快。然而，它们对于将会改变从皮肤区域反射的光的颜色的环境光颜色的改变不鲁棒，并且不能在低照明条件下或在黑暗中检测皮肤区域。此外，这样的方法并不总是能对皮肤和具有相同颜色的其他目标进行区分。
另一种方法基于提取出的PPG信号(基于PPG的)。根据这种方式的方法在区分具有相同皮肤颜色的真正皮肤区域和其他目标区域上更鲁棒。这种方式也可以被用于分割具有较强PPG信号(最具周期性的信号)的皮肤区域。然而，这种方式的可靠性取决于PPG信号提取的鲁棒性，其由此受到对象的运动和血液灌注水平的影响。因此，如果脉搏信号不是周期性的或很微弱，则基于相机的系统将难以检测皮肤区域的分段。此外，该方式的计算成本也很高。
应当指出，不仅在基于rPPG技术的生命体征检测领域中对皮肤区域的检测是令人感兴趣的，而且在其他技术领域中也是，例如在使用相机技术识别玩家的手势的远程游戏应用中、在面部检测中、在安保(使用监视相机对人的鲁棒检测以及对戴面具的人的检测)中等。
US 2011/0218428A1公开了一种结构光照明(SLI)医学图像传感器系统，其使用SLI技术捕捉皮肤损伤的一幅或多幅图像并生成皮肤损伤的3D表面图。特征检测模块处理3D表面图以检测皮肤损伤的特定特性。生成皮肤损伤的特征数据，例如尺寸、形状和纹理。特征分析模块处理皮肤损伤的特征数据。特征分析模块对所述皮肤损伤与先前的针对皮肤损伤的图像和特征数据进行比较。特征分析模块基于模板和特征的类型的相关性对皮肤损伤进行分类。
WO 2014/014838A2公开了一种用于交互照明以识别手势和/或目标的系统和方法。
US 2013/0342756A1公开了一种用于实现对利用结构和非结构照明源照明的场景的混合视频捕捉的系统和方法。
US 2013/0324875 A1公开了一种通过对在包含对象胸廓区域的视图的视频中捕捉到的结构照明样式的反射的失真进行分析来估计呼吸率的系统和方法。
发明内容
本发明的目的是提供一种允许对皮肤进行可靠、准确且快速的检测的设备和对应的方法。
在本发明的第一方面中，提出了一种用于皮肤检测的设备，包括：
-照明单元，其用于将预定的照明样式投影到场景上，
-成像单元，其用于采集所述场景的图像，以及
-评估单元，其用于通过分析在采集到的图像中再现的经成像的照明样式来评估所述图像，并且用于基于所述分析来检测所述图像内的皮肤区域并将所述图像内的所述皮肤区域与非皮肤区域进行区分。
在本发明的另一方面中，提出了一种对应的方法。
在本发明的又一方面中，提供了一种包括程序代码单元的计算机程序，当所述计算机程序由本文所公开的设备执行，所述程序代码单元用于控制所述设备执行本文所公开的方法的步骤；以及一种其中存储有计算机程序产品的非瞬态计算机可读记录介质，所述计算机程序产品在由本文所公开的设备运行时令本文所公开的方法得到执行。
在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的方法、计算机程序和介质具有与所要求保护的设备以及在从属权利要求中所定义的相似和/或相同的优选实施例。
本发明评估皮肤的光学属性以及其与在一个或多个波长处的光的交互。在光与皮肤交互期间，一定量的光从皮肤表面直接反射，而另外一定量的光被漫射和/或吸收。如果皮肤区域由结构光(即照明样式，例如点或细线的样式)照明，则皮肤对所述光的漫射将使所述照明样式的边缘模糊。此外，由于皮肤吸收在特定波长处，尤其在红外(IR)谱中的特定波长处的光的一部分，所以从皮肤区域测得的反射光的强度将低于背景的光的强度。此外，光的漫射因子将根据波长而变化。例如，大部分蓝光从皮肤表面反射，而红外光的显著的一部分在皮肤中被漫射和/或吸收。此外，红外光对于人不可见且不引人注目。根据本发明，通过分析在一个或多个波长处的结构光的漫射因子和吸收因子而利用了这些认识，以便在人或至少人的身体部分所在的场景内检测皮肤区域。
在实施例中，所述评估单元被配置为将所述经成像的照明样式与由所述照明单元发射的所述预定的照明样式进行比较。通常，所述预定的照明样式，尤其是尺度和强度，是已知的。由于还知道皮肤如何改变强度并导致与典型场景中可见的其他要素(如衣服、纤维(例如织物或毯子)或背景(例如墙壁或家具))相比的模糊，因此这种比较使得能够对皮肤与从其他要素进行区分。
在另一实施例中，所述评估单元被配置为将所述经成像的照明样式的单独的区域彼此比较。如上所述，皮肤导致所述照明样式与其他要素不同的改变。因此，比较不同的区域，例如相邻的像素或像素组，能够检测哪些区域属于皮肤区域，而哪些区域不属于皮肤区域。
优选地，所述评估单元被配置为对所述经成像的照明样式的边缘和/或强度的模糊进行分析。由于与其他要素相比由皮肤导致的不同的漫射和吸收主要影响所述照明样式的模糊和强度，因此这些特征对于检测是否存在皮肤区域是有利的。因此，可以搜索对皮肤而言典型的模糊和/或强度变化以检测皮肤区域。
在该背景下，进一步优选的是，所述评估单元被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的量与分别的阈值进行比较。这提供了相当准确和可靠的检测。
所述照明单元可以被配置为在单个波长或单个波长范围处投影所述照明样式，或者被配置为在两个波长或两个波长范围处投影所述照明样式。更有利地，在红外谱中的一个或多个波长处投影所述照明样式，这是因为皮肤吸收和/或漫射的红外辐射比可见光谱中的辐射更多，其中，所述可见光谱中的辐射不穿透到皮肤中很深。
一般地，本发明利用在一个波长处投影的照明样式来工作。使用两个波长将使得检测对于环境照明更鲁棒。如上所述，根据本发明，通过检测独特的“签名”来检测皮肤区域，所述独特的“签名”即表示在特定波长处在经成像的照明样式中可检测的所述皮肤区域对所述照明样式的影响，例如光漫射和/或吸收。理论上讲，其他材料具有与皮肤相同的对特定波长的漫射因数是可能发生的。因此，增加一个(或多个)额外波长进一步强化了“签名”(即使得其针对皮肤更独特)，并且因此改善了皮肤检测的特异性，这是因为在所述两个(或更多个)波长处具有与皮肤相同的对照明样式的影响的另一材料存在的概率较低。
优选地，在该背景下，所述评估单元被配置为对所述两个波长或波长范围之间所述图像内的边缘模糊和/或强度的差异进行分析，和/或被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的差异与分别的阈值进行比较。这进一步改善了对皮肤的检测，并使其对于环境照明更鲁棒。
在另一实施例中，所述评估单元被配置为基于所述照明单元与所述场景之间的距离和/或所述照明单元的瓦特数来设定和/或调整所述阈值。例如，如果距离小并且瓦特数高，则所使用的阈值将被设定为较高的值，反之亦然。这进一步改善了对皮肤的检测。
除了对皮肤区域的检测之外，本发明还可以被用于获得关于皮肤区域的尺寸、形状和/或位置的信息。在所述评估单元被配置为对所述经成像的照明样式与所投影的照明样式相比的变形进行分析的实施例中，这是可能的。
本发明优选用于通过使用rPPG技术采集生命体征的背景中。出于该目的，所述成像单元优选地被配置为采集所述场景的随时间的图像序列，并且所述设备还包括生命体征检测器，其用于基于来自所述图像序列内的检测到的皮肤区域的图像信息来检测所述场景内的对象的生命体征。因此，在对生命体征的采集期间，可以一次性或连续地使用所提出的对皮肤区域的检测来检测和/或跟踪皮肤区域。
附图说明
参考下文描述的实施例，本发明的这些和其他方面将是显而易见的，并且将参考下文描述的实施例对本发明的这些和其他方面进行说明。在附图中：
图1示出了根据本发明的设备的第一实施例的示意图，
图2示出了图示在与皮肤交互期间的光的漫射和反射的图解，
图3示出了图示可以根据本发明使用的照明样式的范例的图解，
图4示出了根据本发明的设备的第二实施例的示意图，
图5示出了图示从包括皮肤区域的场景成像的经成像照明样式的范例以及所提出的皮肤检测的结果的图解，并且
图6示出了根据本发明的方法的实施例的流程图。
具体实施方式
图1示出了根据本发明的用于皮肤检测的设备1的第一实施例的示意图。设备1包括照明单元10，其用于将预定的照明样式投影在场景上。在该范例中，场景包括例如在病房或其他健康护理设施中的躺在床3上的患者2，但也可以是例如躺在恒温箱/取暖器中的婴儿或早产儿的环境，或者在家中或不同环境中的人。照明单元10可以是特殊的灯或投影仪，其被配置为生成并发射预定的结构光样式，例如线、十字、点或其他预定义元素的网格或阵列，其优选地具有锐利的边缘。
此外，设备1包括用于采集场景的图像的成像单元12。成像单元12具体是相机(也被称为检测单元，或者称为基于相机的或远程的PPG传感器)，其被配置为获得场景的图像，优选地包括患者2的皮肤区域4。在用于获得患者2的生命体征的设备的应用中，皮肤区域4优选是面部区域，例如面颊或前额，但也可以是身体的另一区域，例如手或手臂。
由相机捕捉到的图像帧可以具体对应于借助于例如(数字)相机中的模拟或数字光学传感器而捕捉到的视频序列。这样的相机通常包括光学传感器，例如CMOS或CCD传感器，其也可以在特定谱范围(可见的、IR)中操作，或者提供针对不同谱范围的信息。相机可以提供模拟或数字信号。图像帧包括具有相关联的像素值的多个图像像素。具体而言，图像帧包括表示利用光学传感器的不同光敏元件捕捉到的光强度值的像素。这些光敏元件可以在特定谱范围中是敏感的(即表示特定颜色)。图像帧包括表示人的皮肤部分的至少一些图像像素。由此，图像像素可以对应于光学检测器的一个光敏元件及其(模拟或数字)输出，或者可以是基于多个光敏元件的组合(例如通过分箱)来确定的。
所述设备还包括评估单元14，其用于通过对采集到图像中再现的经成像的照明样式进行分析来评估所述图像，并且用于基于所述分析来检测图像内的皮肤区域。设备1还可以包括控制器15，其用于控制设备1的其他元件和用户接口，例如用于输入命令以控制设备1的键盘和/或输出所生成的信息(例如所获得的生命体征)的显示器16。另外，设备1优选地包括生命体征检测器17，其用于基于来自由成像单元12采集到的图像序列内的检测到的皮肤区域的图像信息，来检测场景内的人2的生命体征。
单元14至17可以被配置为专用硬件元件，但也可以被配置为相应编程的处理器或计算机18。设备1可以被配置为例如将其所有元件和单元包括在公共外壳中(例如在成像单元10的外壳中)的集成设备，或被配置为分布式设备，如图1所示，其中元件和单元可以是分布式的，即实现为被布置在不同位置处的单独的元件和单元。
本发明基于皮肤的光学属性及其在一个或多个波长处，优选地在红外谱中，与光的交互。图2示出了示意图，其图示了在与皮肤30的交互期间光20的漫射和反射。在光与皮肤的交互期间，一定量的光21从皮肤表面31直接反射，而另外一定量的光22被漫射和/或吸收。如果皮肤区域被结构光照明(例如，作为结构照明样式的范例的如图3所示的具有锐利边缘的线)，则皮肤中的光的漫射将使结构线的边缘模糊。此外，由于皮肤吸收在红外谱中的特定波长处的光的一部分，因此从皮肤区域测得的IR反射的强度将低于背景中的强度。
此外，如上所述，光的漫射因子根据波长而变化，即大部分蓝光从皮肤表面反射，而大部分的IR光在皮肤中被漫射和/或吸收。因此，通过分析优选地在IR谱中的一个或多个波长处结构光的漫射因子和吸收因子，允许对(一幅或多幅)图像中反射的场景中的皮肤区域进行准确、可靠和快速的检测。
本发明优选适于用于采集人的生命体征的rPPG领域。因此，由成像单元12获得的图像不仅用于如上所述地检测皮肤区域，而且从检测到的(优选地为也利用分发明跟踪到的)皮肤区域导出PPG信号，其用于导出人的生命体征，例如心跳、SpO2等。成像单元12至少在被投影到人上的照明样式的(一个或多个)波长或波长范围处是敏感的，但也可以针对其他波长敏感，尤其是在获得期望的生命体征所需要的情况下。此外，评估单元14可以被配置为从图像选择适当的波长以检测(一个或多个)皮肤区域，并且，如果希望，可以被配置为使用rPPG技术从(一个或多个)检测到的皮肤区域和/或通过分析周期运动来获得诸如呼吸率的呼吸信息，从而导出(一个或多个)生命指征。
由于在各波长处IR光的穿透深度不同，针对这些波长的漫射因子将不同。组织中针对波长中的每个的确切漫射因子由该组织的光学属性定义。通过分析波长的漫射因子和吸收因子，可以定义皮肤组织特异的光学属性。通过这种方式，可以将皮肤组织与其他组织区分开。图4示出了根据本发明的设备1'的第二实施例的示意图。在图4A中，可以用作照明样式的范例点样式被描绘为投影在人手上。图5A中所示的投影的IR点样式具有830nm(近红外)的范例波长，其中，人皮肤具有显著的吸收系数。从图5A可以看出，人皮肤上呈现的点的强度小于具有较低的吸收系数(例如衣服)的其他目标上呈现的斑点的强度。这被用于通过对强度值进行阈值处理来对人皮肤进行分割。为了补偿在相同波长处的环境光的可能影响，对光点强度相对于(未被结构光照明的)相邻像素的强度进行分析。
为了进一步改善使用这种方式进行皮肤检测的鲁棒性(和特异性)，在该实施例中，使用在至少两个IR波长处投影的照明样式，优选地在近红外谱中。可以通过对不同(近红外)波长的相邻点的强度值的差异进行比较来分割皮肤区域。出于该目的，将由成像单元12采集到的图像提供到评估单元14的边缘模糊测量单元142(图示的是边缘模糊测量单元142的用于两个波长的两个子单元1421和1422，这是因为所提供图像中的边缘模糊是在两个波长处被单独评估的)，以用于检测由于场景中的皮肤或其他元件导致的照明样式的边缘模糊。在边缘模糊分析单元144中，对由子单元1421和1422在两个波长处检测到的边缘模糊的差异进行分析。此外，将由成像单元12采集的图像提供到评估单元14的强度分析单元146，以用于分析在两个波长处的照明样式的强度的差异。
提供比较单元148以对由分析单元144和146检测的边缘模糊和强度差异进行比较。基于这种比较，决定是否存在皮肤区域，以及图像的哪些区域是皮肤区域而哪些区域不是皮肤区域。
在设备1'的实施例中使用的上述方式中，所述方法对于环境IR照明而言是鲁棒的，这可能改变IR点的强度值，但不会改变不同IR波长的点的强度值之间的差异，因为环境IR光将对来自两个IR波长的所有点产生相等的贡献。
优选地，照明单元10和成像单元12被布置在距被监测人固定距离的范围内。因此，可以基于照明单元10的光源(例如IR LED)的距离和瓦特数选择适于分割皮肤上的照明样式(例如点)的上边界和下边界。此外，照明样式的尺度(例如圆点的半径)一般是事先已知的，并且可以被用于估计由皮肤中的IR光的漫射导致的模糊。图5B示出了针对图5A所示的图像的皮肤分割的结果。
在本发明的另一实施例中，可以将所提出的对结构光漫射的分析与用于皮肤检测的方法组合，例如，一般公知的对从皮肤区域反射的结构光的色度或时域脉动性的分析。在本发明的又一实施例中，包括可见光谱，优选地为红外光谱，中的多于两个波长的结构照明样式被用于改善皮肤区域检测的特异性。再者，在本发明的实施例中，使用结构照明样式的变形来分析区域的形状，由此改善皮肤检测方法的特异性。此外，在本发明的另一实施例中，可以将提出的设备与基于照明样式的3D相机系统集成，例如以通过分析点的空间结构的变化来导出深度图，或者可以在采集深度图的现有设备中使用本发明，以额外检测皮肤区域。
图6示出了根据本发明的用于皮肤检测的方法的实施例的流程图。在第一步骤S10中，将预定的照明样式投影到场景上。在第二步骤S12中，(一次或多次或定期或连续地)采集场景的图像。在第三步骤S14中，通过分析在图像中再现的经成像的照明样式来评估所采集的图像。最后，在第四步骤S16中，基于所述分析来检测图像内的皮肤区域。该方法可以包括另外的步骤，并可以如上述得针对设备的各实施例并如本文公开地那样而被修改。
可以使用提出的设备和方法对PPG相关的生命体征(例如心跳、SpO2、呼吸)进行连续不引人注目的监测，并可以用于NICU、手术室或普通病室中。也可以将所提出的设备和方法用于个人健康监测。通常，可以将本发明用于所有应用中，其中皮肤需要在场景图像中被检测并特别需要与非皮肤区分开。
尽管已经在附图和前文的描述中详细说明并描述了本发明，但这种说明和描述被视为说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践要求保护的本发明时，能够理解并实现对所公开的实施例的其他变型。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在适合的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由因特网或其他的有线或无线的电信系统。
权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于皮肤检测的设备，包括：
-照明单元(10)，其用于将预定的照明样式投影到场景上，
-成像单元(12)，其用于采集所述场景的图像，以及
-评估单元(14)，其用于通过分析在采集到的图像中再现的经成像的照明样式来评估所述图像，并且用于基于所述分析来检测所述图像内的皮肤区域并将所述图像内的所述皮肤区域与非皮肤区域进行区分。
2.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式与由所述照明单元发射的所述预定的照明样式进行比较。
3.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域彼此比较。
4.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为分析所述经成像的照明样式的边缘模糊和/或强度。
5.根据权利要求4所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的量与分别的阈值进行比较。
6.根据权利要求1所述的设备，
其中，所述照明单元(10)被配置为在单个波长或单个波长范围处投影所述照明样式。
7.根据权利要求1所述的设备，
其中，所述照明单元(12)被配置为在两个波长或两个波长范围处投影所述照明样式。
8.根据权利要求1所述的设备，
其中，所述照明单元(14)被配置为在红外谱中的一个或多个波长处投影所述照明样式。
9.根据权利要求7所述的设备，
其中，所述评估单元(14)被配置为对在所述两个波长或两个波长范围之间所述图像内的边缘模糊和/或强度的差异进行分析。
10.根据权利要求9所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的差异与分别的阈值进行比较。
11.根据权利要求5或10所述的设备，
其中，所述评估单元(14)被配置为基于所述照明单元(12)与所述场景之间的距离和/或所述照明单元(10)的瓦特数来设定和/或调整所述阈值。
12.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为对所述经成像的照明样式与所投影的照明样式相比的变形进行分析，以获得关于皮肤区域的尺寸、形状和/或位置的信息。
13.根据权利要求1所述的设备，
其中，所述成像单元(12)被配置为采集所述场景的随时间的图像序列，并且其中，所述设备还包括生命体征检测器(17)，所述生命体征检测器用于基于来自所述图像序列内的检测到的皮肤区域的图像信息来检测所述场景内的对象的生命体征。
14.一种用于皮肤检测的方法，包括：
-将预定的照明样式投影到场景上，
-采集所述场景的图像，
-通过分析采集到的图像再现的经成像的照明样式来评估所述图像，以及
-基于所述分析来检测所述图像内的皮肤区域并将所述图像内的所述皮肤区域与非皮肤区域进行区分。
15.一种包括程序代码单元的计算机程序，当所述计算机程序由根据权利要求1所述的设备执行时，其用于控制所述设备执行根据权利要求14所述的方法的步骤。
CN201580065311.9A 2014-12-01 2015-11-25 用于皮肤检测的设备和方法 Expired - Fee Related CN106999116B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
IN6011/CHE/2014 2014-12-01
IN6011CH2014 2014-12-01
US201562105558P 2015-01-20 2015-01-20
US62/105,558 2015-01-20
EP15151776 2015-01-20
EP15151776.0 2015-01-20
PCT/EP2015/077580 WO2016087273A1 (en) 2014-12-01 2015-11-25 Device and method for skin detection

Publications (2)

Publication Number Publication Date
CN106999116A true CN106999116A (zh) 2017-08-01
CN106999116B CN106999116B (zh) 2020-09-01

Family

ID=56079393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065311.9A Expired - Fee Related CN106999116B (zh) 2014-12-01 2015-11-25 用于皮肤检测的设备和方法

Country Status (6)

Country Link
US (1) US10242278B2 (zh)
EP (1) EP3226765A1 (zh)
JP (1) JP6615197B2 (zh)
CN (1) CN106999116B (zh)
MX (1) MX2017007004A (zh)
WO (1) WO2016087273A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108523842A (zh) * 2018-03-15 2018-09-14 天津大学 一种测量人体脸部皮肤的力学性能的方法
CN110279394A (zh) * 2018-03-19 2019-09-27 秀育企业股份有限公司 利用不可见光辨识与判定生理特征的方法
CN112089410A (zh) * 2019-06-17 2020-12-18 三星电子株式会社 Ppg传感器及其操作方法
CN112089422A (zh) * 2020-07-02 2020-12-18 王兆英 基于伤口面积分析的自适应医疗系统及方法
CN113226171A (zh) * 2018-12-27 2021-08-06 强生消费者公司 用于在投影基准的引导下施用局部用组合物的装置和方法
US12472336B2 (en) 2020-08-03 2025-11-18 Kenvue Brands Llc System and method for selective application of cosmetic composition to impart undereye brightening

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3020962C (en) 2016-04-15 2024-06-18 Marquette University Smart trigger system
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN107550474A (zh) 2016-06-30 2018-01-09 松下知识产权经营株式会社 生物体信息检测装置
US10146375B2 (en) * 2016-07-01 2018-12-04 Intel Corporation Feature characterization from infrared radiation
CN116269262A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
JP2020508713A (ja) * 2017-02-27 2020-03-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 信号変動増幅による静脈穿刺及び動脈ラインガイド
US20180311512A1 (en) * 2017-04-28 2018-11-01 C-Rad Positioning Ab Patient monitoring
JP2021509072A (ja) * 2017-11-17 2021-03-18 プロジェクト リア，エルエルシー 肌照明デバイス
WO2019244586A1 (ja) * 2018-06-21 2019-12-26 パナソニックＩｐマネジメント株式会社 肌評価装置、肌評価システム、肌評価方法、および肌評価のためのプログラムを格納したコンピュータ読み取り可能な記録媒体
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
CN113574406B (zh) 2019-03-15 2025-05-27 特里纳米克斯股份有限公司 用于识别至少一种材料特性的检测器
DE102020108064A1 (de) * 2019-12-02 2021-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Farb- und Intensitätsveränderungen bei Objekten
EP3910545A1 (en) * 2020-05-15 2021-11-17 Koninklijke Philips N.V. Ambient light suppression
SE2130200A1 (en) * 2021-07-16 2023-01-17 Rths Ab A sensing arrangement for obtaining data from a body part
WO2023156469A1 (en) 2022-02-15 2023-08-24 Trinamix Gmbh System and method for determining a material of an object
CN118696359A (zh) * 2022-02-15 2024-09-24 特里纳米克斯股份有限公司 用户访问权的认证

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607551A (zh) * 2003-08-29 2005-04-20 三星电子株式会社 基于图像的超现实主义三维脸部建模的方法和设备
CN101229055A (zh) * 2007-01-23 2008-07-30 船井电机株式会社 皮肤区域检测成像设备
CN101977551A (zh) * 2008-03-18 2011-02-16 皇家飞利浦电子股份有限公司 用于皮肤成像的仪器、用于皮肤分析的系统
CN104080400A (zh) * 2011-12-21 2014-10-01 凯瑟琳·M·莎查夫 使排列于组织表面的病变成像的系统
US20140334671A1 (en) * 2013-05-09 2014-11-13 Electronics And Telecommunications Research Institute Object recognition apparatus and method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5026854B2 (ja) * 2007-04-27 2012-09-19 国立大学法人東京工業大学 領域抽出装置及び領域抽出方法
WO2010038172A1 (en) * 2008-10-01 2010-04-08 Koninklijke Philips Electronics N.V. Selection of snapshots of a medical image sequence
US8855751B2 (en) * 2010-02-26 2014-10-07 Empire Technology Development Llc Multidirectional scan and algorithmic skin health analysis
US20110218428A1 (en) * 2010-03-04 2011-09-08 Medical Scan Technologies, Inc. System and Method for Three Dimensional Medical Imaging with Structured Light
EP2380493A1 (en) 2010-04-21 2011-10-26 Koninklijke Philips Electronics N.V. Respiratory motion detection apparatus
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
US8754954B2 (en) * 2011-05-16 2014-06-17 National Research Council Of Canada High resolution high contrast edge projection
US20130032487A1 (en) 2011-08-05 2013-02-07 Olivo Sivilotti Multipolar Magnesium Cell
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
US9301710B2 (en) * 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
US9155475B2 (en) * 2012-06-26 2015-10-13 Xerox Corporation Enabling hybrid video capture of a scene illuminated with unstructured and structured illumination sources
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
JP6014846B2 (ja) * 2012-07-24 2016-10-26 公立大学法人広島市立大学 呼吸計測方法および装置
JP2014067193A (ja) * 2012-09-25 2014-04-17 Canon Inc 画像処理装置および画像処理方法
RU2651070C2 (ru) 2012-11-02 2018-04-18 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
EP2762066A1 (en) 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
US20140267701A1 (en) 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
RU2675036C2 (ru) * 2013-03-14 2018-12-14 Конинклейке Филипс Н.В. Устройство и способ получения информации о показателях жизненно важных функций субъекта
US20150327800A1 (en) * 2014-05-16 2015-11-19 Mediatek Inc. Apparatus and method for obtaining vital sign of subject

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607551A (zh) * 2003-08-29 2005-04-20 三星电子株式会社 基于图像的超现实主义三维脸部建模的方法和设备
CN101229055A (zh) * 2007-01-23 2008-07-30 船井电机株式会社 皮肤区域检测成像设备
CN101977551A (zh) * 2008-03-18 2011-02-16 皇家飞利浦电子股份有限公司 用于皮肤成像的仪器、用于皮肤分析的系统
CN104080400A (zh) * 2011-12-21 2014-10-01 凯瑟琳·M·莎查夫 使排列于组织表面的病变成像的系统
US20140334671A1 (en) * 2013-05-09 2014-11-13 Electronics And Telecommunications Research Institute Object recognition apparatus and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108523842A (zh) * 2018-03-15 2018-09-14 天津大学 一种测量人体脸部皮肤的力学性能的方法
CN110279394A (zh) * 2018-03-19 2019-09-27 秀育企业股份有限公司 利用不可见光辨识与判定生理特征的方法
CN113226171A (zh) * 2018-12-27 2021-08-06 强生消费者公司 用于在投影基准的引导下施用局部用组合物的装置和方法
CN113226171B (zh) * 2018-12-27 2024-05-28 强生消费者公司 用于在投影基准的引导下施用局部用组合物的装置和方法
CN112089410A (zh) * 2019-06-17 2020-12-18 三星电子株式会社 Ppg传感器及其操作方法
CN112089422A (zh) * 2020-07-02 2020-12-18 王兆英 基于伤口面积分析的自适应医疗系统及方法
US12472336B2 (en) 2020-08-03 2025-11-18 Kenvue Brands Llc System and method for selective application of cosmetic composition to impart undereye brightening

Also Published As

Publication number Publication date
MX2017007004A (es) 2017-08-14
WO2016087273A1 (en) 2016-06-09
US10242278B2 (en) 2019-03-26
JP2018500059A (ja) 2018-01-11
CN106999116B (zh) 2020-09-01
EP3226765A1 (en) 2017-10-11
JP6615197B2 (ja) 2019-12-04
US20160155006A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
CN106999116B (zh) 用于皮肤检测的设备和方法
US12064269B2 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CN108701357B (zh) 用于皮肤检测的设备、系统和方法
US10646167B2 (en) Device, system and method for extracting physiological information
JP6423807B2 (ja) 対象のバイタルサインを決定する装置及び方法
US20160206216A1 (en) Device, system and method for skin detection
EP3104767B1 (en) Device, system and method for determining vital signs of a subject based on reflected and transmitted light
EP3664690A1 (en) Device, system and method for determining a physiological parameter of a subject
EP3664704A1 (en) Device, system and method for determining a physiological parameter of a subject
JP6970840B2 (ja) 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200901

CF01 Termination of patent right due to non-payment of annual fee