CN120603530A - 实时成像方法 - Google Patents
实时成像方法Info
- Publication number
- CN120603530A CN120603530A CN202380092175.7A CN202380092175A CN120603530A CN 120603530 A CN120603530 A CN 120603530A CN 202380092175 A CN202380092175 A CN 202380092175A CN 120603530 A CN120603530 A CN 120603530A
- Authority
- CN
- China
- Prior art keywords
- series
- measurements
- polarimetric
- light
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Gynecology & Obstetrics (AREA)
- Reproductive Health (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种实时成像方法,包括以下步骤:按照每个给定的时间间隔获取n个测量的原始实际系列μ,μ=(μ0,...,μn‑1),这n个测量按预定义次序在系列中彼此相继,每个n个测量的系列允许,通过处理这些测量,以给定频率f生成至少一个原始结果X=G(μ);从一组测量生成人工系列,所述一组测量源自具有给定秩的实际系列μ,并且源自至少一个具有不同秩(尤其是下一个秩)的实际系列,并且源自每个人工系列内的测量的置换P,以便观察每个系列内n个测量的预定义次序;根据原始结果并从根据介于实际系列之间的人工系列生成的结果以大于f的频率生成结果流。
Description
技术领域
本发明涉及偏振测定成像领域,并且更具体地但不排他地涉及应用于阴道镜检查的偏振测定成像。
背景技术
阴道镜检查涉及使用称为阴道镜的装置检查宫颈。阴道镜允许远程观察子宫颈,而无需阴道镜的光学器件或其他组件与待探查组织之间的任何接触。
阴道镜包括照明系统,用于通过插入阴道的窥器照亮子宫颈并远程观察宫颈。
照明常规而言是使用白光实现的。绿色滤波器可以添加到照明系统并可选地被用于突出显示被血红蛋白吸收最多的区域。阴道镜的光学系统可以连接到彩色相机,用于在计算机的硬盘上记录彩色图像和视频(或在使用绿色滤波器后记录单色图像)。此外,子宫颈的图像可以实时显示在计算机的屏幕上。在一些情况下,阴道镜的光学系统还连接到允许用户利用例如立体视觉直接观察子宫颈的目镜。
阴道镜可以包括安装在铰接臂上的头部,并且可以包括连接到存在于头部正面的两个相应的光入口端口、朝着待检查的区域定向的两个目镜,更具体而言是左目镜和右目镜,用于直接查看感兴趣的区域,并且在这两个入口端口旁边可以包括用于照亮感兴趣的区域的光出口端口;光例如由布置在头部外部的灯产生并通过包括一束硅光纤的光导被路由至头部。
此外,穆勒(Mueller)偏振测定成像涉及测量目标样本的穆勒矩阵并且可以提供有关样本的性质的各种有用信息,尤其是通过允许分析其光学各向异性及其光散射特性。
穆勒偏振测定法成像对于各种生物组织并且特别是子宫颈的体外和体内研究是令人感兴趣的。
专利EP 1738682描述了用于在阴道镜检查中实现偏振测定图像的部件。
实际上,由偏振测定信息提供的知识可以改进针对各种类型的病症并且特别是针对宫颈癌的早期检测的医学诊断的质量。
特别地,穆勒偏振测定成像是一种通过测量样本的穆勒矩阵而允许对样本进行完整偏振测定表征的技术。
穆勒偏振仪一般由发光源、偏振状态生成器(PSG)、偏振状态分析仪(PSA)和检测器组成。
穆勒偏振仪可以提供单次测量。在这种情况下,可以使用光电探测器作为检测器。在单次穆勒偏振仪的情况下,测量单个穆勒矩阵。
但是,穆勒偏振仪可以有利地用作成像仪。在这种情况下,CCD或CMOS相机被用作检测器。相机的每个像素都等同于单次穆勒偏振仪的光电检测器。在成像穆勒偏振仪的情况下,为每个像素测量穆勒矩阵。穆勒偏振测定成像一般要求获取多个强度图像以用于测量样本的穆勒矩阵。这是一种可能慢的技术,特别是如果连续获取获得穆勒矩阵所需的强度图像的话。在成像穆勒偏振仪的情况下,对于所使用的相机的所有像素同时测量发光强度。对于每个像素,发光信号被变换成光电子。除其他因素外,利用其处理由光电子产生的电信号的模态以及所选择的传感器的感兴趣区域(ROI)中的像素数量确定每秒获取的图像的数量(“每秒帧数”或FPS)。
如果必须获取多个波长来探索不同深度处的生物组织,那么如果相继获取这些波长,那么穆勒偏振测定成像会要求甚至更多时间,这是目前大多数使用的多光谱穆勒偏振仪的情况。
但是,多光谱分析对于探索不同深度处的生物组织是至关重要的。实际上,可见光谱中例如与蓝色和绿色对应的较短波长被血红蛋白显著吸收并且主要允许探索生物组织的最表层。相比之下,被血红蛋白吸收的程度要小得多的红光/近红外光允许在更大深度处探索生物组织。对于可见/近红外光谱的波长,光在生物组织中的穿透长度取决于所考虑组织的微观吸收和散射特性。
一般而言,电磁波谱中的红色/近红外部分中的光穿透长度随着波长而增加。
文献中存在许多不同类型的穆勒偏振仪。最广泛使用的是相继获取获得穆勒矩阵所需的强度图像的时间序列穆勒偏振仪。
穆勒偏振测定成像在三个主要步骤中执行:
1)测量强度矩阵(根据既定符号,B=AMW)。可以多次获取这个矩阵,以便用求平均过程增加信噪比,由此改进测量的可靠性,这可以被称为测量步骤;
2)获得穆勒矩阵M=A-1BW-1,这可以被称为处理步骤;
3)从M确定相关的偏振测定参数,这可以被称为后处理步骤,
例如使用不同的代数方法,诸如Mueller矩阵分解。
对于生物医学应用,步骤1)必须在最多一秒左右的时间内完成,以便减少测量时由于患者的不自主移动(呼吸、心跳等)而引起的模糊的影响。步骤2)和3)理想地应当非常快速地完成,以便在测量之后尽快为从业者渲染有用的图像,最大延迟为几秒。
步骤2)一般可以是快速的并且可以相当容易地实现,尤其是如果矩阵A-1和W-1已经预先计算出来的话。
相比之下,步骤3)可以相当慢并且要求高计算能力,特别是如果它要求例如计算矩阵M的特征值的话,这常常可以是Mueller矩阵分解或其他代数处理运算的情况。
为了使用时间序列穆勒偏振仪确定样本的穆勒矩阵,需要使用PSG和PSA执行一连串发光强度测量,对于4×4的穆勒矩阵,至少需要16次测量,从而分别允许调制发送到样本的光的偏振以及分析由样本渲染的光的偏振。PSG和PSA的各种组合允许获取所需的16个强度图像,以便获得样本的穆勒矩阵。
对于4×4穆勒偏振测定成像(完整的穆勒偏振测定成像),需要获取至少16个强度图像,这些强度图像被分组到实际的16分量强度矩阵B中。
使用偏振相机允许获取12个强度图像,这准许对3×4穆勒矩阵的访问。例如,对于具有特定偏振测定特性的生物组织,有可能从测得的3×4穆勒矩阵开始利用代数计算将其还原到4×4穆勒矩阵。
但是,实际上会有几个因素限制偏振相机的使用。偏振相机一般是单色的。因此,要求几个相机来重构彩色图像,这显著增加了系统的体积。此外,用各种相机获得的图像难以逐像素叠加。此外,为了获得用各种相机获取的、可以逐像素叠加的图像,要求实现起来相当复杂的非常精确的光学调整。此外,利用这些相机,每个像素被划分为4个子像素,其中两个子像素与两种不同的线性偏振状态对应。另外两个像素一般与它们之间的相同线性偏振状态对应,这不同于与上面提到的两个第一像素对应的偏振状态。被划分为四个子像素的像素会导致图像的分辨率的损失。这种分辨率的损失可以使用数字方法来恢复,不过这会在图像中生成伪影,或者可以通过相当复杂的计算方法来恢复,这会显著增加图像获取时间。最后,因为各个子像素的偏振状态并非完全分离,所以它们之间会存在串扰。
对于生物医学应用,必须在最大一秒左右的时间内获取矩阵B并且在后处理步骤期间计算的相关偏振测定参数必须以最大几秒的延迟时间被渲染。
为了减少测量时由于患者的不自主移动而引起的模糊的影响,在大约一秒内获取强度矩阵B是必要的。在一秒内,利用求平均处理,可以多次获取矩阵B以增加信噪比。
因此,在使用例如测得的Mueller矩阵的分解进行后处理之后在几秒内从Mueller矩阵中渲染最相关的偏振测定参数对于允许从业者在就诊期间非常快速地获得有用信息是至关重要的。
理想的场景将涉及能够实时渲染测得的穆勒矩阵,或者甚至实时渲染相关的偏振测定参数(在对穆勒矩阵进行后处理之后)。
但是,在临床检查期间,从业者很难获得以足以舒适观察的频率基本上实时地向用户渲染的图像的流。
第一个限制是获得强度矩阵B以及因此获得穆勒矩阵M所需的强度图像的获取速度。
第二个限制与利用后处理过程获得M的主要偏振测定参数相关。例如,大多数穆勒矩阵分解都要求计算穆勒矩阵M的特征值,而这表示可以难以并行化和实时完成的计算过程。
实际上,在常规的白光成像系统中,为了图像的流畅实时跟踪,如果目标移动非常缓慢,那么流一般应当至少为8FPS。因此,在穆勒偏振测定成像的情况下,如果要在两个显示的图像之间进行16次测量,那么要获取和处理的图像的数量至少为8*16=128个,这对于高分辨率图像来说可以是相当高的频率。
一些偏振测定成像方法允许减少测量的次数,但结果是不允许获取完整的穆勒偏振测定法图像(4×4)。其他方法基于相对复杂的专用传感器,诸如偏振相机,其允许更快的获取,但在目前状态下,可能具有如上所述的其他显著限制。
如果要求多光谱方法并且如果相继获取各种波长,那么实时成像变得难以实现。一种可能性将是同时使用几个单色CCD或CMOS相机,耦合到光滤波器以用于选择感兴趣的波长的范围,这会使偏振测定系统体积庞大并且难以以紧凑的方式集成在现有成像系统上或用于医疗实践的全新系统内。
因此,为了使穆勒偏振测定法适于例如阴道镜检查或应用于其他用于生物医学应用的光学成像技术(诸如内窥镜或甚至用于神经外科的显微镜(或外窥镜)),出现了几个问题。
实时实现穆勒偏振测定成像是第一个挑战。它涉及在测量和处理步骤之后实时渲染穆勒矩阵,并且甚至更优选地涉及在后处理穆勒矩阵的步骤之后最相关的偏振测定参数,以便允许从业者能够立即(例如,在就诊期间或就诊之后几秒内)访问与组织的微观结构相关的信息。
第二个挑战涉及同时对可见/近红外光谱中的几个波长执行上述步骤1),以允许从业者探索不同深度处的组织的微观结构。
第三个挑战还涉及提供实时参考彩色成像,这对于用偏振测定法清楚地识别被分析区域是必要的,由此允许从业者具有众所周知的空间标记,而这对于单色发光强度图像或通过直接显示偏振测定图像是不可能的。
另一个挑战涉及能够将各种类型的图像(诸如例如彩色图像、各种选择的波长范围的发光强度图像以及各种选择的波长范围的偏振测定图像)以所有可能的组合逐像素叠加的可能性,这对于使用例如图像处理算法或学习算法有效分析图像是至关重要的。除其他之外,这个步骤尤其可以允许:1)选择最相关的偏振测定和非偏振测定参数;2)确定用于诊断的偏振测定和非偏振测定参数的最相关组合;3)使用例如各种类型的图像处理算法将单个图像中或有限数量的图像中处于各种波长的感兴趣的偏振测定图像(例如,穆勒矩阵的元素和/或在使用诸如穆勒矩阵分解之类的代数处理运算之后获得的偏振测定参数)和非偏振测定图像(例如,彩色图像和/或单色强度图像)组合在一起,以便为从业者提供简化和优化的用于诊断的信息,这些信息无法在常规图像中或初始未组合的偏振测定图像中直接观察到;4)将获得的用于不同波长范围的偏振测定图像组合在一起,以便获得彩色偏振测定图像。
另一个挑战可以涉及基本实时地渲染组合图像。最后,最后一个挑战涉及具有非常紧凑且符合人体工程学地易于适配各种现有成像系统(诸如例如阴道镜、内窥镜或用于神经外科手术的显微镜(或外窥镜))或者易于用于根据预期应用产生用于医疗实践的新的符合人体工程学且紧凑的成像系统的穆勒偏振仪。
发明内容
因此,存在对受益于高性能偏振测定成像系统,尤其是偏振测定阴道镜的要求,以便允许多光谱和/或彩色可视化,以及在被检查区域中舒适的多光谱偏振测定和/或彩色可视化,尤其是实时可视化。
更一般地,存在对提供一种用于增加任何成像技术(诸如穆勒偏振测定法)的图像的频率的解决方案的要求,该技术需要在能够生成图像之前进行大量测量,以便从业者在检查期间对图像的可视化更加流畅,由此促进决策,和/或减少检查的持续时间等。
此外,除上述优点外,还有优点在于:
-促进穆勒矩阵的后处理,以便减少对计算资源的需求,并减少计算偏振测定图像所需的时间;
-促进成像系统(尤其是阴道镜)的生产,该系统既能够执行多光谱和/或彩色成像,也能够执行多光谱和/或彩色偏振测定成像,并且尤其是允许将常规观察系统(诸如常规阴道镜)容易地变换成允许多光谱和/或彩色成像以及多光谱和/或彩色偏振测定成像的观察系统;
-改进阴道镜的照明系统,尤其是为了改进图像的质量;
-总体改进诸如阴道镜系统之类的观察系统的人体工程学;和/或
-促进系统的设置,尤其是为了执行校准。
本发明旨在解决上面阐述的全部或一些要求。
多光谱偏振测定和/或彩色成像
根据本发明的第一方面,本发明的目的是一种多光谱偏振测定和/或彩色成像系统,尤其是偏振测定阴道镜成像系统,包括:
-照明系统,包括至少一个发光源,这个照明系统在至少两个,优选地至少三个,光谱带中发射;
-偏振状态生成器(PSG),部署在发光源的下游并且在待成像的目标的上游;
-偏振状态分析仪(PSA),部署在待成像的目标的下游;
-多传感器相机,包括至少两个,优选地至少三个,传感器,用于分别记录所述光谱带中的至少两个,优选地至少三个,图像。
偏振测定成像系统可以是宽视场(宏观)或微观的,并且可以在自由空间中或不在自由空间中通过透射或反射工作。也有可能在目标与PSA之间具有内窥镜并在PSG与目标之间具有液体引导件,如EP 2021/052647中所述。优选地,它是宽视场的并且通过反射工作,尤其是在自由空间中(诸如阴道镜)。该成像系统还可以用于其他生物医学应用,例如,脑外科手术或内窥镜检查,以及非生物医学应用,例如,在化妆品或微电子领域。
与多传感器相机的使用组合使用在几个光谱带中发射的发光源允许生成各种可完美叠加的波长范围中的图像,因为相机的各个传感器通过构造产生可完美叠加的图像,即,对于图像的所有像素,图像上的同一个点与每个传感器上的同一个像素对应。特别地,由于使用同一个相机产生彩色图像和偏振测定图像并且系统产生在每个传感器上具有相同尺寸并且在每个传感器上完全相同地定位的图像,因此尤其有可能限制由相机产生的各种类型的图像之间的视差效应,例如,彩色图像(常规的RGB图像)与偏振测定图像之间的视差效应,从而允许它们逐像素叠加。也可以通过组合几个相机来限制视差效应,但是,对准几个相机可能是复杂且耗时的,之前提出的解决方案允许更容易地并且通过使用单个相机来限制视差效应。
优选地,存在三个光谱带并且例如,对于第一频带是445nm至475nm,对于第二频带是510nm至550nm,并且对于第三频带是600nm至660nm,例如分别以460nm、530nm和630nm为中心。
优选地,相机是双CCD、双CMOS、三CCD、三CMOS、4CMOS或4CCD相机,优选地是三CCD、三CMOS、4CCD或4CMOS相机。还优选地,存在三个光谱带并且分别位于红色或近红外、绿色和蓝色频带中。例如,对于2CCD相机,光谱带优选地是可见光和近红外;对于3CCD相机,光谱带优选地是蓝色、绿色和红色/近红外;对于4CCD相机,光谱带优选地是蓝色、绿色、红色和近红外。
例如,这允许使用大规模制造的快速高分辨率相机。多传感器相机为每个传感器提供灰度独立强度图像,这些灰度图像一方面能够在穆勒偏振测定法的情况下被用于测量强度矩阵B的系数并且另一方面它们可以组合起来以便重构被观察区域的彩色图像。
相机可以包括至少两个,优选地三个,二向色棱镜,用于朝着各个传感器分离波长。例如,三CCD相机包括三个二向色棱镜,用于朝着各个传感器分离波长。以本身已知的具体方式,蓝色检测传感器可以附接到第一个棱镜,红色检测传感器可以附接到第二个棱镜,第二个棱镜本身可以附接到第一个棱镜,并且绿色检测传感器可以附接到第三个棱镜,第三个棱镜本身可以附接到第二个棱镜。其他布置是可能的,这种类型的相机是众所周知的。
优选地,偏振状态生成器(PSG)包括电可控液晶偏振调制器,该调制器提供相对快速的切换、良好的紧凑性、合适的带宽,并且不破坏图像被叠加的能力。液晶还允许实现全场偏振测定成像,用于分析宏观规模的表面,以及微观偏振测定成像。
作为变型,偏振状态生成器包括例如旋转波片、以及旋转偏振器和/或旋转波片和旋转偏振器的耦合系统。作为变型,偏振状态生成器可以包括耦合旋转波片和固定偏振器的系统,或者甚至耦合固定波片和旋转偏振器的系统,或者甚至耦合旋转滞后板与旋转偏振器的系统。
偏振状态生成器也可以使用空间分离的偏振系统(偏振器、滞后板等)来产生,这些系统允许产生光的各种偏振状态。
偏振状态生成器也可以使用空间分离的偏振系统(偏振器、滞后板等)来产生,这些系统允许产生光的各种偏振状态。空间分离的偏振系统也可以是固定的或者能够用液晶系统或旋转系统进行时间调制。在这种配置中,发光束可以使用快速切换系统被偏转,以在照亮目标之前连续穿过各个偏振系统。类似地,偏振状态分析仪优选地包括电可控液晶去偏振调制器。作为变型,偏振状态分析仪包括例如根据上述用于偏振状态生成器的所有组合的旋转波片、以及旋转偏振器或者甚至耦合波片和偏振器的系统。优选地,液晶偏振调制器是铁电液晶调制器,其允许提供高开关频率,具有几伏的控制电压。作为变型,液晶偏振调制器是向列液晶调制器。偏振状态分析仪也可以使用空间分离的偏振系统(偏振器、滞后板等)来产生,这些系统允许产生光的各种偏振状态。就像偏振状态生成器一样,偏振系统是空间分离的并且也可以是固定的或者能够用液晶系统或旋转系统进行时间调制。在这种配置中,发光束可以使用快速切换系统进行偏转以使其在照亮目标之前(尤其是在进入检测器之前)连续穿过各个偏振系统。
发光源优选地是白色光源,特别是氙气灯。这种灯允许在宽光谱中发射并且既允许产生良好的多光谱和/或彩色图像,也允许产生多光谱偏振测定和/或彩色图像。作为变型,发光源是卤素灯、至少一个LED或任何其他类型的光源,可以是非相干或相干的(激光)。
当使用氙气灯时,照明系统可以包括单频带、双频带、优选地是三频带二向色滤波器,该滤波器位于发光源的下游,放置在待分析的目标之前,或放置在待分析的目标之后和检测器之前。这个滤波器可以阻挡例如UV和IR,并允许白光(尤其是可见光谱中的红色、绿色、蓝色频带)通过。这个滤波器可以是可移动的,尤其是安装在滤波器轮上,以便允许例如在IR、近IR或甚至近UV中获取。作为变型,取决于所使用光源的类型,照明系统可以包括双频带、优选地是三频带滤波器,或至少一个单频带滤波器。例如,四频带滤波器可以与4CMOS或4CCD相机一起使用,例如以允许同时获取蓝色、绿色、红色和近红外频带中的图像。
也有可能不使用光谱滤波器。例如,照明系统可以包括几个分别在感兴趣光谱带中发射的发光源,例如蓝色、绿色和红色、或者蓝色和黄色LED。
成像系统可以包括根据本发明的另一方面的偏振测定系统,如下文所定义的。
成像系统可以包括直接部署在相机的上游的滤波器轮,可选地以及分析仪的线性偏振滤波器,如下所述。作为变型,滤波器轮也可以直接部署在光源的下游。
滤波器轮可以支持如上面所提到的三频带滤波器,例如以允许由相机获取在以大约460nm、530nm和630nm为中心的光谱范围内的波长的图像;以及一个或多个单色二向色滤波器,例如以允许获取在大约650nm和700nm的光谱范围内的图像。旨在用于对红色频带进行成像的传感器也可以允许近红外频带的成像。
滤波器轮可以通过变更三频带滤波器、移除滤波器或替换所使用滤波器的类型(例如,用至少一个单色滤波器替换三频带滤波器)来选择蓝、绿和红/近红外频带中的不同光谱范围。滤波器轮可以允许更详细地探索一些波长范围。
成像系统可以包括用于生成目标在每个光谱带中的穆勒偏振测定图像的处理器。穆勒偏振测定图像应理解为是指包括至少一项从穆勒矩阵中提取的信息的图像,例如,偏振测定特性(诸如偏振双向衰减、偏振、双折射、去偏振等),以及至少部分地从这些特性之一导出的任何信息。在用于分析子宫颈的阴道镜检查的情况下,了解双折射和去偏振特性对于诊断特别有用。当用在阴道镜检查中时,对诊断特别有用的偏振测定参数尤其可以是线性相位滞后、线性相位滞后的慢轴(或快轴)的方位角的不确定性级别、线性相位滞后和线性相位滞后的慢轴(或快轴)的方位角的组合图像、去偏振、去偏振与线性相位滞后之间的线性相关,特别是在530nm处。
处理器可以被配置为在与相机的非偏振测定观察对应的图像(例如,基色图像)上至少部分地叠加包含至少一项偏振测定信息的图像。这个偏振测定信息可以以伪彩色显示。
系统可以被设计为对给定样本执行相继的实际测量系列,尤其是用相机的每个传感器并同时针对所有各种传感器执行,这些测量与获取强度矩阵B的至少9个(3×3穆勒偏振测定法),尤其是12个(3×4穆勒偏振测定法),优选地是16个(4×4穆勒偏振测定法)系数对应,
处理器被设计为:
-从源自具有给定秩的测量的一系列μ以及源自至少一个具有不同秩的系列(尤其是下一个秩)的一组测量并且从每个人造系列内的测量的置换P(μ)生成n个附加测量的系列(也称为“人工”系列),以便观察每个系列内n个测量的预定义次序;然后
-从由实际测量系列产生的偏振测定图像和由介于实际系列之间的人工系列生成的偏振测定图像生成一串其频率大于允许在没有人工测量系列的所述实际测量系列的频率的偏振测定图像。
处理器可以被设计为执行将穆勒矩阵分解成非去偏振分量和去偏振分量。去偏振分量和非去偏振分量可以采取多种形式。
因此,处理器可以被设计为对穆勒矩阵M执行加性解,形式为M=qMnd+pMd,其中Mnd是非去偏振分量并且Md是去偏振分量。参数q和p分别是穆勒矩阵的分量Mnd和Md的权重。
根据这个模型,测得的强度矩阵B可以写成偏振分担额和非去偏振分担额之和。
B=Bnd+Bd=A(qMnd+pMd)W
然后
M=qMnd+pMd=A-1(Bnd+Bd)W-1
对于4×4穆勒矩阵,那么
B=AMW,
其中
以及
测量是使用产生由四个Stokes向量描述的四个独立状态的偏振状态生成器PSG和生成由四个Stokes向量描述的分析状态的偏振状态分析仪PSA获得的。
这增加了图像频率,从而改进了图像的查看舒适度,并允许实时偏振测定成像,例如,每秒至少有8个偏振测定图像的图像流。因此,当从业者改变被观察区域时,他们可以快速从对应的偏振测定图像中获益。增加图像的频率允许人为地增加每秒的图像数量,而无需改变获取所需的曝光时间,从而提供了实时获得图像的可能性。如果被观察物体是静止的或缓慢移动的,那么每秒8个图像的频率就足够了。如果物体移动得更快,那么所需的图像频率可以更高。
处理器可以被设计为在执行置换P之前在空间上重新校准与测量对应的图像,以便考虑相机的视场内被观察区域的可能位移。
以这种方式,偏振测定图像模糊的风险就受到限制,并且偏振测定信息的准确性增加。
处理器可以被设计为执行将穆勒矩阵分解成非去偏振分量和去偏振分量。去偏振分量和非去偏振分量可以采取几种形式。因此,处理器可以被设计为对穆勒矩阵M执行加性分解,其形式为M=qMnd+pMd,其中Mnd是非去偏振分量并且Md是去偏振分量。参数q和p是穆勒矩阵的两个分量的权重。
特别地,Mnd可以是由下式提供的线性相位滞后器的穆勒矩阵:
并且Md可以是由下式提供的纯去偏振器的穆勒矩阵:
θ是快轴(或慢轴)的方位角朝向(以度为单位)并且δ是线性相位滞后(以度为单位)(范围从0°到180°);
其中
穆勒矩阵M可以相对于其非归一化和非偏振强度系数进行归一化并且可以写成:
其中
于是Mnormalised矩阵可以写成:
其中系数mij(i,j=1,2,3,4)是归一化的穆勒矩阵的系数,是M的非归一化和非偏振强度系数,其他系数mij(i,j=1,2,3,4)相对于被归一化。
处理器可以被设计为通过执行以下计算来计算去偏振:
系统可以被设计为生成在至少一个光谱带中的至少一个非偏振测定图像(尤其是被观察区域的彩色图像)和至少一个偏振测定图像的并行显示。
本发明的另一个目的是一种用于训练人工智能系统的方法,例如,该人工智能系统包括至少一个卷积神经网络,其中该人工智能系统可以接收非偏振测定彩色和/或多光谱图像以及偏振测定彩色和/或多光谱图像作为输入。
这些图像源自多传感器相机的事实避免了对由各种传感器同时获取的具有不同波长的图像进行附加空间重新校准操作,并减少了计算时间,这为训练留出了更多可用的资源。由各种传感器获得的图像可以逐像素叠加。
增加图像频率
根据本发明的另一方面,优选地与上述内容组合,但一般而言适用于其他类型的成像,本发明的目的是一种实时成像方法,包括以下步骤:
-在每个给定的时间间隔获取按预定义次序在系列中彼此相继的n个测量的原始实际系列μ,μ=(μ0,...,μn-1),其中每个n个测量的系列通过处理这些测量而允许以给定频率f生成至少一个原始结果X=G(μ),其中G是从测量产生结果的函数;
-从一组n个测量生成人工系列,这组测量源自具有给定秩的实际系列μ,并且源自至少一个具有不同秩(尤其是下一个秩)的实际系列,并且源自每个人工系列内的测量的置换P,以便观察每个系列内n个测量的预定义次序;
-从原始结果并从由插入原始实际系列之间的人工系列生成的结果生成其频率大于f的结果流。
这种成像方法有利地应用于偏振测定成像,例如偏振测定阴道镜检查,并且优选地应用于如上定义的多光谱和/或彩色偏振测定阴道镜检查。
这种方法可以应用于阴道镜检查、显微镜检查、脑外镜检查、内窥镜检查,优选地应用于偏振测定阴道镜检查,并且更优选地应用于多光谱偏振测定阴道镜检查。
于是,结果是穆勒矩阵或者从这个矩阵计算出的物理特性。这一系列测量就是偏振测定测量。
根据这个方面,本发明允许人为地增加图像的流,并且允许或改进实时成像,而不管要执行的测量的次数和生成期望图像所需的计算。
换句话说,根据这个方面,本发明允许人为地增加每秒的图像数量,同时维持固定的获取次数。
“实时”被理解为是指获取与可视化之间的相对短延迟,例如,2或3秒,并且与从业者在检查期间生成的信息的可视化兼容;例如,进行测量的时间与显示从这些测量产生的信息的时间之间的延迟小于或等于2秒,优选地是1秒。生成的结果流每秒可以大于8个。
对其应用这种方法的成像有利地是偏振测定成像并且一系列n个测量可以与用于计算穆勒矩阵的强度矩阵B的系数的测量对应。
特别地,该一系列测量可以与例如强度矩阵B的至少9个、尤其是12个、优选地16个系数的获取对应。
如上面所指示的,对于4×4穆勒矩阵,
B=AMW,
其中
以及
测量是使用产生由四个Stokes向量描述的四个独立状态的偏振状态生成器PSG和生成由四个Stokes向量描述的分析状态的偏振状态分析仪PSA获得的。
根据这个模型,测得的强度矩阵B可以写成偏振分担额和非去偏振分担额之和。
B=Bnd+Bd=A(qMnd+pMd)W
M=qMnd+pMd=A-1(Bnd+Bd)W-1
优选地,如上面所提到的,在执行置换之前,对与表示矩阵B的分量的各种强度测量对应的图像(针对PSG和PSA的各种配置获得的)进行空间重新校准,以便考虑在相机的视场中观察到的区域的可能位移。用于增加图像的频率的方法一般可以应用于例如使用多传感器CCD和CMOS相机的系统,以及单色或偏振CCD和CMOS相机的系统。
对穆勒矩阵进行后处理
为了加速穆勒矩阵的计算,可以实现特定的后处理,例如,避免执行分解,称为Lu-Chipman分解,但仍然允许获取接近的结果。
因此,根据本发明的另一方面,本发明的另一个目的是提供一种偏振测定成像方法,该方法独立地或与上述内容组合,其中使用偏振测定成像系统(优选地是上述定义的系统)获取强度图像,该偏振测定成像系统包括照明系统、放置在照明系统与待观察区域之间的光路上的偏振状态生成器(PSG)、放置在待观察区域与至少一个图像获取系统之间的光路上的偏振状态分析仪(PSA),然后对穆勒矩阵M执行加性分解,其形式为M=qMnd+pMd,其中Mnd是非去偏振分量并且Md是去偏振分量。特别地,Mnd可以是由下式提供的线性相位滞后器的穆勒矩阵:
并且Md可以是由下式提供的纯去偏振器的穆勒矩阵:
θ是快轴的方位角朝向(以度为单位)并且δ是相位滞后(以度为单位)(范围从0°到180°);
其中
参数q和p是穆勒矩阵的两个分量的权重。
穆勒矩阵M可以相对于其非归一化和非偏振强度系数进行归一化并且可以写成:
其中
于是矩阵Mnormalised可以写成:
系数mij(i,j=1,2,3,4)是归一化的穆勒矩阵的系数,是M的非归一化和非偏振强度系数,其他系数mij(i,j=1,2,3,4)相对于被归一化。
处理器可以被设计为通过执行以下计算来计算去偏振,例如:
穆勒矩阵的这种加性分解允许计算被并行化并允许更快地提取有用的参数。穆勒矩阵及相关的偏振测定参数可以针对单个波长范围或同时针对几个波长范围(尤其是至少两个波长范围,特别是在可见光和红外频带中)获取。
因此这种方法允许从在与可见光谱的蓝色、绿色和红色部分对应的光谱范围中同时获得的三个穆勒矩阵的非归一化和非偏振强度系数的组合来实时重构图像,尤其是彩色图像。
这种方法避免了计算穆勒矩阵的特征值,这在计算时间方面成本高昂,并且允许以短得多的计算时间提取期望的参数。
这种方法基于这样的假设:在一些组织中,诸如子宫颈,非去偏振效应主要与组织的最表层相关,而去偏振效应与组织的体积相关。
具有设有偏振测定系统的两个入口端口的观察系统
根据本发明的另一方面,独立地或与上述内容组合,本发明的另一个目的是一种具有两个入口端口的观察系统,尤其是双目系统,例如,用于阴道镜检查,包括头部,该头部包括光学系统,该光学系统具有用于照亮待检查区域的光出口端口以及指向待观察区域的左和右入口端口,该观察系统还包括偏振测定系统,该偏振测定系统包括部署在出口端口前方的偏振状态生成器以及偏振状态分析仪,该偏振状态分析仪的至少一些光学元件部署在入口端口之一前方,这个分析仪包括由至少一个支撑件支撑的至少一个光学元件,该支撑件仅应用于光学元件的轮廓的一部分上。
这可以允许光学元件设有自由边缘,这个自由边缘与另一个入口端口部分地重叠。光学元件可以仅与这个另一个入口端口部分地重叠,而无需用支撑件阻挡这个入口端口,支撑件会干扰观察。例如,该光学元件是液晶偏振调制器。
本发明的这一方面利用了以下事实:优选地具有圆形轮廓的光学元件的自由边缘虽然与入口端口部分地重叠,但由于通常20至40cm左右并因此远大于入口端口与光学元件之间的距离(最多几厘米)的聚焦距离而在与这个入口端口相关联的目镜中基本保持透明。此外,由于分析仪的光学元件相对透明,可能除了线性偏振器之外,线性偏振器的部分可以放置在相机前方偏转棱镜下游朝向目镜的位置,因此这些元件不会对观察者造成实质性的亮度损失。
因此有可能通过将偏振测定系统的全部或部分放置在其前方来使用常规的阴道镜头部或具有两个入口端口的另一个观察系统(尤其是双目观察系统)的头部,这限制了系统的制造成本并允许将偏振测定成像功能容易地添加到观察系统。
分析仪的光学元件的每个支撑件可以与光学元件接触地例如在180°和300°之间的角度范围内延伸,优选地呈现大致C形,该形状在向下倾斜的方向上基本以45°开口。
偏振测定系统还可以包括至少一个其他支撑件,用于保持偏振状态生成器的放置在阴道镜头部的光出口端口前方的至少一个光学元件。
这另一个支撑件可以呈现大致向上开口的C形,这限制了状态生成器在垂直方向上的体积并避免撞击阴道镜的头部的前表面上的出口端口附近存在的入口端口。
每个支撑件可以包括一连串将偏振状态生成器(或分析仪)的光学元件保持在一起的零件,其中至少两个用于保持共享中间支撑件零件的两个连续光学元件的支撑件。
因此,偏振测定系统可以包括至少两个彼此抵靠组装的连续支撑件零件,这些零件中的每一个在其一面上具有用于接纳相应光学元件的壳体并且支撑件零件之一被用于保留另一个零件的光学元件。以这种方式,可以提供相对紧凑的偏振测定系统,该系统不会进一步妨碍从业者对观察系统的头部的操纵。
偏振状态生成器和分析仪优选地各自包括相对于光传播方向以相反的次序放置的相似的光学元件。
因此,生成器在光传播方向上包括例如线性偏振滤波器、四分之一波液晶偏振调制器QFLC、半波片QWP和半波液晶偏振调制器HFLC。
然后,分析仪可以在光传播方向上包括半波液晶偏振调制器HFLC,半波片QWP和四分之一波液晶偏振调制器QFLC。
与分析仪相关联的偏振器优选地在从入口端口朝着相关联的目镜返回的光之后部署在用于聚集用于生成穆勒矩阵的强度图像的相机的上游,由此限制由左和右目镜递送给观察者的图像之间的亮度差异,如上面所提到的。
接纳电可控光学元件的壳体可以包括至少一个用于电缆的通道。这个通道可以包括与元件的轮廓的形状相符的通道,尤其是半圆形通道。
C形光学元件的支撑件允许在拧紧之前手动绕其轴线旋转光学元件,以便执行朝向调整。
生成器的光学元件优选地与从观察系统的头部出射的光的传播方向垂直地定向。
当这个光通过棱镜以与入口端口的观察方向成一定角度的方向发射时,生成器的光学元件优选地与分析仪的光学元件成一定角度安装,以使它们与从出口端口发出的光的传播轴线垂直地定向。这允许限制杂散反射。
优选地,偏振测定系统包括风扇,该风扇用于将空气吹向偏振状态生成器中靠近观察系统的头部的光出口端口的光学元件。由此确保更好更快的温度稳定,并限制对应的漂移。
偏振系统可以在分析仪前方包括可移动的滤波器保持器,用于校准系统。这个滤波器保持器例如固定到用于保持光学元件的支撑件零件之一。滤波器保持器可以在水平方向(一般与观察方向垂直)上可移动。滤波器保持器可以采取例如四个位置,其中三个位置用于将预定义的光学元件放置在分析仪前方,并且最后一个位置用于释放场。滤波器保持器的位移优选地利用电动控制,并由上面提到的控制器控制。
该系统可以包括保护支撑件和滤波器保持器的壳体。
本发明的另一个目的是一种偏振测定系统,该系统旨在附接到观察系统的头部,尤其是阴道镜的头部,该头部包括光学系统,该光学系统具有用于照亮待检查区域的光出口端口以及指向待观察区域的左和右入口端口,该偏振测定系统还包括放置在出口端口前方的偏振状态生成器以及偏振状态分析仪,该偏振状态分析仪的至少一些光学元件被放置在入口端口之一前方,这个分析仪包括由至少一个支撑件保持的至少一个光学元件,该支撑件仅应用于光学元件的轮廓的一部分上。
这可以允许这个光学元件设有自由边缘,这个自由边缘被部署为与另一个入口端口部分地重叠。
偏振测定系统可以包括用于附接到观察系统的头部的部件。
这些附接部件可以包括螺钉,螺钉被拧入头部的框架中,例如,位于出口窗口下方。作为变型,通过例如夹紧以其他方式执行附接。
偏振系统可以具有上面提到的特征中的全部或一些。
紧凑型和模块化偏振测定系统
本发明的另一个目的在于一种偏振测定系统,该系统旨在应用于观察系统的头部,尤其是阴道镜头部,该头部包括光学系统,该光学系统具有用于照亮待检查区域的光出口端口以及至少一个入口端口,该偏振测定系统包括放置在出口端口前方的偏振状态生成器(PSG)以及偏振状态分析仪(PSA),该分析仪的至少一些光学元件被放置在入口端口前方,其中分析仪和生成器中的至少一个包括由至少一个支撑件保持的光学元件,每个支撑件包括一连串将偏振状态生成器或分析仪的光学元件保持在一起的零件,其中至少两个支撑件用于保持共享中间支撑件零件的两个连续光学元件,这些零件中的每一个优选地在一个表面上具有用于接纳相应光学元件的壳体,并且零件之一用于保留另一个零件的光学元件。
这种偏振测定系统特别紧凑,因为它包括用作接纳光学组件的壳体的支撑件零件和用于下一个支撑件零件的封闭盖。
这种系统也是模块化的,因为它易于用其他支撑件零件替换支撑件零件。
它可以具有别处描述的观察系统(尤其是阴道镜)的任何一个特征。偏振测定系统尤其可以包括分析仪,该分析仪包括至少一个光学元件,该光学元件由至少一个支撑件支撑,该支撑件仅应用于光学元件的轮廓的一部分,从而为这个光学元件提供自由边缘,这个自由边缘被部署为与另一个入口端口部分地重叠。偏振测定系统包括用于附接到别处描述的观察系统的头部的部件。
阴道镜照明系统
根据本发明的另一方面,独立地或者与上述内容组合,本发明的另一个目的是一种阴道镜系统,包括:
-照明系统,包括:
○至少一个发光源;
○液体光导,一端连接到发光源,这个光导优选地具有5mm或更小的芯直径;
-阴道镜头部,包括具有连接到液体光导的另一端的光入口端口和用于照亮待观察区域的光出口端口的光学系统,该光学系统优选地包括位于入口端口与出口端口之间的非球面透镜和偏转棱镜。
照明系统的这种配置允许在优选地大约30cm的工作距离处获得准直良好的光束。
选择液体引导件作为光导以及优选地5mm或更小的直径作为芯直径允许减少照明光束的发散度及其尺寸,并允许增加待观察区域(即,宫颈)的中心处的光的强度,从而允许减少周围表面(阴道壁、窥器等)上的寄生反射,并最终允许显著改进获取的图像的质量。液体光导可以提供具有令人满意的均匀性的照明,其均匀性显著高于利用在阴道镜照明系统中常用的石英光纤束所获得的均匀性。
优选地,液体光导的内径范围在2.5和3.5mm之间。
照明系统可以包括适配器,该适配器被配置为接纳光导并安装在光源上,有可能相对于光源在X、Y和Z三个方向上进行调整。
符合人体工程学的阴道镜系统
根据本发明的另一方面,独立地或者与上述内容组合,本发明的另一个目的是一种阴道镜系统,包括:
-有轮子的底座;
-由有轮子的底座支撑的柱子;
-至少一个由柱子支撑的参考反射器,用于校准偏振测定系统;
-阴道镜头部,由连接到底座的铰接臂支撑。
阴道镜系统还可以包括:
-包括计算机的工作站,由有轮子的底座支撑;
-键盘,由连接到柱子的铰接臂支撑;以及
-屏幕,由连接到柱子的铰接臂支撑,位于高于支撑键盘的臂的高度的高度处。
这种布置允许屏幕和键盘保持在用户附近,从而用户可以容易地自己控制计算机以便获取图像。
系统的移动性也得到改进,因为该组装可以轻松地在地面上连续移动。
优选地,系统包括放置在工作站上的容纳一个或多个发光源的壳体,以及用于控制偏振测定系统的各种电-光和电子组件(诸如可控液晶滤波器、滤波器轮)并且用于处理来自相机的图像(如果适用)或者甚至用于生成偏振测定图像等的控制器。
参考反射器可以部署在柱子顶部的遮光罩内。这个反射器例如绕垂直轴铰接,并且在其一面上包括例如由铝制成的磨砂金属壁,并且在相对侧上包括例如具有已知光谱特性的参考表面。反射器的旋转安装允许在无需移动阴道镜的头部的情况下容易地用另一个面替换其中一个面,这促进了校准操作。在这些校准操作期间,通过操纵支撑头部的铰接臂,头部被放置在距离反射器例如大约30cm处。
阴道镜系统有利地包括踏板,该踏板允许用户触发预定义的动作,例如,开始偏振测定获取。
阴道镜头部还可以包括用于触发另一个预定义动作(例如,开始和停止视频录制)的按钮。
附图说明
通过阅读以下对本发明的各个方面的非限制性实施例的详细描述,并参考附图,将更好地理解本发明,其中:
图1是根据本发明的偏振测定多光谱成像系统的示例的框图;
图2是与图1类似的视图,图示了提供促进诊断的图像的可能性;
图3图示了使用人工智能生成诊断辅助的可能性;
图4图示了根据本发明的阴道镜系统中的各种信息显示模式;
图5是图示相继测量系列的获取的图;
图6图示了从图5的示例的系列生成人工系列;
图7图示了图6的人工系列内测量的重新排序;
图8图示了与相继测量对应的图像的区域的空间重新校准;
图9图示了该方法对于作为穆勒偏振测定法的一部分被执行的测量的应用;
图10图示了在图9的示例的情况下人工测量系列的生成;
图11图示了用于加速计算感兴趣参数的假设;
图12示出了通过一方面实现Lu-Chipman分解和另一方面实现用于加速计算偏振测定参数的加性分解而获得的比较图像;
图13是根据本发明的阴道镜系统的示意图和部分视图;
图14更具体地示出了阴道镜头部以及偏振测定和获取系统;
图15更具体地示出了阴道镜系统的底部零件;
图16图示了系统在阴道镜的头部附近的细节;
图17是靠近检查台部署的阴道镜系统的顶视图;
图18是阴道镜系统的部分立视图;
图19示出了阴道镜头部,偏振测定系统的部分附接在其前侧;
图20是揭示偏振状态生成器和分析仪的各个光学元件及其支撑件零件的分解视图;
图21图示了支撑偏振状态生成器的光学元件的零件的组装;
图22图示了支撑偏振状态分析仪的光学元件的零件的组装;
图23图示了用于附接用于校准的滤波器保持器的支撑件零件之一的独立视图;
图24图示了偏振状态生成器的两个支撑件零件的组装;
图25示出了生成器的支撑件零件之一以及被接纳在这个零件的壳体中的光学元件的前视图;
图26是设有偏振测定系统的阴道镜头部的正面的前视图;
图27是照明系统的部分和示意性横截面图;
图28是图27的照明系统的示意性和部分透视图,带有轴向横截面;
图29是光导连接处附近的阴道镜头部的部分和示意性纵向截面图;
图30是用于将光导安装在阴道镜头部上的元件的分解透视图;
图31图示了被观察区域附近的发光强度的空间分布,该空间分布作为所使用的光导的有效部分的直径的函数;
图32示出了校准反射器及其屏蔽件;
图33示出了反射器的独立视图,不带屏蔽件;
图34示意性且部分地示出了校准滤波器保持器;
图35示出了偏振测定系统的附接在阴道镜头部的正面上的一部分,设有保护盖;
图36是图示获取系统在阴道镜头部上的安装的示意性和部分侧视图;
图37示出了获取系统的滤波器轮及其驱动马达;
图38以另一个视角部分且示意性地示出了获取系统;以及
图39示意性且部分地示出了多传感器相机光学系统的示例。
具体实施方式
多光谱偏振测定和/或彩色成像系统
图1示出了根据本发明的多光谱偏振测定成像系统1,例如,穆勒偏振测定阴道镜,但应理解的是,本发明的这一方面不限于阴道镜。
系统1包括用于照亮目标T(例如,子宫颈)的照明光学系统2,以及用于直接观察目标和/或在电子介质上重构目标T的图像的光学系统3。
目标T的照亮和观察通过偏振测定系统4发生,偏振测定系统4包括被源自照明系统的光穿过的偏振状态生成器(PSG)和被源自目标T的光穿过的偏振状态分析仪(PSA)。
优选地,PSG和PSA包括液晶偏振调制器,尤其是选自其控制频率至少可以是60Hz的调制器。铁电液晶偏振调制器是优选的。系统1还包括获取系统,该获取系统包括多传感器相机5,该相机5例如由三CCD或三CMOS相机构成,例如分别具有专用于可见光谱的红色、绿色、蓝色域的传感器。
系统1包括计算机部件6,其尤其用于管理针对每个传感器的强度图像的获取、控制液晶偏振调制器的操作、将相机的获取与液晶的调制同步、处理由相机5的每个传感器获得的图像以及针对每个所选择的光谱带校准系统,如下文将描述的。
这些计算机部件6包括例如一个或多个处理器、一个或多个微控制器、专用电路(诸如FPGA或微型计算机)以及相关联的人机硬件接口,并且可以被编程以获取感兴趣的各种光谱带(例如,所考虑示例中的红色、绿色、蓝色频带)中的强度图像,然后针对图像的全部或一些像素计算这些各种光谱带的穆勒矩阵,并且计算并显示感兴趣的偏振测定参数。针对穆勒矩阵的处理和后处理步骤中的计算以及各种类型的图像处理操作可以使用一个或几个显卡(GPU)非常快速地执行。各种类型的编程语言(C、C++、Python等)可以被用于计算和用于处理图像,以及用于管理图像的获取。
各种类型的编程语言(C、C++、Python等)可以被用于计算和处理图像,以及管理图像的获取。
使用相同的编程语言用于获取图像并用于图像的处理和后处理阶段可以允许完全消除图像的获取与其实时渲染之间的延迟。
因此,计算机部件6可以包括用于控制PSG和PSA并用于处理源自相机的图像的控制器,所述控制器包括例如一个或多个FPGA,以及包括计算机的工作站,该计算机在适用的情况下配备至少一个显卡,以及包括例如屏幕、键盘和一个或多个控制按钮或踏板的人机接口,如下所述。
照明系统能够在每个观察光谱带中发射。
在光谱带分别处于红色、绿色和蓝色频带中的情况下,照明系统可以包括白色光源(诸如与光谱滤波器相关联的氙气源),或者分别在红色、绿色和蓝色频带中发射的LED二极管组,或者在蓝色和黄色频带发射的LED二极管。
使用氙气源是优选的,因为它提供了使用的容易性并且由于其功率,并且因为它已经广泛用于内窥镜系统。
由于获取系统的相机是多传感器相机,优选地是三CCD或三CMOS RGB相机,因此它可以同时获取几个图像,而没有明显的光损失并且没有通道之间的任何干扰问题(“串扰”)。
在每个传感器上获得的图像可以是针对对应光谱带的灰度强度图像。
各种传感器的灰度强度图像可以通过构造完美地叠加,由此简化处理之后最终图像的重构,尤其是将偏振测定信息添加到彩色图像中或组合各种波长的偏振测定图像。
由应用于各种光谱带(尤其是红色R、绿色G和蓝色B频带)中的穆勒偏振测定法的多光谱偏振测定成像系统获得的图像可以通过在各种光谱带中进行计算来生成,如图1中所示。如果适用,那么可以将这些图像组合起来,以生成穆勒偏振测定法RGB彩色图像。
同时,由相机的三个传感器获取的强度图像可以被组合以形成RGB彩色图像。这个图像对于允许从业者清晰地识别执行偏振测定分析的区域是有用的。
确定针对R、G和B光谱带中的每一个的穆勒矩阵允许计算这些频带中的每一个中的强度图像,这些强度图像表达图像的每个像素的偏振测定法参数值(例如,滞后),如图2中所示。
因此,例如,针对每个光谱带生成去偏振图像,该图像是通过了解穆勒矩阵而确定的,并且生成滞后的图像,该图像也是通过了解穆勒矩阵而确定的。
可以将一个或多个滞后和/或去偏振图像与彩色图像组合以生成图像I,其中修改了一些区域的色调和/或对比度以便为从业者提供附加信息,从而辅助诊断。
在同一成像系统中组合液晶偏振调制器偏振计、多光谱照明源(尤其是氙气灯)和三CCD或三CMOS相机允许获得尤其适合阴道镜检查的特别紧凑和高效的成像系统。
有可能生成相对于彼此在空间上完美校准的多模式图像的事实促进深度学习,例如,借助于卷积神经网络7,如图3中所示,这个网络接收用于所选择的波长范围的常规彩色图像、单色强度图像和偏振测定图像作为输入并输出一个或多个简化的图像用于辅助诊断,例如,以增强对比度的形式。
尤其是在学习期间(可以是监督式学习),有可能向人工智能系统提供非偏振测定RGB彩色图像,以及表示例如与去偏振、线性相位滞后和线性相位滞后的方位角等相关的图像的偏振测定图像,其中人工智能系统产生一个或多个包含辅助诊断的信息的图像。
计算部件6可以被配置为提供以下可视化中的全部或一些:
-各种偏振测定和非偏振测定图像的并行多模式可视化(图4A),例如在同一屏幕上显示由相机获得的具有RGB彩色图像(左侧)、线性相位滞后图像(中间)和慢轴的方位角的图像(右侧);
-多光谱并行可视化(图4B),例如,左侧的参考RGB彩色图像和右侧的感兴趣的每个光谱带中的三个三图像的系列,第一行表示线性相位滞后,第二行表示线性相位滞后的慢轴的方位角,并且第三行表示去偏振;
-交互式可视化(图4C),其中显示了整体彩色图像RGB,但显示区域受限,在这种情况下是圆形,例如,以用户可以在图像上移动的指针为中心,揭示了与偏振测定参数相关的信息,在这种情况下是为线性相位滞后,部分地与显示的RGB图像叠加;
-可视化(图4D),在左侧列显示RGB彩色图像(顶部)、彩色偏振测定图像(中间)和位于底部的线性相位滞后的慢轴的方位角的图像,以及合并在一起的左侧列的三个图像的放大图像(右侧)。
还有可能显示:
-穆勒矩阵的彩色图像;
-去偏振的彩色图像;
-线性相位滞后的彩色图像;
-线性相位滞后的方位角的彩色图像等。
这种成像系统有利地应用于阴道镜检查,如下文将描述的,但也可以应用于其他类型的成像系统,例如,内窥镜检查,以及用于神经外科手术的显微镜检查和外窥镜检查。
穆勒偏振测定法的综述
一般而言,入射光的偏振状态Sin与激发样本的光Sout之间存在以下关系:
Sout=M*Sin
其中M是穆勒矩阵。
为了获得4×4穆勒矩阵M,需要测量强度系数。这些强度系数可以通过使用偏振状态生成器(PSG)获得,该生成器产生由四个Stokes向量表征的四个独立的偏振状态。
每个表示调制矩阵W的一列:
在与被观察区域交互之后,由偏振状态生成器产生的每个偏振状态由偏振状态分析仪(PSA)的四种偏振配置进行分析。
这四种配置也由表示分析矩阵A的行的四个Stokes向量描述:
在这些步骤之后获得以下强度矩阵B:
B=AMW其中:
M=A-1BW-1
B与一系列n个测量对应,在这种情况下,在4×4穆勒矩阵的情况下是16个测量。
根据这个模型,测得的强度矩阵B可以写成偏振分担额和非去偏振分担额之和。
B=Bnd+Bd=A(qMnd+pMd)W
M=qMnd+pMd=A-1(Bnd+Bd)W-1
可以使用各种已知方法来处理穆勒矩阵,以便计算偏振测定特性,即,去偏振、线性相位滞后等。在根据本发明的偏振测定成像系统的情况下,可以针对多传感器相机的每个传感器针对图像的每个像素进行16次相继测量,与强度矩阵B的各个系数对应。
优选地,穆勒矩阵是常规的4×4矩阵,即,完整的穆勒矩阵,但使用不完整的3×3、3×4版本或另一个版本并不脱离本发明的范围。本发明也可以用于简化的偏振测定成像技术,诸如Stokes偏振测定成像等。
增加图像的频率
根据本发明的其中一个方面,本发明允许增加结果的流,所述结果基于n个实际测量的连续系列μ每单位时间针对与物理对象O相关的物理量(或物理量的集合)X获得(称为原始系列),这些测量在每个给定的时间间隔内按预定义次序依次进行,同时生成原始系列的附加系列(称为人工系列)。在穆勒偏振测定法的情况下,这些测量可以是矩阵B的16个强度测量,但本发明的这方面更为通用并且可以应用于与穆勒偏振测定成像不同的其他类型的成像。因此,X可以是由穆勒偏振测定测量系统获得的穆勒矩阵以外的其他矩阵,尤其是可以是非方阵实数矩阵、方阵实数矩阵、向量或者甚至实数,或者更一般地说,可以是其确定涉及进行几次相继测量的任何物理特性或物理特性的集合。否则,可以为点的阵列(成像)获得X。这个表可以是二维(2D)或三维(3D)的。这是针对2D或3D成像的情况。对于2D成像,每个测量点与一个像素对应。对于3D成像,每个测量点与一个体素对应。为了正确计算结果X=G(μ),系列μ的n个测量必须遵循预定义的次序:μ0,μ1,μ2,…μn-1。
任何其他次序,例如,诸如μ'=(μ2,μ3,…,μn-1,μ0),一般产生值X'=G(μ'),其中X'不是正确结果。
如果测量设备能够在1秒内执行l次(l∈N)由μ=(μ0,...,μn-1)提供的所有n个测量,那么它在1秒内总共提供s个离散测量的集合m=(m0,...,ms-1),其中s=ln。
这些测得的值例如是穆勒偏振测定法的情况下强度矩阵B的系数。
图5举例示出了三个测量的实际系列μ,每个系列包括四个测得的值(n=4)。μ0表示第一个值,μ1表示第二个值,μ2表示第三个值,并且μ3表示最后一个值,这个次序是预定义的。
首先,估计结果X(例如,穆勒矩阵)不随时间变化或几乎不随时间变化。因此,可以假设每个系列μ都有n个测量值,与按同一次序获得的下一个系列的对应值相似。
然后,有可能通过将不同系列的测量相关联来人工形成测量的新组合,用于获得人工测量的新系列,如图6中所示。
例如,在图6的示例中,对于系列第一个系列的值μ1、μ2、μ3与第二个系列的值μ0相关联。
这些组在所有n个测量上重复。
系列和与图5的系列μ相同。测量的次序维持不变。不必对这些系列的测量进行置换。
对于系列和不遵循测量的预定义的次序;然后应用置换函数P,这个置换函数在图7中图示,以便在每个系列中遵循测量的预定义的次序。
在对系列进行置换之后,为了维持预定义的次序,可以将函数G应用于所有新的置换后的系列以便计算X。
在n个测量的一般情况下,如果Tn是进行n次测量所需的时间,Tt是进行一次测量所需的时间,那么一秒钟内可以进行n个测量的1/Tn个系列;Tp是执行置一次换所需的时间,并且Tc是计算X=G(μ)所需的时间,于是优选地Tc<<Tt且Tp<<Tt。
如前面所指示,测量结果可以是由获取系统的相机的给定传感器记录的图像的每个像素的相继强度值,并且上述方法可以应用于这个图像的每个像素。
但是,这个图像可以随时间而改变,例如,由于目标的移动。
图8(左侧)再次考虑了先前关于n=4描述的简化情况。每个小方块表示由大方块表示的整个视场中的图像的一部分。图像的这个部分可以随时间在视场内移动。
然后值得应用空间重新校准函数R来重新校准在不同相继时间获取的图像,如(右侧)所示,以便在计算穆勒矩阵时使用的相继强度测量实际上与同一区域相关。
重新校准函数R可以在获取(例如,从图8中与m4对应的图像的一系列测量获取)新图像之后被立即应用。
重新校准允许与值m1、m2和m3对应的像素在空间上和与m4对应的像素重合,与值m2、m3和m4对应的像素在空间上和与m5对应的像素重合,与值m3、m4和m5对应的像素在空间上和与m6对应的像素重合,等等,如图8中所示。
图像重新校准函数可以涉及任何合适的图像重新校准算法;重新校准函数的示例在M.Irani和S.P.Peleg于1991年在CVGIP Graphical models and image processing,Elsevier发表的标题为“Improving Resolution by Image Registration”的文章中进行了描述。
重新校准函数可以寻求确定两个图像之间x中的重新校准值a和y中的重新校准值b,以最小化它们之间的损失函数。
损失函数的示例在M.B.A.Haghighat、A.Aghagolzadeth和H.Seyedarabi在Computers&ElectricalEngineering,第37卷,第5期,第744-756页,2011年9月,doi:10.1016/j.compeleceng.2011.07.012上发表的标题为“A non-reference image fusionmetric based on mutualinformation of image features”的文章中提供。
可以在重新校准函数R之后应用置换函数P,以便将测量按正确的次序放置,然后可以应用函数G来计算结果X。
当寻求每秒计算八次以上的结果X时,为了具有与基本实时成像对应的一定程度的流畅性,1/Tn>=8。
上面描述的过程也可以用在物体O可以变形的更普遍情况中。如果Td是变形的特征时间,那么优选地Td>>Tn。
如果Tx是由结果X所表现出的特性的改变的特征持续时间,那么优选地Tx>>Tn。
在穆勒偏振测定成像的情况下,测得的值是强度矩阵B的系数Bij(i,j=1,…,4)的值。
这个矩阵的十六个系数与对给定像素进行的测量对应,以便能够随后计算该像素的穆勒矩阵,并形成测量的系列μ,如图9中所示。
图10图示了置换函数P(μ)对系列的应用。
在这种情况下,函数G与允许从强度矩阵B获得穆勒矩阵M的计算对应。
M=G(μ)=X=A-1BW-1
在应用置换函数P之前应用重新校准函数R;可以通过将例如与16个连续图像的序列中的第一个图像对应的图像作为参考图像来应用重新校准函数R(在4×4穆勒矩阵的情况下)。
优选地,Tp+TR+Tc<Tt,以便具有实时成像,其中:
Tp是置换P所需的持续时间;
TR是应用重新校准函数R所需的持续时间;
Tc是计算M所需的持续时间;
Tt是单次测量的持续时间。
在与可见光谱的蓝色、绿色和红色部分对应的光谱范围中同时进行获取的一部分的情况下,使用上面提到的方法分别在可见光谱的蓝色、绿色和红色部分中获得的穆勒矩阵的非归一化和非偏振强度的系数可以组合在一起以实时产生目标的彩色图像。
穆勒矩阵后处理
穆勒矩阵的常规计算可以涉及例如分解,称为Lu-Chipman分解,如S.-Y.Lu和R.A.Chipman在Journal of the Optical Society of America A,第13卷,第5期,第1106页,1996年5月,doi:10.1364/JOSAA13001106上发表的标题为“Interpretation ofMueller matrices based on polar decomposition”的文章中所描述的。
但是,这种分解在计算时间方面要求相对较高,因为它涉及计算矩阵M的特征值。
此外,当观察子宫颈时,主要观察到双折射和去偏振效应。
在这种情况下,假设非去偏振效应与被观察区域的表面积相关联,而其部分的去偏振效应与被观察区域的体积相关,如图11中所示。
这个图示意性地图示了光在组织内的传播。
在这种情况下,Stokes向量Snd与源自组织的表层的非去偏振分量相关联,而Stokes向量Sd与源自组织的体积的光的去偏振分量相关联。
图11还示出了分别与非去偏振和去偏振光分量相关的两个穆勒矩阵Mnd和Md。
因子q和p旨在估计非去偏振光和去偏振光的比例,并且必须确定。
强度矩阵B可以用公式表示为非去偏振光和偏振光的分担额的总和。
于是:
B=Bnd+Bd=A(qMnd+PMd)W
和
M=qMnd+pMd=A-1(Bnd+Bd)W-1
非去偏振光Mnd的穆勒矩阵可以与线性滞后穆勒矩阵对应,诸如:
θ:快轴的方位角朝向,以度为单位
δ:相位滞后,以度为单位
去偏振光的穆勒矩阵Md可以等于:
于是
穆勒矩阵M可以相对于其非归一化和非偏振强度系数进行归一化并且可以写成:
其中
矩阵Mnormalised可以写成:
其中系数mij(i,j=1,2,3,4)是归一化的矩阵M相对于其非归一化和非偏振强度系数的系数。
可以使用以下公式计算去偏振:
由于不要求耗时的计算特征值和特征向量,因此这种分解方法提供了显著的时间节省。
而且,这种方法是基于矩阵的,这允许算法同时执行多个计算而不是串行执行,这节省了大量时间和存储器。
因此可以更快地获得各种偏振测定参数,这在实时偏振测定成像的情况下是非常有利的。
图12示出了一方面经由常规Lu-Chipman分解与另一方面经由上述加性分解获得的偏振测定图像的比较。
顶部三个图像是通过如上所述的加性分解获得的并且分别与线性相位滞后δ(左侧图像)、线性相位滞后的方位角θ(中间图像)和去偏振(右侧图像)的显示对应,而底部三个图像表示经由Lu-Chipman分解获得的相同参数。
在表示相同参数的图像之间可以看到显著的相似性,这表达了该方法的性能。
阴道镜系统
根据本发明的成像系统可以被设计为执行阴道镜检查,例如,使用如图13中所示的阴道镜系统10。
系统10包括阴道镜20,阴道镜20具有由铰接臂22支撑的头部21,铰接臂22本身由有轮子的底座31支撑。
垂直柱30也由有轮子的底座31支撑。
阴道镜20连接到照明系统,该照明系统包括容纳在壳体中的光源50,该壳体通过柔性光导51连接到头部21,在图13中不可见但在图14中可见,容纳光源50的壳体例如搁置在包括计算机的工作站60上。
阴道镜系统10包括连接到计算机60的屏幕40,该屏幕有利地是触摸屏,优选地是防液体的。
这个屏幕由柱子30支撑,与键盘41一样,连接到计算机60。
控制器70连接到计算机60,尤其是用于控制由头部21支撑的偏振测定系统90的操作。这个控制器70还可以连接到获取系统110,尤其是连接到相机5。
优选地,如图32和图33中更具体地看到的,阴道镜系统10包括至少一个反射器81,该反射器81容纳在由柱子30支撑的支撑件中并用于校准偏振测定系统。反射器被遮光罩80覆盖,该遮光罩80优选地由柱子30支撑,尤其是位于柱子的顶部。
这个反射器81例如绕垂直旋转轴铰接,并且包括例如一面上的磨砂金属壁82(例如,由铝制成)和相对侧上具有已知光谱特性的参考表面83(例如,具有高朗伯反射率的中性色表面的基板,称为“spectralon”)。
反射器81的旋转安装允许在不移动阴道镜的头部21的情况下容易地用另一个面替换其中一个面,这促进了校准操作。在这个校准期间,通过操纵支撑头部的铰接臂,头部21被放置在距离反射器81例如大约30cm处。
阴道镜系统10有利地包括踏板100,如图13中所示,该踏板100允许用户触发预定义动作,例如,开始偏振测定获取。
阴道镜头部21还可以包括按钮101,如图16中所示,用于触发另一个预定义动作,例如,开始和停止视频录制。
图19中所示的偏振测定系统90包括偏振状态生成器PSG和偏振状态分析仪PSA,其几乎所有光学元件都在图20中示出。
偏振状态生成器PSG包括一连串四个光学元件,它们放置在通过阴道镜的头部21的窗口210出射的光的路径上,即,在从外部朝着出口窗口210延伸的方向上,第一510nm半波液晶偏振调制器HFLC 191、633nm四分之一波片QWP 192、第二510nm四分之一波液晶偏振调制器QFLC 193以及固定的线性偏振器194。
偏振状态分析仪PSA包括一连串三个光学元件,它们放置在到达分别与左和右目镜相关联的入口端口211a和211b之一(在这种情况下,与从业者的右目镜相关联的入口端口211b)的光的路径上。
从外部开始并朝着阴道镜的头部依次为:第一510nm半波液晶偏振调制器HFLC221、633nm四分之一波片QWP 222和第二510nm四分之一波液晶偏振调制器QFLC 223。
分析仪还包括类似于PSG的偏振器194的线性偏振器滤波器224,部署在获取系统110内的相机5的下游,如图36中所示。
在图示的示例中,PSG的每个光学组件191、192或193都呈圆形形状并被保持在两个彼此附接的支撑件零件之间,其中一个支撑件零件具有用于接纳元件的壳体233并且另一个支撑件零件用于将元件保持在其壳体中。
所有这些支撑件零件都具有向上开口的C形部分并且使每个光学元件的上边缘保持清晰。
偏振器194具有方形或矩形轮廓,并且容纳在设有向上开口的滑动件的支撑件265中。
光学元件191放置在第一支撑件零件261与第二支撑件零件262之间,该第二支撑件零件具有接纳元件191的壳体233,其中支撑件零件261形成保持盖。
支撑件零件262用作第三支撑件零件263的盖子,该第三支撑件零件263具有接纳光学元件192的壳体233,如图21中所示。
这个第三支撑件零件263用作第四支撑件零件264的盖子,该第四支撑件零件264具有接纳光学元件193的壳体233。
各个支撑件零件可以重叠并通过螺钉242通过阴道镜的头部21前方的PSA的底座与支撑件265附接在一起,如图19中所示。
PSA的光学元件221、222和223也呈圆形形状并且并由彼此重叠的支撑件零件251、252、253和254支撑。
每个支撑件零件251至254都具有底座255,底座255上设有供用于附接到头部21的正面的螺钉242穿过的孔,以及大致C形的上部256,上部256基本上以45°向下定向,上部256通过立柱257连接到底座255,如图22中所示。
支撑件零件252至254各自具有容纳相应光学元件的壳体258。
图22示出了光学元件221被保持在支撑件零件251与252之间,支撑件零件251充当盖子,并且光学元件222被保持在充当盖子的支撑件零件252与253之间,并且元件223被保持在充当盖子的支撑件零件253和254之间。
支撑件零件252的上部部分支撑两个分支270,用于附接滤波器保持器310,如图34中所示。在所考虑的示例中,这个滤波器保持器310支撑三个滤波器311、312和313,它们分别是其快轴相对于线性偏振器P0以30°定向的相位滞后器L30、其透射轴相对于偏振器P0以90°定向的线性偏振器P90以及其透射轴相对于参考轴以0°定向的偏振器P0。
滤波器保持器310还包括放置在校准完成之后的PSA前方以便允许获取图像的清晰区域。
在所考虑的示例中,滤波器保持器310可以在大致水平的方向上横向移动。
电子电路320允许计算机60知道滤波器保持器的位置,并因此知道处于活动状态的滤波器(如果适用)。
在校准期间,滤波器保持器310可以利用电动控制或者可以手动移动,以便将各个滤波器311至313依次放置在PSA前方。
校准可以根据称为特征值校准方法(ECM)的方法执行。
图25尤其示出了壳体233侧向开口,以允许接纳在其中的光学元件的控制线穿过通道233a。
壳体233在通道233a的对面还具有间隙233b,用于在其与光学元件的连接处附近接纳控制线。控制线在与光学元件的外形相符的半圆形通道233c中遵循光学元件的轮廓。
图23示出了PSA的具有较大直径的光学元件221和223在两个入口端口211a和211b处几乎完全重叠,而具有比元件221和223更小的直径的光学元件222完全重叠端口221b,但部分重叠端口211a。
但是,给定聚焦距离,这绝不会影响观察到的图像的质量,因为聚焦发生在比光学元件与端口221a的距离大得多的距离处。
图27是发光源50的部分和示意性横截面。
这个发光源包括氙气灯52和滤波器53和54的集合,即,仅允许400和750nm之间的光透射且透射率大约为95%的第一带通滤波器(Edmund光学器件#84-728)以及仅允许波长大于400nm的光透射且透射率大约为93%的第二高通滤波器(Edmund光学器件#84-754)。这些滤波器的选择允许实现相对高的透射率,在400-750nm范围内近似为大约90%。
光导51的一端51a借助于端件56保持在灯52的轴线上。
如图29中所示,光导51的另一端51b位于阴道镜的非球面透镜180的轴线上,从而在距阴道镜头部大约30cm处提供液体引导件的图像。
透镜180放置在棱镜181的前方,棱镜181将光朝着阴道镜的出口窗口返回。
如果适用,那么光导51可以借助于支撑件191和192的集合被保持,支撑件191和192相对于阴道镜的头部的主体的位置可以分别沿着X和Y进行调整,以便允许在透镜180轴线上精确调整端部51b的位置。
值得使用其芯具有3mm直径的液体引导件51,因为这意味着,如图31中所示,与芯具有5mm直径的常规引导件相比,有可能受益于被阴道镜照亮的区域的中心处更强的照明。特别地,与利用5mm直径的液体引导件获得的相比,具有3mm直径的液体引导件允许在具有近似与宫颈的直径对应的3cm直径的表面上获得更高的照明。
如图36至图38中明显可以看到的,获取系统110附接在阴道镜的头部21上并通过集成在头部21中的一个或多个偏转棱镜接收到达其中一个目镜(与PSA放置在其前方的目镜相同)的光。
在所考虑的示例中,相机5配备有物镜透镜415以及支撑三个滤波器421、422和423的滤波器轮411。
例如,它是适用于相机5的三频带滤波器,以650nm为中心并且例如具有40nm光谱宽度的带通滤波器,以及以700nm为中心并且具有50nm光谱宽度的带通滤波器。
滤波器轮411被设置为由马达410旋转。接触器角度标记系统可以允许系统知道轮子的角度位置,并因此知道滤波器在到达相机5的光的路径上确切定位的角度位置。
如图39中所示,相机5可以包括三个二向色棱镜,用于朝着各个传感器分离波长。例如,相机包括二向色棱镜605、604和606,其中蓝色检测传感器603附接到棱镜605,红色检测传感器601附接到棱镜604,棱镜604本身附接到棱镜605,并且绿色检测传感器602附接到棱镜606,棱镜606本身附接到棱镜604。
为了使用系统10,用户可以按照已知的方式,使用反射器81的两个面和滤波器保持器310的各种滤波器进行偏振测定校准。
然后,可以定位头部21,以便在使用窥器扩张阴道后对子宫颈进行成像。
在任何时候,从业者都可以通过按下按钮300发起视频的录制和/或可以通过按下踏板100触发偏振测定获取。按下踏板通过停止视频录制来触发偏振测定获取,一旦偏振测定获取完成,视频录制就自动恢复。再次按下按钮停止视频录制。
当然,本发明不限于上面描述的示例。
阴道镜的光学系统尤其可以进行修改,例如,通过移除目镜,然后只能在屏幕上执行观察。
Claims (53)
1.一种实时成像方法,包括以下步骤:
-按照给定的时间间隔获取n个测量的原始实际系列μ,μ=(μ0,...,μn-1),这n个测量按预定义次序在系列中彼此相继,通过处理这些测量,n个测量的每个系列允许以给定频率f生成至少一个原始结果X=G(μ);
-从一组测量生成人工系列,所述一组测量源自具有给定秩的实际系列μ,并且源自至少一个具有不同秩,尤其是下一个秩,的实际系列,并且源自每个人工系列内的测量的置换P,以便观察每个系列内n个测量的预定义次序;
-从原始结果并从根据介于实际系列之间的人工系列生成的结果以大于f的频率生成结果流。
2.如权利要求1所述的方法,应用于偏振测定成像。
3.如权利要求2所述的方法,应用于阴道镜检查、显微镜检查、脑外窥镜检查、内窥镜检查,优选地应用于偏振测定阴道镜检查,并且更优选地应用于多光谱偏振测定阴道镜检查。
4.如前述权利要求中的任一项所述的方法,结果X是穆勒矩阵(M)或从这个矩阵计算出的物理特性,所述系列测量是偏振测定测量。
5.如权利要求4所述的方法,所述系列测量与强度矩阵B的系数的获取对应,优选地是强度矩阵B的至少9个系数,尤其是12个系数,更优选地是16个系数。
6.如权利要求5所述的方法,穆勒矩阵为4×4矩阵,其中B=AMW,
其中
以及
测量是使用产生由四个Stokes向量描述的四个独立状态的偏振状态生成器(PSG)和生成由四个Stokes向量描述的分析状态的偏振状态分析仪(PSA)获得的。
7.如权利要求6所述的方法,其中穆勒矩阵M的加性分解以M=qMnd+pMd的形式执行,其中Mnd是非去偏振分量并且Md是去偏振分量,参数q和p是穆勒矩阵的两个分量的权重,Mnd尤其是由下式提供的线性相位滞后器的穆勒矩阵:
并且Md尤其是由下式提供的纯去偏振器的穆勒矩阵:
其中θ是快轴的方位角朝向,以度为单位,并且δ是相位滞后,以度为单位(范围从0°到180°);
其中系数mij(i,j=1,2,3,4)是归一化的穆勒矩阵的系数,是M的非归一化和非偏振强度系数,其他系数mij(i,j=1,2,3,4)相对于被归一化。
8.如权利要求7所述的方法,去偏振使用以下公式提供:
9.如权利要求7和8中的任一项所述的方法,穆勒矩阵和所述参数针对单个波长或者同时针对几个波长范围、尤其是至少两个波长范围、特别是在可见和红外光谱范围内的波长范围获得。
10.如权利要求7至9中的任一项所述的方法,应用于从在分别与可见光谱的蓝色、绿色和红色部分对应的光谱范围内同时获得的三个穆勒矩阵的非归一化和非偏振强度的系数的组合来实时重构彩色图像。
11.如前述权利要求中的任一项所述的方法,其中,在执行置换P之前,对与测量对应的图像执行空间重新校准,以便考虑相机的视场中被观察区域的可能位移。
12.一种多光谱偏振测定成像系统(10),尤其是用于阴道镜检查,包括:
-照明系统,包括至少一个发光源(50),这个照明系统在至少两个,尤其是至少三个,光谱带中发射;
-偏振状态生成器(PSG),部署在发光源的下游并且在待成像目标(T)的上游;
-偏振状态分析仪(PSA),部署在待成像目标的下游;
-多传感器相机(5),包括至少两个,更优选地至少三个,传感器(601,602,603),用于分别记录所述光谱带中的至少两个,更优选地至少三个,图像。
13.如权利要求12所述的系统,涉及三个光谱带,并且优选地,第一光谱带的范围是445nm至475nm,第二光谱带的范围是510nm至550nm,并且第三光谱带的范围是600nm至660nm,这些光谱带优选地分别以460nm、530nm和630nm为中心。
14.如权利要求12或13中的任一项所述的系统,相机(5)是多CCD相机或多CMOS相机,尤其是双CCD相机、双CMOS相机、三CCD相机、三CMOS相机、4CMOS相机、4CCD相机,更优选地是三CCD相机或三CMOS相机,优选地是三CMOS相机。
15.如权利要求11所述的系统,涉及三个光谱带并且分别位于红色/近红外、绿色和蓝色频带中。
16.如权利要求12至15中的任一项所述的系统,相机包括至少两个,更优选地至少三个,二向色棱镜,用于朝着各个传感器分离波长。
17.如权利要求12至16中的任一项所述的系统,偏振状态生成器(PSG)包括电可控液晶偏振调制器。
18.如权利要求12至17中的任一项所述的系统,偏振状态分析仪(PSA)包括电可控液晶偏振调制器。
19.如权利要求12和18中的任一项所述的系统,液晶偏振调制器是铁电或向列液晶偏振调制器,优选地是铁电液晶偏振调制器。
20.如权利要求12至19中的任一项所述的系统,发光源是白色发光源,更优选地是氙气灯。
21.如权利要求12至20中的任一项所述的系统,包括发光源下游的三频带二向色滤波器。
22.如权利要求12至21中的任一项所述的系统,包括部署在相机前方的包含三个滤波器(421,422,423)的滤波器轮。
23.如权利要求22所述的系统,滤波器轮支撑多频带滤波器,尤其是三频带滤波器,优选地用于允许由相机(5)以大约460nm、530nm和630nm为中心的光谱带中的波长获取,以及一个或多个单色二向色滤波器,优选地用于允许分别以650nm和700nm获取图像。
24.如权利要求12至23中的任一项所述的系统,包括用于在所述光谱带中的每个光谱带中生成目标的至少一个穆勒偏振测定图像的处理器。
25.如权利要求24所述的系统,处理器被设计为将包含至少一项偏振测定信息的图像至少部分地叠加在与由相机进行的非偏振测定观察对应的图像上。
26.如权利要求24或25中的任一项所述的系统,被设计为建立与获取强度矩阵B的至少9个系数、尤其是12个系数、更优选地是16个系数对应的n个测量的实际系列,所述处理器被设计用为:
-从一组测量生成人工测量的系列,所述一组测量源自具有给定秩的测量的实际系列μ,并且源自至少一个具有不同秩,尤其是下一个秩,的实际系列,并且源自每个人工系列内的测量的置换P,以便观察每个系列内n个测量的预定义次序;
-从由测量的实际系列产生的偏振测定图像和由介于实际系列之间的人工系列生成的偏振测定图像以大于将允许所述测量的实际系列但不允许人工测量的系列的频率的频率生成偏振测定图像的流。
27.如权利要求26所述的系统,处理器被设计为在执行置换P之前对与测量对应的图像执行空间重新校准,以便考虑相机的视场内被观察区域的任何可能位移。
28.如权利要求24至27中的任一项所述的系统,处理器被设计为对穆勒矩阵M执行形式为M=qMnd+pMd的加性分解,其中Mnd是非去偏振分量并且Md是去偏振分量,参数q和p是穆勒矩阵的两个分量的权重,Mnd尤其是由下式提供的线性相位滞后器的穆勒矩阵:
并且Md是由下式提供的纯去偏振器的穆勒矩阵:
其中θ是快轴(或慢轴)的方位角朝向,以度为单位,并且δ是相位滞后,以度为单位(范围从0°到180°);
其中
其中系数mij(i,j=1,2,3,4)是归一化的穆勒矩阵的系数,是M的非归一化和非偏振强度系数,其他系数mij(i,j=1,2,3,4)相对于被归一化。
29.如权利要求28所述的系统,处理器被设计为通过实现以下操作来计算去偏振:
30.如权利要求12至29中的任一项所述的系统,被设计为生成所述光谱带中的至少一个光谱带中的至少一个非偏振测定图像以及至少一个偏振测定图像的并行显示。
31.如权利要求12至30中的任一项所述的系统,是阴道镜系统,所述系统包括:
-有轮子的底座(31);
-由有轮子的底座支撑的柱子(30);
-由连接到底座的铰接臂支撑的阴道镜头部(21);
-由柱子(30)支撑的至少一个参考反射器(81),用于校准偏振测定系统,并且优选地还包括:
-由有轮子的底座支撑的包括计算机(60)的工作站;
-由连接到柱子的铰接臂支撑的键盘(41);
-屏幕(40),由连接到柱子的铰接臂支撑在高于支撑键盘的所述臂的高度的高度处。
32.如权利要求31所述的系统,其中参考反射器(81)部署在柱子顶部的遮光罩(80)中,绕垂直轴铰接,其一面上包括磨砂金属壁,优选地由铝制成,并且在相对侧包括具有已知光谱特性的参考表面。
33.如权利要求31和32中的任一项所述的系统,包括踏板(100),所述踏板(100)允许用户触发预定义动作,尤其是开始偏振测定获取,阴道镜的头部(21)包括按钮(101),用于触发另一个预定义动作,尤其是用于开始和停止视频录制。
34.如权利要求12至33中的任一项所述的系统,是阴道镜系统,这个系统包括照明系统,所述照明系统包括:
○至少一个发光源(50);
○液体光导(51),其一端连接到发光源,该光导具有5mm或更小的芯直径;
所述系统包括阴道镜头部(21),包括具有连接到液体光导的另一端的光入口端口和用于照亮待观察区域的光出口端口的光学系统。
35.如权利要求34所述的系统,光学系统在光入口端口与光出口端口之间包括非球面透镜(180)和偏转棱镜(181)。
36.如权利要求34或35所述的系统,液体光导(51)的内径范围在2.5和3.5mm之间。
37.一种用于训练人工智能系统(7)的方法,优选地包括至少一个卷积神经网络,其中人工智能系统接收由如权利要求12至36中的任一项所述的偏振测定成像系统生成的非偏振测定图像和偏振测定图像作为输入。
38.一种具有两个入口端口的观察系统,尤其是双目系统,特别是用于阴道镜检查,包括头部(21),所述头部包括光学系统,所述光学系统具有用于照亮待检查区域的光出口端口以及指向待观察区域的左和右入口端口(221a,221b),所述观察系统还包括偏振测定系统(90),所述偏振测定系统(90)包括部署在出口端口前方的偏振状态生成器(PSG)以及偏振状态分析仪(PSA),所述分析仪的光学元件中的至少一些光学元件部署在入口端口之一(211b)的前方,该分析仪包括由至少一个支撑件保持的至少一个光学元件(222),所述支撑件仅应用于光学元件的轮廓的一部分,从而为元件提供自由边缘,这个自由边缘与另一个入口端口(211a)部分重叠。
39.如权利要求38所述的系统,支撑件与光学元件接触地在180°和300°之间的角度范围内延伸,优选地呈现大致C形,所述形状在向下倾斜的方向上基本以45°开口。
40.如权利要求38或39所述的系统,包括至少一个其他支撑件,用于保持放置在光出口端口前方的偏振状态生成器的至少一个光学元件。
41.如权利要求38所述的系统,所述另一个支撑件呈大致向上开口的C形。
42.如权利要求36至39中的任一项所述的系统,每个支撑件包括一连串将偏振状态生成器或分析仪的光学元件保持在一起的零件,其中至少两个用于保持两个连续的光学元件的支撑件共享中间支撑件零件。
43.如权利要求40所述的系统,包括至少两个彼此抵靠组装的连续支撑件零件,这些零件中的每个零件在其一面上具有用于接纳相应光学元件的壳体并且零件之一被用于保留另一个零件的光学元件。
44.如权利要求38至43中的任一项所述的系统,偏振状态生成器和分析仪各自包括相对于光传播方向以相反的次序放置的相似的光学元件,所述生成器优选地在光传播方向上包括线性偏振滤波器P、四分之一波液晶偏振调制器QFLC、半波片QWP和半波液晶偏振调制器HFLC,所述分析仪优选地在光传播方向上包括半波液晶偏振调制器HFLC、半波片QWP和四分之一波液晶偏振调制器QFLC,与分析仪相关联的偏振器(224)优选地在将光从入口端口返回到相关联的目镜之后部署在用于聚集强度图像以生成穆勒矩阵的相机(5)的上游。
45.如权利要求38至44中的任一项所述的系统,接纳电可控光学元件的壳体(233)包括至少一个用于电缆的通道(233a,233b,233c)。
46.如权利要求38至45中的任一项所述的系统,是阴道镜检查系统,所述系统包括:
-有轮子的底座(31);
-由有轮子的底座支撑的柱子(30);
-由连接到底座的铰接臂支撑的头部(21);
-由柱子(30)支撑的至少一个参考反射器(81),用于校准偏振测定系统,并且优选地还包括:
-由有轮子的底座支撑的包括计算机(60)的工作站;
-由连接到柱子的铰接臂支撑的键盘(41);
-屏幕(40),所述屏幕(40)由连接到柱子的铰接臂支撑在高于支撑键盘的所述臂的高度的高度处。
47.如权利要求46所述的系统,参考反射器(81)部署在柱子顶部的遮光罩(80)中,绕垂直轴线铰接,其一面上包括磨砂金属壁,优选地由铝制成,并且在相对侧包括具有已知光谱特性的参考表面。
48.如权利要求46和47中的任一项所述的系统,包括踏板(100),所述踏板(100)允许用户触发预定义动作,尤其是开始偏振测定获取,头部(21)包括按钮(101),用于触发另一个预定义动作,尤其是用于开始和停止视频录制。
49.如权利要求38至48中的任一项所述的系统,是阴道镜系统,这个系统包括照明系统,所述照明系统包括:
○至少一个发光源(50);
○液体光导(51),其一端连接到发光源,该光导具有5mm或更小的芯直径;
光学系统具有连接到液体光导的另一端的光入口端口。
50.如权利要求49所述的系统,光学系统在光入口端口与光出口端口之间包括非球面透镜(180)和偏转棱镜(181)。
51.如权利要求49或50所述的系统,液体光导(51)的内径范围在2.5和3.5mm之间。
52.一种偏振测定系统(90),旨在附接到观察系统的头部,尤其是阴道镜头部,所述头部包括光学系统,所述光学系统具有用于照亮待检查区域的光出口端口以及朝向待观察区域的左和右入口端口,所述偏振测定系统包括放置在出口端口前方的偏振状态生成器以及偏振状态分析仪,所述偏振状态分析仪的光学元件中的至少一些光学元件放置在入口端口之一前方,该分析仪包括由至少一个支撑件支撑的至少一个光学元件,所述支撑件仅应用于光学元件(222)的轮廓的一部分,从而为这个光学元件提供自由边缘,该自由边缘被部署为与另一个入口端口部分重叠,所述偏振测定系统包括用于附接到观察系统的头部(21)的部件(242)。
53.一种偏振测定系统(90),旨在附接到观察系统的头部,尤其是阴道镜头部,所述头部包括光学系统,所述光学系统具有用于照亮待检查区域的光出口端口以及至少一个入口端口,所述偏振测定系统包括放置在出口端口前方的偏振状态生成器(PSG)以及偏振状态分析仪(PSA),所述偏振状态分析仪的光学元件中的至少一些光学元件放置在入口端口前方,其中分析仪和生成器中的至少一个包括由至少一个支撑件保持的光学元件(222),
每个支撑件包括一连串将偏振状态生成器或分析仪的光学元件保持在一起的零件,其中至少两个支撑件用于保持两个共享中间支撑件零件的连续光学元件,这些零件中的每个零件在其一面上具有用于接纳相应光学元件的壳体并且零件之一被用于保留另一个零件的光学元件。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2213891A FR3143739B1 (fr) | 2022-12-20 | 2022-12-20 | Système d’observation à deux ports d’entrée équipé d’un système polarimétrique |
| FR2213889A FR3143740B1 (fr) | 2022-12-20 | 2022-12-20 | Imagerie multispectrale polarimétrique |
| FRFR2213890 | 2022-12-20 | ||
| FR2213890A FR3143316B1 (fr) | 2022-12-20 | 2022-12-20 | Procédé d’imagerie en temps réel |
| FRFR2213889 | 2022-12-20 | ||
| FRFR2213891 | 2022-12-20 | ||
| PCT/EP2023/087152 WO2024133601A1 (fr) | 2022-12-20 | 2023-12-20 | Procédé d'imagerie en temps réel |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120603530A true CN120603530A (zh) | 2025-09-05 |
Family
ID=89507616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380092175.7A Pending CN120603530A (zh) | 2022-12-20 | 2023-12-20 | 实时成像方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4637505A1 (zh) |
| CN (1) | CN120603530A (zh) |
| WO (1) | WO2024133601A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE385736T1 (de) | 2005-07-01 | 2008-03-15 | Ecole Polytech | Polarimetrisch elektronisches abbildungssystem für eine kolposkopische vorrichtung |
| US20090076368A1 (en) * | 2007-04-11 | 2009-03-19 | Forth Photonics Ltd. | Integrated imaging workstation and a method for improving, objectifying and documenting in vivo examinations of the uterus |
| US20100268069A1 (en) * | 2009-04-16 | 2010-10-21 | Rongguang Liang | Dental surface imaging using polarized fringe projection |
| FR3018914B1 (fr) * | 2014-03-18 | 2016-05-06 | Centre Nat Rech Scient | Dispositif et methode de caracterisation polarimetrique deportee |
| US10791983B2 (en) * | 2017-03-24 | 2020-10-06 | The Florida International University Board Of Trustees | Optical imaging for preterm birth assessment |
| EP3766403B1 (en) * | 2019-07-16 | 2022-02-16 | Ecole Polytechnique | Method and apparatus for quantifying the progression of a pregnancy |
| CN111568378B (zh) * | 2020-05-13 | 2025-03-21 | 郑州光超医疗科技有限公司 | 一种用于妇科检查的光学相干层析成像设备 |
-
2023
- 2023-12-20 CN CN202380092175.7A patent/CN120603530A/zh active Pending
- 2023-12-20 EP EP23836838.5A patent/EP4637505A1/fr active Pending
- 2023-12-20 WO PCT/EP2023/087152 patent/WO2024133601A1/fr not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP4637505A1 (fr) | 2025-10-29 |
| WO2024133601A1 (fr) | 2024-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10786314B2 (en) | Surgical imaging apparatus and methods | |
| US9654745B2 (en) | Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization | |
| US12332117B2 (en) | Method and system for joint demosaicking and spectral signature estimation | |
| EP3116376B1 (en) | Methods and systems for intraoperatively confirming location of tissue structures | |
| US20050234302A1 (en) | Apparatus and methods relating to color imaging endoscope systems | |
| CN120615175A (zh) | 用于显微外科手术的可视化布置 | |
| US12396619B2 (en) | System for polarimetric characterization of a target | |
| CN120603530A (zh) | 实时成像方法 | |
| Bartczak et al. | Spectral video in image-guided microsurgical applications: Integrating imaging technology into the clinical environment and ergonomic considerations | |
| FR3143739A1 (fr) | Système d’observation à deux ports d’entrée équipé d’un système polarimétrique | |
| FR3143316A1 (fr) | Procédé d’imagerie en temps réel | |
| FR3143740A1 (fr) | Imagerie multispectrale polarimétrique | |
| Clancy et al. | A triple endoscope system for alignment of multispectral images of moving tissue | |
| HK1219405B (zh) | 手术成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |