CN119487432A - 用于手术显微镜的控制器及方法 - Google Patents
用于手术显微镜的控制器及方法 Download PDFInfo
- Publication number
- CN119487432A CN119487432A CN202380051295.2A CN202380051295A CN119487432A CN 119487432 A CN119487432 A CN 119487432A CN 202380051295 A CN202380051295 A CN 202380051295A CN 119487432 A CN119487432 A CN 119487432A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- controller
- wavelength band
- surgical microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6421—Measuring at two or more wavelengths
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种用于手术显微镜(100)的控制器(118)控制手术显微镜(100)的激发单元(106)发射激发光,用于激发位于患者的目标区域(102)中的荧光团。控制器(118)控制手术显微镜(100)的光学检测单元(108)接收来自目标区域(102)的光,并将接收到的光分离成至少两个光谱通道。第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应。控制器(118)基于接收到的光生成目标区域(102)的至少一个包括像素的图像,并基于第一光谱通道确定每个像素的第一强度,并基于第二光谱通道确定每个像素的第二强度。控制器(118)还基于第一强度和第二强度确定至少一个第一图像区域(122),并基于第一强度和第二强度确定至少一个第二图像区域(124)。第一图像区域(122)与目标区域(102)中表现出由激发的荧光团造成的荧光的区域对应。第二图像区域(124)与目标区域(102)中表现出由除激发的荧光团以外的荧光源造成的荧光的区域对应。
Description
技术领域
本发明涉及一种用于手术显微镜的控制器以及手术显微镜。本发明还涉及一种用于用手术显微镜获得图像的方法。
背景技术
在显微手术(即,借助手术显微镜进行的手术)中,荧光成像变得越来越重要。将荧光团引入患者体内以标记特定物质和结构,诸如血管或癌细胞。荧光团被用于突出显示肉眼看不到或几乎看不到的物质和结构。例如,吲哚菁绿(ICG)与血液中的血浆蛋白结合并且可以被用于突出显示血管(血管造影术)。其他荧光团,例如氨基乙酰丙酸(5-ALA),与癌细胞结合,并且因此可以被用于突出显示癌组织的位置。
通常,荧光成像是在单个窄光谱带中执行的,例如,当使用ICG作为荧光团时在近红外区域中进行,并产生单色图像。在单色图像中,不可能仅基于荧光强度区分诊断荧光信号(即,来自所使用的荧光团的荧光信号)与不想要的荧光信号(即,来自任何其他源的信号)。
在显微手术的上下文中还存在利用更宽光谱带进行荧光成像的其他应用,诸如5-ALA荧光成像。在这些应用中,产生彩色图像,并且外科医生理论上可以通过颜色区分诊断荧光信号与不想要的荧光信号。例如,在5-ALA荧光成像的情况下,诊断荧光信号是粉红色,而例如骨荧光是白色。其他物体可以具有几乎任何颜色,并且可以特别表现出诊断荧光信号的颜色。因此,区分诊断荧光信号与不想要的荧光信号并不容易,尤其是当诊断荧光信号与不想要的荧光信号的感知到的颜色相似时。在一些情况下,根本不可能区分诊断荧光与不想要的荧光,例如,软组织自发荧光看起来与5-ALA荧光颜色相似,尤其是在弱荧光强度下。即使在有可能使用颜色信息区分诊断荧光与不想要的荧光的情况下,这项任务也给外科医生带来附加的负担。
将荧光图像与手术室的反射或白光图像合并在一起的增强现实(AR)平台通常以单一颜色显示荧光图像。因此,利用这些平台不可能区分诊断荧光信号与不想要的荧光信号。
发明内容
因此目的是提供一种用于手术显微镜的控制器和一种用于用手术显微镜获得图像的方法,该方法允许外科医生容易地区分诊断荧光信号与不想要的荧光信号。
上面提到的目的是通过独立权利要求的主题实现的。有利的实施例在从属权利要求和以下描述中定义。
所提出的用于手术显微镜的控制器被配置为控制手术显微镜的激发单元发射激发光,用于激发位于患者的目标区域中的荧光团。控制器被配置为控制手术显微镜的光学检测单元接收来自目标区域的光,并将接收到的光分离成至少两个光谱通道。第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应。控制器被配置为基于接收到的光生成目标区域的至少一个包括像素的图像,并基于第一光谱通道确定每个像素的第一强度并基于第二光谱通道确定每个像素的第二强度。控制器还被配置为基于第一和第二强度确定至少一个第一图像区域,并基于第一和第二强度确定至少一个第二图像区域。第一图像区域与目标区域中表现出由激发的荧光团引起的荧光的区域对应。第二图像区域与目标区域中表现出由除激发的荧光团以外的荧光源造成的荧光的区域对应。
第一和第二区域可以重叠。第一和第二区域的重叠与目标区域中表现出由激发的荧光团和除激发的荧光团以外的至少一个荧光源造成的荧光的区域对应。第一和第二区域可以小到目标区域的图像的单个像素。特别地,控制器可以被配置为针对每个像素确定像素是否与目标区域中表现出由激发的荧光团造成的荧光的区域对应,和/或像素是否与目标区域中表现出由除激发的荧光团以外的荧光源造成的荧光的区域对应。
接收到的光被分离成至少两个不同的光谱通道。与使用单个窄光谱带相比,这提供了关于接收到的光的附加光谱信息。不同的荧光源具有不同的荧光光谱。例如,荧光素在560nm处具有发射最大值,5-ALA在630nm处具有针对5-ALA的发射最大值,而ICG在830nm处具有发射最大值。但是,所有荧光团都发射除其发射最大值以外的其他波长的光。通过将不同光谱通道中的强度与特定荧光团的已知光谱进行比较,可以确定该特定荧光团的存在。同样,其他荧光源,例如组织或骨骼的自发荧光,具有其自己独特的光谱分布(profile),并且因此可以通过将不同光谱通道中的强度与已知光谱分布进行比较来确定。因此,附加的光谱信息被用于区分诊断荧光信号与不想要的荧光信号。诊断荧光信号是由激发的荧光团造成的荧光,例如,由ICG的存在指示的血管的位置或由5-ALA的存在指示的癌组织的存在。不想要的荧光信号是由激发的荧光团以外的荧光源造成的荧光,例如,骨骼或组织的自发荧光。通过区分诊断荧光信号与不想要的荧光信号,减轻了外科医生的附加心理负担,从而允许他们更高效地执行他们的任务。
在优选实施例中,控制器被配置为实时地确定第一和第二图像区域。本文档的上下文中的实时特别意味着不进行后处理。这允许将关于第一和第二区域的信息(即,血管或癌组织的位置)传递给外科医生而没有任何明显的延迟。例如,第一和第二区域可以作为AR环境中的覆盖图(overlay)呈现给外科医生,从而扩大外科医生的视野,从而在显微手术期间协助外科医生。
在另一个优选实施例中,控制器被配置为通过光谱解混来确定第一和第二图像区域。光谱解混是指允许基于在不同光谱通道中检测到的强度分离不同荧光源的所有方法。光谱解混可以快速可靠地执行,从而允许快速确定第一和第二图像区域。用于光谱解混的方法包括但不限于线性解混、主成分分析、学习光谱的无监督式手段、支持向量机、神经网络、(光谱)相量方法和Monte Carlo解混算法。
在另一个优选实施例中,控制器被配置为控制手术显微镜的照明单元发射照明光以照亮目标区域,并基于接收到的光生成至少一个反射图像。也称为白光图像的反射图像示出目标区域,如同人眼肉眼所见。反射图像可以被用于生成包括反射图像和第一和/或第二图像区域的合成图像。这样的合成图像可以帮助外科医生确定第一和/或第二图像区域在目标区域中的位置。
在另一个优选实施例中,控制器被配置为控制光学检测单元将接收到的光分离成至少三个光谱通道。第三光谱通道与第三波长带对应。第三波长带与第一和第二波长带互补。控制器还被配置为基于至少第三光谱通道生成反射图像。这允许第一和第二波长带与反射图像分开被处理。例如,第一和第二光谱通道可以在显示给外科医生之前被增强或降低强度。在这个实施例中,第三波长带与第一和第二波长带互补,即,第三波长带与第一和第二波长带不重叠。特别地,第三波长带可以涵盖除第一和第二波长带之外的所有光学波长。在这样的实施例中,反射图像不会显示第一和第二波长带。
在另一个优选实施例中,控制器被配置为基于反射图像确定第一和第二图像区域。在这个实施例中,使用反射图像形式的附加信息来确定第一和第二图像区域。例如,控制器可以被配置为使用图像检测在目标区域的反射光图像中检测非生物物体,例如手套或手术器械,并确定由手套发射的任何荧光不能是诊断荧光信号。使用反射图像形式的附加信息增强了控制器可以确定第一和第二图像区域的可靠性。
在另一个优选实施例中,控制器被配置为使用机器学习确定第一和第二图像区域。在这个实施例中,控制器使用机器学习来区分诊断荧光信号与不想要的荧光信号。特别地,使用诸如目标区域的反射图像之类的附加信息来使用机器学习确定第一和第二图像区域。例如,控制器可以被配置为执行由机器学习促进的图像检测,以便检测非生物物体。换句话说,控制器可以被配置为使用机器学习对目标区域的图像进行语义分割。例如,某些区域可以被确定为非生物物体,例如手套或手术器械。然后可以使用图像分割的结果来排除目标区域的图像的某些区域作为诊断荧光信号的发射器,例如上面提到的非生物物体。因此,使用机器学习可以极大地帮助确定诊断荧光信号,从而改进控制器的可靠性。
机器学习技术包括但不限于支持向量机和神经网络。大多数机器学习技术要求使用适当的训练数据集的监督式或者无监督式训练。训练数据集的选择取决于所使用的机器学习技术的具体任务。在上述检测目标区域的图像中的非生物物体的示例中,适当的训练数据集将由患者体内各种异物的图像(特别是借助于手术显微镜捕获的图像)组成。
在另一个优选实施例中,控制器被配置为从第一图像区域和目标区域的图像生成合成图像,并控制手术显微镜的输出单元显示目标区域的图像和/或合成图像。合成图像帮助外科医生确定第一和/或第二图像区域在目标区域中的位置,从而减轻显微手术期间的心理负担,并允许外科医生更高效地执行其任务。在合成图像中,第一和第二区域优选地被突出显示,使得容易识别它们。
在另一个优选实施例中,控制器被配置为从第一图像区域、第二图像区域和目标区域的图像生成合成图像。第一图像区域具有第一颜色,并且第二图像区域具有第二颜色。第二颜色与第一颜色不同。以不同颜色显示不同区域有助于外科医生区分诊断荧光信号与不想要的荧光信号。显示第二图像区域,即,发射控制器确定为不想要的荧光信号的区域,进一步允许外科医生核实控制器做出的确定,从而向外科医生给出所有信息以在显微手术期间做出明智的决定。
在另一个优选实施例中,控制器被配置为从第一图像区域、第二图像区域和目标区域的图像生成合成图像。第一图像区域或第二图像区域是目标区域的图像之上的闪烁覆盖图。将第二区域显示为闪烁覆盖图有助于外科医生区分诊断荧光信号与不想要的荧光信号。特别地,这允许外科医生在显微手术期间核实控制器做出的确定。
在另一个优选实施例中,第一和第二波长带不重叠。在这个实施例中,第一和第二波长带相互补充,从而允许第一和第二图像区域的更可靠确定。
本发明还涉及一种手术显微镜,该手术显微镜包括如上所述的控制器、被配置为发射激发光用于激发位于患者的目标区域中的荧光团的激发单元、以及被配置为接收来自目标区域的光并将接收到的光分离成至少两个光谱通道的光学检测单元。第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应。
手术显微镜包括上述的控制器,因此具有与控制器相同的优点。
在优选实施例中,手术显微镜还包括被配置为发射照明光用于照亮目标区域的照明单元。照明单元尤其可以用于生成反射图像。
在另一个优选实施例中,手术显微镜包括输出单元。特别地,输出单元是屏幕、目镜、增强现实套件和虚拟现实套件中的一种。输出单元可以被配置为显示目标区域的图像和/或合成图像。
在另一个优选实施例中,光学检测单元包括至少一个显微镜物镜,至少一个显微镜物镜指向目标区域,并被配置为接收来自目标区域的光。显微镜物镜可以提供放大,从而允许外科医生看到目标区域中比肉眼可见的更小的细节。换句话说,放大允许外科医生执行显微手术,例如,直径为1mm或更小的小血管或神经的手术。
在另一个优选实施例中,光学检测单元包括至少两个检测器元件和分束部件,该分束部件被配置为将具有第一波长带中的波长的接收到的光指引到第一检测器元件上,并将具有第二波长带中的波长的接收到的光指引到第二检测器元件上。在这个实施例中,分束元件以及第一和第二检测器元件被用作用于生成第一和第二光谱通道的部件。与用于生成第一和第二光谱通道的其他部件相比,使用分束元件以及第一和第二检测器元件易于实现、成本有效并且可靠。
在另一个优选实施例中,光学检测单元被配置为将接收到的光分离成至少三个光谱通道。第三光谱通道与第三波长带对应。特别地,第三波长带与第一和第二波长带互补。借助于分束器可以容易地实现将接收到的光分离成三个互补波长带的光学布置。这种光学布置的优点是接收到的光分布在检测器元件之间,因此接收到的光几乎不会或不会丢失,例如多光谱相机的情况就是如此。
在另一个优选实施例中,光学检测单元包括被配置为生成第一和第二光谱通道的多光谱相机或高光谱相机。多光谱相机被配置为捕获有限数量的波长带,通常小于10或大约为10。这些波长带中的每一个都可以是手术显微镜的光谱通道。高光谱相机被配置为每像素捕获数十或数百个波长带。换句话说,高光谱图像具有非常高的光谱分辨率。更多的光谱通道允许基于荧光源的发射光谱更精细地区分目标区域的图像中的荧光源,从而提高手术显微镜的灵敏度和可靠性。
本发明还涉及一种用于用手术显微镜获得图像的方法,包括以下步骤:激发患者的目标区域中的荧光团。接收来自目标区域的光。将接收到的光分离成至少两个光谱通道,第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应。基于接收到的光生成目标区域的至少一个图像,该图像包括像素。基于第一光谱通道确定每个像素的第一强度,并基于第二光谱通道确定每个像素的第二强度。基于第一和第二强度确定至少一个第一图像区域,第一图像区域与目标区域中表现出由激发的荧光团造成的荧光的区域对应。基于第一和第二强度确定至少一个第二图像区域,第二图像区域与目标区域中表现出由除激发的荧光团以外的荧光源造成的荧光的区域对应。
该方法具有与上述控制器相同的优点,并且可以使用针对控制器的从属权利要求的特征进行补充。
附图说明
下面参考附图对具体实施例进行描述,其中:
图1是根据实施例的手术显微镜的示意图;
图2是用于用手术显微镜获得目标区域的图像的方法的流程图;
图3示出了三个示意图,每个示意图示出了检测光的不同分量的光谱;以及
图4是说明现有技术的检测光的不同分量的光谱的示意图。
具体实施方式
图1是根据实施例的手术显微镜100的示意图。
手术显微镜100适于为外科医生提供患者体内目标区域102的放大的图像,例如,在显微手术期间。特别地,手术显微镜100适于获得目标区域102的荧光图像。该图像是由位于目标区域102中的荧光团发射的荧光生成的图像。
手术显微镜100的照明单元104被指向目标区域102并被配置为使用白光照亮目标区域102。手术显微镜100的激发单元106被配置为朝着目标区域102发射激发光用于激发的荧光团。激发单元106可以特别地包括相干光源,例如,白光激光器、连续波激光器或具有单一发射波长的脉冲激光器。
手术显微镜100的光学检测单元108具有至少一个显微镜物镜110,该显微镜物镜110被指向目标区域102并被配置为接收来自目标区域102的检测光112。检测光112包括多个分量。检测光112的分量当中有由激发的荧光团发射的荧光、由除激发的荧光团以外的源发射的荧光以及由白光照明造成的反射光。由激发的荧光团发射的荧光是想要的荧光信号或诊断荧光信号,而由其他源发射的荧光是不想要的荧光信号。
光学检测单元108示例性地被配置为生成三个光谱通道,即,分别检测第一、第二和第三波长带中的检测光112。下面将参考图3更详细地描述这三个波长带。为了生成这三个光谱通道,光学检测单元108示例性地包括分束元件114a、114b(例如,二向色元件或声光可调滤波器(AOTF))和检测器元件116a、116b、116c的布置。可选地,这三个光谱通道可以通过其他手段生成,例如,多光谱或高光谱相机。
第一分束元件114a布置在显微镜物镜110之后的检测光112的光束路径中。第一分束元件114a被配置为将第一波长带的检测光112指引到第一检测器元件116a上。剩余的检测光112被指引到第二分束元件114b处。第二分束元件114b被配置为将第二波长带的检测光112指引到第二检测器元件116b上。然后剩余的检测光112被指引到第三检测器元件116c处。
手术显微镜100还包括控制器118。控制器118连接到照明单元104、激发单元106、光学检测单元108和输出单元120。控制器118被配置为控制手术显微镜100的所述元件。特别地,控制器118被配置为执行下面参考图2描述的用于获得目标区域102的图像的方法。
由控制器118生成的目标区域102的一个或多个图像通过手术显微镜100的输出单元120显示给外科医生。在这个实施例中,输出单元120示例性地示出为监视器。在图1中,输出单元120示例性地示出目标区域102的合成图像,其包括目标区域102的反射图像或白光图像、第一图像区域122和第二图像区域124。第一图像区域122与诊断荧光信号对应,在这个示例中为由5-ALA标记的肿瘤。第二区域与不想要的荧光信号对应,在这个示例中为骨骼自发荧光。在图1中,第一图像区域122和第二图像区域124通过不同的阴影线来区分。在实际实施例中,第一图像区域122和第二图像区域124可以通过不同的颜色来区分。可选地,第一图像区域122或第二图像区域124可以被显示为反射图像之上的闪烁覆盖图。
图2是用于用上述手术显微镜100获得目标区域102的图像的方法的流程图。
该过程从步骤S200开始。在步骤S202中,控制器118控制激发单元106朝着目标区域102发射激发光,以便激发位于目标区域102中的荧光团。在步骤204中,控制器118控制光学检测单元108接收来自目标区域102的光。接收到的光被拆分成至少两个光谱通道,在本实施例中为三个光谱通道。在本实施例中,第一光谱通道由第一检测器元件生成并且与第一波长带对应,第二光谱通道由第二检测器元件生成并且与第二波长带对应,并且第三光谱通道由第三检测器元件生成并且与第三波长带对应。
在步骤S206中,控制器118基于接收到的光(即,检测光)生成目标区域102的至少一个图像,该图像包括像素。在步骤S208中,控制器118基于第一光谱通道确定每个像素的第一强度,并基于第二光谱通道确定每个像素的第二强度。在本实施例中,控制器118生成与第一检测器元件接收到的检测光112对应的第一图像,以及与第二检测器元件接收到的检测光112对应的第二图像。第一和第二图像分别是与在第一和第二波长带中接收到的检测光112的强度对应的单色图像。即,第一和第二图像的每个像素分别存储关于在第一和第二波长带中接收到的光的强度的信息。另外,在这个实施例中,控制器118基于在第三波长带中接收到的光生成目标区域102的第三图像。第三图像特别地可以是目标区域102的彩色图像。即,第三图像是反射图像。可选地,控制器118可以生成目标区域102的单个图像。在这个替代实施例中,单个图像的每个像素包括关于在三个检测通道中接收到的光的强度的信息。
在步骤S210中,控制器118基于第一和第二强度确定第一图像区域122,并且在步骤S212中,控制器118基于第一和第二强度确定第二图像区域124。下面参考图3更详细地描述第一图像区域122和第二图像区域124的确定。
在步骤S214中,控制器118基于第一图像区域122和第二图像区域124生成目标区域102的图像,并控制输出单元120将目标区域102的图像输出给外科医生。如果输出单元120是监视器、数字目镜等,那么控制器118可以生成包括目标区域102的反射图像以及第一图像区域122和第二图像区域124的合成图像。如果输出单元120是AR套件等,那么控制器118可以生成包括第一图像区域122和第二图像区域124的合成图像,该合成图像可以作为AR覆盖图显示给外科医生。在步骤S216中,过程结束。
图3示出了三个示意图300、302、304,每个示意图示出了检测光112的不同分量的光谱。
每个图300、302、304的横坐标表示波长。每个图300、302、304的纵坐标表示强度。第一和第二波长带在图300、302、304中用虚线矩形306a、306b指示。
第一个图300示出了由荧光团发射的荧光的光谱308,即,诊断荧光信号的光谱。诊断荧光信号在第一波长带中具有其最大值310。第二波长带中的诊断荧光信号的强度大约为其最大值的五分之一。
第二个图302示出了由第一组织发射的自发荧光的光谱312,即,第一不想要的荧光信号的光谱。第一不想要的荧光信号在第一波长带中具有其最大值314。第二波长带中的第一不想要的荧光信号的强度几乎为零。
第三个图304示出了由第二组织发射的自发荧光的光谱316,即,第二不想要的荧光信号的光谱。第二不想要的荧光信号的最大值318位于第一波长带与第二波长带之间。第二不想要的荧光信号在第一波长带和第二波长带中的强度大致相等。
如从三个图300、302、304可以看出的,荧光的每个源都有其特征光谱308、312、316,这些特征光谱可以通过在第一和第二波长带(即,第一和第二检测通道)中检测到的强度来确定。因此,有可能基于第一和第二检测通道为每个像素确定接收到的荧光的源。
图4是检测光112的不同分量的光谱的示意图。
图4图示了现有技术,其中仅使用单个窄波长带来捕获诊断荧光信号。图400的横坐标表示波长。图400的纵坐标表示强度。单个窄波长带在图400中由虚线矩形402指示。
在图4中,诊断荧光信号的光谱308被示出为实线。两个不想要的荧光信号的光谱312、316被示出为虚线。如可以看出的,荧光的三个源通过它们在单个窄波长带中的强度来区分。但是,由于不可能容易地将这三个信号归一化,因此不可能仅通过它们在单个窄波长带中的强度来区分信号。
在所有图中,完全相同或类似作用的元件都用相同的参考符号表示。如本文所使用的,术语“和/或”包括相关联列出的项中的一个或多个的任何和所有组合,并且可以缩写为“/”。实施例的各个特征以及实施例的各个特征彼此之间的所有组合以及与前面的描述和/或权利要求的各个特征或特征组的组合都被视为公开。
虽然一些方面是在装置的上下文中描述的,但显然这些方面也表示对应方法的描述,其中方框或设备与方法步骤或方法步骤的特征对应。类似地,在方法步骤的上下文中描述的方面也表示对应设备的对应方框或项或特征的描述。
参考符号列表
100 手术显微镜
102 目标区域
104 照明单元
106 激发单元
108 光学检测单元
110 物镜
112 检测光
114a、114b 分束元件
116a、116b、116c 检测元件
118 控制器
120 输出单元
122、124 图像区域
300、302、304 图
306a、306b 矩形
308 光谱
310 最大值
312 光谱
314 最大值
316 光谱
318 最大值
400 图
402 矩形
Claims (17)
1.一种用于手术显微镜(100)的控制器(118),被配置为
控制所述手术显微镜(100)的激发单元(106)发射激发光,用于激发位于患者的目标区域(102)中的荧光团;
控制所述手术显微镜(100)的光学检测单元(108)接收来自所述目标区域(102)的光,并将接收到的光分离成至少两个光谱通道,第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应;
基于所述接收到的光生成所述目标区域(102)的至少一个图像,所述图像包括像素;
基于所述第一光谱通道确定每个像素的第一强度并基于所述第二光谱通道确定每个像素的第二强度;
基于所述第一强度和所述第二强度确定至少一个第一图像区域(122),所述第一图像区域(122)与所述目标区域(102)中表现出由激发的荧光团造成的荧光的区域对应;以及
基于所述第一强度和所述第二强度确定至少一个第二图像区域(124),所述第二图像区域(124)与所述目标区域(102)中表现出由除所述激发的荧光团以外的荧光源造成的荧光的区域对应。
2.根据权利要求1所述的控制器(118),被配置为实时地确定所述第一图像区域(122)和所述第二图像区域(124)。
3.根据权利要求1或2所述的控制器(118),被配置为通过光谱解混来确定所述第一图像区域(122)和所述第二图像区域(124)。
4.根据前述权利要求中的任一项所述的控制器(118),被配置为控制所述手术显微镜(100)的照明单元(104)发射照明光以照亮所述目标区域(102),并基于所述接收到的光生成至少一个反射图像。
5.根据权利要求4所述的控制器(118),被配置为控制所述光学检测单元(108)将所述接收到的光分离成至少三个光谱通道;其中第三光谱通道与第三波长带对应;其中所述第三波长带与所述第一波长带和所述第二波长带互补;并且其中所述控制器(118)被配置为基于至少所述第三光谱通道生成所述反射图像。
6.根据权利要求4或5所述的控制器(118),被配置为基于所述反射图像确定所述第一图像区域(122)和所述第二图像区域(124)。
7.根据前述权利要求中的任一项所述的控制器(118),被配置为使用机器学习确定所述第一图像区域(122)和所述第二图像区域(124)。
8.根据前述权利要求中的任一项所述的控制器(118),被配置为从所述第一图像区域(122)和所述目标区域(102)的图像生成合成图像,并控制所述手术显微镜(100)的输出单元(120)显示所述目标区域(102)的所述图像和/或所述合成图像。
9.根据权利要求8所述的控制器(118),被配置为从所述第一图像区域(122)、所述第二图像区域(124)和所述目标区域(102)的所述图像生成所述合成图像;其中所述第一图像区域(122)具有第一颜色,并且所述第二图像区域(124)具有第二颜色,所述第二颜色与所述第一颜色不同。
10.根据权利要求8或9所述的控制器,被配置为从所述第一图像区域(122)、所述第二图像区域(124)和所述目标区域(102)的所述图像生成所述合成图像;其中所述第一图像区域(122)或所述第二图像区域(124)是所述目标区域(102)的所述图像上的闪烁覆盖图。
11.根据前述权利要求中的任一项所述的控制器,其中所述第一波长带和所述第二波长带不重叠。
12.一种手术显微镜(100),包括
根据前述权利要求中的任一项所述的控制器(118),
激发单元(106),被配置为发射激发光用于激发位于患者的目标区域(102)中的荧光团,以及
光学检测单元(108),被配置为接收来自所述目标区域(102)的光并将接收到的光分离成至少两个光谱通道,第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应。
13.根据权利要求12所述的手术显微镜(100),包括输出单元(120);其中所述输出单元(120)特别是屏幕、目镜、增强现实套件和虚拟现实套件中的一种。
14.根据权利要求12或13所述的手术显微镜(100),其中所述光学检测单元(108)包括至少一个显微镜物镜(110),所述至少一个显微镜物镜(110)指向所述目标区域(102),并被配置为接收来自所述目标区域(102)的所述光。
15.根据权利要求12至14中的任一项所述的手术显微镜(100),其中所述光学检测单元(108)包括至少两个检测器元件和分束部件,所述分束部件被配置为将具有所述第一波长带中的波长的接收到的光指引到第一检测器元件上,并将具有所述第二波长带中的波长的接收到的光指引到第二检测器元件上。
16.根据权利要求12至15中的任一项所述的手术显微镜(100),其中所述光学检测单元(108)包括被配置为生成所述第一光谱通道和所述第二光谱通道的多光谱相机或高光谱相机。
17.一种用于用手术显微镜(100)获得图像的方法,包括以下步骤:
a)激发患者的目标区域(102)中的荧光团;
b)接收来自所述目标区域(102)的光;
c)将接收到的光分离成至少两个光谱通道,第一光谱通道与第一波长带对应,并且第二光谱通道与第二波长带对应;
d)基于所述接收到的光生成所述目标区域(102)的至少一个图像,所述图像包括像素;
e)基于所述第一光谱通道确定每个像素的第一强度,并基于所述第二光谱通道确定每个像素的第二强度;
f)基于所述第一强度和所述第二强度确定至少一个第一图像区域(122),所述第一图像区域(122)与所述目标区域(102)中表现出由激发的荧光团造成的荧光的区域对应;以及
g)基于所述第一强度和所述第二强度确定至少一个第二图像区域(124),所述第二图像区域(124)与所述目标区域(102)中表现出由除所述激发的荧光团以外的荧光源造成的荧光的区域对应。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022116642 | 2022-07-04 | ||
| DE102022116642.2 | 2022-07-04 | ||
| PCT/IB2023/056886 WO2024009204A1 (en) | 2022-07-04 | 2023-07-03 | Controller for a surgical microscope and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN119487432A true CN119487432A (zh) | 2025-02-18 |
Family
ID=87426893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380051295.2A Pending CN119487432A (zh) | 2022-07-04 | 2023-07-03 | 用于手术显微镜的控制器及方法 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4551982A1 (zh) |
| JP (1) | JP2025521722A (zh) |
| CN (1) | CN119487432A (zh) |
| WO (1) | WO2024009204A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013109966A1 (en) * | 2012-01-20 | 2013-07-25 | The Trustees Of Dartmouth College | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance |
| JP6961603B2 (ja) * | 2016-02-12 | 2021-11-05 | マサチューセッツ インスティテュート オブ テクノロジー | 切断されていない組織検体を撮像するための方法及び装置 |
| JP2020020791A (ja) * | 2018-07-24 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、およびプログラム |
| WO2020167632A1 (en) * | 2019-02-13 | 2020-08-20 | Ventana Medical Systems, Inc. | Systems and methods for computing the contributions of autofluorescence in multichannel images |
-
2023
- 2023-07-03 WO PCT/IB2023/056886 patent/WO2024009204A1/en not_active Ceased
- 2023-07-03 JP JP2024576785A patent/JP2025521722A/ja active Pending
- 2023-07-03 EP EP23744568.9A patent/EP4551982A1/en active Pending
- 2023-07-03 CN CN202380051295.2A patent/CN119487432A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025521722A (ja) | 2025-07-10 |
| EP4551982A1 (en) | 2025-05-14 |
| WO2024009204A1 (en) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| JP6785941B2 (ja) | 内視鏡システム及びその作動方法 | |
| US20090202119A1 (en) | Method for analyzing and processing fluorescent images | |
| US9513219B2 (en) | Fluoroscopy apparatus and image display method therefor | |
| EP2543308B1 (en) | Fluoroscopy system | |
| US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| JP2023076644A (ja) | 内視鏡システム | |
| EP3110314B1 (en) | System and method for specular reflection detection and reduction | |
| US20140085686A1 (en) | Fluorescence observation device | |
| JP2018146578A (ja) | 蛍光を定量化する顕微鏡検査システムおよび顕微鏡検査方法 | |
| CN112991367B (zh) | 成像系统及生成可见光视频和彩色光视频的方法 | |
| JP7233744B2 (ja) | 蛍光観察カメラシステム | |
| US20210169306A1 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| JP7291314B2 (ja) | 医療用撮像デバイスおよび医療用撮像デバイスの作動方法 | |
| WO2016194699A1 (ja) | 観察補助装置、情報処理方法、およびプログラム | |
| CN119487432A (zh) | 用于手术显微镜的控制器及方法 | |
| US20140240673A1 (en) | Image processing apparatus, ophthalmologic imaging apparatus, ophthalmologic imaging system, ophthalmologic imaging method, and non-transitory tangible medium having program stored thereon | |
| EP4616782A1 (en) | Method and system for visualization of faint fluorescence in surgery, software program | |
| EP4616781A1 (en) | Method and system for visualization of faint fluorescence in surgery, software program | |
| CN115315210B (zh) | 图像处理装置、图像处理方法、导航方法以及内窥镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |