CN111107778A - 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 - Google Patents
医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 Download PDFInfo
- Publication number
- CN111107778A CN111107778A CN201880061401.4A CN201880061401A CN111107778A CN 111107778 A CN111107778 A CN 111107778A CN 201880061401 A CN201880061401 A CN 201880061401A CN 111107778 A CN111107778 A CN 111107778A
- Authority
- CN
- China
- Prior art keywords
- light
- specific
- region
- specific light
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种根据因基于用户的操作方式或诊断目的等而发生变化的观察状况,能够可靠地检测病变部等关注区域且容易掌握观察对象的医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置。摄像部拍摄由白色光照明中的观察对象而获取白色光图像,并且拍摄由特定光照明中的所述观察对象而获取特定光图像。光源控制部根据摄像部的移动速度、变焦信息或发光量中的至少一个,控制一个发光周期中的所述白色光的发光帧的数量及所述特定光的发光帧的数量。
Description
技术领域
本发明涉及一种使用用于观察观察对象的白色光及用于检测病变部等关注区域的特定光的医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置。
背景技术
在当前的医疗领域中,在观察对象的诊断中,使用医疗图像的医疗图像处理系统逐渐普及。在医疗图像处理系统中,在内窥镜系统中,通过对观察对象照射照明光并拍摄观察对象,获取医疗图像之一即内窥镜图像。所获取的内窥镜图像显示于显示器等显示部,并且用于观察对象的诊断。
并且,在近年的内窥镜系统中,通过将包含短波的窄频带光的具有特定的波长频带的特定光照明于观察对象而提高观察对象上的病变部的视觉辨认度,从而容易进行病变部的检测。但是,通过特定光获得的特定光图像以伪彩色等与观察对象的颜色不同的颜色显示,因此对用户而言,与通常观察中所使用的白色光图像相比,看不习惯的情况居多。因此,在专利文献1中,通过从特定光图像检测出病变区域并将检测到的病变区域以白色光图像强调显示,从而能够在看惯的白色光图像上观察病变区域。
现有技术文献
专利文献
专利文献1:日本特开2011-135983号公报
发明内容
发明要解决的技术课题
在内窥镜观察中,根据基于用户的操作方式或诊断目的等,对观察对象的观察状况发生变化。例如,在没有病变部的区域或容易确认病变的区域等中,内窥镜的移动速度变快,另一方面,在怀疑存在病变部的区域或难以确认病变的区域等中,内窥镜的移动速度变慢。并且,当检测到病变部时等,使用内窥镜的变焦而进行放大认为病变的区域。并且,如筛选时,当远离观察对象时,在光量较低的状态下进行观察,另一方面,当鉴别病变部时等离观察对象较近时,在光量较高的状态下进行观察。
在此,如专利文献1,当在白色光图像上观察从基于特定光的特定光图像检测到的病变区域时,如上所述,若内窥镜的移动速度、有无使用变焦、光量等的观察状况发生变化,则有时无法从特定光图像检测出病变部,并且有时变得在白色光图像上难以掌握观察对象。
例如,当切换白色光与特定光而照明于观察对象时,有时白色光的帧速率下降而成为如丢帧那样的观察图像。并且,当观察对象的拍摄中使用了CMOS图像传感器时,因滚动快门的影响而帧速率的下降变得显著。而且,当为了抑制观察图像的丢帧而降低了特定光的发光帧的比率时,能够检测病变部的定时减少,从而可能会看漏病变部。尤其,在内窥镜中,即便是相同的部位也因细微的摄影角度或距离的差异而其显示方式发生变化,因此因降低特定光的发光帧的比率而看漏病变部的可能性变高。
本发明的目的在于提供一种根据因基于用户的操作方式或诊断目的等而发生变化的观察状况,能够可靠地检测病变部等关注区域且容易掌握观察对象的医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置。
用于解决技术课题的手段
本发明的医疗图像处理系统具备光源部、摄像部、观察状况获取部及光源控制部。光源部发射白色光或具有与白色光不同的光谱的特定光。摄像部拍摄由白色光照明中的观察对象而获取白色光图像,并且拍摄由特定光照明中的观察对象而获取特定光图像。观察状况获取部获取摄像部的移动速度、与放大观察对象的变焦相关的变焦信息或者白色光或特定光的发光量中的至少一个。光源控制部根据摄像部的移动速度、变焦信息或者白色光或特定光的发光量中的至少一个,控制一个发光周期中的白色光的发光帧的数量及特定光的发光帧的数量。而且,优选具备:关注区域检测部,进行从特定光图像检测关注区域的关注区域检测处理;及显示部,显示对白色光图像反映了关注区域检测部中的检测结果的关注区域显示用图像。
光源控制部优选当使用变焦时,进行使特定光的发光帧的数量多于白色光的发光帧的数量的控制,当不使用所述变焦时,进行使所述白色光的发光帧的数量多于所述特定光的发光帧的数量的控制。光源控制部优选当摄像部的移动速度超过速度用阈值时,进行使白色光的发光帧的数量多于特定光的发光帧的数量的控制,当摄像部的移动速度成为速度用阈值以下时,进行使特定光的发光帧的数量多于白色光的发光帧的数量的控制。光源控制部优选当白色光或特定光的发光量超过发光量用阈值时,进行使白色光的发光帧的数量多于特定光的发光帧的数量的控制,当白色光或特定光的发光量成为发光量用阈值以下时,进行使特定光的发光帧的数量多于白色光的发光帧的数量的控制。
优选具有:特定光检测结果确定部,从多个特定光的发光帧获取多个特定光图像,当对各特定光图像进行了关注区域检测处理时,根据对各特定光图像的关注区域检测处理的检测结果,确定用于反映在白色光图像上的特定光检测结果。特定光检测结果确定部优选当从多个特定光图像对观察对象的相同区域获得了有关注区域检测的结果及无关注区域检测的结果时,根据基于有关注区域检测的结果的数量及无关注区域检测的结果的数量的多数决,作为特定光检测结果确定有关注区域检测的结果或无关注区域检测的结果中的任一个。
优选具有:鉴别部,进行鉴别关注区域中所包含的观察对象的鉴别处理,鉴别处理的结果显示于显示部。优选具有:鉴别结果确定部,从多个特定光的发光帧获取多个特定光图像,对各特定光图像进行关注区域检测处理,当对通过关注区域检测处理检测到的各关注区域进行鉴别处理时,根据对各关注区域的鉴别处理的结果,确定用于显示于显示部的特定光鉴别结果。
优选鉴别处理的结果以根据观察对象的状态而设定的阶段来表示,当对相同的关注区域获得了阶段不同的多个鉴别处理的结果时,鉴别结果确定部根据基于多个鉴别处理的结果的多数决,确定作为特定光鉴别结果的阶段。优选鉴别处理的结果以根据观察对象的状态而设定的阶段来表示,当对相同的关注区域获得了阶段不同的多个鉴别处理的结果时,鉴别结果确定部通过对多个鉴别处理的结果进行平均化,确定作为特定光鉴别结果的阶段。
光源部优选当进行鉴别处理时,代替特定光或包含特定光,发射鉴别用照明光。优选鉴别用照明光的峰值波长中包含410nm。优选特定光的峰值波长中包含450nm。
本发明的内窥镜系统具备光源部、内窥镜、观察状况获取部及光源控制部。光源部发射白色光或具有与白色光不同的光谱的特定光。内窥镜具有拍摄由白色光照明中的观察对象而获取白色光图像,并且拍摄由特定光照明中的观察对象而获取特定光图像的摄像部。观察状况获取部获取包含内窥镜的移动速度、与放大观察对象的变焦相关的变焦信息或者白色光或特定光的发光量中的至少一个的观察状况。光源控制部根据内窥镜的移动速度、变焦信息或者白色光或特定光的发光量中的至少一个,控制白色光的发光帧及特定光的发光帧的比率。而且,优选具备:关注区域检测部,进行从特定光图像检测关注区域的关注区域检测处理;及显示部,显示对白色光图像反映了关注区域检测部中的检测结果的关注区域显示用图像。
本发明的诊断支持装置具有上述记载的本发明的医疗图像处理系统。本发明的医疗服务支持装置具有上述记载的本发明的医疗图像处理系统。
发明效果
根据本发明,根据因基于用户的操作方式或诊断目的等而发生变化的观察状况,能够可靠地检测病变部等关注区域且容易掌握观察对象。
附图说明
图1是内窥镜系统的外观图。
图2是内窥镜系统的框图。
图3是表示第1发光图案的说明图。
图4是表示一个发光周期中的特定光的发光帧的数量多于白色光的发光帧的数量的第2发光图案的说明图。
图5是表示一个发光周期中的白色光的发光帧的数量与特定光的发光帧的数量相同的第2发光图案的说明图。
图6是表示发射白色光及鉴别用照明光的第2发光图案的说明图。
图7是表示图像处理部的功能的框图。
图8是表示关注区域ROI重叠显示的白色光图像的图像图。
图9是表示根据多数决而确定特定光检测结果的说明图。
图10是表示关注区域ROI重叠显示的白色光图像及鉴别结果的图像图。
图11是表示根据多数决而确定特定光鉴别结果的说明图。
图12是表示通过平均化而确定特定光鉴别结果的说明图。
图13是表示特殊模式下的一系列流程的流程图。
图14是表示具备多个LED的光源部的框图。
图15是表示使多个LED发光而获得的白色光的光谱的曲线图。
图16是表示使多个LED发光而获得的特定光的光谱的曲线图。
图17是表示具备激光光源的光源部及荧光体的框图。
图18是表示使用激光光源及荧光体而进行发光的白色光的光谱的曲线图。
图19是表示使用激光光源及荧光体而进行发光的特定光的光谱的曲线图。
图20是表示具备宽频带光源及旋转滤光器的光源部的框图。
图21是表示旋转滤光器的俯视图。
图22是表示诊断支持装置的框图。
图23是表示医疗服务支持装置的框图。
具体实施方式
[第1实施方式]
如图1所示,内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示器18及用户接口19。内窥镜12对观察对象即观察对象照射照明光,并拍摄由照明光照射的观察对象。光源装置14产生用于照射观察对象的照明光。处理器装置16进行内窥镜系统10的系统控制及图像处理等。显示器18为显示从处理器装置16输出的图像的显示部。用户接口19为进行向处理器装置16等的设定输入等的输入设备,且由键盘KB及鼠标MS等构成。
内窥镜12具有插入于受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e,弯曲部12c弯曲。通过弯曲部12c弯曲,前端部12d朝向所期望的方向。在前端部12d设置有朝向观察对象喷射空气或水等的喷射口(未图示)。
并且,在操作部12b除了弯角钮12e以外,还设置有变焦操作部13。通过操作变焦操作部13,能够放大或缩小地拍摄观察对象。并且,从插入部12a遍及前端部12d设置有用于插入贯通处置器具等的钳子通道(未图示)。处置器具从钳子入口12f插入于钳子通道内。
如图2所示,光源装置14具备光源部20及光源控制部22。光源部20发射用于照明观察对象的照明光。光源部20具备一个或多个光源,并且发射白色光或包含具有与白色光不同的光谱的特定光的多个照明光。具体而言,光源部20发射具有蓝色频带、绿色频带及红色频带的白色光或具有在峰值波长中包含450nm的特定频带的特定光。在光源部20设置有测量白色光的发光量或特定光的发光量的发光量测量部21。与这些白色光的发光量或特定光的发光量相关的信息传送至光源控制部22。另外,本发明的“观察状况获取部”与“发光量测量部21”对应。
光源控制部22控制光源部20的驱动。光源控制部22分别独立地控制构成光源部20的光源的点亮或熄灭的定时及点亮时的发光量等。其结果,光源部20能够发射发光量或发光定时不同的多种照明光。在光源装置14中,作为用于控制光源部20的发光的发光模式,具备发射白色光的通常模式及按照特定的发光图案自动切换白色光与特定光而进行发光的特殊模式。
当设定为特殊模式时,光源控制部22根据内窥镜12的移动速度、变焦信息或者白色光或特定光的发光量,设定特定的发光图案。例如,当内窥镜12的移动速度超过速度用阈值时,作为特定的发光图案,设定在一个发光周期中使白色光的发光帧的数量多于特定光的发光帧的数量的第1发光图案,并根据该第1发光图案,光源控制部22进行发光控制。在此,一个发光周期由特定数量的发光帧构成,且包含发射白色光的发光帧及发射特定光的发光帧。
如此,设为如下方式,即,当内窥镜12的移动速度超过速度用阈值时,在观察没有病变或容易确认病变的区域的状况下,认为检测病变部的必要性低,因此设定减少特定光的发光帧的数量的第1发光图案。另外,每一个发光周期的发光帧数(白色光的发光帧的数量和特定光的发光帧的数量的合计)可以是固定的,也可以根据特定的帧数变更条件而发生变化。例如,在每一个发光帧的发光帧数为9帧的情况下,当满足特定的帧数变更条件时,将每一个发光帧的发光帧数改变为5。
例如,如图3所示,作为第1发光图案,在一个发光周期中,当将白色光的发光帧的数量设为“9”,将特定光的发光帧的数量设为“1”时,白色光连续发光“9”帧量之后,特定光发光“1”帧量。另外,作为设定第1发光图案的情况,有“不使用变焦”的情况及白色光或特定光的发光量超过发光量用阈值的情况。在这种情况下,与内窥镜12的移动速度超过速度用阈值的情况相同地,设为如下方式,即,在观察没有病变或容易确认病变的区域的状况下,认为检测病变部的必要性低,因此设定第1发光图案。
并且,当内窥镜12的移动速度成为速度用阈值以下时,作为特定的发光图案,设定在一个发光周期中使特定光的发光帧的数量多于白色光的发光帧的数量或使其与白色光的发光帧的数量相同的第2发光图案,并根据该第2特定发光图案,光源控制部22进行发光控制。如此,设为如下方式,即,当内窥镜12的移动速度成为速度用阈值以下时,存在有病变的可能性或检测病变并进行详细检查的状况下,认为检测病变部的必要性高,因此设定增加特定光的发光帧的数量的第2发光图案。
例如,如图4所示,作为第2发光图案,在一个发光周期中,将白色光的发光帧的数量设为“1”,将特定光的发光帧的数量设为“3”时,白色光发光“1”帧量之后,特定光连续发光“3”帧量。另外,作为设定第2发光图案的情况,有“变焦使用中”的情况及白色光或特定光的发光量成为发光量用阈值以下的情况。在这种情况下,也与内窥镜12的移动速度成为速度用阈值以下的情况相同地,存在有病变的可能性或检测病变并进行详细检查的状况下,认为检测病变部的必要性高,因此设定第2发光图案。
另外,虽然白色光或特定光的发光量成为发光量用阈值以下但为“不使用变焦”的情况下,优选设定为使白色光的发光帧的数量与特定光的发光帧的数量相同的第2发光图案。例如,如图5所示,作为第2发光图案,在一个发光周期中,将白色光的发光帧的数量设为“1”,将特定光的发光帧的数量设为“1”时,白色光及特定光每隔1帧交替发光。另外,在第2发光图案中,优选“变焦使用中”下变焦倍率越高,越增加一个发光周期中的特定光的发光帧的数量。
并且,当白色光或特定光的发光量成为发光量用阈值以下且成为“变焦使用中”时,存在进行基于后述的鉴别部78的鉴别处理的可能性,因此除了使特定光的发光帧的数量多于白色光的发光帧的数量或使其与白色光的发光帧的数量相同以外,优选从在峰值波长中包含450nm的特定光切换为在峰值波长中包含410nm的鉴别用照明光。在图6中,在一个发光周期中,将白色光的发光帧的数量设为“1”,将鉴别用照明光的发光帧的数量设为“3”。在此,如进行筛选时,特定光适合于病变部的检测(病变部的拣出),另一方面,鉴别用照明光能够清楚地照明血管结构或腺管结构等的表面结构,因此适合于病变部的鉴别。因此,通过使用变焦,当放大病变部等而进行观察时,优选从特定光切换为鉴别用照明光而进行照明。另外,无需从特定光切换为鉴别用照明光,而除了特定光以外,还可以发射鉴别用照明光。
如图2所示,光源部20所发射的照明光入射于光导件41。光导件41内置于内窥镜12及通用塞绳(未图示)内,且将照明光传播至内窥镜12的前端部12d。通用塞绳为连接内窥镜12与光源装置14及处理器装置16的塞绳。另外,作为光导件41,能够使用多模光纤。作为一例,能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层的直径φ0.3~0.5mm的细径的光缆。
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜45,并且照明光经由该照明透镜45朝向观察对象射出。摄像光学系统30b具有物镜46、变焦透镜47及图像传感器48。图像传感器48经由物镜46及变焦透镜47并利用从观察对象返回的照明光的反射光等(除了反射光以外,还包含散射光、观察对象发射的荧光或由注射到观察对象等的药剂引起的荧光等)拍摄观察对象。
变焦透镜47通过操作变焦操作部13而移动,且放大或缩小使用图像传感器48而拍摄的观察对象。与通过变焦透镜47放大观察对象的变焦相关的变焦信息从变焦信息输出部49传送至光源装置14的光源控制部22。作为变焦信息,例如,当变焦透镜47位于广角端而不放大观察对象时,设为“不使用变焦”。另一方面,当变焦透镜47从广角端移动至长焦端侧而放大观察对象时,设为“变焦使用中”。并且,变焦信息中在“变焦使用中”下还包含与变焦透镜47的变焦倍率相关的信息。
图像传感器48例如为具有原色系滤色器的彩色传感器,且具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)及具有红色滤色器的R像素(红色像素)这三种像素。蓝色滤色器主要透射紫色至蓝色的光。绿色滤色器主要透射绿色的光。红色滤色器主要透射红色的光。如上所述,若使用原色系图像传感器48拍摄观察对象,则最多能够同时所获得从B像素获得的B图像(蓝色图像)、从G像素获得的G图像(绿色图像)及从R像素获得的R图像(红色图像)这三种图像。
另外,作为图像传感器48,能够利用CCD(Charge COupled Device/电荷耦合器件)传感器或CMOS(COmplementary Metal Oxide SemicOnductOr/互补金属氧化物半导体)传感器。并且,本实施方式的图像传感器48为原色系彩色传感器,但也能够使用补色系彩色传感器。补色系彩色传感器例如具有设置有蓝色滤色器的蓝色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色滤色器的绿色像素。当使用补色系彩色传感器时,若进行补色-原色颜色转换,则从上述各颜色的像素获得的图像能够转换为B图像、G图像及R图像。并且,代替彩色传感器,能够将不设置滤色器的单色传感器用作图像传感器48。在该情况下,通过使用BGR等各颜色的照明光依次拍摄观察对象,能够获得上述各颜色的图像。
处理器装置16具有中央控制部52、图像获取部54、图像处理部61及显示控制部66。中央控制部52进行照明光照射定时与摄像定时的同步控制等内窥镜系统10的集中控制。并且,当使用用户接口19等而进行各种设定的输入等时,中央控制部52将所输入的各种设定输入于光源控制部22、图像传感器48或图像处理部61等内窥镜系统10的各部。
图像获取部54从图像传感器48获取拍摄了观察对象的图像。通过该图像获取部54获取的图像为通过如内窥镜12那样的医疗用装置获得的图像,因此称为医疗图像。图像获取部54具有DSP(Digital Signal PrOcessOr/数字信号处理器)56、降噪部58及转换部59,并根据需要,使用它们对所获取的医疗图像实施各种处理。根据需要,DSP56对所获取的医疗图像实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种处理。
缺陷校正处理为对与图像传感器48的缺陷像素对应的像素的像素值进行校正的处理。偏移处理为从实施了缺陷校正处理的图像减少暗电流分量并设定准确的零电平的处理。增益校正处理为通过对进行了偏移处理的图像乘以增益而调整各图像的信号电平的处理。线性矩阵处理为提高进行了偏移处理的图像的颜色再现性的处理,伽马转换处理为调整线性矩阵处理后的图像的亮度或彩度的处理。
另外,当图像传感器48为彩色传感器时,进行去马赛克处理。去马赛克处理(也被称为各向同性处理或同步处理)为对缺失像素的像素值进行插值的处理,并且对伽马转换处理后的图像实施。缺失像素是指,因滤色器的排列引起(由于在图像传感器48中配置有其他颜色的像素)而没有像素值的像素。例如,B图像为在B像素中拍摄观察对象而获得的图像,因此在与G像素或R像素对应的位置的像素没有像素值。去马赛克处理对B图像进行插值而生成位于图像传感器48的G像素及R像素的位置的像素的像素值。YC转换处理为将去马赛克处理后的图像转换为亮度通道Y和色差通道Cb及色差通道Cr的处理。
降噪部58对亮度通道Y、色差通道Cb及色差通道Cr例如使用移动平均法或中值滤波法等实施降噪处理。转换部59将降噪处理后的亮度通道Y、色差通道Cb及色差通道Cr再次转换为BGR的各颜色的图像。
图像处理部61对图像获取部54获取的医疗图像实施各种图像处理。在图像处理部61中,在通常模式及特殊模式下实施的图像处理的种类不同。在通常模式下,通过对照明白色光时所获得的医疗图像实施与白色光对应的图像处理(白色光图像处理),生成白色光图像。并且,在特殊模式下,通过对照明白色光时所获得的医疗图像实施与白色光对应的图像处理(白色光图像处理),生成白色光图像。另一方面,从照明特定光时所获得的医疗图像即特定光图像检测关注区域,并对检测到的关注区域进行与病变相关的鉴别处理。关于关注区域的检测及鉴别处理的详细内容,将在后面叙述。而且,通过关注区域的检测结果及鉴别处理的结果反映于白色光图像,生成关注区域显示用图像。显示控制部66使用从图像处理部61传送的白色光图像或关注区域显示用图像,并转换为适合于显示器18中的显示的格式而输出至显示器18。由此,在显示器18中显示白色光图像或关注区域显示用图像。
如图7所示,图像处理部61具备白色光图像处理部70、移动速度计算部72、关注区域检测部74、特定光检测结果确定部76、鉴别部78及鉴别结果确定部80。白色光图像处理部70对在通常模式或特殊模式下照明白色光时所获得的医疗图像实施与白色光对应的图像处理即白色光图像处理。由此,获得白色光图像。另外,在白色光图像处理中,除了用于接近观察对象的颜色的颜色调整处理以外,还包含强调观察对象上的结构物的结构强调处理。
移动速度计算部72使用白色光图像或特定光图像中的任一个而计算内窥镜12的移动速度。计算出的内窥镜12的移动速度传送至光源装置14的光源控制部22。内窥镜12的移动速度是指,通过用户将内窥镜12的插入部12a向管腔内推入或拉入的其他内窥镜12的操作,内置有图像传感器48(与本发明的“摄像部”对应)的内窥镜12的前端部移动的速度。作为移动速度的计算方法,例如,由图像获取定时不同的多个白色光图像或特定光图像计算移动矢量,并根据移动矢量,计算内窥镜12的移动速度。移动矢量越大,内窥镜12的移动速度变得越快。另外,本发明的“观察状况获取部”与“移动速度计算部72”对应。
关注区域检测部74进行从特定光图像检测作为检查或诊断的对象而应关注的关注区域的关注区域检测处理。在关注区域检测处理中,由特定光图像计算特征量,并将计算出的特征量进入到特定范围内的区域作为关注区域来检测。关于检测到的关注区域,如图8所示,作为矩形上的区域ROI而显示于白色光图像上。另外,通过关注区域检测部74检测的关注区域并不限于观察对象的表面等二维区域。例如,也可以设为如下方式,即,除了观察对象的表面以外,还可以将观察对象的深度方向(渗透)的三维区域作为关注区域来检测。
在此,作为特征量,也可以是后述的与血管相关的血管指标值或与腺管结构相关的腺管指标值。并且,作为特征量,例如除了对特定光图像进行Convolutional NeuralNetwork(卷积神经网络)以外,还可以使用由特定光图像的颜色信息、像素值的梯度等获得的特征量。另外,像素值的梯度等例如通过被摄体的形状(粘膜的大部分起伏或局部凹陷或隆起等)、颜色(由炎症、出血、发红或萎缩引起的白化等的颜色)、组织的特征(血管的粗细、深度、密度或它们的组合等)或结构的特征(凹坑图案等)等来表现变化。
并且,通过关注区域检测部74检测的关注区域例如为以癌为代表的病变部、良性肿瘤部、炎症部(除了所谓的炎症以外,还包含存在出血或萎缩等变化的部分)、因加热而导致的烧灼痕迹或通过基于着色剂及荧光药剂等的着色进行打标的打标部或实施了活体检查(所谓的活检)的活检实施部的区域。即,包含病变的区域、存在病变的可能性的区域、活检等进行了某些处置的区域、夹子或镊子等处置器具或暗部区域(由于是褶皱(皱纹)的背面、管腔深部而观察光难以到达的区域)等与病变的可能性无关地需要详细观察的区域等能够成为关注区域。在内窥镜系统10中,关注区域检测部74将包含病变部、良性肿瘤部、炎症部、打标部或活检实施部中至少任一个的区域作为关注区域来检测。
在此,在一个发光周期中,当特定光的发光帧为“1”且获得了一个特定光图像时,将从一个特定光图像检测到的关注区域直接重叠显示于白色光图像。另一方面,在一个发光周期中,当特定光的发光帧为多个且获得了多个特定光图像时,优选对各特定光图像进行关注区域检测处理,并根据对这些各特定光图像的关注区域检测处理的结果,确定用于反映于白色光图像的特定光检测结果。如此,通过设为从多个关注区域的检测结果确定一个特定光检测结果,即使在如白色光或特定光的发光量低的情况下,也能够确保对噪声的耐用性。另外,用于确定特定光检测结果的检测结果处理在特定光检测结果确定部76中进行。通过该特定光检测结果确定部76确定的特定光检测结果反映于白色光图像。
当从一个发光周期中的多个特定光图像对相同的区域获得了有关注区域检测的结果及无关注区域检测的结果这两者时,特定光检测结果确定部76根据基于有关注区域检测的结果的数量及无关注区域检测的结果的数量的多数决,将有关注区域检测的结果或无关注区域检测的结果中的任一个作为特定光检测结果来确定。
例如,如图9所示,在一个发光周期中获得了五个特定光图像的情况下,当对相同的区域,具有有关注区域检测的结果的特定光图像为“3”,具有无关注区域检测的结果的特定光图像为“2”时,根据多数决,将有关注区域检测的结果作为特定光检测结果来确定。另外,当有关注区域检测的结果的数量与无关注区域检测的结果的数量相同时,优选将有关注区域检测的结果设为特定光检测结果。
鉴别部78由通过关注区域检测部74检测到的关注区域计算各种指标值,并根据计算出的各种指标值,进行鉴别关注区域中所包含的观察对象的鉴别处理。作为各种指标值,包含血管密度或血管走行图案等与血管相关的血管指标值或与腺管结构相关的腺管指标值等。作为鉴别处理的结果,例如可举出病变部的恶化程度(阶段)等。如图10所示,鉴别处理的结果与关注区域ROI建立对应关联并显示于显示器18(图10中为“阶段2”)。
在此,在一个发光周期中,当特定光的发光帧为“1”且对从一个特定光图像检测到的一个关注区域进行了鉴别处理时,在该鉴别处理的结果中进行显示。另一方面,在一个发光周期中,当特定光的发光帧为多个且从多个特定光图像分别检测到关注区域时,优选对各关注区域进行鉴别处理,并根据对这些各关注区域的鉴别处理的结果,确定用于显示于显示器18的特定光鉴别结果。通过设为从这种多个鉴别处理的结果确定一个特定光鉴别结果,即使在如白色光或特定光的发光量低的情况下,也能够确保对噪声的耐用性。另外,用于确定特定光鉴别结果的鉴别结果处理在鉴别结果确定部80中进行。通过该鉴别结果确定部80确定的特定光鉴别结果与重叠显示有关注区域ROI的白色光图像一同显示于显示器18。
当从一个发光周期中的多个特定光图像分别检测到关注区域且对各关注区域进行了鉴别处理时,鉴别结果确定部80也可以根据基于对各关注区域的鉴别处理的结果的多数决,确定为特定光鉴别结果。例如,如图11所示,当在一个发光周期中获得五个特定光图像且从各特定光图像分别检测到一个关注区域时、鉴别处理的结果为“阶段2”的关注区域为“3”而鉴别处理的结果为“阶段1”的关注区域为“2”时,将“阶段2”作为特定光鉴别结果来确定。另外,“阶段”根据病变部等观察对象的状态预先设定,通常,“阶段”的数字越大,病变的恶化程度越高。
并且,当从一个发光周期中的多个特定光图像分别检测到关注区域且对各关注区域进行了鉴别处理时,鉴别结果确定部80也可以将对各关注区域的鉴别处理的结果进行了平均化的结果确定为特定光鉴别结果。例如,如图12所示,当一个发光周期中获得五个特定光图像且从各特定光图像分别检测到一个关注区域时、鉴别处理的结果为“阶段3”的关注区域为“2”而鉴别处理的结果为“阶段2”的关注区域为“2”且鉴别处理的结果为“阶段1”的关注区域为“1”时,将对它们进行了平均化的结果“2.2(=(3×2+2×2+1)/5)”确定为特定光鉴别结果。另外,优选对平均化的结果进行四舍五入(例如,若为图12的情况,则通过四舍五入特定光鉴别结果成为“2”)。
接着,按照图13所示的流程图对特殊模式的流程进行说明。若切换为特殊模式,则在移动速度计算部72中,计算内窥镜12的移动速度。并且,变焦信息输出部49输出与放大观察对象的变焦相关的变焦信息。并且,发光量测量部21测量白色光的发光量或特定光的发光量。
而且,根据内窥镜12的移动速度、变焦信息或者白色光或特定光的发光量中的至少一个,确定在一个发光周期中使白色光的发光帧的数量多于特定光的发光帧的数量的第1发光图案或在一个发光周期中使特定光的发光帧的数量多于白色光的发光帧的数量的第2发光图案中的任一个。当内窥镜12的移动速度超过速度用阈值时,且为“不使用变焦”时,或白色光或特定光的发光量超过发光量用阈值时,设定为第1发光图案。然后,光源控制部22按照第1发光图案进行光源控制。
相反,当内窥镜12的移动速度成为速度用阈值以下时,且为“变焦使用中”时,或白色光或特定光的发光量为发光量用阈值以下时,设定为第2发光图案。然后,光源控制部22按照第2发光图案进行光源控制。
通过拍摄由白色光照明的观察对象,获取白色光图像。并且,通过拍摄由特定光照明的观察对象,获取特定光图像。关注区域检测部74从特定光图像检测关注区域ROI。检测到的关注区域重叠显示于白色光图像上。当在一个发光周期中发射1帧的特定光且获得了1帧量的特定光图像时,将从1帧的特定光图像检测到的关注区域重叠显示于白色光图像上。另一方面,当在一个发光周期中发射多帧的特定光且获得了多帧量的特定光图像时,对各特定光图像进行关注区域检测处理。然后,特定光检测结果确定部76根据对各特定光图像的关注区域检测处理的结果,确定用于反映于白色光图像的特定光检测结果。该特定光检测结果反映于白色光图像。
另外,在上述实施方式中,设为如下方式,即,根据内窥镜12的移动速度是否超过速度用阈值而控制白色光的发光帧的数量或特定光的发光帧的数量,但也可以设为如下方式,即,使用AI(Artificial Intelligence/人工智能)等方法,使学习装置学习内窥镜12的移动速度与白色光的发光帧的数量或特定光的发光帧的数量之间的关系,并将内窥镜12的移动速度输入于学习装置,由此确定白色光的发光帧的数量或特定光的发光帧的数量。关于变焦信息或者白色光或特定光的发光量,也与内窥镜12的移动速度相同地,也可以设为如下方式,即,使学习装置学习与白色光的发光帧的数量或特定光的发光帧的数量之间的关系,并将变焦信息或者白色光或特定光的发光量输入于学习装置,由此确定白色光的发光帧的数量或特定光的发光帧的数量。并且,如上述实施方式所示,也可以设为如下方式,即,综合考虑内窥镜12的移动速度、变焦信息或者白色光或特定光的发光量,而确定白色光的发光帧的数量或特定光的发光帧的数量。
另外,在上述实施方式中,如图14所示,作为光源部20,优选使用V-LED(VioletLight Emitting Diode/紫色发光二级管)20a、B-LED(Blue Light Emitting Diode/蓝色发光二级管)20b、G-LED(Green Light Emitting Diode/绿色发光二极管)20c及R-LED(RedLight Emitting Diode/红色发光二极管)20d这四色LED和波长截止滤波器23而进行照明光的发射。
V-LED20a发射波长频带380nm~420nm的紫色光V。B-LED20b发射波长频带420nm~500nm的蓝色光B。从B-LED23b射出的蓝色光B中至少比峰值波长450nm更靠长波长侧被波长截止滤波器23截止。由此,透射波长截止滤波器23之后的蓝色光Bx的波长范围成为420~460nm。如此,截止比460nm更靠长波长侧的波长区域的光是因为,比该460nm更靠长波长侧的波长区域的光为降低观察对象即血管的血管对比度的主要原因。另外,波长截止滤波器23也可以以减少比460nm更靠长波长侧的波长区域的光的方式来代替截止比460nm更靠长波长侧的波长区域的光。G-LED20c发射波长频带达到480nm~600nm的绿色光G。R-LED20d发射波长频带达到600nm~650nm的红色光R。
在通常模式的情况下,均点亮V-LED20a、B-LED20b、G-LED20c及R-LED20d。由此,如图15所示,从光源装置14发射包含紫色光V、蓝色光Bx、绿色光G及红色光R的白色光。白色光从蓝色频带至红色频带具有一定以上的强度,因此几乎成为白色。
在特殊模式的情况下,以使白色光或特定光按照特定的发光图案进行发光的方式,进行V-LED20a、B-LED20b、G-LED20c及R-LED20d的发光控制。当发射白色光时,如上所述,发射具有图15所示的光谱的白色光。另一方面,当发射特定光时,如图16所示,发射变得蓝色光Bx的发光量大于紫色光V、绿色光G及红色光R中的任一个发光量的特定光。
并且,在上述实施方式中,也可以设为如下方式,即,使用激光光源及荧光体进行照明光的发射。在该情况下,如图17所示,在光源部20设置有发射峰值波长445±10nm的蓝色激光束的蓝色激光光源(标记为“445LD”。LD表示“Laser Diode/激光二极管”)104及发射峰值波长405±10nm的蓝紫色激光束的蓝紫色激光光源(标记为“405LD”)106。
在照明光学系统30a中,除了照明透镜32以外,还设置有来自光导件24的蓝色激光束或蓝紫色激光束入射的荧光体110。荧光体110被蓝色激光束激发而发射荧光。并且,蓝色激光束的一部分不会激发荧光体110而透射。蓝紫色激光束并不激发荧光体110而透射。射出荧光体110的光经由照明透镜32对观察对象的体内进行照明。
在此,在通常模式下,蓝色激光光源104点亮而蓝色激光束主要入射于荧光体110,因此如图18所示,发射组合了蓝色激光束及因蓝色激光束而从荧光体110激发发光的荧光的白色光。另一方面,在特殊模式下,以使白色光或特定光按照特定的发光图案进行发光的方式,进行蓝色激光光源104及蓝紫色激光光源106的发光控制。当发射白色光时,如上所述,发射具有图18所示的光谱的白色光。另一方面,当发射特定光时,蓝色激光光源104及蓝紫色激光光源106点亮而使蓝紫色激光束及蓝色激光束这两者入射于荧光体110。由此,如图19所示,发射组合了蓝紫色激光束、蓝色激光束及因蓝色激光束而从荧光体110激发发光的荧光的特定光。
另外,蓝色激光束或蓝紫色激光束的半宽度优选设为±10nm左右。并且,蓝色激光光源104及蓝紫色激光光源106能够利用大面积型InGaN类激光二极管,并且也能够利用InGaNAs类激光二极管或GaNAs类激光二极管。并且,作为上述光源,也可以设为使用了发光二极管等发光体的结构。
另外,荧光体110优选使用包含吸收蓝色激光束的一部分而激发发光绿色~黄色光的多种荧光体(例如YAG系荧光体或BAM(BaMgAl10O17)等荧光体)而构成的荧光体。如本结构例,若将半导体发光元件用作荧光体110的激发光源,则能够以高发光效率获得高强度的白色光,且能够轻松地调整白色光的强度的基础上,能够将白色光的色温及色度的变化抑制为较小。
并且,在上述实施方式中,也可以设为如下方式,即,使用氙气灯等宽频带光源及旋转滤光器进行照明光的发射。在该情况下,如图20所示,在光源部20设置有宽频带光源202、旋转滤光器204及滤波器切换部206。并且,在宽频带光源202与旋转滤光器204之间设置有光圈203,该光圈203通过光圈控制部205调整其开口部的面积。光圈控制部205根据来自处理器装置16的调光信号进行光圈203的控制。
宽频带光源202为氙气灯或白色LED等,且发射波长区域达到蓝色至红色的宽频带光。旋转滤光器204具备设置于最靠近旋转轴的内侧的通常模式用滤波器210及设置于该通常模式用滤波器210外侧的特殊模式用滤波器212(参考图21)。
滤波器切换部206沿径向移动旋转滤光器204。具体而言,当通过模式切换部13c设置为通常模式时,滤波器切换部206将通常模式用滤波器210插入于白色光的光路。当设置为特殊模式时,滤波器切换部206将特殊模式用滤波器212插入于白色光的光路。
如图21所示,在通常模式用滤波器210中沿周向设置有B滤波器210a、G滤波器210b及R滤波器210c。B滤波器210a在宽频带光中透射具有400~500nm的波长范围的宽频带的蓝色光B。G滤波器210b在宽频带光中透射绿色光G。R滤波器210c在宽频带光中透射红色光R。因此,在通常模式时,通过旋转滤光器204旋转,作为白色光,朝向观察对象依次照射蓝色光B、绿色光G及红色光R。
在特殊模式用滤波器212中沿周向设置有B滤波器212a、G滤波器212b、R滤波器212c、Bn滤波器212a及Gn滤波器212b。B滤波器212a与B滤波器210a相同地,透射蓝色光B。G滤波器212b与G滤波器210a相同地,透射绿色光G。R滤波器212c与R滤波器210c相同地,透射红色光R。Bn滤波器212d在宽频带光中透射400~450nm的蓝色窄频带光Bn。Gn滤波器212e在宽频带光中透射绿色光G。
因此,在特殊模式时,通过旋转滤光器204进行旋转,作为白色光,朝向观察对象依次照射蓝色光B、绿色光G及红色光R。在照射红色光R之后,作为特定光,朝向观察对象依次照射蓝色窄频带光Bn及绿色光G。
当使用氙气灯等宽频带光源及旋转滤光器进行照明光的发射时,在通常模式时,每次用蓝色光B、绿色光G及红色光R照明观察对象时,通过单色图像传感器拍摄观察对象。由通过拍摄该观察对象而获得的B图像、G图像及R图像生成白色光图像。
并且,在特殊模式时,照明白色光时即每次用蓝色光B、绿色光G及红色光R照明观察对象时,通过单色图像传感器拍摄观察对象,由通过该拍摄而获得的B图像、G图像及R图像生成白色光图像。并且,当照明特定光时,即每次用蓝色窄频带光Bn及绿色光G照明观察对象时,通过单色图像传感器拍摄观察对象,由通过该拍摄而获得的Bn图像及G图像生成特定光图像。
另外,在上述实施方式中,对进行医疗图像之一即内窥镜图像的处理的内窥镜系统适用了本发明,但对处理除了内窥镜图像以外的医疗图像的医疗图像处理系统也能够适用本发明。并且,对用于使用医疗图像而对用户进行诊断支持的诊断支持装置也能够适用本发明。并且,对用于使用医疗图像而支持诊断报告等医疗服务的医疗服务支持装置也能够适用本发明。
例如,如图22所示,诊断支持装置600组合使用医疗图像处理系统602等医学影像设备或PACS(Picture Archiving and Communication Systems/医学影像存档与传输系统)604。并且,如图23所示,医疗服务支持装置610经由任意地网络626与第1医疗图像处理系统621、第2医疗图像处理系统622、……、第N医疗图像处理系统623等各种检查装置连接。医疗服务支持装置610接收来自第1~第N医疗图像处理系统621、622……、623的医疗图像,并根据所接收的医疗图像,进行医疗服务的支持。
在上述实施方式中,执行图像处理部61中所包含的白色光图像处理部70、移动速度计算部72、关注区域检测部74、特定光检测结果确定部76、鉴别部78及鉴别结果确定部80等的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit/中央处理器)、FPGA(Field Programmable GateArray/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路及GPU(Graphical Processing Unit/图形处理器)等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA或CPU与FPGA的组合、CPU与GPU的组合)构成。并且,也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,12f-钳子入口,13-变焦操作部,13c-模式切换部,14-光源装置,16-处理器装置,18-显示器,19-用户接口,20-光源部,20a-V-LED(Violet Light Emitting Diode/紫色发光二极管),20b-B-LED(Blue Light Emitting Diode/蓝色发光二极管),20c-G-LED(Green Light Emitting Diode/绿发光二极管),20d-R-LED(Red Light Emitting Diode/红色发光二极管),21-发光量测量部,22-光源控制部,23-波长截止滤波器,24-光导件,30a-照明光学系统,30b-摄像光学系统,32-照明透镜,41-光导件,45-照明透镜,46-物镜,47-变焦透镜,48-图像传感器,49-变焦信息输出部,52-中央控制部,54-图像获取部,56-DSP(Digital Signal Processor/数量位讯号处理器),58-降噪部,59-转换部,61-图像处理部,66-显示控制部,70-白色光图像处理部,72-移动速度计算部,74-关注区域检测部,76-特定光检测结果确定部,78-鉴别部,80-鉴别结果确定部,104-蓝色激光光源,106-蓝紫色激光光源,110-荧光体,202-宽频带光源,204-旋转滤光器,205-控制部,206-滤波器切换部,210-通常模式用滤波器,210a-B滤波器,210b-G滤波器,210c-R滤波器,212-特殊模式用滤波器,212a-B滤波器,212b-G滤波器,212c-R滤波器,212d-Bn滤波器,212e-Gn滤波器,600-诊断支持装置,602-医疗图像处理系统,604-PACS,610-医疗服务支持装置,621-第1医疗图像处理系统,622-第2医疗图像处理系统,623-第N医疗图像处理系统,626-网络。
Claims (18)
1.一种医疗图像处理系统,其中,该医疗图像处理系统具备:
光源部,其发出白色光或具有与所述白色光不同的光谱的特定光;
摄像部,其拍摄由所述白色光照明中的观察对象而获取白色光图像,并且拍摄由所述特定光照明中的所述观察对象而获取特定光图像;
观察状况获取部,其获取所述摄像部的移动速度、与放大所述观察对象的变焦相关的变焦信息、以及所述白色光和所述特定光的发光量中的至少一个;以及
光源控制部,其根据所述摄像部的移动速度、所述变焦信息以及所述白色光和所述特定光的发光量中的至少一个,控制一个发光周期中的所述白色光的发光帧的数量以及所述特定光的发光帧的数量。
2.根据权利要求1所述的医疗图像处理系统,其中,
在使用所述变焦的情况下,所述光源控制部进行使所述特定光的发光帧的数量多于所述白色光的发光帧的数量的控制,在不使用所述变焦时,所述光源控制部进行使所述白色光的发光帧的数量多于所述特定光的发光帧的数量的控制。
3.根据权利要求1或2所述的医疗图像处理系统,其中,
在所述摄像部的移动速度超过速度用阈值的情况下,所述光源控制部进行使所述白色光的发光帧的数量多于所述特定光的发光帧的数量的控制,在所述摄像部的移动速度成为所述速度用阈值以下的情况下,所述光源控制部进行使所述特定光的发光帧的数量多于所述白色光的发光帧的数量的控制。
4.根据权利要求1至3中任意一项所述的医疗图像处理系统,其中,
在所述白色光或所述特定光的发光量超过发光量用阈值的情况下,所述光源控制部进行使所述白色光的发光帧的数量多于所述特定光的发光帧的数量的控制,在所述白色光或所述特定光的发光量成为所述发光量用阈值以下的情况下,所述光源控制部进行使所述特定光的发光帧的数量多于所述白色光的发光帧的数量的控制。
5.根据权利要求1至4中任意一项所述的医疗图像处理系统,其中,该医疗图像处理系统具备:
关注区域检测部,其进行从所述特定光图像检测关注区域的关注区域检测处理;以及
显示部,其显示对所述白色光图像反映了所述关注区域检测部中的检测结果的关注区域显示用图像。
6.根据权利要求5所述的医疗图像处理系统,其中,该医疗图像处理系统具有:
特定光检测结果确定部,其从多个特定光的发光帧获取多个所述特定光图像,在对各特定光图像进行了所述关注区域检测处理的情况下,根据针对所述各特定光图像的所述关注区域检测处理的检测结果,确定用于反映在所述白色光图像上的特定光检测结果。
7.根据权利要求6所述的医疗图像处理系统,其中,
在对所述观察对象的相同区域从所述多个特定光图像获得了有关注区域检测的结果及无关注区域检测的结果的情况下,所述特定光检测结果确定部根据基于有所述关注区域检测的结果的数量以及无所述关注区域检测的结果的数量的多数决,作为所述特定光检测结果确定有所述关注区域检测的结果和无所述关注区域检测的结果中的任一个。
8.根据权利要求5所述的医疗图像处理系统,其中,该医疗图像处理系统具有:
鉴别部,该鉴别部进行鉴别所述关注区域中所包含的观察对象的鉴别处理,
所述鉴别处理的结果显示于所述显示部。
9.根据权利要求8所述的医疗图像处理系统,其中,
该医疗图像处理系统具有鉴别结果确定部,该鉴别结果确定部从多个特定光的发光帧获取多个所述特定光图像,对各特定光图像进行所述关注区域检测处理,在对通过所述关注区域检测处理检测到的各关注区域进行所述鉴别处理的情况下,根据对所述各关注区域的鉴别处理的结果,确定用于显示于所述显示部的特定光鉴别结果。
10.根据权利要求9所述的医疗图像处理系统,其中,
所述鉴别处理的结果以根据所述观察对象的状态而设定的阶段来表示,
在对相同的关注区域获得了阶段不同的多个鉴别处理的结果的情况下,所述鉴别结果确定部根据基于所述多个鉴别处理的结果的多数决,确定作为所述特定光鉴别结果的所述阶段。
11.根据权利要求9所述的医疗图像处理系统,其中,
所述鉴别处理的结果以根据所述观察对象的状态而设定的阶段来表示,
在对相同的关注区域获得了阶段不同的多个鉴别处理的结果的情况下,所述鉴别结果确定部通过对所述多个鉴别处理的结果进行平均化,确定作为所述特定光鉴别结果的所述阶段。
12.根据权利要求8至11中任意一项所述的医疗图像处理系统,其中,
在进行所述鉴别处理的情况下,所述光源部代替所述特定光发出鉴别用照明光或者除了所述特定光以外还发出所述鉴别用照明光。
13.根据权利要求12所述的医疗图像处理系统,其中,
所述鉴别用照明光的峰值波长中包含410nm。
14.根据权利要求1至13中任意一项所述的医疗图像处理系统,其中,
所述特定光的峰值波长中包含450nm。
15.一种内窥镜系统,其中,该内窥镜系统具备:
光源部,其发出白色光或具有与所述白色光不同的光谱的特定光;
内窥镜,其具有摄像部,该摄像部拍摄由所述白色光照明中的观察对象而获取白色光图像,并且拍摄由所述特定光照明中的所述观察对象而获取特定光图像;
观察状况获取部,其获取包含所述内窥镜的移动速度、与放大所述观察对象的变焦相关的变焦信息、以及所述白色光和所述特定光的发光量中的至少一个的观察状况;以及
光源控制部,其根据所述内窥镜的移动速度、所述变焦信息、以及所述白色光和所述特定光的发光量中的至少一个,控制所述白色光的发光帧以及所述特定光的发光帧的比率。
16.根据权利要求15所述的内窥镜系统,其中,该内窥镜系统具备:
关注区域检测部,其进行从所述特定光图像检测关注区域的关注区域检测处理;以及
显示部,其显示对所述白色光图像反映了所述关注区域检测部中的检测结果的关注区域显示用图像。
17.一种诊断支持装置,其具有权利要求1至14中任意一项所述的医疗图像处理系统。
18.一种医疗服务支持装置,其具有权利要求1至14中任意一项所述的医疗图像处理系统。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-181906 | 2017-09-22 | ||
| JP2017181906 | 2017-09-22 | ||
| PCT/JP2018/033756 WO2019059059A1 (ja) | 2017-09-22 | 2018-09-12 | 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111107778A true CN111107778A (zh) | 2020-05-05 |
| CN111107778B CN111107778B (zh) | 2022-04-19 |
Family
ID=65810254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880061401.4A Active CN111107778B (zh) | 2017-09-22 | 2018-09-12 | 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11439297B2 (zh) |
| EP (1) | EP3685731B1 (zh) |
| JP (1) | JP6924837B2 (zh) |
| CN (1) | CN111107778B (zh) |
| WO (1) | WO2019059059A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115299858A (zh) * | 2022-08-11 | 2022-11-08 | 瀚湄信息科技(上海)有限公司 | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021205777A1 (ja) * | 2020-04-08 | 2021-10-14 | 富士フイルム株式会社 | プロセッサ装置及びその作動方法 |
| JP7411515B2 (ja) * | 2020-07-16 | 2024-01-11 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| WO2022038803A1 (ja) * | 2020-08-19 | 2022-02-24 | 富士フイルム株式会社 | プロセッサ装置、プロセッサ装置の作動方法 |
| JP7547164B2 (ja) * | 2020-10-28 | 2024-09-09 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡装置 |
| JP7646504B2 (ja) * | 2021-09-03 | 2025-03-17 | 富士フイルム株式会社 | 光源装置、内視鏡システム、及び、光源装置の作動方法 |
| US12140788B2 (en) * | 2021-09-15 | 2024-11-12 | Intuitive Surgical Operations, Inc. | Devices and methods for spatially controllable illumination |
| TWI784811B (zh) * | 2021-11-25 | 2022-11-21 | 盟立自動化股份有限公司 | 腸道內視鏡移動速率監測方法及系統 |
| DE102022131502A1 (de) * | 2022-11-29 | 2024-05-29 | Karl Storz Se & Co. Kg | Filterschaltvorrichtung für einen endoskopischen Kamerakopf, Kamerakopf und Nachrüstsatz zum Nachrüsten eines Kamerakopfs und/oder eines Endoskops |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100063352A1 (en) * | 2008-09-10 | 2010-03-11 | Fujifilm Corporation | Endoscope system and drive control method thereof |
| US20140316279A1 (en) * | 2012-01-31 | 2014-10-23 | Olympus Corporation | Biological observation apparatus |
| JP2015054062A (ja) * | 2013-09-11 | 2015-03-23 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法 |
| US20150181185A1 (en) * | 2012-07-17 | 2015-06-25 | Hoya Corporation | Image processing device and endoscope device |
| US9095269B2 (en) * | 2010-03-23 | 2015-08-04 | Olympus Corporation | Image processing device, image processing method, and program |
| CN105407789A (zh) * | 2013-08-01 | 2016-03-16 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜系统的工作方法 |
| US20160089012A1 (en) * | 2014-09-30 | 2016-03-31 | Fujifilm Corporation | Endoscope system and method for operating the same |
| JP2016192986A (ja) * | 2015-03-31 | 2016-11-17 | 富士フイルム株式会社 | 内視鏡システム、及び、内視鏡システムの作動方法 |
| WO2017026539A1 (ja) * | 2015-08-13 | 2017-02-16 | Hoya株式会社 | 評価値計算装置及び電子内視鏡システム |
| US20170112356A1 (en) * | 2014-07-11 | 2017-04-27 | Olympus Corporation | Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system |
| CN106793932A (zh) * | 2014-10-10 | 2017-05-31 | 奥林巴斯株式会社 | 摄像系统 |
| CN107072518A (zh) * | 2014-11-06 | 2017-08-18 | 奥林巴斯株式会社 | 观察装置和内窥镜系统 |
| US20170251932A1 (en) * | 2015-01-26 | 2017-09-07 | Fujifilm Corporation | Processor device for endoscope, operation method thereof, and non-transitory computer readable medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5164473B2 (ja) * | 2007-08-10 | 2013-03-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| JP5541914B2 (ja) | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
| JP5707758B2 (ja) * | 2010-07-13 | 2015-04-30 | ソニー株式会社 | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 |
| WO2012056860A1 (ja) * | 2010-10-26 | 2012-05-03 | オリンパスメディカルシステムズ株式会社 | 内視鏡 |
| JP2016214594A (ja) * | 2015-05-21 | 2016-12-22 | Hoya株式会社 | 電子内視鏡システム |
| CN108289590A (zh) | 2015-11-17 | 2018-07-17 | 奥林巴斯株式会社 | 内窥镜系统、图像处理装置、图像处理方法和程序 |
| WO2019016912A1 (ja) * | 2017-07-20 | 2019-01-24 | オリンパス株式会社 | 診断支援装置、診断支援方法及びプログラム |
-
2018
- 2018-09-12 EP EP18857613.6A patent/EP3685731B1/en active Active
- 2018-09-12 WO PCT/JP2018/033756 patent/WO2019059059A1/ja not_active Ceased
- 2018-09-12 CN CN201880061401.4A patent/CN111107778B/zh active Active
- 2018-09-12 JP JP2019543581A patent/JP6924837B2/ja active Active
-
2020
- 2020-03-19 US US16/824,629 patent/US11439297B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100063352A1 (en) * | 2008-09-10 | 2010-03-11 | Fujifilm Corporation | Endoscope system and drive control method thereof |
| US9095269B2 (en) * | 2010-03-23 | 2015-08-04 | Olympus Corporation | Image processing device, image processing method, and program |
| US20140316279A1 (en) * | 2012-01-31 | 2014-10-23 | Olympus Corporation | Biological observation apparatus |
| US20150181185A1 (en) * | 2012-07-17 | 2015-06-25 | Hoya Corporation | Image processing device and endoscope device |
| CN105407789A (zh) * | 2013-08-01 | 2016-03-16 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜系统的工作方法 |
| JP2015054062A (ja) * | 2013-09-11 | 2015-03-23 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法 |
| US20170112356A1 (en) * | 2014-07-11 | 2017-04-27 | Olympus Corporation | Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system |
| US20160089012A1 (en) * | 2014-09-30 | 2016-03-31 | Fujifilm Corporation | Endoscope system and method for operating the same |
| CN106793932A (zh) * | 2014-10-10 | 2017-05-31 | 奥林巴斯株式会社 | 摄像系统 |
| CN107072518A (zh) * | 2014-11-06 | 2017-08-18 | 奥林巴斯株式会社 | 观察装置和内窥镜系统 |
| US20170251932A1 (en) * | 2015-01-26 | 2017-09-07 | Fujifilm Corporation | Processor device for endoscope, operation method thereof, and non-transitory computer readable medium |
| JP2016192986A (ja) * | 2015-03-31 | 2016-11-17 | 富士フイルム株式会社 | 内視鏡システム、及び、内視鏡システムの作動方法 |
| WO2017026539A1 (ja) * | 2015-08-13 | 2017-02-16 | Hoya株式会社 | 評価値計算装置及び電子内視鏡システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115299858A (zh) * | 2022-08-11 | 2022-11-08 | 瀚湄信息科技(上海)有限公司 | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111107778B (zh) | 2022-04-19 |
| US11439297B2 (en) | 2022-09-13 |
| EP3685731A4 (en) | 2020-10-07 |
| US20200214547A1 (en) | 2020-07-09 |
| JPWO2019059059A1 (ja) | 2020-10-22 |
| JP6924837B2 (ja) | 2021-08-25 |
| EP3685731A1 (en) | 2020-07-29 |
| WO2019059059A1 (ja) | 2019-03-28 |
| EP3685731B1 (en) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| CN111107778B (zh) | 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 | |
| JP6752958B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
| JP6243364B2 (ja) | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム | |
| JP6763025B2 (ja) | プロセッサ装置及びプロセッサ装置の作動方法 | |
| JP6796725B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
| WO2018061434A1 (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
| WO2018079205A1 (ja) | プロセッサ装置及び内視鏡システム | |
| CN112752535B (zh) | 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 | |
| JP7610342B2 (ja) | 内視鏡システム | |
| JP6724154B2 (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
| JP7146925B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP2016067706A (ja) | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム | |
| JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP7214886B2 (ja) | 画像処理装置及びその作動方法 | |
| WO2020217883A1 (ja) | 画像処理装置及びその作動方法 | |
| JP7217351B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| WO2018079217A1 (ja) | 内視鏡システム及びその作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |