CN115361898B - 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、非暂时性计算机可读介质 - Google Patents
医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、非暂时性计算机可读介质Info
- Publication number
- CN115361898B CN115361898B CN202180026610.7A CN202180026610A CN115361898B CN 115361898 B CN115361898 B CN 115361898B CN 202180026610 A CN202180026610 A CN 202180026610A CN 115361898 B CN115361898 B CN 115361898B
- Authority
- CN
- China
- Prior art keywords
- medical image
- region
- interest
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00022—Sensing or detecting at the treatment site
- A61B2017/00057—Light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Gynecology & Obstetrics (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种能够识别强调显示的视觉辨认度降低的医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序。处理器装置(16)具备图像信号获取部(50)、显示控制部(58)、感兴趣区域检测模式图像处理部(64)。图像信号获取部(50)从内窥镜(12)获取图像信号。感兴趣区域检测模式图像处理部(64)从内窥镜图像中检测感兴趣区域。显示控制部(58)使感兴趣区域的强调显示重叠在内窥镜图像上而进行显示。根据内窥镜图像的图像信息和强调显示来判定强调显示的视觉辨认度,并将判定结果通知给用户。
Description
技术领域
本发明涉及一种用于检测病变部等感兴趣区域的医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及非暂时性计算机可读介质。
背景技术
在医疗领域中,使用内窥镜图像、X线图像、CT(Computed Tomography:计算机断层扫描)图像、MR(Magnetic Resonance:磁共振)图像等医疗图像来进行患者病状的诊断或定期观察等图像诊断。医生等基于这样的图像诊断来进行治疗方案的决定等。
近年来,在使用医疗图像的图像诊断中,正在进行分析医疗图像并自动检测器官内的病变或肿瘤等需要注意并观察的感兴趣区域。尤其,通过进行深度学习等机械学习,检测感兴趣区域的精度得到了飞跃性提高。
在专利文献1及专利文献2中,记载有在从医疗图像中检测出病变部等感兴趣区域的情况下,基于检测信息而进行图像处理的医疗图像处理装置。在专利文献1及专利文献2中所记载的医疗图像处理装置中,进行使用于强调感兴趣区域的强调显示重叠在医疗图像上的强调处理。
以往技术文献
专利文献
专利文献1:国际公开第2018/198161号
专利文献2:国际公开第2017/081976号
发明内容
发明要解决的技术课题
但是,在专利文献1及专利文献2中所记载的医疗图像处理装置中,未考虑到强调显示的视觉辨认度,因此根据医疗图像内的受检体的颜色、存在于受检体内的物体的有无等,强调显示有时会与周围同化或相对于周围的部分变得不明显。如此,若强调显示的视觉辨认度降低,则医生有可能无法注意到感兴趣区域。
本发明的目的在于提供一种能够识别强调显示的视觉辨认度降低的医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及非暂时性计算机可读介质。
用于解决技术课题的手段
本发明为具备处理器的医疗图像处理装置,其中,处理器进行如下处理:获取医疗图像;从医疗图像内检测感兴趣区域;设定用于强调所检测的感兴趣区域的强调显示,并使强调显示重叠在医疗图像上而进行显示;根据从检测出感兴趣区域的医疗图像中获取的图像信息和所设定的强调显示来判定强调显示的视觉辨认度;及将视觉辨认度的判定结果通知给用户。
处理器优选从医疗图像中的强调显示的内侧获取图像信息。或者,处理器优选从医疗图像中的强调显示的外侧获取图像信息。
处理器优选根据从图像信息计算出的颜色信息和从强调显示计算出的颜色信息,获取医疗图像与强调显示的色差,并根据色差来判定视觉辨认度。处理器优选计算从图像信息计算出的平均值作为颜色信息。
处理器优选显示包围感兴趣区域的框形状的图形作为强调显示,并根据针对感兴趣区域的框形状的图形的线的粗细来判定视觉辨认度。并且,处理器优选显示包围感兴趣区域的框形状的图形作为强调显示,并根据针对感兴趣区域的框形状的类似度来判定视觉辨认度。
处理器优选使判定结果显示于显示画面上。并且,处理器优选计算数值化的指标值作为视觉辨认度的判定结果,并使其显示于显示画面上,并且在指标值为预先设定的阈值以下的情况下,处理器进一步优选进行指标值的显示作为通知。
处理器优选将从图像信息及强调显示计算出的色差用作指标值。并且,处理器可以计算将视觉辨认度的判定结果进行数值化的指标值,并显示与指标值相对应的识别信息或识别图形。
处理器优选以存在于强调显示的内侧的检测对象外的物体的有无来进行视觉辨认度的判定。相对于医疗图像中的强调显示的内侧的范围,在强调显示的内侧的明度或亮度为第二阈值以上的部分的面积比为第三阈值以上的情况下,处理器进一步优选判定为存在检测对象外的物体。
处理器可以使判定结果显示于与显示医疗图像的显示画面不同的显示画面上。在指标值为预先设定的第一阈值以下的情况下,处理器优选自动保存检测出感兴趣区域的医疗图像,在指标值为预先设定的第一阈值以下的情况下,处理器优选向用户发出警告。
本发明的内窥镜系统具备光源装置、内窥镜、处理器及显示器。
处理器进行如下处理:获取医疗图像;从医疗图像内检测感兴趣区域;设定用于强调所检测的感兴趣区域的强调显示,并使强调显示重叠在医疗图像上而显示于显示器;根据从检测出感兴趣区域的医疗图像中获取的图像信息和所设定的强调显示来判定强调显示的视觉辨认度;及将视觉辨认度的判定结果通知给用户。光源装置发出用于照亮观察对象的照明光。内窥镜具有拍摄被照明光照亮的观察对象的摄像传感器。显示器显示对摄像传感器输出的图像信号进行信号处理的医疗图像。
本发明的医疗用图像处理装置的工作方法包括如下步骤:获取医疗图像;从所获取的医疗图像内检测感兴趣区域;设定用于强调所检测的感兴趣区域的强调显示,并使强调显示重叠在医疗图像上而进行显示;根据从检测出感兴趣区域的医疗图像中获取的图像信息和所设定的强调显示来判定强调显示的视觉辨认度;及将视觉辨认度的判定结果通知给用户。
本发明的非暂时性计算机可读介质,存储有计算机能执行的程序,所述计算机能执行的程序用于使计算机作为获取医疗图像,并且对医疗图像实施图像处理的医疗图像处理装置发挥功能,所述计算机能执行的程序使计算机实现如下功能:获取医疗图像;从医疗图像内检测感兴趣区域;设定用于强调所检测的感兴趣区域的强调显示,并使强调显示重叠在医疗图像上而进行显示;根据从检测出感兴趣区域的医疗图像中获取的图像信息和所设定的强调显示来判定强调显示的视觉辨认度;及将视觉辨认度的判定结果通知给用户。
发明效果
根据本发明,用户能够识别强调显示的视觉辨认度降低。
附图说明
图1是内窥镜系统的外观图。
图2是表示具备多个LED光源的第一实施方式的内窥镜系统的功能的框图。
图3是表示紫色光V、蓝色光B、蓝色光Bx、绿色光G、红色光R的分光光谱的图表。
图4是表示第一实施方式的普通光的分光光谱的图表。
图5是表示第一实施方式的特殊光的分光光谱的图表。
图6是表示感兴趣区域检测模式图像处理部及显示控制部的功能的框图。
图7是表示在显示控制部进行感兴趣区域的强调显示时所设定的强调区域的说明图。
图8是说明视觉辨认度判定部根据从内窥镜图像中获取的图像信息和强调显示的设定信息计算颜色信息,并判定强调显示的视觉辨认度的状态的说明图。
图9是在显示控制部进行感兴趣区域的强调显示及通知信息的显示时的显示画面的一例。
图10是表示感兴趣区域检测模式的一连串的流程的流程图。
图11是表示显示状态的说明图,是表示从内窥镜图像中检测病变部(A)、将作为强调显示的图形重畳在内窥镜图像上的(B)例的说明图。
图12是表示显示状态的说明图,是表示在色差降低从而视觉辨认度降低的情况下(A),显示通知信息的(B)例的说明图。
图13是表示第二实施方式中的显示状态的说明图,是表示在视觉辨认度低的情况下(A)、视觉辨认度高的情况下(B),分别显示识别信息的例的说明图。
图14是表示第三实施方式中的显示状态的说明图,是表示在视觉辨认度低的情况下(A)、视觉辨认度高的情况下(B),分别显示识别图形的例的说明图。
图15是表示第四实施方式中的显示状态的说明图,是表示在1个显示画面上显示主图像和子图像,并使识别图形重畳在子图像上的例的说明图。
图16是表示第五实施方式中的显示状态的说明图,是表示在图形的内侧具有检测对象外的物体的情况下(A),显示识别图形的(B)例的说明图。
图17是表示作为变形例,由包围病变部的4个L字状图形构成强调显示的例的说明图。
图18是表示第六实施方式中的显示状态的说明图。
图19是表示第七实施方式中的显示状态的说明图。
具体实施方式
[第一实施方式]
如图1所示,内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18(显示部)及控制台19。内窥镜12与光源装置14光学连接,并且与处理器装置16电连接。内窥镜12具有插入到受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮13a,弯曲部12c进行弯曲动作。通过该弯曲动作,前端部12d朝向所期望的的方向。
前端部12d在前端面具有照明窗、观察窗、送气·送水喷嘴及钳子出口(均未图示)。照明窗用于将照明光照射到观察部位。观察窗用于获取来自观察部位的光。送气·送水喷嘴用于清洗照明窗及观察窗。钳子出口用于利用钳子和电手术刀等处置器具进行各种处置。
并且,在操作部12b上,除了弯角钮13a之外,还设置有用于静止图像的获取操作的静止图像获取部13b、用于观察模式的切换操作的模式切换部13c、用于变焦倍率的变更操作的变焦操作部13d。静止图像获取部13b能够进行在显示器18上显示观察对象的静止图像的冻结操作和在存储器中保存静止图像的释放操作。
内窥镜系统10作为观察模式具有普通模式、特殊模式及感兴趣区域检测模式。在观察模式为普通模式的情况下,发出将多种颜色的光以普通模式用的光量比Lc进行合波的普通光。并且,在观察模式为特殊模式的情况下,发出将多种颜色的光以特殊模式用的光量比Ls进行合波的特殊光。
并且,在观察模式为感兴趣区域检测模式的情况下,发出感兴趣区域检测模式用照明光。在本实施方式中,作为感兴趣区域检测模式用照明光,发出普通光,但也可以发出特殊光。
处理器装置16与显示器18及控制台19电连接。显示器18输出显示观察对象的图像或图像中所附带的信息等。控制台19作为接受感兴趣区域(ROI:Region Of Interest)的指定等或功能设定等输入操作的用户界面而发挥作用。
如图2所示,光源装置14具备发出照亮观察对象所使用的照明光的光源部20和控制光源部20的光源控制部22。光源部20为多种颜色的LED(Light Emitting Diode:发光二极管)等半导体光源。光源控制部22通过LED等的点亮/熄灭、或LED等的驱动电流或驱动电压的调整来控制照明光的发光量。并且,光源控制部22通过滤光器的变更等来控制照明光的波长带。
在第一实施方式中,光源部20具有V-LED(Violet Light Emitting Diode:紫光发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝光发光二极管)20b、G-LED(GreenLight Emitting Diode:绿光发光二极管)20c及R-LED(Red Light Emitting Diode:红光发光二极管)20d的4色LED和波长截止滤光片23。如图3所示,V-LED20a发出波长带380nm~420nm的紫色光V。
B-LED20b发出波长带420nm~500nm的蓝色光B。从B-LED23b射出的蓝色光B中的至少比峰值波长的450nm长的波长侧被波长截止滤光片23截止。由此,透过波长截止滤光片23之后的蓝色光Bx在420~460nm的波长内。如此,之所以截止比460nm长的波长侧的波长区域的光,是因为该比460nm长的波长侧的波长区域的光是使作为观察对象的血管的血管对比度降低的主要原因。另外,波长截止滤光片23可以减弱比460nm长的波长侧的波长区域的光来代替截止比460nm长的波长侧的波长区域的光。
G-LED20c发出波长带达480nm~600nm的绿色光G。R-LED20d发出波长带达600nm~650nm的红色光R。另外,从各LED20a~20d发出的光的各自的中心波长与峰值波长可以相同,也可以不同。
光源控制部22通过独立地控制各LED20a~20d的点亮或熄灭、及点亮时的发光量等,进行照明光的发光定时、发光期间、光量及分光光谱的调节。关于光源控制部22中的点亮及熄灭的控制,按每个观察模式而不同。另外,基准亮度能够根据光源装置14的亮度设定部或控制台19等而设定。
在普通模式或感兴趣区域检测模式的情况下,光源控制部22使V-LED20a、B-LED20b、G-LED20c及R-LED20d全部点亮。此时,如图4所示,关于紫色光V、蓝色光B、绿色光G及红色光R之间的光量比Lc,设定为蓝色光Bx的光强度的峰值大于紫色光V、绿色光G及红色光R中任一个光强度的峰值。由此,在普通模式或感兴趣区域检测模式中,从光源装置14发出包括紫色光V、蓝色光Bx、绿色光G及红色光R的普通模式用或感兴趣区域检测模式用的多色光来作为普通光。普通光从蓝色带至红色带具有规定以上的强度,因此几乎为白色。
在特殊模式的情况下,光源控制部22使V-LED20a、B-LED20b、G-LED20c及R-LED20d全部点亮。此时,如图5所示,关于紫色光V、蓝色光B、绿色光G及红色光R之间的光量比Ls,设定为紫色光V的光强度的峰值大于蓝色光Bx、绿色光G及红色光R中任一个光强度的峰值。并且,设定为绿色光G及红色光R的光强度的峰值小于紫色光V及蓝色光Bx的光强度的峰值。由此,在特殊模式中,从光源装置14发出包括紫色光V、蓝色光Bx、绿色光G及红色光R的特殊模式用的多色光来作为特殊光。特殊光中,由于紫色光V所占的比例较大,因此成为带蓝色调的光。另外,特殊光中,可以不包括所有4种颜色的光,只要包括来自4种颜色的LED20a~20d中的至少1种颜色的LED的光即可。并且,特殊光优选在450nm以下具有主要波长区域,例如峰值波长或中心波长。
如图2所示,光源部20发出的照明光经由由反射镜或透镜等形成的光路耦接部(未图示)入射于插通到插入部12a内的光导件24。光导件24内置于内窥镜12及通用塞绳,将照明光传播至内窥镜12的前端部12d。通用塞绳是连接内窥镜12与光源装置14及处理器装置16的塞绳。另外,作为光导件24,能够适用多模光纤。作为一例,光导件24中能够使用芯部直径105μm、包层直径125μm、包括成为外皮的保护层的直径为φ0.3mm~φ0.5mm的细径的光纤电缆。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜32。经由该照明透镜32并通过在光导件24中传播的照明光而对观察对象进行照亮。摄像光学系统30b具有物镜34、放大光学系统36及摄像传感器38(与本发明的“摄像部”对应)。来自观察对象的反射光、散射光及荧光等各种光经由这些物镜34及放大光学系统36而入射于摄像传感器38。由此,观察对象的像成像于摄像传感器38。
放大光学系统36具备放大观察对象的变焦透镜36a、和使变焦透镜36a向光轴方向CL移动的透镜驱动部36b。变焦透镜36a根据基于透镜驱动部36b的变焦控制而在长焦端与广角端之间自由移动,从而放大或缩小成像于摄像传感器38的观察对象。
摄像传感器38是拍摄照射了照明光的观察对象的彩色摄像传感器。在摄像传感器38的各像素中,设置有R(红色)滤色器、G(绿色)滤色器、B(蓝色)滤色器中的任一种。摄像传感器38在设置有B滤色器的B像素中接收从紫色到蓝色的光,在设置有G滤色器的G像素中接收绿色的光,在设置有R滤色器的R像素中接收红色的光。然后,从各个颜色的像素输出RGB各个颜色的图像信号。摄像传感器38将所输出的图像信号发送到CDS电路40。
在普通模式或感兴趣区域检测模式中,摄像传感器38通过拍摄照亮了普通光的观察对象,从B像素输出Bc图像信号,从G像素输出Gc图像信号,从R像素输出Rc图像信号。并且,在特殊模式中,摄像传感器38通过拍摄照亮了特殊光的观察对象,从B像素输出Bs图像信号,从G像素输出Gs图像信号,从R像素输出Rs图像信号。
作为摄像传感器38,能够利用CCD(Charge Coupled Device:电荷耦合器件)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)摄像传感器等。并且,也可以代替设置了RGB的原色滤色器的摄像传感器38,使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤色器的补色摄像传感器。在使用补色摄像传感器的情况下,输出CMYG的4种颜色的图像信号。因此,通过补色-原色的颜色转换,能够将CMYG的4种颜色的图像信号转换成RGB的3种颜色的图像信号,从而获得与摄像传感器38相同的RGB各个颜色的图像信号。并且,可以代替摄像传感器38使用未设置有滤色器的单色传感器。
CDS电路40对从摄像传感器38接收的模拟的图像信号进行相关双采样(CDS:Correlated Double Sampling)。通过CDS电路40的图像信号被输入到AGC电路42。AGC电路42对所输入的图像信号进行自动增益控制(AGC:Automatic Gain Control)。A/D(Analogto Digital:模拟到数字)转换电路44将通过AGC电路42的模拟图像信号转换成数字的图像信号。A/D转换电路44将A/D转换后的数字图像信号输入到处理器装置16。
如图2所示,处理器装置16具备图像信号获取部50、DSP(Digital SignalProcessor:数字信号处理器)52、降噪部54、图像处理部56及显示控制部58。
处理器装置16包括作为医疗图像处理装置的功能,如后面叙述,在图像处理部56中,获取内窥镜图像并且从内窥镜图像检测观察对象内的感兴趣区域,在显示控制部58中,将感兴趣区域强调显示于内窥镜图像75上。
图像信号获取部50从内窥镜12获取与观察模式对应的数字图像信号。在普通模式或感兴趣区域检测模式的情况下,获取Bc图像信号、Gc图像信号及Rc图像信号。在特殊模式的情况下,获取Bs图像信号、Gs图像信号及Rs图像信号。在感兴趣区域检测模式的情况下,在普通光的照明时获取1帧量的Bc图像信号、Gc图像信号及Rc图像信号,在特殊光的照明时获取1帧量的Bs图像信号、Gs图像信号及Rs图像信号。
DSP52对图像信号获取部50所获取的图像信号,实施缺陷校正处理、偏移处理、DSP用增益校正处理、线性矩阵处理、伽马转换处理及去马赛克处理等各种信号处理。缺陷校正处理对摄像传感器38的缺陷像素的信号进行校正。偏移处理从进行了缺陷校正处理的图像信号中去除暗电流成分,并设定准确的零电平。DSP用增益校正处理通过将进行了偏移处理的图像信号乘以特定的DSP用增益来调整信号电平。
线性矩阵处理提高进行了DSP用增益校正处理的图像信号的颜色再现性。伽马转换处理调整进行了线性矩阵处理的图像信号的亮度或彩度。对进行了伽马转换处理的图像信号实施去马赛克处理(也称为各向同性化处理或同步化处理),从而通过插值生成各像素中不足的颜色的信号。通过该去马赛克处理,所有像素具有RGB各个颜色的信号。降噪部54对通过DSP52实施了去马赛克处理等的图像信号,例如,实施基于移动平均法或中值滤波法等的降噪处理,从而减低噪声。降噪后的图像信号被输入到图像处理部56。
图像处理部56具备普通模式图像处理部60、特殊模式图像处理部62及感兴趣区域检测模式图像处理部64。普通模式图像处理部60在设定为普通模式的情况下工作,对所接收的Bc图像信号、Gc图像信号及Rc图像信号,进行颜色转换处理、色彩强调处理及结构强调处理。在颜色转换处理中,通过对RGB图像信号进行3x3的矩阵处理、灰度转换处理、及三维LUT(Look Up Table:查找表)处理等而进行颜色转换处理。
对经过了颜色转换处理的RGB图像信号进行色彩强调处理。结构强调处理是强调观察对象的结构的处理,对色彩强调处理后的RGB图像信号进行。通过进行如上所述的各种图像处理等可以获取普通图像。普通图像是基于紫色光V、蓝色光Bx、绿色光G及红色光R平衡良好地发出的普通光而获得的图像,因此成为自然色彩的图像。普通图像被输入到显示控制部58。
特殊模式图像处理部62在设定为特殊模式的情况下工作。在特殊模式图像处理部62中,对所接收的Bs图像信号、Gs图像信号及Rs图像信号,进行颜色转换处理、色彩强调处理及结构强调处理。颜色转换处理、色彩强调处理及结构强调处理的处理内容与普通模式图像处理部60相同。通过进行如上所述的各种图像处理可以获得特殊图像。特殊图像是基于血管的血红蛋白的吸收系数高的紫色光V的发光量大于其他颜色的蓝色光Bx、绿色光G及红色光R的特殊光而获得的图像,因此血管结构或腺管结构的分辨率比其他结构高。特殊图像被输入到显示控制部58。
感兴趣区域检测模式图像处理部64在设定为感兴趣区域检测模式时工作。如图6所示,感兴趣区域检测模式图像处理部64具有检测用图像处理部70、感兴趣区域检测部71、视觉辨认度判定部72及视觉辨认度通知控制部73。检测用图像处理部70通过对所接收的Bc图像信号、Gc图像信号及Rc图像信号,进行与颜色转换处理等普通模式图像处理部60相同的图像处理,依次获取内窥镜图像75。
感兴趣区域检测部71对内窥镜图像75进行图像分析,并进行用于检测观察对象内的感兴趣区域的感兴趣区域检测处理。在本实施方式中,感兴趣区域检测部71检测观察对象内的病变部(例如,肿瘤或炎症等)作为感兴趣区域。在这种情况下,感兴趣区域检测部71首先将内窥镜图像75分割成多个小区域,例如分割成多个像素的正方区域。接着,从所分割的内窥镜图像75中计算图像的特征量。然后,基于所计算的特征量,识别处理各小区域是否为病变部。作为这样的识别处理,优选为卷积神经网络(Convolutional Neural Network)或深层学习(Deep Learning)等机械学习算法。
并且,作为通过感兴趣区域检测部71从内窥镜图像75计算出的特征量,优选为观察对象中的规定部位的形状、颜色或从这些形状或颜色等获得的值。例如,作为特征量,优选血管密度、血管形状、血管的分支数量、血管的粗细、血管的长度、血管的弯曲度、血管的侵入深度、腺管形状、腺管开口部形状、腺管的长度、腺管的弯曲度、颜色信息中的至少一种,或者将它们组合2种以上的值。
最后,将确定为同一种类的一小区域提取为1个病变部。感兴趣区域检测部71将所提取的病变部的位置信息、大小、病变的种类等信息作为检测信息76与内窥镜图像75建立关联。感兴趣区域检测模式图像处理部64将与检测信息76建立关联的内窥镜图像75输出到显示控制部58。
显示控制部58进行用于将来自图像处理部56的图像或数据显示于显示器18的显示控制。在设定为普通模式的情况下,显示控制部58进行将普通图像显示于显示器18的控制。在设定为特殊模式的情况下,显示控制部58进行将特殊图像显示于显示器18的控制。
在设定为感兴趣区域检测模式的情况下,显示控制部58相对于内窥镜图像75强调显示由感兴趣区域检测部71检测到的感兴趣区域。在强调显示感兴趣区域的情况下,显示控制部58首先基于从感兴趣区域检测模式图像处理部64输出的内窥镜图像75及与内窥镜图像75建立关联的检测信息76,设定用于强调感兴趣区域的强调区域。
如图7所示,显示控制部58基于病变部77的位置、大小及种类等检测信息76,设定面积比病变部77宽且包含病变部77的强调区域78。在本实施方式中,设定正方形的区域作为强调区域78。强调区域78例如具有在与病变部77的外周之间隔着规定的间隔而设定的正方形的外周。另外,作为强调区域78,并不限于此,也可以设定为与病变部77的外周接触的正方形。
显示控制部58对如上所述设定的强调区域78进行强调显示。即,显示控制部58在内窥镜图像75内的强调区域78的位置重叠显示作为强调显示的图形。在本实施方式中,显示控制部58根据强调区域78的位置来显示包围病变部77的正方形框状(框形状)的图形79。在设定强调区域78之后,显示控制部58根据内窥镜图像75内的病变部77的变动量来重新设定强调区域78,并根据重新设定的强调区域78的位置显示图形79。
并且,作为强调显示的图形79是与内窥镜图像75的其他部分不同的显示方式,例如,显示控制部58通常以与内窥镜图像中大量包含的颜色色相不同的颜色来显示图形79。并且,也能够根据用户的输入操作来设定图形79的颜色。
显示控制部58将作为强调显示的图形79的设定信息81输出到图像处理部56。设定信息81中包括图形79相对于内窥镜图像75的位置信息及颜色信息等。另外,设定信息81中标记有检测出病变部77的原来的内窥镜图像75的信息。
视觉辨认度判定部72根据从检测出病变部77的内窥镜图像75中获取的图像信息和由显示控制部58设定的强调显示的设定信息81来判定强调显示的视觉辨认度,并计算数值化的指标值作为判定结果。在本实施方式中,视觉辨认度判定部72根据从通过感兴趣区域检测部71检测出病变部77的内窥镜图像75中获取的图像信息、及强调显示的设定信息81计算颜色信息,并根据这些颜色信息计算内窥镜图像75与图形79的色差作为指标值。另外,颜色信息表示与色相·明度·彩度等颜色相关的信息。
如图8所示,在根据从内窥镜图像75中获取的图像信息计算颜色信息的情况下,视觉辨认度判定部72计算包括病变部77的强调显示的内侧,具体而言,内窥镜图像75中的被图形79包围的范围82内(也参考图7)的平均值作为颜色信息。如上所述,由于设定信息81中包括图形79的位置信息,因此能够基于位置信息,从内窥镜图像75中切除被图形79包围的范围82而计算颜色信息。另一方面,在根据强调显示的设定信息计算颜色信息的情况下,计算图形79的平均值作为颜色信息。视觉辨认度判定部72根据这些颜色信息计算内窥镜图像75与图形79的色差。
在视觉辨认度判定部72中的色差的计算中,例如,可以通过基于JIS Z 8730 7.3中所规定的CIEDE2000的色差式来求出。如此,能够通过使用标准化的计算方法,求出与人类视觉特性相符的色差。另外,在使用基于上述CIEDE2000的色差式的情况下,作为求出色差的颜色信息,使用由表示明度的L成分、表示红色或绿色的程度的a成分、表示黄色或蓝色的程度的b成分构成的CIELab颜色空间的信息。
另外,作为求出色差的计算方法,并不限于上述的方法,只要是考虑了人类视觉的计算方法即可,例如,可以使用CIELab颜色空间中的欧几里德距离(也称为CIE76。)进行计算。
视觉辨认度通知控制部73将视觉辨认度判定部72所判定的判定结果通知给用户。如图9所示,视觉辨认度通知控制部73将作为如上所述计算出的判定结果的色差作为通知信息83输出到显示控制部58,并使其显示在显示器18的显示画面84上。在本实施方式中,在色差为预先设定的第一阈值以下的情况下,视觉辨认度通知控制部73将作为通知信息83的色差的信息输出到显示控制部58。
在视觉辨认度通知控制部73中,例如,将预先设定的第一阈值设为2.0。根据上述JIS规定,定义为如下:在色差为1前后的情况下,当将2个颜色横向相邻而进行比较观察时为能够辨别差异的水平,在色差为2~3的情况下,当使2个颜色分离而进行比较观察时为知道差异的水平。如上所述,基于JIS规定,将第一阈值设定为2.0,因此视觉辨认度通知控制部73能够通知视觉辨认度变低了的情况。
以下,在感兴趣区域检测模式中,图像处理部56及显示控制部58判定强调显示的视觉辨认度,关于使判定结果显示于显示器18的显示画面84的过程,根据图10所示的流程图及图11所示的说明图进行说明。作为用户的医生操作模式切换部13c,从而切换为感兴趣区域检测模式。由此,感兴趣区域检测模式用照明光照亮在观察对象上。通过摄像传感器38拍摄被感兴趣区域检测模式用照明光照亮的观察对象,从而获取内窥镜图像75。在切换为感兴趣区域检测模式的情况下,显示控制部58依次获取内窥镜图像75(S11),并使其实时显示于显示器18的显示画面84。
在感兴趣区域检测模式中的实时显示中,相对于所获取的内窥镜图像75,进行用于通过感兴趣区域检测部71检测观察对象内的感兴趣区域的感兴趣区域检测处理。在检测到感兴趣区域的情况下(在S12中为是),将基于感兴趣区域检测部71的检测信息76与内窥镜图像75建立关联并输出。
然后,如图11的(A)所示,在观察对象内检测出作为感兴趣区域的病变部77的情况下,即,检测信息76与内窥镜图像75建立关联的情况下,显示控制部58利用与内窥镜图像75建立关联的检测信息76,尤其病变部77的位置及大小的信息等来设定强调区域78(S13)。
在设定强调区域78之后,如图11的(B)所示,显示控制部58在内窥镜图像75内的强调区域78的位置处重叠显示作为强调显示的图形79(S14),并且将图形79的设定信息81输出到图像处理部56。另外,在图7~图9、图11及图12中,为了便于说明,以阴影的有无来表示内窥镜图像75内的图形79与其他部分的色差。另一方面,在观察对象内未检测出病变部77的情况下(在S12中为否),当然不进行强调显示。
在图形79的设定信息81中标记有检测出病变部77的原来的内窥镜图像75的信息,因此视觉辨认度判定部72读出原来的内窥镜图像75,并根据从内窥镜图像75中获取的图像信息和图形79的设定信息81计算颜色信息,从而判定强调显示的视觉辨认度(S15)。作为视觉辨认度的判定,如上所述,将根据颜色信息计算出的色差与第一阈值进行比较。如图12的(A)所示,在显示作为强调显示的图形79的情况下,根据内窥镜图像75内的受检体的颜色、存在于受检体内的物体的有无等,图形79有时会与周围同化或相对于周围的部分变得不明显,从而视觉辨认度降低。在这样的情况下,通常,内窥镜图像75与图形79的色差值也会降低。
在色差为第一阈值以下的情况下(在S16中为是),如图12的(B)所示,将色差的信息作为通知信息83输出到显示控制部58。显示控制部58将通知信息83显示于显示画面84并通知视觉辨认度降低的情况(S17)。另外,在色差超过第一阈值的情况下(在S16中为否),视觉辨认度判定部72不进行通知。
如上所述,判定内窥镜图像75中的强调显示的视觉辨认度,在强调显示的视觉辨认度降低的情况下,进行通知,因此作为用户的医生能够识别强调显示的视觉辨认度降低,从而能够避免用户没注意到病变部等感兴趣区域的状态。
[第二实施方式]
在上述第一实施方式中,作为视觉辨认度的判定结果,举出了将色差的信息显示于显示画面的例,但并不限于此,也可以根据作为判定结果的指标值显示识别信息。在图13中,示出将与作为判定结果的色差相对应的识别信息85A、85B显示于显示画面84的一例。
在本实施方式中,根据从内窥镜图像75中获取的图像信息及强调显示的设定信息81计算颜色信息,并根据这些颜色信息计算内窥镜图像75与图形79的色差,对色差与第一阈值进行比较的过程与上述第一实施方式形同。然后,在色差为第一阈值以下的情况下,视觉辨认度判定部72将识别信息85A输出到显示控制部58。显示控制部58将识别信息85A显示于显示画面84并通知视觉辨认度降低的情况。在图13的(A)所示的例中,显示“视觉辨认度低”等字符信息作为识别信息85A。由此,与上述第一实施方式同样地,作为用户的医生能够识别强调显示的视觉辨认度降低。
另外,作为本实施方式的变形例,不仅在色差为第一阈值以下的情况下,在色差超过第一阈值的情况下,即,视觉辨认度高的情况下也可以显示识别信息。如图13的(B)所示,在色差超过第一阈值的情况下,视觉辨认度判定部72将识别信息85B输出到显示控制部58。显示控制部58将识别信息85B显示于显示画面84并通知视觉辨认度高的情况。在图13的(B)所示的例中,显示“视觉辨认度高”等字符信息作为识别信息85B。
并且,作为根据色差而显示识别信息的设定,不限于第一阈值以下的情况或超过第一阈值的情况这2种等级的设定,也可以设为3种等级以上。例如,预先设定有色差为2.0以下、大于2.0且4.0以下、大于4.0这3种等级的数值,视觉辨认度判定部72基于该设定进行判定。然后,将色差为2.0以下时视觉辨认度低、色差大于2.0且4.0以下时视觉辨认度为中等、色差大于4.0时视觉辨认度高的情况作为识别信息显示于显示画面84。在这种情况下,作为识别信息,优选根据色差的等级显示例如“视觉辨认度低”、“视觉辨认度中”、“视觉辨认度高”等字符信息。
[第三实施方式]
在上述第二实施方式中,作为视觉辨认度的判定结果,举出了显示与作为判定结果的色差相对应的识别信息的例,但并不限于此,如图14所示的例所示,也可以显示与作为判定结果的色差相对应的识别图形。
在本实施方式中,根据从内窥镜图像75中获取的图像信息及强调显示的设定信息81计算颜色信息,并根据这些颜色信息计算内窥镜图像75与图形79的色差,对色差与第一阈值进行比较的过程与上述第一及第二实施方式形同。然后,在色差为第一阈值以下的情况下,将图标86A的信息输出到显示控制部58。显示控制部58将作为识别图形的图标86A显示于显示画面84并通知视觉辨认度降低的情况。在图14的(A)所示的例中,作为图标86A,显示有模仿表示存在危险的标志的标记。由此,与上述第一及第二实施方式同样地,作为用户的医生能够识别强调显示的视觉辨认度降低。
另外,作为本实施方式的变形例,不仅在色差为第一阈值以下的情况下,在色差超过第一阈值的情况下,即,视觉辨认度高的情况下也可以显示识别图形。如图14的(B)所示,在色差超过第一阈值的情况下,视觉辨认度判定部72将图标86B的信息输出到显示控制部58。显示控制部58将作为识别图形的图标86B显示于显示画面84并通知视觉辨认度高的情况。在图14的(B)所示的例中,作为图标86B,显示双圆圈的标记。
并且,作为根据色差而显示识别信息的设定,与上述第二实施方式同样地,可以设定为3种等级以上。例如,与上述第二实施方式同样地,预先设定为3种等级的数值,视觉辨认度判定部72基于该设定进行判定。然后,将色差为2.0以下时视觉辨认度低、色差大于2.0且4.0以下时视觉辨认度为中等、色差大于4.0时视觉辨认度高的情况作为识别图形显示于显示画面84。在这种情况下,作为识别图形,优选显示根据色差的等级而不同的形状的图标。
[第四实施方式]
在上述各实施方式中,使在内窥镜图像上重叠了强调显示的图像显示于1个显示画面内,并使通知信息等显示于内窥镜图像的非显示区域中,但是也可以在与显示普通的内窥镜图像的显示画面不同的显示画面上,显示重叠了通知信息等的图像。
在图15所示的例中,在1个显示器18上并列显示有2个显示画面,可以显示普通的内窥镜图像87作为显示区域大的主图像,显示在内窥镜图像上重叠了强调显示的图像88作为显示区域小于主图像的子图像。然后,在重叠了强调显示的图像88上进一步重叠显示作为识别信息的图标86A。另外,在本实施方式中,普通的内窥镜图像87是指,在上述各实施方式中,在感兴趣区域检测模式中由图像处理部56获取的内窥镜图像75本身,表示未重叠作为强调显示的图形等的状态。
与上述各实施方式同样地,作为子图像而重叠了强调显示的图像88在内窥镜图像75上重叠显示了强调显示的图形79等。然后,与上述各实施方式同样地,根据从内窥镜图像75中获取的图像信息及强调显示的设定信息81计算颜色信息,根据这些颜色信息计算内窥镜图像75与图形79的色差,并与第一阈值进行比较。然后,在色差为第一阈值以下的情况下,将图标86A的信息输出到显示控制部58。显示控制部58在重叠了强调显示的图像88上进一步重叠显示图标86A并通知视觉辨认度降低的情况。
另外,作为显示为视觉辨认度的判定结果的信息,不限于图标86A,与上述各实施方式同样地,可以显示作为指标值的色差的信息或与色差相对应的识别信息等,也可以显示根据色差而不同的识别信息或识别图形。并且,在图15所示的例中,在1个显示器18上并列显示有2个显示画面,但是也可以将主图像与子图像显示在不同的显示器上。
另外,在上述第一~第四实施方式中,在计算内窥镜图像75与作为强调显示的图形79的色差的情况下,视觉辨认度判定部72根据图形79的内侧来计算颜色信息,但并不限于此,也可以计算图形79的外侧,具体而言,在内窥镜图像75中,去除图形79及被图形79包围的范围82的部分的平均值作为颜色信息。如上所述,由于设定信息81中包括图形79的位置信息,因此能够基于位置信息,从内窥镜图像75中切除图形79的外侧而计算颜色信息。由此,即使作为强调显示的图形79与图形79的外侧的色差降低,作为用户的医生也能够识别强调显示的视觉辨认度降低。
并且,在上述第一~第四实施方式中,视觉辨认度判定部72为了判定内窥镜图像75与强调显示的色差,使用了预先设定的第一阈值,但是该判定所使用的第一阈值并不是始终相同的值,可以根据强调显示的线的粗细对第一阈值加权。
例如,显示控制部58能够根据感兴趣区域的大小而变更作为强调显示的图形79的线的粗细,或者能够根据用户的输入操作而变更图形79的线的粗细。如此,在能够变更图形79的线的粗细的情况下,当视觉辨认度判定部72获取强调显示的设定信息时,根据图形79的线的粗细对第一阈值进行加权。作为相对于第一阈值的加权,与图形79的线的粗细成反比例地较小地设定第一阈值。
例如,在图形79的线的粗细为初始设定的情况下,第一阈值为2.0,在图形79的线的粗细比初始设定粗的情况下,使第一阈值小于2.0,在图形79的线的粗细比初始设定细的情况下,使第一阈值大于2.0。关于强调显示的视觉辨认度,图形79的线的粗细越厚,视觉辨认度越高,因此即使根据图形79的线的粗细而较小地设定第一阈值,也与上述各实施方式同样地,作为用户的医生能够识别强调显示的视觉辨认度降低。
[第五实施方式]
上述各实施方式中,作为视觉辨认度的判定,视觉辨认度判定部72将根据内窥镜图像75的图像信息及强调显示的设定信息计算出的色差用作指标值,但并不限于此,也可以以存在于强调显示的内侧的检测对象外的物体的有无来进行视觉辨认度的判定。在这种情况下,例如,如图16的(A)所示,在内窥镜图像75中,作为检测对象外的物体89或现象,例如,水、光晕、泡、色素等病变部77以外的物质有时会进入到作为强调显示的图形79的内侧。在获取颜色信息的情况下,这些检测对象外的物体89或现象映入内窥镜图像75中的部分通常明度或亮度高。因此,在本实施方式中,使用明度的值作为从内窥镜图像中获取的颜色信息。另外,并不限于此,可以使用亮度的值作为从内窥镜图像中获取的颜色信息。
视觉辨认度判定部72为了检测出检测对象外的物体89或现象存在于图形79的内侧,将被图形79包围的范围82内的各像素的明度与第二阈值进行比较。通过假设水、光晕、泡等,将该第二阈值设定为明度高的值。因此,在明度为第二阈值以上的情况下,检测对象外的物体89或现象映入的可能性高。
视觉辨认度判定部72还针对被图形79包围的范围82,将明度为第二阈值以上的部分的面积比(明度为第二阈值以上的部分的面积相对于范围82的面积的比率)与第三阈值进行比较。关于第三阈值,假设相对于范围82,明度高的部分较多,例如设定为50%的面积比。
然后,如图16的(B)所示,在明度为第二阈值以上的部分的面积比为第三阈值以上的情况下,视觉辨认度判定部72判断为检测对象外的物体89或现象存在于图形79的内侧的状态即视觉辨认度降低,并将图标86A的信息输出到显示控制部58。显示控制部58在内窥镜图像75上重叠显示图标86A并通知视觉辨认度降低的情况。另外,作为视觉辨认度的判定结果而显示的信息,不限于图标86A,可以显示明度为第二阈值以上的部分的面积比的信息或与面积比相对应的识别信息等,也可以显示根据与面积比而不同的识别信息或识别图形。
另外,在上述各实施方式中,作为强调显示的图形为正方形框状,并不限于此,只要是矩形(四边形)以外的多角形、圆、椭圆等能够包围感兴趣区域的框形状即可。
并且,作为强调显示的图形不限于包围感兴趣区域的1个框形状,可以由多个形状构成。在图17所示的例中,作为强调显示,显示控制部58将包围病变部77的4个L字状图形91A~91D配置于强调区域78的各个角上。另外,在图17中,双点划线是为了便于说明L字状图形91A~91D的配置而图示的,实际上并不显示。
在图17所示的例中,如上述第一~第四实施方式所示,作为视觉辨认度的判定,将根据内窥镜图像75的图像信息及强调显示的设定信息计算出的色差用作指标值的情况下,优选视觉辨认度判定部72计算4个L字状图形91A~91D的平均值作为颜色信息,根据内窥镜图像75的颜色信息与L字状图形91A~91D的平均值的颜色信息计算色差,并与第一阈值进行比较。
另外,并不限于此,视觉辨认度判定部72计算4个L字状图形91A~91D各自的颜色信息,根据内窥镜图像75的颜色信息和L字状图形91A~91D的各自的颜色信息共计算4个色差,并与第一阈值进行比较。在这种情况下,例如,在4个色差中,若任何一个为第一阈值以下,则判定为视觉辨认度低。然后,在色差为第一阈值以下的情况下,将色差的通知信息83、识别信息、识别图形等的信息输出到显示控制部58。之后,以与上述各实施方式相同的方式进行通知。
并且,在根据内窥镜图像75的图像信息及强调显示的设定信息计算出的色差等指标值为预先设定的第一阈值以下的情况下,或者在强调显示的内侧,明度或亮度为第二阈值以上的部分的面积比为第三阈值以上的情况下,图像处理部56判断为视觉辨认度低,以与上述各实施方式相同的方式进行通知,并且可以自动保存检测出感兴趣区域的内窥镜图像。由此,由于能够在检测出感兴趣区域的同时,之后对视觉辨认度降低的内窥镜图像进行确认,因此能够可靠地避免用户没注意到病变部等感兴趣区域的状态。另外,如上所述,判断为视觉辨认度低,并且作为保存检测出感兴趣区域的内窥镜图像的保存目的地,例如可以保存于设置于处理器装置16的存储装置或者云等服务器。
并且,如上所述,在判断为视觉辨认度低的情况下,图像处理部56不仅向用户发出通知,还会进行发出声音、指示器的发光、或者使画面的一部分闪烁等警告。
[第六实施方式]
在上述各实施方式中,视觉辨认度判定部72以色差的信息或检测对象外的物体的有无等进行视觉辨认度的判定,并不限于此,也可以根据针对感兴趣区域的强调显示的线的粗细进行判定。图18是视觉辨认度判定部72根据针对感兴趣区域的强调显示的线的粗细来判断强调显示的视觉辨认度时的显示画面的一例。
在本实施方式中,视觉辨认度判定部72计算图形79的线的粗细T1相对于病变部77的最大尺寸LM的比率作为指标值,所述病变部通过感兴趣区域检测部71从内窥镜图像75中检测。另外,病变部77的最大尺寸LM是指,例如,使用内窥镜图像75的X轴方向及Y轴方向的任一方向中病变部77的最大部分的尺寸,在图18所示的例中,将X轴方向上病变部77的最大部分的尺寸设为最大尺寸LM。
作为视觉辨认度的判定,视觉辨认度判定部72将图形79的线的粗细T1相对于上述的病变部77的最大尺寸LM的比率与阈值进行比较,在比率为阈值以下的情况下,判定为视觉辨认度低。然后,与上述各实施方式同样地,将通知信息、识别信息、识别图形等的信息输出到显示控制部58。之后,以与上述各实施方式相同的方式进行通知。在图18所示的例中,显示“视觉辨认度低”等字符信息作为识别信息92。针对感兴趣区域的图形的线的粗细的比率越小,视觉辨认度越低,因此与上述各实施方式同样地,作为用户的医生能够识别强调显示的视觉辨认度降低。
[第七实施方式]
在上述第六方式中,视觉辨认度判定部72根据针对感兴趣区域的强调显示的线的粗细来进行视觉辨认度的判定,并不限于此,可以显示包围感兴趣区域的框形状的图形作为强调显示,并根据针对感兴趣区域的框形状的类似度来判定视觉辨认度。图19是根据针对感兴趣区域的框形状的类似度判断强调显示的视觉辨认度时的显示画面的一例。
在本实施方式中,视觉辨认度判定部72分析通过感兴趣区域检测部71从内窥镜图像75中检测出的病变部77的形状和包围病变部77的框形状的图形93的类似度。另外,图形93是包围病变部77且与病变部77的外周的多个部位接触的圆形框状的图形。在根据类似度判定视觉辨认度的情况下,例如,视觉辨认度判定部72通过公知的模板匹配等方法,分析病变部77的轮廓形状与图形93的内周形状的类似度,并将该类似度与阈值进行比较,在类似度为阈值以上的情况下,判定为视觉辨认度低。然后,与上述各实施方式同样地,将通知信息、识别信息、识别图形等的信息输出到显示控制部58。之后,以与上述各实施方式相同的方式进行通知。在图19所示的例中,显示“视觉辨认度低”等字符信息作为识别信息92。针对感兴趣区域的框形状的类似度越高,视觉辨认度越低,因此与上述各实施方式同样地,作为用户的医生能够识别强调显示的视觉辨认度降低。
在上述各实施方式中,显示控制部58在强调区域的位置处重叠显示框形状的图形,但并不限于此,也可以变更强调区域的颜色作为强调显示。在这种情况下,在检测作为感兴趣区域的病变部77并设定强调区域的情况下,显示控制部58也可以作为强调显示提取强调区域与原来的颜色不同的颜色,例如,内窥镜图像75中大量包含的颜色,并将强调区域变更为与内窥镜图像75的其他部分不同的颜色。另外,这里所说的不同的颜色是指,例如,色相不同的颜色。
另外,作为强调区域的强调显示,不限于上述的方式,只要是彩度变化处理、对比度处理、负正反转处理、过滤处理等能够相对于周围视觉上区分的图像处理即可。或者,也可以组合基于强调区域的图像处理的强调显示、和基于上述各实施方式中的包围病变部的图形的强调显示。
在上述各实施方式中,使用4种颜色的LED20a~20d进行了观察对象的照亮,但是也可以使用激光束和荧光体进行观察对象的照亮。并且,在上述各实施方式中,使用4种颜色的LED20a~20d进行了观察对象的照亮,但是也可以使用氙气灯等白色光光源和旋转滤光器进行观察对象的照亮。并且,也可以代替彩色的摄像传感器38,利用单色的摄像传感器进行观察对象的拍摄。
另外,在上述实施方式中,作为医疗图像,对获取内窥镜图像的内窥镜系统应用了本发明的医疗图像处理装置,但是也能够应用于胶囊型内窥镜等各种内窥镜系统中是不言而喻的,作为其他医疗图像,也能够对获取X线图像、CT图像、MR图像、超声波图像、病理图像、PET(Positron Emission Tomography:正电子发射断层成像)图像等的各种医疗图像装置应用本发明的医疗图像处理装置。
在上述实施方式中,如图像处理部56、显示控制部58那样的执行各种处理的处理部(processing unit:处理单元)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)来作为各种处理部而发挥作用的通用的处理器即CPU(Central Processing Unit:中央处理单元)、GPU(Graphical Processing Unit:图形处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器的组合(例如,多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合等)构成。并且,也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第一,有如下方式:如以客户端或服务器等计算机为代表,以1个以上的CPU与软件的组合构成1个处理器,该处理器作为多个处理部而发挥作用。第二,有如下方式:如以片上系统(System On Chip:SoC)等为代表,使用由1个IC(Integrated Circuit:集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此,各种处理部使用1个以上的上述各种处理器来构成为硬件结构。
另外,更具体而言,这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,13a-弯角钮,13b-静止图像获取部,13c-模式切换部,13d-变焦操作部,14-光源装置,16-处理器装置,18-显示器,19-控制台,20-光源部,20a-V-LED,20b-B-LED,20c-G-LED,20d-R-LED,22-光源控制部,23-波长截止滤光片,24-光导件,30a-照明光学系统,30b-摄像光学系统,32-照明透镜,34-物镜,36-放大光学系统,36a-变焦透镜,36b-透镜驱动部,38-摄像传感器,40-CDS电路,42-AGC电路,44-A/D转换电路,50-图像信号获取部,52-DSP,54-降噪部,56-图像处理部,58-显示控制部,60-普通模式图像处理部,62-特殊模式图像处理部,64-感兴趣区域检测模式图像处理部,70-检测用图像处理部,71-感兴趣区域检测部,72-视觉辨认度判定部,73-视觉辨认度通知控制部,75-内窥镜图像,76-检测信息,77-病变部,78-强调区域,79-图形,81-设定信息,82-范围,83-通知信息,84-显示画面,85A-识别信息,85B-识别信息,86A-图标,86B-图标,87-普通的内窥镜图像,88-重叠强调显示的图像,89-检测对象外的物体,91A~91D-L字状图形。
Claims (19)
1.一种医疗图像处理装置,其具备处理器,所述医疗图像处理装置中,
所述处理器进行如下处理:
获取医疗图像;
从所述医疗图像内检测感兴趣区域;
设定用于强调所检测的所述感兴趣区域的强调显示,并使所述强调显示重叠在所述医疗图像上而进行显示;
根据从检测出所述感兴趣区域的所述医疗图像中获取的图像信息和所设定的所述强调显示来判定强调显示的视觉辨认度;及
将所述视觉辨认度的判定结果通知给用户,
所述处理器显示包围所述感兴趣区域的框形状的图形作为所述强调显示,并根据针对所述感兴趣区域的所述框形状的图形的线的粗细来判定所述视觉辨认度。
2.根据权利要求1所述的医疗图像处理装置,其中,
所述处理器从所述医疗图像中的所述强调显示的内侧获取所述图像信息。
3.根据权利要求1所述的医疗图像处理装置,其中,
所述处理器从所述医疗图像中的所述强调显示的外侧获取所述图像信息。
4.根据权利要求1至3中任一项所述的医疗图像处理装置,其中,
所述处理器根据从所述图像信息计算出的颜色信息和从所述强调显示计算出的颜色信息,获取所述医疗图像与所述强调显示的色差,并根据所述色差来判定所述视觉辨认度。
5.根据权利要求4所述的医疗图像处理装置,其中,
所述处理器计算从所述图像信息计算出的平均值作为所述颜色信息。
6.根据权利要求1至3中任一项所述的医疗图像处理装置,其中,
所述处理器根据针对所述感兴趣区域的所述框形状的类似度来判定所述视觉辨认度。
7.根据权利要求1至3中任一项所述的医疗图像处理装置,其中,
所述处理器使所述判定结果显示于显示画面上。
8.根据权利要求1至3中任一项所述的医疗图像处理装置,其中,
所述处理器计算数值化的指标值作为所述视觉辨认度的判定结果,并显示于显示画面上。
9.根据权利要求8所述的医疗图像处理装置,其中,
在所述指标值为预先设定的阈值以下的情况下,所述处理器进行所述指标值的显示作为所述通知。
10.根据权利要求8所述的医疗图像处理装置,其中,
所述处理器将从所述图像信息及所述强调显示计算出的色差用作所述指标值。
11.根据权利要求1至3中任一项所述的医疗图像处理装置,其中,
所述处理器计算将所述视觉辨认度的判定结果数值化的指标值,并显示与所述指标值相对应的识别信息或识别图形。
12.根据权利要求1所述的医疗图像处理装置,其中,
所述处理器以存在于所述强调显示的内侧的检测对象外的物体的有无来进行所述视觉辨认度的判定。
13.根据权利要求12所述的医疗图像处理装置,其中,
相对于所述医疗图像中的所述强调显示的内侧的范围,在所述强调显示的内侧的明度或亮度为第二阈值以上的部分的面积比为第三阈值以上的情况下,所述处理器判定为存在所述检测对象外的物体。
14.根据权利要求7所述的医疗图像处理装置,其中,
所述处理器使所述判定结果显示于与显示所述医疗图像的显示画面不同的显示画面。
15.根据权利要求8所述的医疗图像处理装置,其中,
在所述指标值为预先设定的第一阈值以下的情况下,所述处理器自动保存检测出所述感兴趣区域的所述医疗图像。
16.根据权利要求8所述的医疗图像处理装置,其中,
在所述指标值为预先设定的第一阈值以下的情况下,所述处理器向用户发出警告。
17.一种内窥镜系统,其具备:
光源装置,发出用于照亮观察对象的照明光;
内窥镜,具有拍摄被所述照明光照亮的观察对象的摄像传感器;
处理器;及
显示器,显示对所述摄像传感器输出的图像信号进行了信号处理的医疗图像,
所述处理器进行如下处理:
获取所述医疗图像;
从所述医疗图像内检测感兴趣区域;
设定用于强调所检测的所述感兴趣区域的强调显示,并使所述强调显示重叠在所述医疗图像上而显示于所述显示器;
根据从检测出所述感兴趣区域的所述医疗图像中获取的图像信息和所设定的所述强调显示来判定强调显示的视觉辨认度;及
将所述视觉辨认度的判定结果通知给用户,
所述处理器显示包围所述感兴趣区域的框形状的图形作为所述强调显示,并根据针对所述感兴趣区域的所述框形状的图形的线的粗细来判定所述视觉辨认度。
18.一种医疗图像处理装置的工作方法,其包括如下步骤:
获取医疗图像;
从所获取的所述医疗图像内检测感兴趣区域;
设定用于强调所检测的所述感兴趣区域的强调显示,并使所述强调显示重叠在所述医疗图像上而进行显示;
根据从检测出所述感兴趣区域的所述医疗图像中获取的图像信息和所设定的所述强调显示来判定强调显示的视觉辨认度;及
将所述视觉辨认度的判定结果通知给用户,
其中,显示包围所述感兴趣区域的框形状的图形作为所述强调显示,并根据针对所述感兴趣区域的所述框形状的图形的线的粗细来判定所述视觉辨认度。
19.一种非暂时性计算机可读介质,存储有计算机能执行的程序,所述计算机能执行的程序用于使计算机作为获取医疗图像并且对医疗图像实施图像处理的医疗图像处理装置发挥功能,所述计算机能执行的程序使计算机实现如下功能:
获取所述医疗图像;
从所述医疗图像内检测感兴趣区域;
设定用于强调所检测的所述感兴趣区域的强调显示,并使所述强调显示重叠在所述医疗图像上而进行显示;
根据从检测出所述感兴趣区域的所述医疗图像中获取的图像信息和所设定的所述强调显示来判定强调显示的视觉辨认度;及
将所述视觉辨认度的判定结果通知给用户,
其中,显示包围所述感兴趣区域的框形状的图形作为所述强调显示,并根据针对所述感兴趣区域的所述框形状的图形的线的粗细来判定所述视觉辨认度。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-067362 | 2020-04-03 | ||
| JP2020067362 | 2020-04-03 | ||
| PCT/JP2021/014299 WO2021201272A1 (ja) | 2020-04-03 | 2021-04-02 | 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115361898A CN115361898A (zh) | 2022-11-18 |
| CN115361898B true CN115361898B (zh) | 2025-08-15 |
Family
ID=77927224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180026610.7A Active CN115361898B (zh) | 2020-04-03 | 2021-04-02 | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、非暂时性计算机可读介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230027950A1 (zh) |
| EP (1) | EP4129152A4 (zh) |
| JP (1) | JP7610582B2 (zh) |
| CN (1) | CN115361898B (zh) |
| WO (1) | WO2021201272A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7148625B2 (ja) * | 2018-09-18 | 2022-10-05 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム |
| US20240198124A1 (en) * | 2021-08-17 | 2024-06-20 | Shimadzu Corporation | Phototherapy planning device and phototherapy planning method |
| JP2023160260A (ja) * | 2022-04-22 | 2023-11-02 | 株式会社Aiメディカルサービス | 内視鏡画像診断支援システム |
| CN117392449B (zh) * | 2023-10-24 | 2024-09-24 | 青岛美迪康数字工程有限公司 | 基于进镜图像特征的肠镜部位识别方法、装置和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107613839A (zh) * | 2015-06-11 | 2018-01-19 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
| WO2019146077A1 (ja) * | 2018-01-26 | 2019-08-01 | オリンパス株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6246431B2 (ja) | 2015-11-10 | 2017-12-13 | オリンパス株式会社 | 内視鏡装置 |
| JP2017213097A (ja) | 2016-05-30 | 2017-12-07 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6749473B2 (ja) * | 2017-03-30 | 2020-09-02 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| WO2018198161A1 (ja) | 2017-04-24 | 2018-11-01 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
| EP3633987A4 (en) * | 2017-06-02 | 2020-04-08 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC AID, AND MEDICAL WORK AID |
| WO2018235179A1 (ja) * | 2017-06-21 | 2018-12-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
| WO2019082993A1 (ja) * | 2017-10-26 | 2019-05-02 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
| WO2019244255A1 (ja) * | 2018-06-19 | 2019-12-26 | オリンパス株式会社 | 内視鏡画像処理装置および内視鏡画像処理方法 |
| CN112423645B (zh) * | 2018-07-20 | 2023-10-31 | 富士胶片株式会社 | 内窥镜系统 |
| EP3851022A4 (en) * | 2018-09-11 | 2021-10-27 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM AND ENDOSCOPIC SYSTEM |
| JP7137629B2 (ja) | 2018-09-26 | 2022-09-14 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム |
| JP7282796B2 (ja) | 2018-09-28 | 2023-05-29 | 富士フイルム株式会社 | 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム |
-
2021
- 2021-04-02 WO PCT/JP2021/014299 patent/WO2021201272A1/ja not_active Ceased
- 2021-04-02 CN CN202180026610.7A patent/CN115361898B/zh active Active
- 2021-04-02 EP EP21780377.4A patent/EP4129152A4/en active Pending
- 2021-04-02 JP JP2022511157A patent/JP7610582B2/ja active Active
-
2022
- 2022-09-30 US US17/937,290 patent/US20230027950A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107613839A (zh) * | 2015-06-11 | 2018-01-19 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
| WO2019146077A1 (ja) * | 2018-01-26 | 2019-08-01 | オリンパス株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021201272A1 (zh) | 2021-10-07 |
| WO2021201272A1 (ja) | 2021-10-07 |
| EP4129152A4 (en) | 2023-09-20 |
| CN115361898A (zh) | 2022-11-18 |
| EP4129152A1 (en) | 2023-02-08 |
| JP7610582B2 (ja) | 2025-01-08 |
| US20230027950A1 (en) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| CN115361898B (zh) | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、非暂时性计算机可读介质 | |
| US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| US11627864B2 (en) | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest | |
| CN112770662B (zh) | 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统 | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
| US20230029239A1 (en) | Medical image processing system and method for operating medical image processing system | |
| JP2020065685A (ja) | 内視鏡システム | |
| CN111343899B (zh) | 内窥镜系统及其工作方法 | |
| JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US12051201B2 (en) | Image processing device capable of accurately determining ulcerative colitis by using a medical image and method of operating the same | |
| US12020350B2 (en) | Image processing apparatus | |
| JPWO2020121868A1 (ja) | 内視鏡システム | |
| JP6999597B2 (ja) | プロセッサ装置及びその作動方法並びに内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |