CN116894805A - 基于广角眼底图像的病变特征的识别系统 - Google Patents
基于广角眼底图像的病变特征的识别系统 Download PDFInfo
- Publication number
- CN116894805A CN116894805A CN202310072305.2A CN202310072305A CN116894805A CN 116894805 A CN116894805 A CN 116894805A CN 202310072305 A CN202310072305 A CN 202310072305A CN 116894805 A CN116894805 A CN 116894805A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- wide
- angle
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本公开提供一种基于广角眼底图像的病变特征的识别系统,包括采集广角眼底图像的图像采集装置、基于广角眼底图像生成主体眼底图像和外围眼底图像的预处理装置和包括第一、第二和第三识别装置的自动识别装置;第一识别装置的第一模型经由标准眼底图像和/或用于训练的广角眼底图像中的视网膜主体区域的图像数据训练,接收主体眼底图像并输出第一判断结果,第二识别装置的第二模型经由用于训练的广角眼底图像中的视网膜周边区域的图像数据训练,接收外围眼底图像并输出第二判断结果,第三识别装置基于第一、第二判断结果输出最终判断结果。由此,能够利用视角更大的广角眼底图像进行识别以提高特别是识别隐匿于视网膜周边区域的病变的准确度。
Description
技术领域
本公开大体涉及基于机器学习的识别技术领域,具体涉及一种基于广角眼底图像的病变特征的识别系统。
背景技术
近年,超广角眼底成像术作为新的眼底图像采集技术得到了逐步的推广,已被广泛应用于多种眼底疾病(例如糖尿病视网膜病变)的评估。对于超广角眼底成像术,眼球正位一次成像可达到赤道前部至锯齿缘范围,而传统眼底采集技术的成像范围一般聚焦在包括视盘、黄斑及血管弓的后极部,对于中周部(赤道部以后)及远周部(赤道部以前至锯齿缘部分)的视网膜则无法成像。
目前,人工智能技术得到了显著的发展,其在医学影像诊断领域等应用也越来越得到关注,也有利用机器学习等来进行眼底图像的自动识别和诊断。例如基于深度学习的神经网络能够更好地反映数据的本质特征,进而有利于自动学习眼底图像的特征表示。
然而,目前眼底图像的采集通常是采集例如45°视角的眼底图像,在识别过程中较容易遗漏重要的病变特征,因此,病变识别的准确度还有待于提高。
发明内容
本公开针对上述现有状况,其目的在于提供一种能够利用视角更大的广角眼底图像进行病变识别以提高特别是识别隐匿于视网膜周边区域的病变的准确度的基于广角眼底图像的病变特征的识别系统。
为此,本公开提供了一种基于广角眼底图像的病变特征的识别系统,包括图像采集装置、预处理装置和自动识别装置;所述图像采集装置用于采集待识别的广角眼底图像,所述广角眼底图像包括视网膜主体区域和围绕所述视网膜主体区域的视网膜周边区域,所述视网膜主体区域包括视盘区以及从视盘引出的血管对应的血管区域、和/或黄斑区;所述预处理装置用于对所述待识别的广角眼底图像进行处理以生成具有所述视网膜主体区域的主体眼底图像和具有所述视网膜周边区域的外围眼底图像;所述自动识别装置包括第一识别装置、第二识别装置和第三识别装置,所述第一识别装置包括基于机器学习的第一模型,所述第一模型接收所述主体眼底图像并对所述主体眼底图像中的病变特征进行识别并输出第一判断结果,所述第一模型经由具有所述视网膜主体区域的标准眼底图像和/或用于训练的广角眼底图像中的所述视网膜主体区域的图像数据训练,所述第二识别装置包括基于机器学习的第二模型,所述第二模型接收所述外围眼底图像并对所述外围眼底图像中的病变特征进行识别并输出第二判断结果,所述第二模型经由所述用于训练的广角眼底图像中的所述视网膜周边区域的图像数据训练,所述第三识别装置基于所述第一判断结果和所述第二判断结果输出最终判断结果。
在本公开中,广角眼底图像具有更大的视角,能够利用更广的眼底区域中的特征信息来识别病变特征,进而能够提高眼底病变识别的准确度,特别地,能够提高识别隐匿于视网膜周边的病变的准确度。另外,利用机器学习能够对广角眼底图像中的病变特征进行自动判断。另外,广角眼底图像分为主体眼底图像和外围眼底图像并分别利用相应数据训练获得的模型进行识别,使相应模型支持结合或利用视角较小的普通眼底图像进行训练,进而能够降低对用于训练的广角眼底图像的数据量的依赖,并能够降低相应模型的训练难度。另外,支持单独采用标准眼底图像训练获得第一模型,能够有利于直接利用已有的经由标准眼底图像训练的模型使第一模型易于获取,且较容易获取的标准眼底图像能够使第一模型易于训练。另外,对于采用标准眼底图像和广角眼底图像中的视网膜主体区域的图像数据训练获得第一模型,并采用广角眼底图像中的视网膜周边区域的图像数据训练获得第二模型,能够在使第一模型易于训练或获取的情况下,进一步提高基于广角眼底图像的病变识别的准确度。
另外,在本公开所涉及的识别系统中,可选地,所述第三识别装置基于所述第一判断结果和所述第二判断结果进行加权平均以输出所述最终判断结果,其中,所述第二判断结果的权重大于所述第一判断结果的权重。在这种情况下,能够通过权重调整视网膜主体区域和视网膜周边区域的特征信息对最终判断结果的影响,进而能够进一步提高病变识别的准确度。另外,增加视网膜周边区域的权重,使得最终判断结果更依赖于视网膜周边的特征信息,能够有效地降低视网膜周边中较重要的病变特征被遗漏的风险,进而能够进一步提高病变识别的准确度。
另外,在本公开所涉及的识别系统中,可选地,所述第三识别装置基于目标对象信息、所述第一判断结果和所述第二判断结果输出所述最终判断结果。在这种情况下,综合目标对象信息以利用更全面的信息获取最终判断结果,能够进一步提高病变识别的准确度。另外,能够更加接近医生实际诊断过程,从而能够提高判断的准确度。
另外,在本公开所涉及的识别系统中,可选地,所述广角眼底图像的视角大于或等于105°,所述主体眼底图像的视角为30°至60°,所述标准眼底图像的视角为30°至60°。在这种情况下,选择相应视角范围的标准眼底图像能够进一步降低标准眼底图像的获取难度,并且有利于复用或利用现有的已经由标准眼底图像训练的模型。另外,主体眼底图像的视角范围与标准眼底图像相匹配,有利于使标准眼底图像训练的模型更加适合通过主体眼底图像的进一步优化。
另外,在本公开所涉及的识别系统中,可选地,在所述第二模型的训练过程中,对所述用于训练的广角眼底图像中的所述视网膜周边区域的图像数据进行裁切以形成多个裁切图像,并且将所述多个裁切图像作为所述第二模型的训练数据;所述预处理装置还用于对所述外围眼底图像进行裁切以形成多个待识别的裁切图像,所述待识别的裁切图像与用于训练的裁切图像的尺寸大小相同,所述第二识别装置还用于对由所述第二模型获得的所述多个待识别的裁切图像分别对应的子判断结果进行综合以获得所述第二判断结果。在这种情况下,对视网膜周边区域的图像数据进行裁切能够增加训练数据以进一步降低对广角眼底图像的数量要求,进而能够支持利用较少的广角眼底图像获得准确度较高的第二模型。
另外,在本公开所涉及的识别系统中,可选地,所述自动识别装置布置在云端服务器,所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。在这种情况下,将图像采集装置与自动识别装置经由网络通信方式来交互,有利于靠近图像采集装置侧的操作人员例如医生或操作员通过操作图像采集装置来获取广角眼底图像。另外,也有利于广角眼底图像一些本地化的操作。
另外,在本公开所涉及的识别系统中,可选地,所述病变特征属于糖尿病视网膜病变,所述第二判断结果包括无病变或包括深层出血、微血管瘤和激光斑中的至少一种。由此,使第二识别装置能够支持对广角眼底图像的视网膜周边区域进行糖尿病视网膜病变的识别,并且病变识别的准确度较高。
另外,在本公开所涉及的识别系统中,可选地,所述图像采集装置对同一目标对象采集至少两张广角眼底图像,所述两张广角眼底图像分别属于同一目标对象的不同眼睛。在这种情况下,能够进一步模拟医生的诊断过程,有利于获得较有效的病变特征的判断结果。
另外,在本公开所涉及的识别系统中,可选地,所述预处理装置包括归一化单元,所述归一化单元用于对所述待识别的广角眼底图像进行归一化。由此,能够克服不同广角眼底图像的差异性,提高机器学习的模型的性能。
另外,在本公开所涉及的识别系统中,可选地,所述预处理装置包括剪裁单元,所述剪裁单元基于由检测获得的所述待识别的广角眼底图像的所述视网膜主体区域剪裁出所述视网膜主体区域的图像数据并作为所述主体眼底图像,并将去除所述视网膜主体区域的所述待识别的广角眼底图像作为所述外围眼底图像。在这种情况下,后续使用去除视网膜主体区域的广角眼底图像来获得第二判断结果,使第二模型更专注于视网膜周边区域的病变识别,能够有效降低其他区域的特征信息对视网膜周边区域的病变识别的影响。
根据本公开,提供一种能够利用视角更大的广角眼底图像进行病变识别以提高特别是识别隐匿于视网膜周边区域的病变的准确度的基于广角眼底图像的病变特征的识别系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1是示出了本公开示例所涉及的病变识别环境的示例性的示意图。
图2A是示出了本公开示例所涉及的广角眼底图像的示例图。
图2B是示出了图2A的广角眼底图像的相关区域的示意图。
图3是示出了本公开示例所涉及的基于广角眼底图像的病变特征的识别系统的框图。
图4是示出了本公开示例所涉及的处理装置的框图。
图5是示出了本公开示例所涉及的预处理装置的框图。
图6是示出了本公开示例所涉及的自动识别装置的框图。
图7示出了本公开示例所涉及的利用识别系统进行病变识别的示意图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行,除非在此另有指示或者与上下文明显矛盾。
本公开的示例涉及能够提高眼底病变识别的准确度的基于广角眼底图像的病变特征(也可以称为眼底病变特征)的识别系统。另外,本公开的示例涉及的基于广角眼底图像的病变特征的识别系统有时也可以简称识别系统、病变识别系统、判定系统或病变判定系统等。
本公开的示例涉及的识别系统利用机器学习(即人工智能方法)对广角眼底图像中的病变特征进行识别并输出最终判断结果。在这种情况下,广角眼底图像具有更大的视角,能够利用更广的眼底区域中的特征信息来识别病变特征,进而能够提高眼底病变识别的准确度,特别地,能够提高识别隐匿于视网膜周边的病变的准确度。另外,识别系统能够节约医生眼底筛查的时间,有利于使眼底筛查能够得到推广和应用,提高筛查率,从而推动医疗卫生特别是基层医疗卫生的发展。
另外,本公开的示例涉及的识别系统也可以判断是哪种眼底病变并进行分级。例如眼底病变可以包括糖尿病视网膜病变、高血压及动脉硬化性眼底病变、年龄相关性黄斑变性眼底病变、视网膜静脉阻塞眼底病变、视网膜动脉阻塞眼底病变、高度近视眼底病变,甚至心血管病等相关的眼底病变等。
本公开的示例涉及的识别系统特别适用于糖尿病视网膜病变的病变特征的识别。在一些示例中,对于糖尿病视网膜病变,病变特征可以包括微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑、静脉异常、视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离中的至少一种。在一些示例中,针对视网膜周边区域,糖尿病视网膜病变的病变特征可以包括深层出血、微血管瘤和激光斑中的至少一种。
另外,本公开的示例涉及的识别系统也可以实现无病变和有病变的两种判断的待分类类别,也可以实现无病变和具体病变类型的待分类类别,也可以实现无病变和具体病变特征的待分类类别。以糖尿病视网膜病变为例,对于无病变和具体病变类型的待分类类别可以包括无糖尿病视网膜病变、轻度非增生性糖尿病视网膜病变、中度非增生性糖尿病视网膜病变、重度非增生性糖尿病视网膜病变和增生性糖尿病视网膜病变。另外,本公开的示例涉及的识别系统的待分类类别也可以根据具体情况进行调整。
另外,本公开的示例涉及的识别系统可以采用单张广角眼底图像或多张广角眼底图像作为输入信息。在一些示例中,可以采用目标眼底图像与参考眼底图像分别独立作为输入信息。也即,对于针对目标眼底图像的眼底病变识别,可以同时参考来自于同一个目标对象(例如同一个人)的参考眼底图像。由此,能够较准确且全面地识别眼底病变。这里,“目标眼底图像”是指需要诊断是否存在病变或者存在什么病变类型或病变特征的广角眼底图像;而“参考眼底图像”是指与“目标眼底图像”同样来自于同一个目标对象的广角眼底图像。在这种情况下,同时使用目标眼底图像和参考眼底图像能够模拟医生的实际诊断过程,从而能够提高眼底病变识别的准确度。
以下将结合附图来详细描述本公开的示例。图1是示出了本公开示例所涉及的病变识别环境的示例性的示意图。本公开的示例描述的场景是为了更加清楚的说明本公开的技术方案,并不构成对于本公开提供的技术方案的限定。参考图1,病变识别环境可以包括图像采集装置10和处理装置20。
图像采集装置10可以用于采集目标对象的眼底1的广角眼底图像。例如,图像采集装置10可以为广角眼底相机。图像采集装置10可以将采集的广角眼底图像传输至处理装置20。在一些示例中,观察者(例如医生)可以通过图像采集装置10观察目标对象的眼底1以调整成像视野和/或识别眼底1中的病变。
处理装置20可以接收待识别的广角眼底图像并对广角眼底图像中的病变特征进行识别以获取最终判断结果。另外,处理装置20可以通过计算设备实现。计算设备可以是具有计算能力的任何设备。例如,计算设备可以为云服务器、个人计算机、大型机和分布式计算系统等。
另外,目标对象的眼底1是指眼球内后部的组织。在一些示例中,目标对象的眼底1可以包括眼球的内膜、视网膜、黄斑和血管。
图2A是示出了本公开示例所涉及的广角眼底图像的示例图。图2B是示出了图2A的广角眼底图像的相关区域的示意图。
在本公开的各种示例中,广角眼底图像可以包括视网膜主体区域和围绕视网膜主体区域的视网膜周边区域。在这种情况下,利用视角更大的广角眼底图像进行病变识别或训练相应模型(例如稍后描述的第一模型和第二模型),能够提高识别隐匿于视网膜周边区域的病变的准确度。另外,后续利用视网膜主体区域和视网膜周边区域对应的主体眼底图像和外围眼底图像分别识别病变特征能够使相应模型易于获取或训练,特别是能够降低对用于训练的广角眼底图像的数据量的依赖,并能够降低相应模型的训练难度。作为广角眼底图像的示例,图2A示出了由广角眼底相机采集的广角眼底图像。从图2A可以看出,广角眼底图像相对标准眼底图像而言视角更大。
另外,视网膜主体区域通常可以包括颞侧区域、额侧区域和上方区域三个区域。在一些示例中,视网膜主体区域还可以包括下方区域。另外,可以根据需要(例如可以根据病变识别所针对眼底病变或已有的模型对应的眼底区域)调整视网膜主体区域。在一些示例中,视网膜主体区域可以包括视盘区以及从视盘引出的血管对应的血管区域、和/或黄斑区。在这种情况下,具有视网膜主体区域的标准眼底图像较容易获取,能够进一步有利于直接利用已有的经由标准眼底图像训练的模型作为第一模型或使第一模型的训练数据易于获取。
在一些示例中,视网膜主体区域的形状可以为方形。在这种情况下,方形较规则能够便于获取视网膜主体区域内的图像数据,进而能够提高处理的便捷性。优选地,视网膜主体区域的形状可以为正方形(例如图2B中区域A的形状)。在这种情况下,视网膜主体区域的形状更规则,并且与相应目标(例如视盘或黄斑)的形状较匹配,能够尽可能囊括目标附近的较重要的区域且尽可能降低引入其他相对没那么重要的区域。由此,在提高处理的便捷性的同时能够提高病变识别的准确度。
在另一些示例中,视网膜主体区域的形状也可以是不规则的。例如视网膜主体区域的形状可以是相应目标的轮廓。在这种情况下,基于更精确的视网膜主体区域能够进一步提高病变识别的准确度。
在一些示例中,视网膜主体区域可以包括视盘区以及从视盘引出的血管对应的血管区域和黄斑区。在这种情况下,视网膜主体区域对应的视角较接近于45°并且囊括了较多的区域,能够进一步降低相应模型的训练难度或获取难度,且能够基于更多区域中的特征信息进行病变识别。作为示例,图2B是示出了图2A的广角眼底图像的相关区域,其中区域A为视网膜主体区域,区域A包括视盘区以及从视盘引出的血管对应的血管区域和黄斑区,位置D1和位置D2分别为视盘区的中心位置和黄斑区的中心位置。
在另一些示例中,视网膜主体区域可以包括视盘区以及从视盘引出的血管对应的血管区域。在另一些示例中,视网膜主体区域可以包括黄斑区。具体可以根据病变识别所针对眼底病变或已有的模型对应的眼底区域进行调整。
在一些示例中,广角眼底图像还可以包括围绕视网膜主体区域的视网膜周边区域。在一些示例中,视网膜周边区域可以为广角眼底图像中视网膜主体区域之外的区域。在一些示例中,对于不规则的视网膜主体区域,视网膜周边区域也可以为视网膜主体区域的最小外接矩形以外的区域。在一些示例中,视网膜周边区域可以是广角眼底图像中的围绕视网膜主体区域并且不包括背景区域(也即非眼底区域)的区域。在这种情况下,能够降低背景区域对后续相应模型的影响,特别是有利于背景区域在广角眼底图像中占比较大的情况。
另外,广角眼底图像的视角可以大于或等于105°。在一些示例中,广角眼底图像的视角可以为105°至135°。例如,广角眼底图像的视角可以为105°、110°、120°、125°、130°或135°等。另外,在一些示例中,主体眼底图像的视角为30°至60°。例如主体眼底图像的视角可以为30°、35°、40°、45°、55°或60°等。在一些示例中,基于从眼底设备的适用性的考虑,主体眼底图像的视角可以优选为45°。由此,能够进一步有利于相应模型的获取或训练。
另外,在本公开的各种示例中,来源广角眼底图像并具有视网膜主体区域的图像可以称为主体眼底图像,来源广角眼底图像并具有视网膜周边区域的图像可以称为外围眼底图像。在一些示例中,外围眼底图像可以保留有视网膜周边区域的大部分病变特征。由此,结合外围眼底图像能够有利于提高病变识别的准确度。需要说明的是,由于外围眼底图像的视网膜周边区域是围绕着视网膜主体区域,外围眼底图像中与视网膜主体区域对应的区域仍然在外围眼底图像中占据空间,只是可以忽略或不包括视网膜主体区域的目标。
在一些示例中,用于对主体眼底图像中的病变特征进行识别的第一模型(稍后描述)可以基于标准眼底图像获得。标准眼底图像可以为传统眼底检查获得的眼底图像(也可以称为普通眼底图像)。标准眼底图像的视角可以小于广角眼底图像的视角。在一些示例中,标准眼底图像的视角范围可以与主体眼底图像的视角范围相匹配。在这种情况下,有利于使标准眼底图像训练的模型更加适合通过主体眼底图像的进一步优化或使标准眼底图像训练的模型能够适用于对主体眼底图像中的病变特征进行识别。
在一些示例中,标准眼底图像的视角可以为30°至60°。在这种情况下,选择相应视角范围的标准眼底图像能够进一步降低标准眼底图像的获取难度,并且有利于复用或利用现有的已经由标准眼底图像训练的模型。例如标准眼底图像的视角可以为30°、35°、40°、45°、55°或60°等。在一些示例中,基于从眼底设备的适用性的考虑,标准眼底图像的视角可以优选为45°。
在一些示例中,主体眼底图像的视角可以与标准眼底图像的视角相同。由此,基于标准眼底图像能够获得更适合对主体眼底图像中的病变特征进行识别的模型。
以下结合图3描述本公开示例所涉及的识别系统3。图3是示出了本公开示例所涉及的基于广角眼底图像的病变特征的识别系统3的框图。图4是示出了本公开示例所涉及的处理装置20的框图。
参考图3,识别系统3可以包括图像采集装置10和处理装置20。本实施方式中,图像采集装置10可以用于采集待识别的广角眼底图像,处理装置20可以接收待识别的广角眼底图像并对广角眼底图像中的病变特征进行识别以获取最终判断结果。在这种情况下,能够基于广角眼底图像进行病变识别以提高特别是识别隐匿于视网膜周边区域的病变的准确度。另外,图像采集装置10所采集的广角眼底图像可以是彩色图像(例如RGB图像),也可以是灰度图像。
在一些示例中,图像采集装置10所采集的广角眼底图像的数量可以至少两张。也即,后续可以基于同一目标对象的至少两张广角眼底图像获取最终判断结果。在这种情况下,综合多张广角眼底图像获取最终判断结果,能够进一步提高病变识别的准确度。具体地,图像采集装置10可以对同一目标对象采集至少两张广角眼底图像。
在一些示例中,所采集的两张广角眼底图像可以分别属于同一目标对象的不同眼睛。在这种情况下,能够进一步模拟医生的诊断过程,有利于获得较有效的病变特征的判断结果。具体地,来自于相同眼睛的不同图像一般具有相同的判断结果,从统计上看,来自同一目标对象的左右眼睛的眼底病变相似。因此,在对目标眼底图像进行诊断时,使用来自该目标对象的其他眼底图像作为辅助可以提高病变识别的准确度。
在一些示例中,可以使用来自于同一目标对象的单眼(左眼或右眼)两张广角眼底图像。在这种情况下,将两张广角眼底图像中的任意一张作为目标眼底图像,另一张作为参考眼底图像。在另外一些示例中,也可以使用来自于同一个目标对象分别属于双眼的两张广角眼底图像。同样地,将这两张广角眼底图像中的任意一张作为目标眼底图像,另一张作为参考眼底图像。在一些示例中,还可以使用四张广角眼底图像即包括两张来自于左眼的广角眼底图像以及两张来自于右眼的广角眼底图像,将四张广角眼底图像中的任意一张作为目标眼底图像,剩下的三张为参考眼底图像。
在一些示例中,在利用图像采集装置10采集广角眼底图像的过程中,可以获取多张(例如五张以上)广角眼底图像,将多张广角眼底图像中的任意一张作为目标眼底图像,剩下的广角眼底图像作为参考眼底图像。在另一些示例中,进一步地,可以使用来自于相等数量的来自于左右两眼的广角眼底图像。
继续参考图3,本实施方式中,处理装置20可以接收待识别的广角眼底图像并对广角眼底图像进行预处理并基于预处理后的广角眼底图像进行病变识别以获取最终判断结果。
为此,本公开还提供了一种处理装置20的示例,参考图4,处理装置20可以包括预处理装置21和自动识别装置22。预处理装置21可以用于对广角眼底图像进行预处理,自动识别装置22可以用于基于预处理后的广角眼底图像进行病变识别以获取最终判断结果。
在一些示例中,预处理装置21可以用于对待识别的广角眼底图像进行处理以生成主体眼底图像和外围眼底图像。另外,主体眼底图像可以具有视网膜主体区域,外围眼底图像可以具有视网膜周边区域。具体内容参见上述关于主体眼底图像和外围眼底图像的相关描述。
另外,由于主体眼底图像的视角与属于普通视角的眼底图像(即标准眼底图像)相匹配,容易获得相关的图像数据,进而能够使针对用于识别主体眼底图像的机器学习的模型易于获取或训练。在一些示例中,通过图像采集装置10采集到广角眼底图像后,预处理装置21可以将广角眼底图像进行处理(例如剪裁或分割等)以形成主体眼底图像和外围眼底图像。在一些示例中,广角眼底图像的视角可以大于或等于105°,而经过处理后,主体眼底图像的视角可以为30°至60°。
需要说明的是,若待识别的广角眼底图像为多张,则预处理装置21可以分别用于对各张待识别的广角眼底图像进行处理。例如预处理装置21可以用于对来自于同一个目标对象的目标眼底图像和参考眼底图像分别进行处理。在一些示例中,预处理装置21可以包括多个子预处理装置21,各个子预处理装置可以设置成相同的模块来分别处理各张待识别的广角眼底图像。
图5是示出了本公开示例所涉及的预处理装置21的框图。
参考图5,在一些示例中,预处理装置21可以包括剪裁单元211。剪裁单元211可以用于对待识别的广角眼底图像进行剪裁以生成主体眼底图像和外围眼底图像。
在一些示例中,剪裁单元211可以基于待识别的广角眼底图像的视网膜主体区域剪裁出视网膜主体区域的图像数据并作为主体眼底图像。在一些示例中,在剪裁中,剪裁单元211可以读取视网膜主体区域的图像数据并存储为主体眼底图像。
在一些示例中,剪裁单元211可以将去除视网膜主体区域的待识别的广角眼底图像作为外围眼底图像。在这种情况下,后续使用去除视网膜主体区域的广角眼底图像来获得第二判断结果,使第二模型更专注于视网膜周边区域的病变识别,能够有效降低其他区域的特征信息对视网膜周边区域的病变识别的影响。
在一些示例中,剪裁单元211可以通过将视网膜主体区域中的像素值统一设置为预设像素值来去除视网膜主体区域。在一些示例中,预设像素值可以与背景区域的像素值一致。由此,能够有利于对与视网膜周边区域的病变特征识别相关较小的区域进行统一处理(例如有利于在训练相应模型时对相关较小的区域的权重进行统一设置)。在一些示例中,预设像素值可以为0或255。在一些示例中,预设像素值可以是视网膜周边区域中出现频率最低的像素值。在这种情况下,能够进一步降低其他区域的特征信息对视网膜周边区域的病变识别的影响。在一些示例中,预设像素值可以是经验值。例如,可以通过多次训练获得不同的第二模型并对比不同的第二模型的性能以将性能最佳的第二模型对应的预设像素值作为用于去除视网膜主体区域的预设像素值。
另外,视网膜主体区域可以由检测获得。在一些示例中,视网膜主体区域可以由区域检测单元212(稍后描述)获得。
在一些示例中,预处理装置21还可以用于对待识别的广角眼底图像进行区域检测、尺寸调整和归一化中的至少一种操作。具体可以根据需要选择相应的操作。在一些示例中,预处理装置21可以包括相应用来实现上述操作的单元。
继续参考图5,在一些示例中,预处理装置21可以包括区域检测单元212。区域检测单元212可以用于对待识别的广角眼底图像中的目标区域进行识别。在一些示例中,目标区域可以包括背景区域、眼底区域、眼底1中相应目标的区域和视网膜主体区域中的至少一种。在本实施方式中,所要检测的相应目标的区域例如可以是视盘区或黄斑区等。
在一些示例中,可以通过分割方法获取目标区域。在一些示例中总,分割方法可以是利用基于深度学习的分割模型获取目标区域的方法。分割模型可以是预先训练好的。在这种情况下,基于深度学习的分割方法能够自动学习到目标区域的特征信息,能够兼容不同采集条件的广角眼底图像,进而能够较精确地分割出目标区域。在一些示例中,分割方法可以是基于阈值分割或霍夫(Hough)变换获取目标区域的方法。在这种情况下,相对基于深度学习的分割方法能够较简单地获取目标区域。
在一些示例中,对于包括视盘区以及从视盘引出的血管对应的血管区域、和/或黄斑区的视网膜主体区域,可以分别获取视盘区、血管区域和/或黄斑区并进行融合以获取视网膜主体区域。由此,能够获得较精确的视网膜主体区域。
在一些示例中,也可以对其中的任一区域进行检测并定位,在基于定位获得的位置获取视网膜主体区域。由此,能够提高获取视网膜主体区域的效率。在一些示例中,可以利用视盘识别算法对视盘区进行定位以获取视盘区的中心位置,令以视盘区的中心位置为中心的预设范围为视网膜主体区域。另外,预设范围可以根据目标在眼底1中的分布情况进行设置。
在一些示例中,对于包括视盘区以及从视盘引出的血管对应的血管区域和黄斑区的视网膜主体区域,可以利用视盘识别算法对视盘区进行定位以获取视盘区的第一中心位置,可以利用黄斑识别算法对黄斑区进行定位以获取黄斑区的第二中心位置,进而获取第一中心位置到第二中心位置的中点,令以该中点为中心的预设范围内的区域为视网膜主体区域。在一些示例中,对于为正方形的视网膜主体区域,预设范围可以为:以上述的第一中心位置到第二中心位置的中点作为中心点,并以第一中心位置到第二中心位置的直线距离的两倍作为边长,而获得的正方形所对应的区域。由此,能够获得正方形的视网膜主体区域。
继续参考图5,在一些示例中,预处理装置21可以包括调整单元213。调整单元213可以用于对广角眼底图像进行尺寸调整。由于目标对象的眼睛(例如人眼)大小的不同和所使用的图像采集装置10(例如眼底相机设备)的不同,所获得的图像在分辨率和/或眼底区域的尺寸等方面上可能存在差异。因此,需要对这些图像的尺寸进行调整。例如通过调整单元213,可以对图像按照特定规格进行剪裁。在一些示例中,通过剪裁可以获得例如方形的图像。在一些示例中,通过调整单元213获得的图像也不限于方形,例如也可以为矩形、圆形或椭圆形等。
在一些示例中,通过调整单元213,可以将广角眼底图像的尺寸调整至规定的尺寸(例如像素尺寸)。例如规定的尺寸可以为256×256、512×512或1024×1024等。另外,根据特定需要,广角眼底图像的尺寸也可以是任意其他规格的尺寸。例如其他规格的尺寸可以为128×128、768×768或2048×2048等。尽管本公开没有特别限定广角眼底图像的尺寸,但是出于能够更加准确地识别广角眼底图像的更多细节的方面考虑,本实施方式的广角眼底图像的尺寸优选大于或等于512×512。在这种情况下,基于较合适的图像尺寸,在后续模型的下采样中能够有效地抑制广角眼底图像中细节信息的丢失,进而能够进一步提高病变识别的准确度。
继续参考图5,在一些示例中,预处理装置21可以包括归一化单元214。归一化单元214可以用于对待识别的广角眼底图像进行归一化。由此,能够克服不同广角眼底图像的差异性,提高机器学习的模型的性能。在一些示例中,通过归一化单元214可以令广角眼底图像中的像素值在[0,1]的范围内。在一些示例中,归一化单元214还可以对广角眼底图像的背景进行归一化。具体地,归一化单元214还可以针对广角眼底图像进行其他处理例如区分图像上眼底区域与目标对象信息的区域,调整由不同眼底相机设备使用不同算法处理后的广角眼底图像,实现背景一致化。另外,目标对象信息的区域可以为显示目标对象信息的区域。例如有些广角眼底图像上可能包括姓名或医保号码等。
在一些示例中,预处理装置21还可以用于根据实际情况对外围眼底图像进行裁切以匹配第二模型的输入尺寸。具体地,继续参考图5,预处理装置21可以包括用于对外围眼底图像进行裁切以形成多个待识别的裁切图像的分块单元215。
返回参考图4,处理装置20可以包括自动识别装置22。自动识别装置22可以利用机器学习(例如深度学习方法)对来自于图像采集装置10的广角眼底图像进行处理,并自动判断广角眼底图像中是否存在病变以输出最终判断结果。
图6是示出了本公开示例所涉及的自动识别装置22的框图。
如上所述,待识别的广角眼底图像可以被处理成主体眼底图像和外围眼底图像。在一些示例中,自动识别装置22可以包括用于识别广角眼底图像中相应部分的装置。
具体地,参考图6,自动识别装置22可以包括第一识别装置221、第二识别装置222和第三识别装置223。第一识别装置221可以利用机器学习对主体眼底图像中的病变特征进行识别并输出第一判断结果,第二识别装置222可以利用机器学习对外围眼底图像中的病变特征进行识别并输出第二判断结果,第三识别装置223可以基于第一判断结果和第二判断结果输出最终判断结果。在这种情况下,通过第三识别装置223综合基于由第一识别装置221所获得第一判断结果和由第二识别装置222所获得第二判断结果,输出针对广角眼底图像的最终判断结果,既能够减少因广角眼底图像难以获得而增加的相应识别装置的实现难度(例如,增加相应模型的训练难度),而且相对于现有视角较小的标准眼底图像的识别,能够进一步提高病变识别的准确度。
另外,在机器学习中,第一识别装置221和第二识别装置222,所采用的图像的视角不同。在这种情况下,广角眼底图像分为主体眼底图像和外围眼底图像并分别利用相应识别装置进行识别,有利于获取识别装置所需要的图像(例如训练数据),进而能够降低识别装置的实现难度。另外,结合外围眼底图像来获得最终判断结果,能够提高对识别隐匿于视网膜周边区域的病变的准确度。
在一些示例中,第一识别装置221可以包括基于机器学习的第一模型。第一模型可以用于获取第一判断结果。具体地,第一模型可以接收主体眼底图像并对主体眼底图像中的病变特征进行识别并输出第一判断结果。
另外,第一模型可以由存在视网膜主体区域的图像进行训练。在这种情况下,存在视网膜主体区域的图像相对于整张的广角眼底图像容易获取,能够使第一模型易于训练或获取。在一些示例中,第一模型可以经由具有视网膜主体区域的标准眼底图像、和/或用于训练的主体眼底图像训练。具体可以根据需要选择用于训练第一模型的数据。另外,用于训练的主体眼底图像可以为用于训练的广角眼底图像中的视网膜主体区域的图像数据。
在一些示例中,可以单独采用标准眼底图像进行训练以获得第一模型(也即,第一模型可以仅经由具有视网膜主体区域的标准眼底图像训练)。在这种情况下,能够有利于直接利用已有的经由标准眼底图像训练的模型使第一模型易于获取,且较容易获取的标准眼底图像能够使第一模型易于训练。
在一些示例中,可以采用标准眼底图像和用于训练的主体眼底图像训练进行训练以获得第一模型(也即,第一模型可以经由具有视网膜主体区域的标准眼底图像和用于训练的主体眼底图像训练)。在这种情况下,能够在使第一模型易于训练或获取的情况下,通过用于训练的主体眼底图像进一步优化,使第一模型更加适合待识别的广角眼底图像中视网膜主体区域的病变识别。例如,可以使用标准眼底图像预先训练初始模型并作为起始训练模型或直接获取现有的已经由标准眼底图像训练的现有模型作为起始训练模型,利用用于训练的主体眼底图像对起始训练模型进行优化以获取第一模型。
在一些示例中,用于训练的第一模型的标准眼底图像和主体眼底图像的来源可以不同。也即,若用于训练的第一模型的主体眼底图像来源第一数据源,则用于训练的第一模型的标准眼底图像可以来源与第一数据源不同的第二数据源。在这种情况下,能够增加获取训练数据的灵活性,并且有利于复用已有的经由标准眼底图像训练的模型或复用该模型的训练数据(即标准眼底图像),能够进一步降低训练数据的获取难度。
在一些示例中,第二识别装置222可以包括基于机器学习的第二模型。第二模型可以用于获取第二判断结果。具体地,第二模型可以接收外围眼底图像并对外围眼底图像中的病变特征进行识别并输出第二判断结果。
在一些示例中,对于上述将外围眼底图像进行裁切以形成多个待识别的裁切图像的情况,第二识别装置222还可以用于对由第二模型获得的多个待识别的裁切图像分别对应的子判断结果进行综合以获得第二判断结果。也即,每个待识别的裁切图像可以对应一个子判断结果,多个子判断结果进行综合可以获得第二判断结果。
另外,第二模型可以由存在视网膜周边区域的图像进行训练。在这种情况下,经由存在视网膜周边区域的图像训练使第二模型能够对隐匿于视网膜周边区域的病变特征进行识别。在一些示例中,第二模型可以经由用于训练的广角眼底图像中的视网膜周边区域的图像数据训练(可以简称为用于训练的外围眼底图像)。另外,用于训练第二模型的图像可以具有相应的标注标签。标注标签可以与第二判断结果对应。例如,若第二判断结果包括无病变或包括深层出血、微血管瘤和激光斑中的至少一种,标注标签可以包括无病变标签或可以包括深层出血标签、微血管瘤标签和激光斑标签中的至少一种标签。
在一些示例中,用于训练第一模型的主体眼底图像和用于训练第二模型的外围眼底图像的来源可以相同。也即,若用于训练第一模型的主体眼底图像来源第一数据源,用于训练第二模型的外围眼底图像也可以来源第一数据源。具体地,在第一模型和第二模型的训练数据中,各张主体眼底图像可以对应来源同一张广角眼底图像的外围眼底图像,且各张外围眼底图像可以对应来源同一张广角眼底图像的主体眼底图像。在这种情况下,能够增加第一判断结果和第二判断结果的关联性,使基于第一判断结果和第二判断结果获得的最终判断结果更贴合实际的应用场景(例如医生基于同一张广角眼底图像中不同区域的病变情况获得综合的判断结果的场景)。
在一些示例中,在第二模型的训练过程中,可以对用于训练的广角眼底图像中的外围眼底图像进行裁切以形成多个裁切图像,并且将多个裁切图像作为第二模型的训练数据。在这种情况下,通过裁切方式对用于训练的外围眼底图像进行数据增广处理能够增加训练数据,能够兼顾广角眼底图像获取难度较大,相应地,外围眼底图像的获取难度也较大的情况,进一步降低对用于训练的广角眼底图像的数量要求,进而能够支持利用较少的广角眼底图像获得准确度较高的第二模型。另外,上述的待识别的裁切图像可以与用于训练的裁切图像的尺寸大小相同。
在一些示例中,裁切方式可以包括对用于训练的外围眼底图像进行随机地裁切、和/或按预设顺序对外围眼底图像进行裁切。在这种情况下,随机裁切的方式能够提高训练数据的随机性,有利于第二模型的泛化性。另外,按预设顺序的裁切的方式易于实现。
在一些示例中,第一模型和第二模型所采用的机器学习可以为深度学习。在这种情况下,可以针对特定医学影像(例如广角眼底图像)提取出抽象的图像特征(也即,能够自动提取图像中的特征信息),从而有助于对病变例如糖尿病视网膜病变的识别。
如上所述,第一模型可以由存在视网膜主体区域的图像进行训练,第二模型可以由存在视网膜周边区域的图像进行训练。在这种情况下,广角眼底图像分为主体眼底图像和外围眼底图像并分别利用相应数据训练获得的模型进行识别,使相应模型支持结合或利用视角较小的普通眼底图像进行训练,进而能够降低对用于训练的广角眼底图像的数据量的依赖,并能够降低相应模型的训练难度。
在一些示例中,第一判断结果和第二判断结果可以分别为表示有病变(也即存在病变特征)或无病变(不存在病变特征)的结果。例如可以令结果为阳性表示存在病变,结果为阴性表示无病变。
在一些示例中,判断结果可以表示识别到的病变特征。在这种情况下,判断结果较具体,有利于医生进行进一步判断。例如,第一判断结果可以表示在视网膜主体区域识别到的病变特征,第二判断结果可以表示在视网膜周边区域识别到的病变特征。如上所述,本公开的示例涉及的识别系统3特别适用于糖尿病视网膜病变的病变特征的识别(也即,识别系统3所要识别的病变特征可以属于糖尿病视网膜病变)。如上所述,在一些示例中,针对视网膜周边区域,糖尿病视网膜病变的病变特征可以包括深层出血、微血管瘤和激光斑中的至少一种。相应地,第二判断结果可以包括无病变或包括深层出血、微血管瘤和激光斑中的至少一种。由此,使第二识别装置222能够支持对广角眼底图像的视网膜周边区域进行糖尿病视网膜病变的识别,并且病变识别的准确度较高。
在一些示例中,第一判断结果和第二判断结果也可以是从相应的图像中提取的特征(也即并非直接获取针对病变特征的判断结果)。由此,有利于后续其他装置(例如第三识别装置223)进一步对第一判断结果和第二判断结果所对应的特征进行组合并判断。
如上所述,第三识别装置223可以基于第一判断结果和第二判断结果输出最终判断结果。例如,若第一判断结果为阳性且第二判断结果为阳性或阴性,则最终判断结果可以为阳性;若第一判断结果为阳性或阴性且第二判断结果为阳性,则最终判断结果可以为阳性;若第一判断结果为阴性且第二判断结果为阴性,则最终判断结果可以为阴性。
在一些示例中,第三识别装置223可以基于第一判断结果和第二判断结果进行加权平均以输出最终判断结果。在这种情况下,能够通过权重调整视网膜主体区域和视网膜周边区域的特征信息对最终判断结果的影响,进而能够进一步提高病变识别的准确度。在一些示例中,在加权平均中,第二判断结果的权重可以大于第一判断结果的权重。在这种情况下,增加视网膜周边区域的权重,使得最终判断结果更依赖于视网膜周边的特征信息,能够有效地降低视网膜周边中较重要的病变特征被遗漏的风险,进而能够进一步提高病变识别的准确度。
在一些示例中,第三识别装置223可以基于目标对象信息(例如患者信息)、第一判断结果和第二判断结果输出最终判断结果。在这种情况下,综合目标对象信息以利用更全面的信息获取最终判断结果,能够进一步提高病变识别的准确度。另外,能够更加接近医生实际诊断过程,从而能够提高判断的准确度。
在一些示例中,第三识别装置223可以包括基于机器学习的第三模型。在一些示例中,第三模型的训练数据可以基于第一模型和第二模型获得。例如,在训练好第一模型和第二模型后,可以将用于训练第一模型和第二模型的广角眼底图像对应的主体眼底图像和外围眼底图像分别输入第一模型和第二模型以获取对应的第一判断结果和第二判断结果并用于第三模型的训练。在一些示例中,第三模型所采用的机器学习可以为传统的机器学习。传统的机器学习的模型例如可以包括随机森林、支持向量机或梯度提升树中的至少一种模型。在这种情况下,采用较轻量的模型进一步融合或组合不同的判断结果和目标对象信息,能够在提高处理效率同时进一步提高病变识别的准确度。
在一些示例中,识别系统3中的组件可以分开布置,也可以集成在一个专有设备中。在一些示例中,自动识别装置22可以布置在云端服务器,图像采集装置10可以与自动识别装置22之间基于网络通信方式进行交互。在这种情况下,将图像采集装置10与自动识别装置22经由网络通信方式来交互,有利于靠近图像采集装置10侧的操作人员例如医生或操作员通过操作图像采集装置10来获取广角眼底图像。另外,也有利于广角眼底图像一些本地化的操作(例如存储、预览或初步处理等)。
返回参考图3,在一些示例中,识别系统3还可以包括用于输出(例如显示)分析报告的输出装置30。在这种情况下,能够让目标用户例如医生或患者直观地获得病变结果,有利于辅助目标用户进行病变识别。
在一些示例中,输出装置30可以是显示屏、具有显示功能的终端、或打印机等。另外,在一些示例中,输出装置30可以设置在图像采集装置10上。例如输出装置30可以搭载在图像采集装置10上。此时,一方面,输出装置30可以作为例如显示屏设置在图像采集装置10上;另一方面,输出装置30能够接收分析报告,并将分析报告呈现在输出装置30上。在这种情况下,能够将分析报告通过设置在图像采集装置10上的输出装置30直观地提供给患者,从而便于目标用户之间(例如医生与患者之间)的现场沟通交流。
另外,分析报告可以根据自动识别装置22获取的判断结果获得。优选地,分析报告可以基于最终判断结果获得。在这种情况下,最终判断结果是考虑了广角眼底图像中的较大视角范围的特征信息,能够使分析报告更全面。
在一些示例中,对于广角眼底图像的病变识别可以通过评级处理。在一些示例中,可以采用首次评级和二次评级。例如,由自动识别装置22提供的分析报告可以作为首次评级,然后,医生基于该分析报告进行二次评级。由此,能够获得更加准确和可靠的病变识别的结果。
如上所述,在一些示例中,第一模型和第二模型所采用的机器学习可以为深度学习。具体地,深度学习可以对数据(例如,主体眼底图像、外围眼底图像和/或标准眼底图像)进行表征学习。在深度学习中,通过组合不同维度的低层特征可以形成更加抽象的高层特征,进而自动提取相应数据的特征信息。在这种情况下,相对于传统的机器学习,能够减少人为参与定义特征,提高特征提取的客观性,进而能够进一步提高病变识别的准确度。
另外,第一模型和第二模型所采用的神经网络结构没有特别限制。在一些示例中,第一模型和第二模型所采用的神经网络结构可以为卷积神经网络。卷积神经网络可以包括卷积层和池化层。另外,在上述卷积神经网络中,池化的方式可以使用最大池化、平均池化或随机池化等。通过池化操作,一方面可以降低特征维度,提高运算效率,另外,也可以使卷积神经网络提取更加抽象的高层特征,以提高病变识别的准确度。另外,在上述卷积神经网络中,也可以根据情况对应地增加卷积层和池化层的层数。在这种情况下,能够使卷积神经网络提取更加抽象的高层特征,以进一步提高病变识别的准确度。
图7示出了本公开示例所涉及的利用识别系统3进行病变识别的示意图。
如上所述,预处理装置21可以包括用于对外围眼底图像进行裁切以形成多个待识别的裁切图像的分块单元215。为此,本公开还提供了一种针对裁切图像的病变识别的示例性的方法。
参考图7,在本实施方式中,图像采集装置10可以采集并输出待识别的广角眼底图像P1,预处理装置21的区域检测单元212可以接收待识别的广角眼底图像P1,检测并识别出区域A并作为视网膜主体区域,预处理装置21的剪裁单元211可以基于由区域检测单元212检测获得的区域A进行裁切以生成主体眼底图像P11和外围眼底图像P12。
继续参考图7,主体眼底图像P11可以作为第一识别装置221的输入以输出第一判断结果,外围眼底图像P12可以经由分块单元215进行分块后生成多个裁切图像P121,多个裁切图像P121可以作为第二识别装置222的输入以输出第二判断结果,第一判断结果和第二判断结果可以作为第三识别装置223的输入以输出最终判断结果。
虽然以上结合附图和实施例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。
Claims (10)
1.一种基于广角眼底图像的病变特征的识别系统,其特征在于,包括图像采集装置、预处理装置和自动识别装置;所述图像采集装置用于采集待识别的广角眼底图像,所述广角眼底图像包括视网膜主体区域和围绕所述视网膜主体区域的视网膜周边区域,所述视网膜主体区域包括视盘区以及从视盘引出的血管对应的血管区域、和/或黄斑区;所述预处理装置用于对所述待识别的广角眼底图像进行处理以生成具有所述视网膜主体区域的主体眼底图像和具有所述视网膜周边区域的外围眼底图像;所述自动识别装置包括第一识别装置、第二识别装置和第三识别装置,所述第一识别装置包括基于机器学习的第一模型,所述第一模型接收所述主体眼底图像并对所述主体眼底图像中的病变特征进行识别并输出第一判断结果,所述第一模型经由具有所述视网膜主体区域的标准眼底图像和/或用于训练的广角眼底图像中的所述视网膜主体区域的图像数据训练,所述第二识别装置包括基于机器学习的第二模型,所述第二模型接收所述外围眼底图像并对所述外围眼底图像中的病变特征进行识别并输出第二判断结果,所述第二模型经由所述用于训练的广角眼底图像中的所述视网膜周边区域的图像数据训练,所述第三识别装置基于所述第一判断结果和所述第二判断结果输出最终判断结果。
2.根据权利要求1所述的识别系统,其特征在于:
所述第三识别装置基于所述第一判断结果和所述第二判断结果进行加权平均以输出所述最终判断结果,其中,所述第二判断结果的权重大于所述第一判断结果的权重。
3.根据权利要求1所述的识别系统,其特征在于:
所述第三识别装置基于目标对象信息、所述第一判断结果和所述第二判断结果输出所述最终判断结果。
4.根据权利要求1所述的识别系统,其特征在于:
所述广角眼底图像的视角大于或等于105°,所述主体眼底图像的视角为30°至60°,所述标准眼底图像的视角为30°至60°。
5.根据权利要求1所述的识别系统,其特征在于:
在所述第二模型的训练过程中,对所述用于训练的广角眼底图像中的所述视网膜周边区域的图像数据进行裁切以形成多个裁切图像,并且将所述多个裁切图像作为所述第二模型的训练数据;
所述预处理装置还用于对所述外围眼底图像进行裁切以形成多个待识别的裁切图像,所述待识别的裁切图像与用于训练的裁切图像的尺寸大小相同,
所述第二识别装置还用于对由所述第二模型获得的所述多个待识别的裁切图像分别对应的子判断结果进行综合以获得所述第二判断结果。
6.根据权利要求1所述的识别系统,其特征在于:
所述自动识别装置布置在云端服务器,所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。
7.根据权利要求1所述的识别系统,其特征在于:
所述病变特征属于糖尿病视网膜病变,所述第二判断结果包括无病变或包括深层出血、微血管瘤和激光斑中的至少一种。
8.根据权利要求1所述的识别系统,其特征在于:
所述图像采集装置对同一目标对象采集至少两张广角眼底图像,所述两张广角眼底图像分别属于同一目标对象的不同眼睛。
9.根据权利要求1所述的识别系统,其特征在于:
所述预处理装置包括归一化单元,所述归一化单元用于对所述待识别的广角眼底图像进行归一化。
10.根据权利要求1所述的识别系统,其特征在于:
所述预处理装置包括剪裁单元,所述剪裁单元基于由检测获得的所述待识别的广角眼底图像的所述视网膜主体区域剪裁出所述视网膜主体区域的图像数据并作为所述主体眼底图像,并将去除所述视网膜主体区域的所述待识别的广角眼底图像作为所述外围眼底图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022103208858 | 2022-03-29 | ||
| CN202210320885 | 2022-03-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894805A true CN116894805A (zh) | 2023-10-17 |
| CN116894805B CN116894805B (zh) | 2024-03-19 |
Family
ID=88309833
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310072305.2A Active CN116894805B (zh) | 2022-03-29 | 2023-01-16 | 基于广角眼底图像的病变特征的识别系统 |
| CN202310072301.4A Pending CN116894804A (zh) | 2022-03-29 | 2023-01-16 | 基于广角眼底图像的推理模型的生成方法及相关设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310072301.4A Pending CN116894804A (zh) | 2022-03-29 | 2023-01-16 | 基于广角眼底图像的推理模型的生成方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116894805B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119495122B (zh) * | 2025-01-20 | 2025-04-01 | 复旦大学附属眼耳鼻喉科医院 | 超广角眼底图像分类模型构建方法、装置、设备和介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090202124A1 (en) * | 2006-10-11 | 2009-08-13 | Olympus Corporation | Image processing apparatus, image processing method, and computer program product |
| CN108392174A (zh) * | 2018-04-19 | 2018-08-14 | 梁建宏 | 一种早产儿视网膜病变的自动检查方法及系统 |
| CN110288568A (zh) * | 2019-05-27 | 2019-09-27 | 北京百度网讯科技有限公司 | 眼底图像处理方法、装置、设备和存储介质 |
| CN110432860A (zh) * | 2019-07-01 | 2019-11-12 | 中山大学中山眼科中心 | 基于深度学习识别广域眼底图中格变裂孔的方法和系统 |
| CN111539940A (zh) * | 2020-04-27 | 2020-08-14 | 上海鹰瞳医疗科技有限公司 | 超广角眼底图像生成方法及设备 |
| CN111951933A (zh) * | 2020-08-07 | 2020-11-17 | 平安科技(深圳)有限公司 | 眼底彩照图像分级方法、装置、计算机设备及存储介质 |
| CN114155190A (zh) * | 2021-10-25 | 2022-03-08 | 深圳大学 | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 |
| US20220230307A1 (en) * | 2019-05-31 | 2022-07-21 | Nikon Corporation | Image processing method, image processing device, image processing program |
-
2023
- 2023-01-16 CN CN202310072305.2A patent/CN116894805B/zh active Active
- 2023-01-16 CN CN202310072301.4A patent/CN116894804A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090202124A1 (en) * | 2006-10-11 | 2009-08-13 | Olympus Corporation | Image processing apparatus, image processing method, and computer program product |
| CN108392174A (zh) * | 2018-04-19 | 2018-08-14 | 梁建宏 | 一种早产儿视网膜病变的自动检查方法及系统 |
| CN110288568A (zh) * | 2019-05-27 | 2019-09-27 | 北京百度网讯科技有限公司 | 眼底图像处理方法、装置、设备和存储介质 |
| US20220230307A1 (en) * | 2019-05-31 | 2022-07-21 | Nikon Corporation | Image processing method, image processing device, image processing program |
| CN110432860A (zh) * | 2019-07-01 | 2019-11-12 | 中山大学中山眼科中心 | 基于深度学习识别广域眼底图中格变裂孔的方法和系统 |
| CN111539940A (zh) * | 2020-04-27 | 2020-08-14 | 上海鹰瞳医疗科技有限公司 | 超广角眼底图像生成方法及设备 |
| CN111951933A (zh) * | 2020-08-07 | 2020-11-17 | 平安科技(深圳)有限公司 | 眼底彩照图像分级方法、装置、计算机设备及存储介质 |
| CN114155190A (zh) * | 2021-10-25 | 2022-03-08 | 深圳大学 | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高玮玮;沈建新;王玉亮;梁春;左晶;: "基于多模板匹配的局部自适应区域生长法在视网膜内出血自动检测中的应用", 光谱学与光谱分析, no. 02, 15 February 2013 (2013-02-15), pages 448 - 453 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894805B (zh) | 2024-03-19 |
| CN116894804A (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423571B (zh) | 基于眼底图像的糖尿病视网膜病变识别系统 | |
| CN109784337B (zh) | 一种黄斑区识别方法、装置及计算机可读存储介质 | |
| US10441160B2 (en) | Method and system for classifying optic nerve head | |
| CN108771530B (zh) | 基于深度神经网络的眼底病变筛查系统 | |
| US20220198831A1 (en) | System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| JP7270686B2 (ja) | 画像処理システムおよび画像処理方法 | |
| CN115409774A (zh) | 一种基于深度学习的眼检测方法及斜视筛查系统 | |
| CN115414002A (zh) | 一种基于视频流的眼检测方法及斜视筛查系统 | |
| CN116894805B (zh) | 基于广角眼底图像的病变特征的识别系统 | |
| CN116831516B (zh) | 一种角膜曲率的生成方法及装置 | |
| Giancardo | Automated fundus images analysis techniques to screen retinal diseases in diabetic patients | |
| CN117036249B (zh) | 眼底图像处理方法、装置、设备及存储介质 | |
| CN115131267A (zh) | 基于眼底图像的眼底异常的判读系统及判读方法 | |
| Priya et al. | Harnessing Deep Learning Models in Fundus Imaging for Early Diagnosis in Eye Disorders | |
| CN114764777A (zh) | 影像处理系统及影像处理方法 | |
| CN116596871A (zh) | 一种眼科图像的质量评价方法 | |
| Giancardo | Docteur de l’université |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |