CN110648303B - 眼底图像分析方法、计算机设备和存储介质 - Google Patents

Abstract

一种眼底图像分析方法，包括：获取目标眼底图像；通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果。其中，眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种。上述方法通过眼底图像分析模型对目标眼底图像进行质量分析，当该模型包括整体分级预测子模型时，可以得到目标眼底图像整体是否可分级的预测结果；当模型包括图像质量因素子模型时，可以得到眼底图像质量因素的分析结果而图像分析模型是通过大量图像训练确定的，基于上述模型确定的图像是否可分级的结果可靠性高。

Description

眼底图像分析方法、计算机设备和存储介质

技术领域

本申请涉及图像技术领域，特别是涉及一种眼底图像分析方法、计算机设备和存储介质。

背景技术

眼底图像广泛用于DR(Diabetic Retinopathy，糖尿病视网膜病变)、黄斑病变等眼底疾病的诊断。对于一些例如微动脉瘤和血管内微血管畸形等症状的检测对于图像本身质量的要求较高，模糊的图像可能会造成误诊，尤其是自动诊断系统。因此在眼底疾病自动诊断前进行眼底图像质量自动判定以过滤掉不可诊断或不可分级的图像是很有必要的。

现有的方法通常利用图像的全局边缘直方图，或者血管分割来对图像质量进行判断，这些方法需要考虑到影响眼底图像特定的因素，然而图像质量往往是由多个因素引起的，手动特征提取不能够考虑到足够的质量因素，从而对于图像整体质量特征提取不够充分。深度学习近些年来应用于图像分类，目标检测等领域并且有突破性进展，有些方法通过卷积神经网络来分析图像质量，给出是否可分级的预测，然而现有方法只通过单一的二分类任务判断质量，人工对图像质量是否可以DR分级的标注可靠性不够高，从而会影响到网络的训练以及性能。

发明内容

基于此，有必要针对人工对图像质量是否可以DR分级的标注可靠性不够高的问题，提供一种眼底图像分析方法、计算机设备和存储介质。

一种眼底图像分析方法，包括：

获取目标眼底图像；

通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果；

所述眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种，所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像分析结果包括所述目标眼底图像是否可分级的预测结果，所述眼底图像分析模型包括图像质量因素子模型时，所述图像分析结果包括所述目标眼底图像的图像质量因素分析结果。

在其中一个实施例中，所述图像质量因素子模型包括：图像伪影分析子模型、图像清晰度分析子模型以及图像位置分析子模型中的至少一种；

所述图像质量因素子模型包括图像伪影分析子模型时，所述图像质量因素分析结果包括图像伪影信息；

所述图像质量因素子模型包括图像清晰度分析子模型时，所述图像质量因素分析结果包括图像清晰度信息；

所述图像质量因素子模型包括图像位置分析子模型时，所述图像质量因素分析结果包括图像位置信息。

在其中一个实施例中，通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果，包括：

提取所述目标眼底图像的图像特征；

对所述目标眼底图像的图像特征进行分析，获得所述目标眼底图像的图像分析结果。

在其中一个实施例中，在所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像特征包括：第一直角坐标系图像特征；

在所述眼底图像分析模型包括图像质量因素子模型时，所述图像特征包括：第二直角坐标系图像特征与第一极坐标系图像特征连结后的第一图像连结特征。

在其中一个实施例中，训练确定所述眼底图像分析模型的方式包括：

获取样本眼底图像，分别提取各样本眼底图像的图像特征；

基于提取的各样本眼底图像的图像特征，对预设眼底图像分析模型进行模型训练，获得所述眼底图像分析模型。

在其中一个实施例中，提取各样本眼底图像的图像特征，包括：

在所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像特征包括：第三直角坐标系图像特征；

在所述眼底图像分析模型包括图像质量因素子模型时，所述图像特征包括：第四直角坐标系图像特征、第二极坐标系图像特征，以及第四直角坐标系图像特征与第二极坐标系图像特征连结后的第二图像连结特征。

在其中一个实施例中，在对预设眼底图像分析模型进行模型训练之前，还包括步骤：通过迁移学习初始化所述预设眼底图像分析模型。

在其中一个实施例中，通过训练确定的残差网络，预测确定所述目标眼底图像的黄斑中心初始位置图像、所述目标眼底图像的视盘中心初始位置图像中的至少一种；

提取黄斑中心初始位置图像中的第一图像特征，基于提取的第一图像特征，通过训练确定的第一深度卷积神经网络，确定所述目标眼底图像的黄斑中心位置；

提取视盘中心初始位置图像中的第二图像特征，基于提取的第二图像特征，通过训练确定的第二深度卷积神经网络，确定所述目标眼底图像的视盘中心位置。

一个实施例中，还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述眼底图像分析方法、计算机设备和存储介质，在获取到待分析的目标眼底图像后，通过训练确定的眼底图像分析模型对该目标眼底图像进行分析，获得目标眼底图像的图像分析结果。其中，眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种。上述方法通过眼底图像分析模型对目标眼底图像进行质量分析，当该模型包括整体分级预测子模型时，可以得到目标眼底图像整体是否可分级的预测结果；当模型包括图像质量因素子模型时，可以得到眼底图像质量因素的分析结果而图像分析模型是通过大量图像训练确定的，基于上述模型确定的图像是否可分级的结果可靠性高。

附图说明

图1为一个实施例中眼底图像分析方法的流程示意图；

图2为一个实施例中获得目标眼底图像的图像分析结果步骤的流程示意图；

图3为一个实施例中训练确定所述眼底图像分析模型的流程示意图；

图4为一个实施例中通过迁移学习初始化预设眼底图像分析模型的流程示意图；

图5为一个实施例中眼底图像分析模型的框架示意图；

图6为一个实施例中黄斑、视盘中心预测模型框架示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种眼底图像分析方法，包括步骤S110和步骤S120。

步骤S110：获取目标眼底图像。

其中，目标眼底图像表示待分析的眼底图像。

步骤S120：通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果。

其中，所述眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种，所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像分析结果包括所述目标眼底图像是否可分级的预测结果，所述眼底图像分析模型包括图像质量因素子模型时，所述图像分析结果包括所述目标眼底图像的图像质量因素分析结果。一个实施例中，目标眼底图像是否可分级的预测结果分为目标眼底图像可分级，目标眼底图像不可分级。

其中，目标眼底图像的图像分析结果，眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型的至少一种，图像分析结果相应包括：图像整体分级预测结果、图像质量分析结果的至少一种。

一个实施例中，所述图像质量因素子模型包括：图像伪影分析子模型、图像清晰度分析子模型以及图像位置分析子模型中的至少一种。

其中，当图像质量因素子模型包括图像伪影分析子模型时，所述图像质量因素分析结果包括图像伪影信息。一个实施例中，图像伪影信息反映的是目标眼底图像是否存在伪影，以及如果存在伪影，伪影对于目标眼底图像的影响情况。

当图像质量因素子模型包括图像清晰度分析子模型时，所述图像质量因素分析结果包括图像清晰度信息。一个实施例中，图像清晰度信息反映的是在该目标眼底图像中能否识别血管拱、病变，以及能识别的病变范围。

当图像质量因素子模型包括图像位置分析子模型时，所述图像质量因素分析结果包括图像位置信息。一个实施例中，图像位置信息反映的是目标眼底图像中黄斑、视盘的位置信息，其中，黄斑、视盘位置信息包括目标眼底图像中是否包含黄斑或视盘，以及是否包含黄斑或视盘附近需要得到信息的区域。

一个实施例中，如图2所示，通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果，包括步骤S121和步骤S122。

步骤S121：提取所述目标眼底图像的图像特征。

其中，提取的目标眼底图像的图像特征是基于模型训练过程中机器学习提取的特征。

步骤S122：对所述目标眼底图像的图像特征进行分析，获得所述目标眼底图像的图像分析结果。

眼底图像分析模型对提取的图像特征进行分析，可以获得目标眼底图像的图像分析结果。

一个实施例中，提取所述目标眼底图像的图像特征之前，还包括步骤：裁剪出所述目标眼底图像的有效图像区域。在本实施例中，目标眼底图像为拍摄的未经处理的眼底图像的原图，有效图像区域为包含眼底图像的有效信息图像区域。

可以理解地，在其他实施例中，获取的目标眼底图像也可以是已经通过裁剪得到仅包含有效图像区域的眼底图像，即，在将眼底图像输入眼底图像分析模型之前完成裁剪得到有效图像区域的步骤。在本实施例中，获取到目标眼底图像后则可以直接提取目标眼底图像的图像特征。

一个具体实施例中，目标眼底图像通过图像整体分级预测子模型预测后得到的结果为一个0～1的数值；一个实施例中，当得到的结果为大于等于0、小于0.5的数时，则认定目标眼底图像为不可分级；当得到的结果为大于等于0.5、小于等于1的数时，则认定目标眼底图像为可分级。

一个具体实施例中，目标眼底图像通过图像伪影分析子模型分析后得到的结果为5种情况，分别为：①是否大于0小于等于1，②是否大于1小于等于4，③是否大于4小于等于6，④是否大于6小于等于8，⑤是否大于8小于等于10。目标眼底图像通过图像清晰度分析子模型分析后得到的结果为4种情况，分别为：①是否大于1小于等于4，②是否大于4小于等于6，③是否大于6小于等于8，④是否大于8小于等于10。目标眼底图像通过图像位置分析子模型分析后得到的结果为4种情况，分别为：①是否大于1小于等于4，②是否大于4小于等于6，③是否大于6小于等于8，④是否大于8小于等于10。各分析结果与目标眼底图像的信息对应关系如表1所示。

表1预定打分标准

一个具体实施例中，对于图像的伪影分析结果具体包括以下几种情况：(1)小于等于0，对应结果为不存在伪影，(2)大于0小于等于1对应的结果为伪影位于后极血管拱以外，且范围小于1/4，(3)大于1小于等于4，伪影不影响黄斑区，且范围小于1/4，(4)大于4小于等于8，伪影遮盖范围大于1/4，小于1/2，(5)大于6小于等于8，遮盖范围大于1/2，但未全遮盖后极部，(6)大于8小于等于10，则对应伪影遮盖整个后极部。

一个具体实施例中，对于图像清晰度分析结果具体分为以下情况：(1)大于0小于等于1对应的结果为只能识别1级血管拱，(2)大于1小于等于4，可以识别2级血管拱及小部分病变，(3)大于4小于等于8，可以识别3级血管拱及部分病变，(4)大于6小于等于8，可以识别3级血管拱及大部分病变，(5)大于8小于等于10，可以识别3级血管拱及全部病变。

一个具体实施例中，对于图像位置的分析结果具体分为以下情况：(1)大于0小于等于1对应的结果为图像中不存在视盘或黄斑，(2)大于1小于等于4，图像中只存在黄斑或者只存在视盘，(3)大于4小于等于8，图像中同时存在黄斑和视盘，(4)大于6小于等于8，图像中包含视盘和黄斑区及后极部血管拱约后极部45°，(5)大于8小于等于10，图像中包含是视盘、黄斑及后极部血管拱约后极部45°+正位。

上述眼底图像分析方法中，在获取到待分析的目标眼底图像后，通过训练确定的眼底图像分析模型对该目标眼底图像进行分析，获得目标眼底图像的图像分析结果。其中，眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种。上述方法通过眼底图像分析模型对目标眼底图像进行质量分析，当该模型包括整体分级预测子模型时，可以得到目标眼底图像整体是否可分级的预测结果；当模型包括图像质量因素子模型时，可以得到眼底图像质量因素的分析结果而图像分析模型是通过大量图像训练确定的，基于上述模型确定的图像是否可分级的结果可靠性高。

一个实施例中，在所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像特征包括：第一直角坐标系图像特征。

其中，在图像整体分级预测子模型中，将目标眼底图像在直角坐标系下的直角坐标系图像特征记为第一直角坐标系图像特征。在本实施例中，表示在将目标眼底图像输入图像整体分级预测子模型进行质量分析时，需要提取该目标眼底图像在直角坐标系下的图像特征进行分析。

在所述眼底图像分析模型包括图像质量因素子模型时，所述图像特征包括：第二直角坐标系图像特征与第一极坐标系图像特征连结后的第一图像连结特征。

其中，在图像质量因素子模型中，将目标眼底图像在直角坐标系下的直角坐标系图像特征记为第二直角坐标系图像特征，将目标眼底图像在极坐标系下的极坐标系图像特征记为第一极坐标系图像特征，将第二直角坐标系图像特征与第一极坐标图像特征连结后的连结特征记为第一图像连结特征。在本实施例中，表示在将目标眼底图像输入图像质量因素子模型进行质量分析时，需要提取该目标眼底图像在直角坐标系下的图像特征与在极坐标系下的图像特征连结后的图像连结特征进行分析。

在本申请的实施例中，在对一张目标眼底图像进行质量分析时，提取的图像特征是基于机器学习提取的。在上述实施例中，图像整体分级预测子模型中提取直角坐标系下的图像特征；而图像质量因素子模型中需要提取直角坐标系图像特征、极坐标系图像特征连结之后的图像连结特征。

一个实施例中，第一直角坐标系图像特征、第二直角坐标系图像特征、第一极坐标系特征、第一图像连结特征提取的特征内容均是由眼底图像分析模型在训练时确定的特征。

一个实施例中，所述图像质量因素子模型包括图像伪影分析子模型时，第二直角坐标系图像特征包括直角坐标系伪影因素特征，第一极坐标系特征包括极坐标伪影因素特征，第一图像特征连结包括：直角坐标系伪影因素特征与极坐标系伪影因素特征连结后的伪影因素连结特征。

所述图像质量因素子模型包括图像清晰度分析子模型时，第二直角坐标系图像特征包括直角坐标系清晰度因素特征，第一极坐标系特征包括极坐标清晰度因素特征，所述第一图像连结特征包括：直角坐标系清晰度因素特征和极坐标系清晰度因素特征连结后的清晰度因素连结特征。

所述图像质量因素子模型包括图像位置分析子模型时，第二直角坐标系图像特征包括直角坐标系位置因素特征，第一极坐标系特征包括极坐标位置因素特征，所述第一图像连结特征包括：直角坐标系位置因素特征和极坐标系位置因素特征连结后的位置因素连结特征。

其中，直角坐标系伪影因素特征为对目标眼底图像提取的直角坐标系下的伪影因素特征，极坐标系伪影因素特征为对目标眼底图像提取的极坐标系下的伪影因素特征。直角坐标系清晰度因素特征为对目标眼底图像提取的直角坐标系下的清晰度因素特征，极坐标系清晰度因素特征为对目标眼底图像提取的极坐标系下的清晰度因素特征。直角坐标系位置因素特征为对目标眼底图像提取的直角坐标系下的位置因素特征，极坐标系位置因素特征为对目标眼底图像提取的极坐标系下的位置因素特征。

一个实施例中，眼底图像分析模型包括图像整体分级预测子模型、图像伪影分析子模型、图像清晰度分析子模型以及图像位置分析子模型，可以针对一张目标眼底图像进行是否可分级的预测，还可以对眼底图像的伪影信息、清晰度信息、位置信息进行分析。如此，在对该眼底图像分析模型进行训练时，网络通过多任务学习来从图像整体分级预测以及伪影，清晰度和黄斑视盘位置的因素来分析眼底图像的质量信息，从而使得眼底图像分析模型在针对眼底图像是否可分级的预测结果更为客观。采用多任务学习，可以避免网络在单一任务导致的过拟合问题，且相比于分开训练单一任务的网络，可以提高优化效率以及预测准确率。

一个实施例中，如图3所示，训练确定所述眼底图像分析模型的方式包括步骤S310和步骤S320。

步骤S310：获取样本眼底图像，分别提取各样本眼底图像的图像特征。

其中，样本眼底图像为大量由人工对眼底图像进行分析并按照预定标准给出分数评价的眼底图像，每个样本图像均分别携带伪影、清晰度、位置、质量的分数标签。预定标准如表1所示。

一个实施例中，提取各样本眼底图像的图像特征，包括：

在所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像特征包括：第三直角坐标系图像特征。

其中，在图像整体分级预测子模型中，将样本眼底图像在直角坐标系下的直角坐标系图像特征记为第三直角坐标系图像特征。在本实施例中，表示在训练图像整体分级预测子模型时，需要提取样本眼底图像在直角坐标系下的图像特征进行训练。

在所述眼底图像分析模型包括图像质量因素子模型时，所述图像特征包括：第四直角坐标系图像特征、第二极坐标系图像特征，以及第四直角坐标系图像特征与第二极坐标系图像特征连结后的第二图像连结特征。

其中，在图像质量因素子模型中，将样本眼底图像在直角坐标系下的直角坐标系图像特征记为第四直角坐标系图像特征，将样本眼底图像在极坐标系下的极坐标系图像特征记为第二极坐标系图像特征。即，在训练图像质量因素子模型时，需要提取样本眼底图像的直角坐标系图像特征、极坐标系图像特征，以及直角坐标系图像特征与极坐标系图像特征连结后的图像连结特征进行训练。

在一个具体实施例中，样本眼底图像是从Shanghai Diabetic RetinopathyScreening Program(SDRSP)获取的。SDRSP中收录的样本对于每个病人、每只眼睛都分别拍摄以实盘为中心，和以黄斑为中心的眼底图像，每张眼底图像由人工从伪影，清晰度和位置三个因素来分别给出分数，并将该三个因素获得的分数分别记为伪影，清晰度和位置三个标签。并根据这三个标签携带的分数确定质量分析图像，是否可分级，并将是否可分级的分数记为整体分级预测标签。

一个实施例中，所述图像质量因素子模型包括图像伪影分析子模型时，第四直角坐标系图像特征包括直角坐标系伪影因素特征，第二极坐标系特征包括极坐标伪影因素特征，第二图像特征连结包括：直角坐标系伪影因素特征与极坐标系伪影因素特征连结后的伪影因素连结特征。

所述图像质量因素子模型包括图像清晰度分析子模型时，第四直角坐标系图像特征包括直角坐标系清晰度因素特征，第二极坐标系特征包括极坐标清晰度因素特征，所述第二图像连结特征包括：直角坐标系清晰度因素特征和极坐标系清晰度因素特征连结后的清晰度因素连结特征。

所述图像质量因素子模型包括图像位置分析子模型时，第四直角坐标系图像特征包括直角坐标系位置因素特征，第二极坐标系特征包括极坐标位置因素特征，所述第二图像连结特征包括：直角坐标系位置因素特征和极坐标系位置因素特征连结后的位置因素连结特征。

其中，直角坐标系伪影因素特征为对样本眼底图像提取的直角坐标系下的伪影因素特征，极坐标系伪影因素特征为对样本眼底图像提取的极坐标系下的伪影因素特征。直角坐标系清晰度因素特征为对样本眼底图像提取的直角坐标系下的清晰度因素特征，极坐标系清晰度因素特征为对样本眼底图像提取的极坐标系下的清晰度因素特征。直角坐标系位置因素特征为对样本眼底图像提取的直角坐标系下的位置因素特征，极坐标系位置因素特征为对样本眼底图像提取的极坐标系下的位置因素特征。

步骤S320：基于提取的各样本眼底图像的图像特征，对预设眼底图像分析模型进行模型训练，获得所述眼底图像分析模型。

一个实施例中，对预设眼底图像分析模型进行模型训练的目的是为了最小化整体损失函数，其中，整体损失函数L的确定方式为：

其中，α,β,γ和δ为各子模型提取不同特征的分支得到的损失函数的权重，下标r，p分别表示直角坐标系和极坐标系，a，c，f和q分别表示图像伪影分析子模型，图像清晰度分析子模型，图像位置分析子模型和图像整体分级预测子模型。例如，α表示通过提取极坐标系图像特征确定的损失函数的权重，δ表示图像整体分级子模型的权重。其中α,β,γ和δ的值根据实际情况设定。一个具体实施例中，取值为α＝0.2，β＝0.5，γ＝1.0，δ＝4.0。其中，整体分级预测子模型的权重最大，为主要去优化的任务；直角坐标系的权重占比略高于极坐标系。所有模型都通过caffe框架实现，使用随机梯度法优化，将所有训练数据迭代15轮次(epoch)。

一个实施例中，眼底图像分析模型所有子模型的损失函数均采用Sigmoid交叉熵损失函数确定，例如，整体分级预测子模型的损失函数的确定如下：

其中，

表示实际分数标签；

表示预测值。

一个实施例中，在分别提取各样本眼底图像的图像特征之前，还包括步骤：裁剪出各样本眼底图像的有效图像区域。在本实施例中，样本眼底图像为拍摄的未经处理的眼底图像，在本实施例中，在对样本眼底图像提取特征进行模型的训练之前，还需要对样本眼底图像进行裁剪得到有效图像区域。有效图像区域为包含样本眼底图像中包含眼底图像有效信息的图像区域。

一个实施例中，在对预设眼底图像分析模型进行模型训练之前，还包括步骤：通过迁移学习初始化所述预设眼底图像分析模型。

迁移学习，是机器学习的一个研究领域，将一个问题的领域知识迁移到另一个不同但相关的问题。在本实施例中，通过迁移学习方法隐式增加数据量，从而解决样本眼底图像数量不足容易导致眼底图像分析模型对于眼底图像分析不准确的问题。

一个实施例中，如图4所示，为通过迁移学习初始化预设眼底图像分析模型的流程示意图，包括步骤S410至步骤S430。

步骤S410，基于预设图像数据集，通过残差网络训练预设图像分类器，并基于训练结果获得训练后的预设图像分类器的权重。

一个实施例中，残差网络为18层残差网络，预设图像数据集为ImageNet数据集，将训练结果得到的训练后的预设图像分类器的权重作为下一步的网络的初始化权重。预设图像分类器网络为可用于识别图像基础特征的网络。

步骤S420，基于所述训练后的预设图像分类器的权重，初始化DR分级网络，并获得初始化后的DR分级网络的浅层权重。

其中，DR网络为训练确定的可以用于识别眼底图像中的部分病变的网络。

步骤S430，根据初始化后的DR分级网络的浅层权值初始化预设眼底图像分析模型。

将初始化后的DR分级网络的浅层权值作为预设眼底图像分析模型的初始化权重。采用两步迁移学习的方法，解决了训练时样本数量不足容易导致眼底图像分析模型分析不准确的问题。

一个实施例中，眼底图像分析方法还包括：

通过训练确定的残差网络，预测确定所述目标眼底图像的黄斑中心初始位置图像、所述目标眼底图像的视盘中心初始位置图像中的至少一种。

当预测了黄斑中心初始位置图像时，提取黄斑中心初始位置图像中的第一图像特征，基于提取的第一图像特征，通过训练确定的第一深度卷积神经网络，确定所述目标眼底图像的黄斑中心位置。

当预测了视盘中心初始位置图像时，提取视盘中心初始位置图像中的第二图像特征，基于提取的第二图像特征，通过训练确定的第二深度卷积神经网络，确定所述目标眼底图像的视盘中心位置。

其中，黄斑中心出始位置图像为目标眼底图像中以黄斑为中心的粗略图像，视盘中心初始位置图像为目标眼底图像中以视盘为中心的粗略图像。第一图像特征为黄斑中心初始位置图像中的黄斑特征，第二图像特征为视盘中心初始位置图像中的视盘特征。

在一个实施例中，第一深度卷积神经网络和第二深度卷积神经网络可以是同一个网络，也可以是不同的网络。一个具体实施例中，第一深度卷积神经网络和第二深度卷积神经网络均采用的VGG16网络。一个实施例中，残差网络采用的是Resnet-50网络。

一个实施例中，通过Resnet-50的主干网络卷积整幅眼底图像，回归预测黄斑和视盘的中心。由于输入图像压缩为224*224有损图像信息，因此在训练中，分别裁剪出包含黄斑，视盘中心，大小为800*800，900*900，1000*1000，1100*1100和1200*1200的区域，并压缩为224*224大小通过VGG16的主干网络回归黄斑，视盘的中心。在测试过程中以第一步预测得到的黄斑视盘中心为中心裁剪1000*1000的原图区域，作为第二步VGG网络(VisualGeometry Group)的输入。

在一个具体实施例中，需要通过上述眼底图像分析方法对一张眼底图像进行分析，以眼底图像分析模型包括：图像整体分级预测子模型和图像质量因素子模型，图像质量因素子模型包括图像伪影分析子模型、图像清晰度分析子模型和图像位置分析子模型为例。步骤如下：

首先将该眼底图像经过初步处理，裁剪出包含有效图像区域的眼底图像，由于该眼底图像为直角坐标系下的眼底图像，将眼底图像转换为极坐标系下的眼底图像，然后将直角坐标系下的眼底图像和极坐标系下的眼底图像输入眼底图像分析系统，眼底图像分析系统有两个编码器，分别是直角坐标系编码器和极坐标系编码器，分别两个目标眼底图像输入对应的编码器进行图像分析，直角坐标系编码器提取眼底图像的直角坐标特征，极坐标系编码器提取眼底图像的极坐标特征。

眼底图像分析系统获取到待分析的目标眼底图像后，通过训练确定的眼底图像分析模型对目标眼底图像进行特征提取、特征分析，获得目标眼底图像的图像分析结果。图像分析结果包括所述目标眼底图像是否可分级的预测结果，目标眼底图像的图像质量因素分析结果；图像质量因素分析结果包括图像伪影分析结果、图像清晰度分析结果和图像位置分析结果。

其中对目标眼底图像提取特征包括：图像整体分级预测子模型只提取直角坐标系下的图像特征，得到图像是否可分级的结果；图像伪影分析、清晰度分析和位置分析子模型提取直角坐标特征和极坐标系特征连结后的图像连结特征，分别得到眼底图像的伪影、清晰度和位置分析结果。

图像通过图像整体分级预测子模型预测后得到的结果为一个0～1的数值，反映的是眼底图像是否可分级。眼底图像是否可分级指的是眼底图像是否可DR分级。具体地，整体分级预测结果小于0.5，则认定眼底图像不可分级，若整体分级预测结果大于等于0.5，则认定眼底图像为可分级。

图像通过图像伪影分析子模型分析后得到的结果为①是否大于0，②是否大于1，③是否大于4，④是否大于6，⑤是否大于8。

图像通过图像清晰度分析和图像位置分析子模型分析后得到的结果为①是否大于1，②是否大于4，③是否大于6，④是否大于8。

对于图像伪影分析结果，五个分类对应眼底图像在伪影因素的分数划分为6种情况(0分，1分，4分，6分，8分，10分)，具体分数与眼底图像信息对应关系如表1所示。

对于图像清晰度和位置分析结果，四个分类将眼底图像清晰度因素和位置因素的分数均划分为5种情况(1分，4分，6分，8分，10分)，具体分数与眼底图像信息对应关系如表1所示。

一个具体实施例中，对于眼底图像分析模型的训练，步骤如下：首先将所有样本眼底图像经过处理后得到仅包含有效图像区域的眼底图像，且通过转换得到极坐标下的眼底图像，将每一样本图像的直角坐标系和极坐标系下的两张样本眼底图像输入预设的眼底图像分析模型，通过训练确定眼底图像分析模型。

其中，样本眼底图像是由人工对图像进行分析且打分的眼底图像，具体包括从伪影因素、从清晰度因素和考虑位置因素三个方面分析并打分(打分标准如表1所示)，然后根据关系式：质量分数＝清晰度分数+位置分数–伪影分数，确定眼底图像的质量分数，质量分数用于指示眼底图像是否可分级，在本实施例中，将质量分数大于10的眼底图像认定为可分级，将质量分数小于等于10的眼底图像认定为不可分级。

预设的眼底图像分析模型中的整体分级预测子模型提取样本眼底图像的直角坐标系特征，伪影分析、清晰度分析和位置分析子模型分别提取样本眼底图像的直角坐标系特征、极坐标系特征以及将直角坐标系特征和极坐标系特征连结后的图像连结特征，利用上述特征优化眼底图像分析模型的整体损失函数。整体损失函数的确定方式为：

其中，α，β，γ和δ为各子模型提取不同特征的分支确定的损失函数的权重，下标r，p分别表示直角坐标系和极坐标系，a，c，f和q分别表示伪影，清晰度，位置和整体分级预测子模型。

其中，各子模型提取不同特征的分支确定的损失函数采用Sigmoid交叉熵损失函数，例如，整体分级预测子模型的损失函数如下：

其中

是实际分数标签，

为预测值。

一个实施例中，在对预设的眼底图像分析模型进行训练之前，还包括两步迁移学习初始化预设眼底图像分析模型的权重。首先基于ImageNet数据库通过18层残差网络训练图像分类器，再将浅层权重用于DR分级网络的初始化，最后再将DR分级网络的浅层权重用于眼底图像分析模型的初始化。

一个实施例中，眼底图像分析方法还包括对眼底图像分析黄斑和视盘的位置的步骤。将目标眼底图像输入Resnet-50网络，提取整幅图像的特征，分别粗略的预测黄斑和视盘的位置，然后将黄斑的粗略位置和视盘的粗略位置输入VGG16网络，分别提取黄斑区域特征和视盘区域特征，精确预测黄斑区域中心和视盘区域中心的位置。方便了青光眼诊断，糖尿病黄斑变性分级。

一个实施例中，如图5所示，为本实施例中眼底图像分析模型的框架示意图。其中conv(convolutional layer)为卷积层，fc(fully connected layer)为全连接层。

一个实施例中，如图6所示，为本实施例中黄斑、视盘中心预测模型框架示意图。

通过上述眼底图像分析方法，可以过滤掉因质量不佳而不可分级的图像，且图像是否可分级的结果由伪影，清晰度和位置三个影响质量因素联合决定，确定的结果可靠性高；此外，采用迁移学习方法隐式增加数据量，并用多任务学习方法避免网络训练在单一任务上过拟合；进一步地，通过该方法还可以确定视盘，黄斑的中心点定位，方便了青光眼诊断，糖尿病黄斑变性分级等。

应该理解的是，虽然图1至4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一个实施例中的眼底图像分析方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一个实施例中的眼底图像分析方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种眼底图像分析方法，所述方法包括：

获取目标眼底图像；

通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果；

所述眼底图像分析模型包括：图像整体分级预测子模型、图像质量因素子模型中的至少一种，所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像分析结果包括所述目标眼底图像是否可分级的预测结果，所述眼底图像分析模型包括图像质量因素子模型时，所述图像分析结果包括所述目标眼底图像的图像质量因素分析结果；

训练确定所述眼底图像分析模型的方式包括：

构建预设眼底图像分析模型，所述预设眼底图像分析模型包括图像整体分级预测子模型和图像质量因素子模型；

获取样本眼底图像，分别提取各样本眼底图像的图像特征；所述提取的各样本眼底图像的图像特征包括通过图像整体分级预测子模型和图像质量因素子模型分别提取的图像特征；每个样本眼底图像均分别携带整体分级预测标签、伪影标签、清晰度标签和位置标签，所述整体分级预测标签由所述伪影标签、清晰度标签和位置标签确定，所述整体分级预测标签为通过图像整体分级预测子模型提取的图像特征对应的实际分数标签，所述伪影标签、清晰度标签和位置标签为通过图像质量因素子模型提取的图像特征对应的实际分数标签；

基于提取的各样本眼底图像的图像特征，对预设眼底图像分析模型进行模型训练，获得所述眼底图像分析模型。

2.根据权利要求1所述的方法，其特征在于，所述图像质量因素子模型包括：图像伪影分析子模型、图像清晰度分析子模型以及图像位置分析子模型中的至少一种；

所述图像质量因素子模型包括图像伪影分析子模型时，所述图像质量因素分析结果包括图像伪影信息；

所述图像质量因素子模型包括图像清晰度分析子模型时，所述图像质量因素分析结果包括图像清晰度信息；

所述图像质量因素子模型包括图像位置分析子模型时，所述图像质量因素分析结果包括图像位置信息。

3.根据权利要求1所述的方法，其特征在于，通过训练确定的眼底图像分析模型对所述目标眼底图像进行分析，获得所述目标眼底图像的图像分析结果，包括：

提取所述目标眼底图像的图像特征；

对所述目标眼底图像的图像特征进行分析，获得所述目标眼底图像的图像分析结果。

4.根据权利要求3所述的方法，其特征在于，在所述眼底图像分析模型包括图像整体分级预测子模型时，所述图像特征包括：第一直角坐标系图像特征；

在所述眼底图像分析模型包括图像质量因素子模型时，所述图像特征包括：第二直角坐标系图像特征与第一极坐标系图像特征连结后的第一图像连结特征。

5.根据权利要求要求1所述的方法，其特征在于，在所述眼底图像分析模型包括图像整体分级预测子模型时，所述通过图像整体分级预测子模型提取的图像特征包括：第三直角坐标系图像特征。

6.根据权利要求5所述的方法，其特征在于，在所述眼底图像分析模型包括图像质量因素子模型时，所述通过图像质量因素子模型提取的图像特征包括：第四直角坐标系图像特征、第二极坐标系图像特征，以及第四直角坐标系图像特征与第二极坐标系图像特征连结后的第二图像连结特征。

7.根据权利要求5所述的方法，其特征在于，在对预设眼底图像分析模型进行模型训练之前，还包括步骤：通过迁移学习初始化所述预设眼底图像分析模型。

8.根据权利要求1至7任一项所述的方法，其特征在于，还包括步骤：

通过训练确定的残差网络，预测确定所述目标眼底图像的黄斑中心初始位置图像、所述目标眼底图像的视盘中心初始位置图像中的至少一种；

提取黄斑中心初始位置图像中的第一图像特征，基于提取的第一图像特征，通过训练确定的第一深度卷积神经网络，确定所述目标眼底图像的黄斑中心位置；

提取视盘中心初始位置图像中的第二图像特征，基于提取的第二图像特征，通过训练确定的第二深度卷积神经网络，确定所述目标眼底图像的视盘中心位置。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images