CN117436002A - 一种基于眼动特征的弱视类型与严重程度的智能评估系统 - Google Patents

Abstract

本发明公开了一种基于眼动特征的弱视类型与严重程度的智能评估系统，包括眼动数据采集模块、眼动指标计算模块、眼动序列特征提取模块、基于机器学习模型评估模块；眼动数据采集模块，用于采集眼动数据；眼动指标计算模块，对采集到的眼动数据进行基于弱视疾病的眼动缺陷的眼动指标计算，并得到眼动序列；眼动序列特征提取模块，对眼动序列进行特征提取；基于机器学习模型评估模块，基于计算的眼动指标、提取的序列特征构建眼动特征数据集，用于训练机器学习模型，对弱视情况进行智能评估，其中包括正常和弱视的判断、弱视类型评估和弱视严重程度的分类。提供了更合理建议，提高了筛查效率，从而辅助医生快速准确进行弱视情况的评估。

Description

一种基于眼动特征的弱视类型与严重程度的智能评估系统

技术领域

本发明属于机器学习分类识别技术领域，具体涉及一种基于眼动特征的弱视类型与严重程度的智能评估系统。

背景技术

弱视作为高发病率、多致病因素的视力障碍疾病，在人群中的发病率约为2-4％。不同患者情况各异，诊断和治疗期间的动态评估对医生要求较高，在广大学校每年开展的视力检测中真正能查出的概率很小，而过了视觉发育关键期(>8岁)的弱视已经很难恢复正常视力水平，因此在儿童视神经发育的早期进行评估筛查、诊断以及及时便捷地跟踪动态视功能恢复情况是优化弱视治疗现状的关键方面。由于检查结果一致性和检查过程配合度等问题，弱视评估中容易出现误判。高检出率和误诊风险不仅给患者自身造成了生活上的困扰和负担，更导致了社会卫生资源的浪费。一般来说，医生的诊断可以看作是一种分类，但除了分类所需的基于证据的疾病知识外，医生的经验对决定有很大影响，而丰富经验的医生是一种稀缺资源。因此非常有必要建立一套便捷、廉价、高效的弱视智能评估系统。

通过机器学习等方式学习病患生理表现诸多特征的复杂关系，自动化地根据病患生理表现进行分类是一种比较高效的方式。在过去，有一些研究使用脑电作为弱视评估指标并应用机器模型建立专家系统，其准确率可达到90％以上。但是脑电采集通常需要较长的时间和复杂的操作，并且脑电设备的价格往往较高，不利于作为普查设备推广，应用价值并不突出。

发明内容

为解决现有技术的不足，实现高效的弱视类别及严重程度评估的目的，本发明采用如下的技术方案：

一种基于眼动特征的弱视智能评估系统，包括眼动数据采集模块、眼动指标计算模块、眼动序列特征提取模块、基于机器学习模型评估模块；

所述眼动数据采集模块，用于采集眼动数据；

所述眼动指标计算模块，对采集到的眼动数据进行基于弱视疾病的眼动缺陷的眼动指标计算，并得到眼动序列；

所述眼动序列特征提取模块，对眼动序列进行时序特征提取；

所述基于机器学习模型评估模块，基于计算的眼动指标、提取的序列特征经过K折交叉验证后构建眼动特征数据集，用于训练机器学习模型，对弱视情况进行智能评估。

进一步地，所述眼动数据采集模块，采集目标物静态呈现(呈现35秒)在屏幕中心时的注视时的眼动坐标时间序列数据。

进一步地，所述眼动指标计算模块计算的眼动指标包括静态注视区域二元轮廓椭圆面积BCEA(bivariate contour ellipse，BECA)，其计算公如下：

其中，X²表示一定概率(0.68)的标准卡方值2.291(2自由度)，即注视期间一定概率(68％)下的注视点数据的横纵坐标落在该区域；σx和σy表示眼动数据的水平和垂直坐标的标准差；ρ表示水平和垂直坐标的皮尔逊相关系数。

BCEA通常作为被试注视时眼动误差幅度情况量化指标，其表现的是注视期间眼睛位置的分散区域面积，较小的BCEA表明注视更稳定，而较大的BCEA表明了更大的注视不稳定性。

进一步地，所述眼动数据采集模块，采集包括目标物在屏幕随机位置跳跃过程(每次呈现在一个随机位置的时间为1-2秒，然后跳跃到新位置)中的动态眼动跟踪时的眼动坐标时间序列数据。

进一步地，所述眼动指标计算模块计算的眼动指标包括动态速度序列模糊熵，其计算方式为：先对水平和垂直眼动坐标波形的原始数据使用傅里叶变换滤波进行平滑处理，再通过计算每个采样点间的欧氏距离除以间隔时间得到注视时的眼动速度序列，再按如下过程计算模糊熵：

1)按顺序将眼动速度序列重构，生成一组m维向量：

其中，u(i)表示眼动速度，i表示原序列的顺序索引，i_max＝N-m+1，N表示速度序列的长度，m表示空间维数，u₀(i)表示眼动速度均值；

2)将矢量与/>之间的距离定义为两个矢量对应元素中差值最大的一个：

3)通过模糊隶属度函数定义矢量/>与/>间的距离：

其中n表示模糊隶属度函数的宽度，r表示模糊隶属度函数的梯度；

4)定义函数：

5)将维数m改为m+1，重复以上2)至4)的过程；

6)最后根据眼动速度序列的长度N得到模糊熵的估计值。

进一步地，所述眼动指标计算模块计算的眼动指标包括动态眼跳启动时间，一次“跳跃”的眼跳启动时间的计算步骤如下：计算眼跳一次“跳跃”的横纵坐标序列N_x，y＝{(t₀，x₀，y₀)，(t₁，x₁，y₁)，…，(t_i，x_i，y_i)}的速度序列N_s＝{s₀，s₁，...，s_i}，索引为时间戳t，其中速度元素计算方式为：

根据注视方向的取值范围设置主动眼跳速度阈值ω₀，筛选出包含所有速度高于该阈值范围元素的序列，使用t作为索引映射原本的横纵坐标：

一般认为人类反应时总会大于120ms，而超过750ms可能是没有及时进行正确的眼动反应。因此，根据刺激开始时间t_o剔除N_high中t在人类反应范围外(小于120ms和大于750ms)的元素；

依次计算N_high中剔除人类反应外的元素的眼跳方向d_i：

d_i＝(|d_ix|-|d_iy|，d_ix，d_iy) (9)

当d_i的第一个元素大于零时其方向为左右，小于零时其方向为上下；再根据d_ix或d_iy的值确定具体的方向，最后选择N_high中第一个符合本次跳跃方向的元素，根据其时间戳t_i计算眼跳启动时间：

t_s＝t_i-t_o (10)

进一步地，所述眼动时序特征提取模块，分别对每一名被试每种观看条件下每只眼睛的眼动横纵坐标时间序列、每只眼的速度序列进行眼动特征的提取，提取的特征如下：

1)序列的绝对能量值(平方和)，计算公式：

其中，x_i表示眼动序列，n为序列中点位个数；

2)自相关统计特征：序列的各阶差分值之间的聚合统计特征(方差、均值)；

3)高于均值的个数；

4)低于均值的个数；

5)傅里叶变换系数：基于快速傅里叶变换算法计算一维离散傅里叶序列的频域分量：

其中，k表示频域的频率索引，a_m表示信号在时域的第m个采样点，n表示信号的采样点总数，分别计算出k在一定区间(0-99)的系数实部、虚部、绝对值、角度值四个参数作为四个独立的特征；

6)大于平均值的最长子序列长度；

7)小于平均值的最长子序列长度；

8)序列中分别支持多(1-5)窗口半径的波峰数量；例如：若存在窗口序列N＝[0,4,0]，元素4比左右在1距离的元素大，就视4为该1窗口半径波峰；

9)序列中元素总和；

10)速度时间序列元素值总和。

进一步地，所述基于机器学习模型评估模块为基于机器学习模型的弱视判断模块，用于正常和弱视的判断。

一种基于眼动特征的弱视类型智能评估系统，根据所述的一种基于眼动特征的弱视智能评估系统，其中的基于机器学习模型评估模块为基于机器学习模型的弱视类型分类模块，用于屈光参差型和斜视型弱视的分类。

一种基于眼动特征的弱视严重程度智能评估系统，根据所述的一种基于眼动特征的弱视智能评估系统，其中的基于机器学习模型评估模块为基于机器学习模型的弱视严重程度分类模块，用于不同弱视严重程度的分类。

本发明的优势和有益效果在于：

本发明的一种基于眼动特征的弱视类型与严重程度的智能评估系统，将眼动指标作为弱视诊断生物标志物，详细研究了基于不同弱视类型间的行为功能和眼动指标异常，基于机器学习算法构建了基于眼动特征的有关“是否弱视”、“弱视类型”、“弱视严重程度”等几个方面的弱视智能评估系统，超过90％的平均准确率能很好地帮助更广大缺少条件的学校和社会卫生机构科学有效快速地完成弱视的筛查，后续更利于针对性诊断与治疗，有广泛的应用价值。如：根据患者严重程度给出合理建议或者推荐去医院做进一步详细检查与治疗；也可以部署在农村卫生所等初级医疗机构，辅助医生快速准确进行弱视情况的评估。

附图说明

图1是本发明实施例中装置的结构示意图。

图2是本发明实施例中方法的流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明公开了一种基于眼动特征的弱视类型与严重程度的智能评估系统，包括：眼动数据采集模块、眼动指标计算模块、眼动时序特征提取模块、基于机器学习模型的弱视判断模块、基于机器学习模型的弱视类型分类模块、基于机器学习模型的弱视严重程度分类模块。

其中，眼动数据采集模块通过非接触式眼动仪采集眼动数据；眼动指标计算模块对采集到的眼动数据进行基于弱视疾病的眼动缺陷的眼动指标计算，包括每只眼的静态BECA(注视区域二元轮廓椭圆面积)、动态速度序列模糊熵以及动态眼跳启动时间等眼动指标；眼动时序特征提取模块对采集到的眼动数据提取绝对能量值、自相关统计特征等10种时序特征；并将上述眼动指标、时序特征经过K折交叉验证后建立眼动特征数据集，使用基于机器学习模型的弱视判断模块、基于机器学习模型的弱视类型分类模块、基于机器学习模型的弱视严重程度分类模块进行数据训练，分别进行“正常vs弱视”的弱视判断、“屈光参差型vs斜视型”的弱视类型分类、“轻度、中度、重度”的弱视严重程度估计。即使在数据集样本量较小时，本发明仍可以得到超过90％的平均准确率。此外，眼动数据无接触采集，方便、快捷，患者配合度高；轻量型网络结构占用资源少、速度快、高效。本发明可以帮助更广大缺少条件的学校和社会卫生机构科学有效快速地完成弱视的筛查，后续更利于针对性诊断与治疗，有广泛的应用价值。

具体地，本发明实施例中，眼动数据采集模块：采用眼镜式或桌面式眼动仪无接触采集被试在两种情况下的左、右眼眼动坐标时间序列数据：1)圆点静态呈现(呈现35秒)在屏幕中心时的注视眼动；2)圆点随机跳跃过程(每次呈现在一个随机位置的时间为1-2秒，然后跳跃到新位置)中的动态眼动。

具体地，本发明实施例中，眼动指标计算模块：根据“眼动指标作为弱视诊断生物标志物”的最新科研结果发现，静态BECA(注视区域二元轮廓椭圆面积)、动态速度序列模糊熵以及每只眼每个观看条件下不同方向的眼跳启动时间这三个眼动指标可以作为弱视评估的客观标准。本模块对这三个眼动指标的计算方法如下：

1、BECA计算

弱视注视稳定性研究中常用BCEA作为被试注视时眼动误差幅度情况量化指标，其表现的是注视期间眼睛位置的分散区域面积，较小的BCEA表明注视更稳定，而较大的BCEA表明了更大的注视不稳定性。其计算公式见式1。

其中，X²常用0.68概率的标准卡方值2.291(2自由度)，表示注视期间68％的注视点数据的横纵坐标落在该区域；σx和σy是眼动数据的水平和垂直坐标的标准差；ρ是水平和垂直坐标的皮尔逊相关系数。

2、模糊熵计算

先对水平和垂直眼动坐标波形的原始数据使用傅里叶变换滤波进行平滑处理，再通过计算每个采样点间的欧氏距离除以间隔时间得到注视时的眼动速度序列，再按如下计算步骤进行模糊熵计算：

1)按顺序将眼动速度序列重构，生成一组m维向量：

其中i为原序列的顺序索引，i_max＝N-m+1，N为速度序列的长度，u₀(i)为均值。

2)将矢量与/>之间的距离定义为两个矢量对应元素中差值最大的一个：

3)通过模糊隶属度函数定义矢量/>与/>间的距离：

其中n为函数的宽度，r是函数的梯度。

4)定义函数：

5)将维数m改为m+1，重复以上2-4步；

6)最后根据速度序列的长度N得到模糊熵的估计值。

在本专利的模糊熵计算中，根据注视时眼动成分类别将空间维数m设为3，根据平均序列长度将窗口宽度n设为7。

3、眼跳启动时间计算：

计算眼跳一次“跳跃”的横纵坐标序列N_x.y＝{(t₀,x₀,y₀),(t₁,x₁,y₁),…,(t_i,x_i,y_i)}的速度序列N_s＝{s₀，s₁，...，s_i}，索引为时间戳t，其中元素计算方式为：

根据注视方向的取值范围设置主动眼跳速度阈值ω₀，筛选出包含所有速度高于该阈值范围元素的序列，使用t作为索引映射原本的横纵坐标：

一般认为人类反应时总会大于120ms，而超过750ms可能是没有及时进行正确的眼动反应。因此，根据刺激开始时间t_o剔除N_high中t小于120ms和大于750ms的元素。

依次计算N_high中元素的眼跳方向d_x：

d_i＝(|d_ix|-|d_iy|，d_ix，d_iy) (9)

当d_i的第一个元素大于零时其方向为左右，小于零时其方向为上下；再根据d_ix或d_iy的值确定具体的方向。最后选择N_high中第一个符合本次“跳跃”方向的元素，根据其时间戳t_i计算眼跳启动时间：

t_s＝t_i-t_o (10)

具体地，本发明实施例中，眼动时序特征提取模块：结合眼动数据的特点，分别对每一名被试每种观看条件下每只眼睛的眼动横纵坐标时间序列、每只眼的速度序列进行以下10种眼动特征的提取。

1)绝对能量值：序列的绝对能量值(平方和)，计算公式：

其中x为眼动序列，n为序列中点位个数。

2)自相关统计特征：序列的各阶差分值之间的聚合统计特征(方差、均值)。

3)高于均值的个数。

4)低于均值的个数。

5)傅里叶变换系数：基于快速傅里叶变换算法计算一维离散傅里叶序列的频域分量A_k(见式12，其中k为频域的频率索引，a_m表示信号在时域的第m个采样点，n为信号的采样点总数，分别计算出k＝0～n-1(本处取n＝100)间的A_k的实部、虚部、绝对值、角度值四个参数作为四个独立的特征。

6)大于平均值的最长子序列长度。

7)小于平均值的最长子序列长度。

8)序列中分别支持1-5窗口半径的波峰数量。例如：若存在窗口序列N＝[0,4,0]，元素4比左右在1距离的元素大，就视4为该1窗口半径波峰。

9)序列中元素总和。

10)速度时间序列元素值总和。

具体地，本发明实施例中，基于机器学习模型的弱视判断模块：

将以上2与3中计算得到的眼动特征数据经过K折交叉验证后建立眼动特征数据集，使用经典机器学习模型进行数据训练，进行弱视的判断。在小数据量(健康n＝15vs弱视n＝40)的情况下，基于SVM(支持向量机)、逻辑回归的机器学习模型分别获得99.23％和99.42％的分类准确率。

具体地，本发明实施例中，基于机器学习模型的弱视类型分类模块：

将以上2与3中计算得到的眼动特征数据经过K折交叉验证后建立眼动特征数据集，使用经典机器学习模型进行数据训练，进行弱视类型分类。在小数据量(屈光参差型弱视n＝22vs斜视型弱视n＝18)的情况下，基于SVM、逻辑回归的机器学习模型分别获得99.71％和97.81％的分类准确率。

具体地，本发明实施例中，基于机器学习模型的弱视严重程度分类模块：

将以上2与3中计算得到的眼动特征数据经过K折交叉验证后建立眼动特征数据集，使用经典机器学习模型进行数据训练，进行弱视严重程度的分类。在小数据量(轻度弱视n＝10vs中度弱视n＝12vs重度弱视n＝7)的情况下，基于SVM、逻辑回归的机器学习模型分别获得76％和71.25％的分类准确率。

本发明的各类弱视评估的平均准确率超过90％，而且轻量级模型架构的资源需求少，运行速度快，达到了便捷、廉价、高效地进行弱视智能评估的目标。

如图2所示，一种基于眼动特征的弱视类型与严重程度的智能评估方法，包括如下步骤：

步骤S1：采集眼动数据；

步骤S2：对采集到的眼动数据进行基于弱视疾病的眼动缺陷的眼动指标计算，并得到眼动序列；

步骤S3：对眼动序列进行时序特征提取；

步骤S4：基于计算的眼动指标、提取的序列特征构建眼动特征数据集，用于训练机器学习模型，对是否弱视、弱视类型、弱视严重程度进行智能评估。

这部分内容实施方式与上述系统实施例中执行过程的实施方式类似，此处不再赘述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于眼动特征的弱视智能评估系统，包括眼动数据采集模块、眼动指标计算模块、眼动序列特征提取模块、基于机器学习模型评估模块，其特征在于：

所述眼动数据采集模块，用于采集眼动数据；

所述眼动指标计算模块，对采集到的眼动数据进行基于弱视的眼动缺陷的眼动指标计算，并得到眼动序列；

所述眼动序列特征提取模块，对眼动序列进行时序特征提取；

所述基于机器学习模型评估模块，基于计算的眼动指标、提取的序列特征经过交叉验证后构建眼动特征数据集，用于训练机器学习模型，对弱视情况进行智能评估。

2.根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动数据采集模块，采集目标物静态呈现在屏幕中心时的静态注视时眼动坐标时间序列数据。

3.根据权利要求2所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动指标计算模块计算的眼动指标包括静态注视区域二元轮廓椭圆面积，其计算公如下：

其中，X²表示一定概率的标准卡方值，即注视期间一定概率下的注视点数据的横纵坐标落在该区域；σx和σy表示眼动数据的水平和垂直坐标的标准差；ρ表示水平和垂直坐标的皮尔逊相关系数。

4.根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动数据采集模块，采集目标物在屏幕上随机位置跳跃过程中的动态眼动跟踪时的眼动坐标时间序列数据。

5.根据权利要求4所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动指标计算模块计算的眼动指标包括动态速度序列模糊熵，其计算方式为：先对水平和垂直眼动坐标波形的原始数据使用傅里叶变换滤波进行平滑处理，再通过计算每个采样点间的欧氏距离除以间隔时间得到注视时的眼动速度序列，再按如下过程计算模糊熵：

1)按顺序将眼动速度序列重构，生成一组m维向量：

其中，u(i)表示眼动速度，i表示原序列的顺序索引，i_max＝N-m+1，N表示速度序列的长度，m表示空间维数，u₀(i)表示眼动速度均值；

2)将矢量与/>之间的距离定义为两个矢量对应元素中差值最大的一个：

3)通过模糊隶属度函数定义矢量/>与/>间的距离：

其中n表示模糊隶属度函数的宽度，r表示模糊隶属度函数的梯度；

4)定义函数：

5)将维数m改为m+1，重复以上2)至4)的过程；

6)最后根据眼动速度序列的长度N得到模糊熵的估计值：

6.根据权利要求4所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动指标计算模块计算的眼动指标包括动态眼跳启动时间，一次跳跃的眼跳启动时间的计算步骤如下：计算一次眼跳的横纵坐标序列N_x,y＝{(t₀，x₀，y₀)，(t₁，x₁，y₁)，…，(t_i，x_i，y_i)}的速度序列N_s＝{s₀，s₁，...，s_i}，索引为时间戳t，其中速度元素的计算方式为：

根据注视方向的取值范围设置主动眼跳速度阈值ω₀，筛选出包含所有速度高于该阈值范围元素的序列，使用t作为索引映射原本的横纵坐标：

根据刺激开始时间t_o剔除N_high中t在人类反应范围外的元素；

依次计算N_high中剔除人类反应外的元素的眼跳方向d_i：

d_i＝(|d_ix|-|d_iy|，d_ix，d_iy) (9)

当d_i的第一个元素大于零时其方向为左右，小于零时其方向为上下；再根据d_ix或d_iy的值确定具体的方向，最后选择N_high中第一个符合本次跳跃方向的元素，根据其时间戳t_i计算眼跳启动时间：

t_s＝t_i-t_o (10)。

7.根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述眼动时序特征提取模块，对眼动时序进行眼动特征的提取，提取的特征如下：

1)序列的绝对能量值，计算公式：

其中，x_i表示眼动序列，n为序列中采样点总数；

2)自相关统计特征：序列的各阶差分值之间的聚合统计特征；

3)高于均值的个数；

4)低于均值的个数；

5)傅里叶变换系数：基于快速傅里叶变换算法计算一维离散傅里叶序列的频域分量：

其中，k表示频域的频率索引，a_m表示眼动时序上的第m个采样点，n表示眼动序列的采样点总数，分别计算出k在一定区间的系数实部、虚部、绝对值、角度值四个参数作为四个独立的特征；

6)大于平均值的最长子序列长度；

7)小于平均值的最长子序列长度；

8)序列中分别支持多窗口半径的波峰数量；

9)序列中元素总和；

10)速度时间序列元素值总和。

8.根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其特征在于：所述基于机器学习模型评估模块为基于机器学习模型的弱视判断模块，用于正常和弱视的判断。

9.一种基于眼动特征的弱视类型智能评估系统，其特征在于：根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其中的基于机器学习模型评估模块为基于机器学习模型的弱视类型分类模块，用于屈光参差型和斜视型弱视的分类。

10.一种基于眼动特征的弱视严重程度智能评估系统，其特征在于：根据权利要求1所述的一种基于眼动特征的弱视智能评估系统，其中的基于机器学习模型评估模块为基于机器学习模型的弱视严重程度分类模块，用于不同弱视严重程度的分类。