CN117694819A - 斜视评估系统和斜视评估方法 - Google Patents
斜视评估系统和斜视评估方法 Download PDFInfo
- Publication number
- CN117694819A CN117694819A CN202310890028.6A CN202310890028A CN117694819A CN 117694819 A CN117694819 A CN 117694819A CN 202310890028 A CN202310890028 A CN 202310890028A CN 117694819 A CN117694819 A CN 117694819A
- Authority
- CN
- China
- Prior art keywords
- observer
- strabismus
- module
- eye
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/08—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
- A61B3/085—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus for testing strabismus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
一种斜视评估系统和斜视评估方法。所述系统包括:显示模块,用于显示供观察者观察的视觉刺激;图像捕获模块,用于记录所述观察者观察所述视觉刺激的至少一只眼睛的多个图像;以及处理模块,用于基于所述图像捕获模块记录的所述多个图像确定所述观察者的眼睛失准情况。
Description
技术领域
本公开涉及一种斜视评估系统和斜视评估方法,特别地但不排他地,涉及一种AI辅助的斜视评估系统。
背景技术
斜视是影响2%-5%人群的常见临床眼病之一。斜视患者在用双眼观看时,双目无法进行适当的协调和配合。眼睛失准是斜视患者的常见情形。当与患者进行眼神交流时,由于患者眼睛的位置偏差,可能使他人感到疑惑。
斜视不仅是美容缺陷,而且触发了广泛的视觉缺陷,例如复视、弱视、立体视觉破坏等,导致运动技能受损,在执行视觉运动任务时间,例如抓握或姿势稳定时,尤为如此。除此之外,斜视可能对患者具有一系列的精神或心理的负面影响。
发明内容
根据本公开的第一方面,提供了一种斜视评估系统。所述系统包括:显示模块,用于显示供观察者观察的视觉刺激;图像捕获模块,用于记录所述观察者观察所述视觉刺激的至少一只眼睛的多个图像;以及处理模块,用于基于所述图像捕获模块记录的所述多个图像确定所述观察者的眼睛失准情况。
根据第一方面,所述处理模块包括:基于AI的处理引擎。
根据第一方面,所述基于AI的处理引擎包括:基于深度学习的斜视偏差模块,用于确定所述观察者的眼睛的斜视偏差。
根据第一方面,所述处理模块进一步包括:瞳孔检测和增强模块,用于执行包括虹膜区域提取、瞳孔区域细化、边缘检测和滤波以及椭圆拟合中的一个或多个的图像增强处理,以便精确地确定瞳孔位置,用于斜视评估。
根据第一方面,所述系统还包括:自动遮光器,用于在评估过程中选择性地遮挡观察者的一只或两只眼睛,使被遮挡的眼睛无法观察到所述视觉刺激。
根据第一方面,所述自动遮光器包括:近红外滤光片。
根据第一方面,所述图像捕获模块包括:红外照明光源,用于照亮观察者的眼睛;图像捕获模块用于捕获所述观察者的双眼被所述自动遮光器或遮挡物遮挡或未被所述自动遮光器遮挡的图像。
根据第一方面,所述系统还包括:外壳,用于容纳所述显示模块、所述图像捕获模块、所述自动遮光器、腮托和前额托以形成集成组件,其中颏托和额托用于在评估过程中限制所述观察者的头部的移动。
根据第一方面,所述显示模块包括:可在第一展开位置和第二展开位置之间移动的可旋转屏幕。
根据第一方面,所述系统还包括:反射镜,用于便于所述观察者观察所述视觉刺激的光学反射,以增加所述视觉刺激与所述观察者的眼睛之间的光学距离。
根据本公开的第二方面,提供了一种斜视评估方法。所述方法包括以下步骤:显示供观察者观察的视觉刺激;记录所述观察者观察所述视觉刺激的至少一只眼睛的多个图像;以及根据图像捕获模块记录的所述多个图像确定所述观察者的眼睛失准情况。
根据第二方面,通过所述基于AI的处理引擎确定所述观察者的眼球偏差状况。
根据第二方面,所述基于AI的处理引擎包括:基于深度学习的斜视偏差模块,用于确定所述观察者的眼睛的斜视偏差。
根据第二方面,所述确定眼球偏差条件的步骤进一步包括:执行包括虹膜区域提取、瞳孔区域细化、边缘检测和滤波以及椭圆拟合中的一个或多个的图像增强处理,以便精确地确定瞳孔位置,用于斜视评估。
根据第二方面,该方法进一步包括:在评估过程中选择性地遮挡所述观察者的一只眼睛或两只眼睛,使得被遮挡的眼睛无法观察到所述视觉刺激。
根据第二方面,所述观察者的一只或两只眼睛被包括近红外滤光片的自动遮光器遮挡。
根据第二方面,所述方法进一步包括:用红外照明光源照射所述观察者的眼睛,从而捕获被所述自动遮光器遮挡或未被所述自动遮光器遮挡的所述观察者的双眼的图像。
根据第二方面,所述方法进一步包括:通过在距离显示视觉刺激的显示模块预定距离处设置发射镜以便所述观察者观察到所述视觉刺激的光学反射,增加所述视觉刺激和所述观察者的眼睛之间的光学距离。
根据第二方面,所述方法进一步包括:执行手动测试,以根据由执行手动测试的医师佩戴的头戴式可安装相机记录的自我中心图像或视频,确认由处理模块确定的眼睛失准情况。
附图说明
下文将参照附图以举例的方式描述本公开的实施例,其中:
图1示出了根据本公开实施例的斜视评估系统;
图2为示出了根据本公开实施例的斜视评估系统的透视图;
图3为示出了图2中的斜视评估系统的外壳中的内部部件的截面图;
图4为示出了图2中的斜视评估系统的外壳中的内部部件的截面侧侧视图;
图5为示出了图2中的斜视评估系统的透视图,其中可旋转屏幕被移动到第二展开位置以便于进行距离遮盖测试;
图6为图5中斜视评估系统的另一透视图;
图7为示出了图5中的斜视评估系统的外壳中的内部部件的截面图;
图8为示出了图5中的斜视评估系统在距离遮盖测试期间的示例操作的图示;
图9为示出了图2中的斜视评估系统的示例操作的图示;
图10为示出了根据本公开实施例的斜视评估系统的基于AI的处理引擎的操作的流程图;
图11为示出了图10中的基于AI的处理引擎的操作和由基于AI的处理引擎提供的示例评估结果的流程图;以及
图12示出了斜视评估系统生成的示例斜视偏差报告,包括在遮盖测试(棱镜屈光)中眼睛移动的方向和幅度。
具体实施方式
发明人提出:精确确定和测量眼睛偏差的类型和大小,对于提供适当的临床管理(例如诊断斜视、视觉训练计划和棱镜处方)非常重要。
例如,角膜光反射测试和棱镜遮盖测试(Prism cover test,PCT)是可用于临床测量的两种测试方法。前者基于光反射到瞳孔中心的位置来测量类型和偏差角度,而后者要求验光师交替地遮盖眼睛、观察眼睛运动、然后估计偏差的程度。角膜光反射方法对于配合度较低的婴幼儿来说容易执行,但精确度不够。然而,关于PCT仍然存在一些限制因素,例如医师在观察和估计眼动方面的主观性、医师的培训和经验水平、以及患者配合度。
可替代地,计算机辅助诊断(Computer-aided diagnosis,CAD)系统可用于斜视的诊断。示例性CAD系统可以采用图像或视频处理方法、机器学习方法、深度学习方法或眼睛跟踪方法。发明人提出,对于将这些技术在一些示例性应用来说,提高准确度、效率和操作可能是必要的。
参考图1,示出了用于斜视评估系统100的示例性实施例。系统100包括:显示模块102,用于显示供观察者观察的视觉刺激;图像捕获模块104,用于记录观察者观察视觉刺激的至少一只眼睛的多个图像;以及处理模块106,用于基于图像捕获模块104记录的多个图像确定观察者的眼睛失准情况。
例如,系统100可以用于基于对观看视觉刺激的观察者(或患者)的一只或两只眼睛的图像或视频进行分析的斜视评估。视觉刺激,例如是显示在计算机监视器上的大写字母“E”。视觉刺激可以显示于计算机监视器上的不同位置,使得观察者的眼睛可见。通过基于观察者一只或两只眼睛的图像相对于视觉刺激的相应位置来分析眼睛注视方向,医师可以确定患者的眼睛失准状况,而无需执行手动遮盖测试。
在该示例中,显示模块102包括“受试者监视器”102A,其可以用于在屏幕上的不同位置处显示视觉刺激;并且可选地,系统还可以包括“测试者监视器”102B,其允许医师同时观察患者(尤其是眼睛)的实时图像,观察显示于受试者监视器102A的屏幕上的视觉刺激,以及受试者监视器102A的屏幕的镜像图像。
此外,系统还包括:相机104,其作为图像捕获模块,记录观察视觉刺激的患者眼睛的图像或视频。例如,相机104可以是具有1280(H)×1024(V)的分辨率并以210fps的帧速率运行的相机,使得测试期间可以清楚地捕获示出患者的每只眼睛的瞳孔的图像。根据所进行的测试的设计,相机104可以是全色成像器或仅在诸如红外的特定颜色范围内工作的成像器。
此外,系统100还包括:主计算机106,其可以用作控制系统100的所有部件的控制器模块。这些部件包括:监视器102、照相机104、以及用于在评估过程期间选择性地遮盖观察者的一只或两只眼睛的自动遮光器108。主计算机106还可以作为处理模块运行,其用于基于由图像捕获模块记录的多个图像来确定观察者的眼睛失准状况。
可替代地,可以使用电子电路来实现主计算机或控制器模块。电子电路包括,但不限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器以及根据本公开的教导配置或编程的其它可编程逻辑装置。基于本公开的教导,软件或电子领域的技术人员可容易地获得在计算设备、计算机处理器或可编程逻辑设备中运行的计算机指令或软件代码。
通过提供斜视评估系统100,已为患者和医师设计了用于测量眼睛偏差的方法,并已测试出在相同条件下可重复执行。发明人将系统100称为基于视频的智能眼睛失准评估(Video-based intelligent ocular misalignment assessment,VIOMA)系统。优选地,该系统包括三个子模块,即自动遮盖模块、运动捕获模块和诊断模块。
参考图1,自动遮盖模块108包括与控制单元滑动连接的伺服电机110,以实现传统遮盖测试的自动化。操作者通过主机接口通过USB3.0端口向FPGA 112发送命令,FPGA 112接收命令并控制伺服电机110执行相应的动作。FX3114是USB3.0的控制器芯片,其通过从属FIFO模式与FPGA112通信。因此,自动遮盖模块108可以用作由主计算机106控制的自动遮光器,以自动遮盖患者的一只眼睛,从而患者在自动遮盖测试中可以仅使用一只眼睛观察视觉刺激。
在执行自动遮盖测试时,运动捕获模块或图像捕获模块104可以自动记录患者的眼睛运动。其图像获取软件可以响应于测试器通过主计算机106的接口发送特定命令(同步信号)自动启动。在短暂的响应时间之后,相机104可以自动打开并开始获取图像。当自动遮盖测试过程终止时,图像获取过程可自动停止。视频被保存到指定路径,然后所保存的图像或视频流可由处理模块分析。
主计算机106可用于运行另一过程,执行数据存储和算法计算。测试者监视器102B显示图形用户界面、执行测试、并呈现测试过程和结果。受试者监视器102A仅用于显示可视目标。
优选地,处理模块106可以包括所述基于AI的处理引擎,例如,基于深度学习的斜视偏差模块,用于确定观察者的眼睛的斜视偏差。基于深度学习的斜视偏差模块可以使用具有多个样本的训练集来训练,使得可以通过在不同刺激条件下示出不同瞳孔位置的输入图像,来确定患者的眼睛失准状况。
在示例性手动遮盖测试(Cover test,CT)中,可以要求患者固定在可调节的视觉目标上,医师用不透明的遮挡物遮盖患者的眼睛。屈光度(PD)步长为2的1、2、4到20PD的棱镜杆和PD步长为5的25到45PD的棱镜杆用于量化斜视的幅度。自动遮盖模块模拟手动遮盖测试,无需棱镜中和。
参考图2,受试者监视器102A、照相机104和自动阻塞器108可以集成于容纳在外壳116中的单一组件中。在该示例中,系统100还包括腮托118和前额托120以形成集成组件。腮托118和前额托120用于在评估期间限制观察者头部的移动。当患者将他/她的头部放置在由腮托118和前额托120支撑的预定位置时,患者能够在距观察者眼睛例如33cm的预定距离处观看屏幕102A,且患者的眼睛可以同时由相机104捕获,两者都在外壳116上与腮托118相对地展开。
在示例性斜视评估中,评估过程可以包括三个组件。1)可调节的刺激物:在临床上,标准的近距CT需要固定在单字母上,单字母的尺寸比受试者的最佳近距视力较差的VA大一行。视觉刺激,白色的Snellen“E”字母,可以用黑色背景显示在受试者监视器的中心,并放置在距处于主要位置的患者约33cm处。主要位置指的是当眼睛在身体和头部直立的情况下直视前方时所呈现的位置。受试者可以根据屏幕上的详细书面说明使用键盘的左键和右键来调整字母的大小,以便于精细固定和适当刺激物调节。在该示例中,受试者的头部由腮托和前额托限制。
优选地,自动遮光器包括:近红外滤光片。在该示例中,第二部件是2)作为遮光器的近红外(NIR)滤波器:传统的遮光器完全遮盖眼睛,医师也不能观察到其运动。如果使用合适的遮光器,则可以记录被遮盖的眼睛的运动,这可能会提高幅度测量的精度。优选地,可以使用包括尺寸为65mm宽、300mm高和3mm厚的黑色红外透射丙烯酸片的NIR滤光器作为遮光器,其具有屏蔽可见光和选择性高透射近红外(特别是对于800-1100nm波段)的特性。
基于NIR滤光器屏蔽可见光的性质,其可以实现阻挡受试者的视场的目的,且还通过视觉检查证实观察者不能通过NIR阻挡器获得目标的剩余视图。有利地,NIR滤波器的使用使得被遮盖的眼睛能够通过使用照相机而被“可视化”。照相机可以通过NIR遮光器捕获NIR频带中的光,使得被遮盖的眼睛的图像也可以被捕获,同时,如果必要的话由测试者观察。
自动遮光器108可由运动控制单元控制。运动控制单元控制单侧遮盖测试和交替遮盖测试按照顺序执行。伺服步进电机以特定速度和方向旋转,从而在来自以FPGA作为核心的控制电路板的信号下,驱动遮光器在滑道上左右运动。完全闭合视野需要大约0.3秒。
在测试期间,双目眼位可以由图像捕获模块104(第三部件,在本公开中也称为运动捕获模块)在50Hz下以1280*1024的分辨率记录。图像捕获模块104可以为,诸如轻型数字红外视频相机(MER-131-210U3MNIR,大恒图像,中国)。可选地,图像捕获模块104还包括:红外照明源124,用于照亮观察者的眼睛。眼睛可以由红外LED(波长850nm)照亮,红外LED对于受试者不可见,从而实现在不分散受试者注意力的前提下进行记录。LED的辐射强度可以用光功率计(PM400,Thorlabs,USA)测量,以保持其远低于暴露风险水平。因此,图像捕获模块104用于捕获被遮光器遮盖或未被自动遮光器遮盖的观察者的两只眼睛的图像。还参考图3和4,照相机104直接放置在患者面部前的较低位置处,以提供所呈现目标的无阻碍视图。光源远离照相机的光轴,因此在图像中出现暗瞳孔。
优选地,除了主计算机106和测试器监视器102B之外的所有子组件可以集成到保护壳116中,以实现稳定配置。另外,不同的模块可以通过诸如USB链路和视频端口之类的适当接口连接到主计算机106。上述记录可以在检查室中的正常照明条件下进行。可替换地,不具有任何斜视知识的操作者也可以对系统100进行操作。这是因为操作者只需发送命令触发系统,且结果可以由基于AI的处理模块生成。结果可以由医师/执业者进一步检查,也可以不需检查。
优选地,显示模块102包括:可在第一展开位置和第二展开位置之间移动的可旋转屏幕。当如图3和图4所示可旋转屏幕在第一展开位置移动时,患者可以直接观看屏幕102A,或者患者可以通过放置在距屏幕一定距离处的反射镜122间接地观看在第二展开位置展开的屏幕102A。优选地,如图5至图8所示,反射镜122可以有助于观察者观察视觉刺激的光学反射,以增加视觉刺激与观察者的眼睛之间的光学距离。有利地,系统100可便于斜视评估,包括:当屏幕102A处于第一展开位置时33cm的近距遮盖测试,以及当屏幕102A处于第二展开位置时6m的远距遮盖测试。
可替代地,可以通过改变反射镜122相对于可旋转屏幕102A的相对位置,调整距离遮盖测试的光学距离。
在检查之前,受试者/患者902应坐在VIOMA平台900的前面,下巴和前额如图9所示地安置、固定在视觉刺激处,并自主地调整其尺寸,使眼睛能够通过精确调节而看到视觉刺激。测试者904通过主计算机发送特定指令以开始自动遮盖测试,同时,运动捕获模块记录整个测试过程,将视频保存到预设目录。视频可由基于AI的处理引擎进一步处理,以产生视觉失准的评估。
参照图10,处理输入基于AI的处理引擎1004的斜视视频1002,以输出斜视评估结果1006,包括:斜视的存在与否、斜视的类型和幅度。基于AI的处理引擎1004可以基于瞳孔中心在开始和结束位置处的位置变化以及所提取的眼睛区域、虹膜边界、所测量的瞳孔直径等自动地估计眼睛失准。发明人设计了10个受试者的数据集,足以生成能够实现令人满意的眼睛检测结果的眼睛模板。例如,可以从斜视数据集中选择十个受试者,并仅使用分辨率为400*200的左眼和右眼模板来训练基于AI的处理引擎1004。
优选地,由该系统记录的视频可以仅呈现患者面部的一半,其中面部的下部由患者所佩戴的口罩(COVID-19疫情防控需要)遮盖,这样也有利于隐私保护。为了分析眼睛运动,可以提取眼睛区域以减小搜索空间。基于这些裁剪的眼睛图像,可以为左眼和右眼开发数据集特定的平均模板。在面部图像上应用模板匹配,每个生成的眼睛模板与面部图像最佳匹配的位置是图像内模板的估计位置。在每个视频中随机选择的10帧中检测到眼睛后,通过表决选择具有最高浓度的匹配点,使用它们的平均值作为最终眼睛位置。
可选地,处理模块1004进一步包括:瞳孔检测和增强模块,用于执行包括虹膜区域提取、瞳孔区域细化、边缘检测和滤波以及椭圆拟合中的一个或多个的图像增强处理,这可以进一步精确地确定瞳孔位置,用于斜视评估。
在虹膜边界检测阶段,虹膜边界、特别是将巩膜与虹膜分开的边界,可以被定位,用于测量虹膜直径以为角度计算做准备。例如,非线性灰度级变换可以用于用Iγ代替灰度级I,其中γ∈[0,1]是用户定义的参数(这里,γ=0.5)。该步骤增强了眼睛图像在黑暗或阴影区域中的局部动态范围,同时实现了在明亮区域中的压缩。由于虹膜和巩膜的对比度低,眼睛图像中瞳孔较为显著,首先使用VASIR的瞳孔检测方法粗略地检测作为虹膜位置的标志的瞳孔。以眼睛图像中瞳孔中心的数据集的最大虹膜半径的尺寸,分割虹膜的ROI。接着可以使用循环霍夫变换定位虹膜边界。上述操作分别应用于上述10帧面部图像的右眼和左眼区域。将具有最大频率的虹膜值确定为最终半径。可以将与眼睛区域检测相同的策略应用于所检测的虹膜中心。
由于眼睛反应可以通过瞳孔位置的变化来表征,所以可以采用瞳孔定位技术。瞳孔定位可以包括四个步骤:虹膜区域提取、瞳孔区域细化、边缘检测和滤波、限制性-跨距(R-RANSAC)椭圆拟合。
首先,可以从眼睛图像中的虹膜中心开始,在两侧以虹膜半径的尺寸分割虹膜区域。在虹膜边界检测阶段获得该步骤中使用的半径值和虹膜中心。初始区域估计可能无法精确地集中在瞳孔上。
因此,在下一步骤中,可以在虹膜区域内精细估计出瞳孔区域。已知,瞳孔在IR光下相对于眼睛图像的其它组织是最暗的部分,所以如果给定适当的阈值,则可以从背景中分割瞳孔。代替手动阈值设置,在虹膜区域的直方图上设计K均值聚类,以找到三个聚类,即瞳孔、虹膜和其他背景区域。假设最暗的聚类对应于瞳孔像素,则可以通过对最暗的聚类的质心值的1.2倍以上的任何像素进行阈值处理来创建分段的二进制瞳孔图像。在二进制图像中,最大连通域被认为是瞳孔区域。连接域的外部矩形的中心近似瞳孔位置,并且乘以外部矩形的宽度和高度的最大值的一半为估计的瞳孔区域。
第三,可以使用边缘检测和滤波收集瞳孔的轮廓点。首先利用高斯滤波器对图像进行平滑处理,然后利用形态学开运算消除小目标、平滑较大目标的边界,接着利用Canny滤波对边缘图像进行检测。低阈值和高阈值由两个聚类质心计算得到。由于瞳孔轮廓趋向于圆形或椭圆形曲线,这些短边缘和长直边缘被认为是干扰而被去除。如果曲线包含少于5个像素,则认为它是短边缘而被去除。如果与中间位置的距离小于阈值的线的像素数量超过某个比率,则该线是直线,因此也被删除。在最后阶段,使用改进的RANSAC方法将椭圆拟合到边缘像素。
与用于模型拟合的所有采样点处随机采样的RANSAC相反,可以采用受限随机采样技术R-RANSAC。在R-RANSAC中,可以通过以所估计的瞳孔位置为中心在所有方向上发射光线,将边缘像素划分为扇区。可以先随机选择扇区,然后在该扇区中随机选择样本,直到选择出五个采样点用于椭圆拟合。最后,具有最大一致集的模型是瞳孔的轮廓,模型的中心是瞳孔的中心。返回帧号和瞳孔的中心,用于随后的数据分析。
参考图11,在遮盖测试下,眼睛偏差的不同方向导致不同类型的斜视。根据偏差的方向,斜视可以进一步分为:水平内斜视(隐斜视)、外斜视(隐斜视);垂直上斜视(隐斜视)、或下斜视(隐斜视)。按优先级顺序执行单侧遮盖测试和交替遮盖测试。
还参考图12,基于AI的处理引擎可以确定患者是正常的还是患有眼睛失准,例如,内斜视、内隐斜、外斜视、外隐斜、上斜视、上隐斜、下斜视或下隐斜。例如,在单侧遮盖测试阶段,如果检测到大的偏差(高于10PD),则确定患者具有斜视;如果患者的眼睛彼此对准,则患者可能是正视或隐斜视。交替遮盖测试用于鉴别斜视的类型,并更精确地测量斜视的程度。如果在交替遮盖测试阶段患者的两只眼睛仍然彼此对准,则确定患者正常。
这些实施例的优点在于,提供了一种基于视频的智能眼睛失准评估(VIOMA)系统,用于斜视自动诊断,其能够实现遮盖测试的自动执行和评估,并确定眼睛偏差的存在、类型和大小。
有利地,提供了一种用于评估眼睛失准的自动硬件系统和智能方法。可以基于控制电路的协议在相机的同时监视下实现自动遮盖测试,并通过逐步视频分析来进行评估。
此外,可以建立用于斜视的自动遮盖测试视频数据集(StrabismusACT-76),其包括自动遮盖测试和斜视的相应临床诊断的视频,以及视频标记结果。在这些测试样品中,6个(6.6%)为斜视,66个(86.8%)为隐斜视,6个(6.6%)为正视。
实验结果表明,该智能系统实现了对眼睛失准的精确检测和测量,具有客观、可重复、便于患者和医师操作的优点。
虽然不是必需的,但是参考附图描述的实施例可以被实现为应用编程接口(API)或由开发者使用的一系列库,或者可以被包括在另一软件应用程序中,诸如终端或个人计算机操作系统或便携式计算装置操作系统。通常,由于程序模块包括帮助执行特定功能的例程、程序、对象、组件和数据文件,本领域技术人员将理解,软件应用程序的功能可分布于多个例程、对象或组件之间以实现本文所需的相同功能。
还应当理解,在本公开的方法和系统全部由计算系统实现或部分由计算系统实现的情况下,可以使用任何适当的计算系统架构。可以包括平板计算机、可穿戴设备、智能电话、物联网设备、边缘计算设备、独立计算机、网络计算机、基于云的计算设备和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下,这些术语旨在遮盖能够实现所描述的功能的计算机硬件的任何适当配置。
本领域的技术人员将理解,在不脱离如广泛描述的本公开的精神或范围的情况下,可以对如具体实施例中所示的本公开进行许多变化和/或修改。因此,本实施例在所有方面都被认为是说明性的而不是限制性的。
除非另外指明,否则本文所包含的对现有技术的任何引用不应被视为承认该信息是公知常识。
Claims (10)
1.一种斜视评估系统,其特征在于,包括:
显示模块,用于显示供观察者观察的视觉刺激;
图像捕获模块,用于记录所述观察者观察所述视觉刺激的至少一只眼睛的多个图像;以及
处理模块,用于基于所述图像捕获模块记录的所述多个图像确定所述观察者的眼睛失准情况。
2.根据权利要求1所述的系统,其特征在于,其中,所述处理模块包括:基于AI的处理引擎。
3.根据权利要求2所述的系统,其特征在于,其中,所述基于AI的处理引擎包括:基于深度学习的斜视偏差模块,用于确定所述观察者的眼睛的斜视偏差。
4.根据权利要求3所述的系统,其特征在于,其中,所述处理模块进一步包括:瞳孔检测和增强模块,用于执行包括虹膜区域提取、瞳孔区域细化、边缘检测和滤波以及椭圆拟合中的一个或多个的图像增强处理,以便精确地确定瞳孔位置,用于斜视评估。
5.根据权利要求1所述的系统,其特征在于,还包括:自动遮光器,用于在评估过程中选择性地遮挡观察者的一只或两只眼睛,使被遮挡的眼睛无法观察到所述视觉刺激。
6.根据权利要求5所述的系统,其特征在于,其中,所述自动遮光器包括:近红外滤光片。
7.根据权利要求6所述的系统,其特征在于,其中,所述图像捕获模块包括:红外照明光源,用于照亮观察者的眼睛;图像捕获模块用于捕获所述观察者的双眼被所述自动遮光器遮挡或未被所述自动遮光器遮挡的图像。
8.根据权利要求5所述的系统,其特征在于,还包括:外壳,用于容纳所述显示模块、所述图像捕获模块、所述自动遮光器、颏托和额托以形成集成组件,其中颏托和额托用于在评估过程中限制所述观察者的头部的移动。
9.根据权利要求8所述的系统,其特征在于,其中,所述显示模块包括:可在第一展开位置和第二展开位置之间移动的可旋转屏幕。
10.根据权利要求9所述的系统,其特征在于,还包括:反射镜,用于便于所述观察者观察所述视觉刺激的光学反射,以增加所述视觉刺激与所述观察者的眼睛之间的光学距离。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| HK32022060167.0A HK30074359A2 (zh) | 2022-09-13 | 一种斜视评估的系统和一种斜视评估的方法 | |
| HK32022060167.0 | 2022-09-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117694819A true CN117694819A (zh) | 2024-03-15 |
Family
ID=90142899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310890028.6A Pending CN117694819A (zh) | 2022-09-13 | 2023-07-19 | 斜视评估系统和斜视评估方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12458224B2 (zh) |
| CN (1) | CN117694819A (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050231688A1 (en) * | 2004-04-01 | 2005-10-20 | Jones Peter W J | Retinal screening using a night vision device |
| CN101147670A (zh) | 2007-08-29 | 2008-03-26 | 中国人民解放军第三军医大学第一附属医院 | 斜视测试仪 |
| CN109288493A (zh) | 2017-07-25 | 2019-02-01 | 珠海学院有限公司 | 一种数字化斜视诊断方法、装置和系统 |
| CN111511318B (zh) * | 2017-09-27 | 2023-09-15 | 迈阿密大学 | 数字治疗矫正眼镜 |
| US10742944B1 (en) * | 2017-09-27 | 2020-08-11 | University Of Miami | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations |
| US11020188B2 (en) * | 2017-11-10 | 2021-06-01 | Sigma Instruments Holdings, Llc | System, method, and GUI for treating skin and underlying tissues for improved health, function and/or appearance |
| CN108852280A (zh) | 2018-07-16 | 2018-11-23 | 南京泰立瑞信息科技有限公司 | 一种视力筛查的图像采集与分析方法、系统及设备 |
| CN109431450A (zh) | 2018-11-23 | 2019-03-08 | 长春奥普光电技术股份有限公司 | 一种隐斜视客观检测方法和系统 |
| WO2020198562A1 (en) * | 2019-03-27 | 2020-10-01 | University Of Washington | Handheld optical imaging devices and methods |
| CN110251073B (zh) | 2019-07-18 | 2024-01-30 | 南京览视医疗科技有限公司 | 一种智能筛查斜视及屈光度的诊断装置 |
| CN110575132A (zh) | 2019-07-25 | 2019-12-17 | 北京爱诺斯科技有限公司 | 一种基于偏心摄影的斜视程度的计算方法 |
| CN112989939B (zh) | 2021-02-08 | 2023-04-07 | 佛山青藤信息科技有限公司 | 一种基于视觉的斜视检测系统 |
-
2023
- 2023-01-04 US US18/092,983 patent/US12458224B2/en active Active
- 2023-07-19 CN CN202310890028.6A patent/CN117694819A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240081641A1 (en) | 2024-03-14 |
| US12458224B2 (en) | 2025-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7810928B2 (en) | Evaluating pupillary responses to light stimuli | |
| US10264965B2 (en) | Eye imaging device and method of use | |
| US7427135B2 (en) | Adaptive photoscreening system | |
| US8403480B2 (en) | Adaptive photoscreening system | |
| US7878652B2 (en) | Adaptive photoscreening system | |
| US20200129063A1 (en) | Smartphone-based digital pupillometer | |
| JP2024028448A (ja) | スリットランプ顕微鏡 | |
| JP2018520820A (ja) | 視覚の様相を検査する方法及びシステム | |
| JP2023138577A (ja) | スリットランプ顕微鏡 | |
| KR20140079864A (ko) | 눈 상태들을 식별하기 위한 시스템 및 방법 | |
| US20210259546A1 (en) | Portable system for identifying potential cases of diabetic macular oedema using image processing and artificial intelligence | |
| WO2014131860A1 (en) | Systems and methods for improved ease and accuracy of gaze tracking | |
| KR102344493B1 (ko) | 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램 | |
| De Almeida et al. | Computational methodology for automatic detection of strabismus in digital images through Hirschberg test | |
| CN115414002A (zh) | 一种基于视频流的眼检测方法及斜视筛查系统 | |
| CN113011286B (zh) | 基于视频的深度神经网络回归模型的斜视判别方法及系统 | |
| Zheng et al. | An automatic stimulus and synchronous tracking system for strabismus assessment based on cover test | |
| CN110472546A (zh) | 一种婴幼儿非接触式眼动特征提取装置及方法 | |
| Shah et al. | Eyedentify: A dataset for pupil diameter estimation based on webcam images | |
| US12458224B2 (en) | System for strabismus assessment and a method of strabismus assessment | |
| JP7540711B2 (ja) | 眼球運動自動記録システム、演算装置、演算方法およびプログラム | |
| Temel et al. | Automated Pupillary Light Reflex Test on a Portable Platform | |
| JPH04279143A (ja) | 眼球運動検査装置 | |
| LU505564B1 (en) | Detection apparatus for senile cataracts | |
| Zheng et al. | VIOMA: Video-based Intelligent Ocular Misalignment Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |