CN109907720A - 电子内镜辅助检查方法及电子内镜控制系统 - Google Patents

Abstract

本发明提出了一种电子内镜辅助检查方法及电子内镜控制系统,该方法包括步骤S1‑S3或S2‑S3：S1、获得上消化道的参考图像模型，并将该模型显示在检查界面上；S2，检查时，分析电子内镜当前所采集的上消化道图像在参考图像模型上所处的位置，并将该位置标记出来，如果在参考图像模型上找不到与电子内镜所采集的上消化道图像相对应的位置，则不对参考图像模型作处理；S3，查看参考图像模型中是否已经全部标记出来，如果已经全部标记出来，则结束检查；如果没有，则继续检查参考图像模型中没有标记出来的区域。该方法能够有效防止医生在检查过程中漏掉上消化道的某些区域，保证检查的全面性，能有效避免漏诊的情况出现。

Description

电子内镜辅助检查方法及电子内镜控制系统

技术领域

本发明涉及医疗器械领域，具体涉及一种电子内镜辅助检查方法及电子内镜控制系统。

背景技术

目前，对上消化道疾病的检查主要通过胶囊内窥镜和电子内镜来检查，虽然胶囊内窥镜具有操作灵活，舒适度高等优点，但由于电子内镜的视场优于胶囊内窥镜，因此电子内镜在上消化道疾病的诊断中仍然使用极其广泛。但是由于医生水平和临床经验的参差不齐，在某些医院或者某些医生在检查过程中可能会漏掉胃部的一些区域，造成漏诊，导致病人承担较大的风险。

在申请号为201711268869.4名称为一种胶囊内镜的控制方法、装置及可读存储介质的专利文献中公开了一种胶囊内镜的控制方法，该方法在对胃部进行检查前，需要先将胶囊内镜移动至目标位置，确定好位置后，然后再按设定的运动轨迹对胃部进行拍照检查。这虽然能在一定程度上避免了胶囊内镜漏拍胃部区域，但是检查时间长，容易增加患者的负担，同时，对胶囊内镜的运动轨迹要求高，如不能较好的控制胶囊内镜移动，则仍然容易出现漏拍的可能。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种电子内镜辅助检查方法及电子内镜控制系统。

为了实现本发明的上述目的，本发明提供了一种电子内镜辅助检查方法,包括步骤S1-S3或S2-S3：

S1、获得上消化道的参考图像模型，并将该模型显示在检查界面上；

S2，检查时，控制器接收电子内镜所采集的上消化道图像并分析电子内镜当前所采集的上消化道图像在参考图像模型上所处的位置，并将该位置标记出来，如果在参考图像模型上找不到与电子内镜所采集的上消化道图像相对应的位置，则不对参考图像模型作处理；

S3，查看参考图像模型中是否已经全部标记出来，如果已经全部标记出来，则结束检查；如果没有，则继续检查参考图像模型中没有标记出来的区域。

该方法能够有效防止医生在检查过程中漏掉上消化道的某些区域，保证检查的全面性，能有效避免漏诊的情况出现。且该方法不需要查找检查起始位置，也不需要按照规定的路径移动电子内镜，而是电子内镜位于哪里就可以拍哪里，拍到哪里就可以将该位置的图像与参考图像模型进行对比，找到该图像在参考图像模型中的位置，节省了检查时间。

进一步的，步骤S1中获得上消化道的参考图像模型的具体方法为：

收集在指定光下拍摄的上消化道上N张不同部位的图片，这N张图片至少包括上消化道上M个特定部位的图片，对这N张图片进行训练和部位识别，获得M个特定部位的分类模型；

将获得的M个特定部位的分类模型拼接成一个完整的上消化道模型，即得到在该指定光下的参考图像模型，然后将该参考图像模型显示在检查界面上，所述N和M均为正整数，且N不小于M。

进一步的，检查时，利用分类模型将电子内镜在所述指定光下所采集的上消化道图像与在相同指定光下的参考图像模型进行对比，获得电子内镜在该指定光下所采集的上消化道图像在相同指定光下的参考图像模型上所处的位置，并在该参考图像模型中标记出来。查看参考图像模型中是否已经全部标记出来，如果已经全部标记出来，则结束检查；如果没有，则继续检查参考图像模型中没有标记出来的区域。

或者，检查时，电子内镜在所述指定光下对上消化道的特定部位拍摄图片，将电子内镜所拍摄的部位图片进行图像处理以及实时拼接，并将拼接好的图片显示到该指定光下的参考图像模型上的对应区域；所述特定部位至少包括电子内镜检查标准规定的部位；

查看该参考图像模型的区域是否全部拼接完成，如果拼接完成，则检查结束；如果该参考图像模型仍存在未拼接的区域，则继续检查该参考图像模型中没有未拼接的区域。

采用该方法能有效提高识别电子内镜所采集的图像在参考图像模型上所处的位置的准确率。

优选的，所述N不小于32，能更好的确保整个上消化道的所有区域都已经检查。

优选的，所述指定光为白光、紫光、蓝光、绿光四者之一，保证对多种病灶的检查准确率。

进一步的，建立参考图像模型以及检查时，将上消化道中特定部位置于电子内镜的视场中心采集图像。

进一步的，相邻特定部位的拍摄图像之间有交叠或边缘重合。

这能更好的确保整个上消化道的所有区域都已经检查，提高了识别电子内镜所采集的图像在参考图像模型上所处的位置的准确率，有效避免漏诊的情况出现。

本发明还提出了一种电子内镜控制系统，包括参考图像模型获取单元、图像比对单元、位置判断单元以及控制单元；

所述参考图像模型获取单元、图像比对单元、位置判断单元均与控制单元连接，参考图像模型获取单元、图像比对单元、位置判断单元按权利要求1至8任一项所述的电子内镜辅助检查方法获取参考图像模型、将电子内镜所采集的上消化道图像与参考图像模型进行比对、分析电子内镜所采集的上消化道图像在参考图像模型上所处的位置，所述控制单元控制电子内镜拍摄图像。

本发明的有益效果是：该方法能够有效防止医生在检查过程中漏掉上消化道的某些区域，保证检查的全面性，能有效避免漏诊的情况出现。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是采用AI方法时，本发明的流程图；

图2是采用图像处理与拼接方法时，本发明的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供了一种电子内镜辅助检查方法,包括以下几个步骤：

S1、获得上消化道的参考图像模型，并将该模型显示在检查界面上。

实际工作中，参考图像模型可采用现有的上消化道图像模型，也可以采用以下方法获得：收集在指定光下拍摄的上消化道上N张不同部位的图片，这N张图片至少包括上消化道上M个特定部位的图片，对这N张图片进行训练和部位识别，获得M个特定部位的分类模型。

将获得的M个特定部位的分类模型拼接成一个完整的上消化道模型，即得到在该指定光下的参考图像模型，然后将该参考图像模型显示在检查界面上，所述N和M均为正整数，且N不小于M。

从临床检查中获知，要确保检查的完整性，医生会对上消化道的各个部位需要拍摄至少32张图片，这样才能确保整个上消化道的所有区域都已经检查，因此N和M均不小于32。指定光优选但不限于为白光、紫光、蓝光、绿光四者之一。

这里对图片进行训练和部位识别以及拼接采用现有方法即可，优选采用卷积神经网络算法对图片进行训练。

S2，检查时，控制器接收电子内镜所采集的上消化道图像并分析电子内镜当前所采集的上消化道图像在参考图像模型上所处的位置，并将该位置标记出来，如果在参考图像模型上找不到与电子内镜所采集的上消化道图像相对应的位置，则不对参考图像模型作处理；

S3，查看参考图像模型中是否已经全部标记出来，如果已经全部标记出来，则结束检查；如果没有，则继续检查参考图像模型中没有标记出来的区域。

在分析电子内镜当前所采集的上消化道图像在参考图像模型上所处的位置时，可采用AI方法实现，也可以采用图像处理与拼接方法实现。

如图1所示，用AI方法实现时，检查时，利用分类模型将电子内镜在所述指定光下所采集的上消化道图像与在相同指定光下的参考图像模型进行对比，获得电子内镜在该指定光下所采集的上消化道图像在相同指定光下的参考图像模型上所处的位置，并在该参考图像模型中标记出来，如点亮该位置，查看参考图像模型是否已经全部被点亮，如果已经全部点亮，则结束检查；如果没有，则继续检查参考图像模型中没有被点亮的区域。

优选的，在将电子内镜在所述指定光下所采集的上消化道图像与在相同指定光下的参考图像模型进行对比时，可将相邻位置的图像先进行拼接后再与参考图像模型进行对比识别，这样能有效提高电子内镜视场边缘区域的检查准确度。

如图2所示，采用图像处理与拼接方法实现时，在检查过程中，电子内镜在指定光下对上消化道的特定部位拍摄图片，如胃部的贲门、胃底、胃小弯、胃大弯、胃角、胃窦、幽门等特定部位，将电子内镜所拍摄的部位图片进行图像处理以及实时拼接，并将拼接好的图片显示到该指定光下的参考图像模型上的对应区域，这里特定部位至少包括电子内镜检查标准规定的部位。

查看该参考图像模型的区域是否全部拼接完成，如果拼接完成，则检查结束；如果该参考图像模型仍存在未拼接的区域，则继续检查该参考图像模型中没有未拼接的区域。

为更好的实现图像的比对和避免漏诊，在建立参考图像模型和/或检查时，将上消化道中特定部位置于电子内镜的视场中心采集图像，相邻特定部位的拍摄图像之间有交叠或边缘重合。

通过上述过程中的判断和提醒，能够防止医生在检查过程中漏掉上消化道的某些区域，保证检查的全面性，进一步保证漏诊。

本发明还提出了一种电子内镜控制系统，包括参考图像模型获取单元、图像比对单元、位置判断单元以及控制单元。

所述参考图像模型获取单元、图像比对单元、位置判断单元均与控制单元连接，参考图像模型获取单元、图像比对单元、位置判断单元按上述的电子内镜辅助检查方法获取参考图像模型、将电子内镜所采集的上消化道图像与参考图像模型进行比对、分析电子内镜所采集的上消化道图像在参考图像模型上所处的位置，并对该位置进行标记，所述控制单元控制电子内镜拍摄图像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种电子内镜辅助检查方法,其特征在于，包括步骤S1-S3或S2-S3：

S1、获得上消化道的参考图像模型，并将该模型显示在检查界面上；

S2，检查时，控制器接收电子内镜所采集的上消化道图像并分析电子内镜所采集的上消化道图像在参考图像模型上所处的位置，并将该位置标记出来，如果在参考图像模型上找不到与电子内镜所采集的上消化道图像相对应的位置，则不对参考图像模型作处理；

S3，查看参考图像模型中是否已经全部标记出来，如果已经全部标记出来，则结束检查；如果没有，则继续检查参考图像模型中没有标记出来的区域。

2.根据权利要求1所述的电子内镜辅助检查方法,其特征在于，步骤S1中获得上消化道的参考图像模型的具体方法为：

收集在指定光下拍摄的上消化道上N张不同部位的图片，这N张图片至少包括上消化道上M个特定部位的图片，对这N张图片进行训练和部位识别，获得M个特定部位的分类模型；

将获得的M个特定部位的分类模型拼接成一个完整的上消化道模型，即得到在该指定光下的参考图像模型，然后将该参考图像模型显示在检查界面上，所述N和M均为正整数，且N不小于M。

3.根据权利要求2所述的电子内镜辅助检查方法,其特征在于，检查时，利用分类模型将电子内镜在所述指定光下所采集的上消化道图像与在相同指定光下的参考图像模型进行对比，获得电子内镜在该指定光下所采集的上消化道图像在相同指定光下的参考图像模型上所处的位置，并在该参考图像模型中标记出来。

4.根据权利要求2所述的电子内镜辅助检查方法,其特征在于，检查时，电子内镜在所述指定光下对上消化道的特定部位拍摄图片，将电子内镜所拍摄的部位图片进行图像处理以及实时拼接，并将拼接好的图片显示到该指定光下的参考图像模型上的对应区域；所述特定部位至少包括电子内镜检查标准规定的部位；

查看该参考图像模型的区域是否全部拼接完成，如果拼接完成，则检查结束；如果该参考图像模型仍存在未拼接的区域，则继续检查该参考图像模型中没有未拼接的区域。

5.根据权利要求2所述的电子内镜辅助检查方法,其特征在于，所述N不小于32。

6.根据权利要求2所述的电子内镜辅助检查方法,其特征在于，所述指定光为白光、紫光、蓝光、绿光四者之一。

7.根据权利要求2所述的电子内镜辅助检查方法,其特征在于，建立参考图像模型以及检查时，将上消化道中特定部位置于电子内镜的视场中心采集图像。

8.根据权利要求4或7所述的电子内镜辅助检查方法,其特征在于，相邻特定部位的拍摄图像之间有交叠或边缘重合。

9.一种电子内镜控制系统，其特征在于，包括参考图像模型获取单元、图像比对单元、位置判断单元以及控制单元；

所述参考图像模型获取单元、图像比对单元、位置判断单元均与控制单元连接，参考图像模型获取单元、图像比对单元、位置判断单元按权利要求1至8任一项所述的电子内镜辅助检查方法获取参考图像模型、将电子内镜所采集的上消化道图像与参考图像模型进行比对、分析电子内镜所采集的上消化道图像在参考图像模型上所处的位置，所述控制单元控制电子内镜拍摄图像。