CN107361728A - 内窥镜导向方法及导向装置 - Google Patents

Abstract

本发明提供一种内窥镜导向方法及导向装置，该方法包括获取内窥镜摄像头拍摄的图像，并对所获取的图像进行二值化处理，获得二值化后的图像；在获取二值化后的图像的重心前，对二值化后的图像进行裁剪；获取二值化后的图像的重心；根据图像的重心位置，向内窥镜电机控制器发出控制信号，控制信号用于控制内窥镜前端的蛇形管弯曲。该装置包括图像获取模块，用于获取内窥镜摄像头拍摄的图像；二值化处理模块，用于对所获取的图像进行二值化处理，获得二值化后的图像；图像重心获取模块，用于获取二值化后的图像的重心；控制信号生成模块，用于根据图像的重心位置，向内窥镜电机控制器发出控制信号，控制信号用于控制内窥镜前端的蛇形管弯曲。本发明能方便医生操作内窥镜，并且减小内窥镜触碰患者而造成不适。

Description

内窥镜导向方法及导向装置

技术领域

本发明涉及内窥镜控制领域，尤其是涉及一种内窥镜导向方法以及实现这种方法的内窥镜导向装置。

背景技术

近年来，随着微创外科的发展与普及，医用内窥镜系统在呼吸科、消化内科、耳鼻喉科等大规模的应用。使用内窥镜诊断或治疗时，通常需要把观察或手术部位的图像上传到显示器上，供医生分析诊断。在现有技术中，例如应用于消化内科时，软管状内窥镜通过口腔、食道进入患者胃部进行观察，但内窥镜进入患者的胃部时患者极易感到恶心或不同程度的腹痛等不适感。

此外，这种内窥镜的操作在很大程度上依赖于医生的操作经验，且操作时需要双手共同操作，医生需要一只手推送工作管进入腔道，另一只手转动手柄以调整前端蛇形管的弯转角度，从而实现内窥镜的顺利进入。这样的操作方法使得医生容易疲劳，无法集中注意力观察消化道内的病变情况，且医生控制内窥镜前端转向失误容易造成消化道内损伤。

发明内容

为了解决上述的问题，本发明的主要目的是提供一种便于医生操作的内窥镜导向方法。

本发明的另一目的是提供一种内窥镜进入患者体内后减小患者不适和失误损伤的内窥镜导向装置。

为实现上述的主要目的，本发明提供的内窥镜导向方法包括获取内窥镜摄像头拍摄的图像，并对所获取的图像进行二值化处理，获得二值化后的图像；获取二值化后的图像的重心；根据图像的重心位置，向内窥镜电机控制器发出控制信号，控制信号用于控制内窥镜前端的蛇形管弯曲。

一个优选的方案是，对所获取的图像进行二值化处理前，调节取的图像的灰度和/或对比度，其中，调节所获取的图像的灰度包括将彩色的图像调节成黑白灰图像。

进一步的方案是，获取二值化后的图像的重心前，对二值化后的图像进行裁剪，获取二值化后的图像的重心包括获取裁剪后的图像的重心。

更进一步的方案是，对图像进行裁剪包括将方形的图像裁剪成圆形的图像，并且，裁剪图像时，识别图像中腔道区域，被裁剪的图像区域为腔道区域以外的图像区域。

更进一步的方案是，控制信号为用于控制内窥镜前端的蛇形管向重心方向弯曲的控制信号。

为实现上述的另一目的，本发明提供的内窥镜导向装置包括图像获取模块，用于获取内窥镜摄像头拍摄的图像；二值化处理模块，用于对所获取的图像进行二值化处理，获得二值化后的图像；图像重心获取模块，用于获取二值化后的图像的重心；控制信号生成模块，用于根据图像的重心位置，向内窥镜电机控制器发出控制信号，控制信号用于控制内窥镜前端的蛇形管弯曲。

本发明提供的内窥镜导向方法能够自动计算并且获取图像的重心位置，从而自动的控制内窥镜的蛇形管向重心位置弯曲，这样，医生在操作内窥镜时，不需要通过手柄控制内窥镜的蛇形管的弯曲，只需要一只手将内窥镜推进患者体内即可，从而大大减小医生操作的难度以及疲劳程度，进而有效的避免因医生操作失误而对患者造成的二次损伤。

并且，在获取图像重心时通过对图像进行灰度调节以及二值化等处理，使得图像中的腔道区域的图像得到清楚的展示，此时再计算图像的重心，所获得的图像的重心通常是腔道的中心位置，这样可以确保蛇形管沿着腔道的中心位置前进，不会因内窥镜触碰到患者腔道而造成内损伤。此外，计算图像重心前还对图像进行裁剪，如将图像裁剪成圆形，即裁减后的图像形状与图像传感器的有效成像区域一致，这样可以有利于图像重心的计算，减小计算量，提高计算效率。

此外，向内窥镜控制电机发出的控制信号是将内窥镜前端的蛇形管向重心位置弯曲，这样，当医生推进蛇形管时，可以确保蛇形管向腔道的前进方向中心弯曲并且前进。

附图说明

图1是本发明内窥镜导向方法实施例的流程图。

图2是应用本发明内窥镜导向方法实施例所拍摄的图像。

图3是应用本发明内窥镜导向方法实施例对图像进行灰度调节后的图像。

图4是应用本发明内窥镜导向方法实施例对图像进行二值化处理后的图像。

图5是应用本发明内窥镜导向方法实施例对图像进行裁剪后的图像。

图6是本发明内窥镜导向装置实施例的结构框图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的内窥镜导向方法应用在内窥镜的控制仪器上，内窥镜具有主体，并且在主体的前端设置有蛇形管，蛇形管可以在控制电机发出的控制信号下弯曲。当蛇形管弯曲后，医生推动蛇形管时，内窥镜将按照蛇形管弯曲的方向前进。此外，在内窥镜的前端设置有一个摄像头，摄像头用于拍摄患者体内的图像，例如，当内窥镜进入患者的胃部、食道等腔道内时，摄像头说拍摄的图像是胃部、食道等腔道的图像。

因此，对内窥镜的控制，需要设置一台图像识别主机以及电机控制器，图像识别主机用于对摄像头所拍摄的图像进行识别以及处理，并且向电机控制器发出控制信号，而电机控制器则用于向蛇形管的控制电机发出控制信号，从而控制蛇形管控制电机的动作，进而控制蛇形管的弯曲，改变内窥镜的前进方向。

本发明的内窥镜导向装置是运行在图像识别主机上的计算机程序，用于实现上述的内窥镜导向方法。

下面以胃镜为例，结合图1介绍内窥镜的方法。首先，医生将内窥镜从患者的口腔或鼻腔推进到患者体内，此时，设置在内窥镜前端的摄像头拍摄患者体内腔道的图像，即执行步骤S1。内窥镜进入患者体内前，医生开启内窥镜的摄像头，摄像头将持续的拍摄照片并且获取图像，所获取的图像如图2所示。通常，摄像头为彩色摄像头，获取的图像通常是彩色图像。图2所示的是患者一段腔道的图像，其中图像左侧的颜色较深的区域是腔道的前方。

为了更加精确的获得图像的重心，需要对图像进行处理，如调节图像的灰度、对比度以及对图像进行二值化并且对二值化的图像进行裁剪等，因此，首先需要将彩色的图像进行灰度以及对比度的调节，即执行步骤S2。

本实施例中，调节图像的灰度，可以将原本是彩色的图像调节成黑白灰的图像，调节图像灰度的同时，还可以调节图像的对比度，或者单独调节图像的对比度，使得图像的色彩对比更加明显，有利于后续对图像进行二值化的操作。对图2的图像进行灰度以及对比度调节后的图像如图3所示。从图3可见，进行灰度以及对比度调节后，图像的色彩对比更加明显。

然后，执行步骤S3，对图像进行二值化，即将图像转换成只有黑色以及白色两种颜色的图像。图像的二值化过程是将图像中各个像素使用黑色的像素的数值以及白色像素的数值近似模拟图像，从而使得图像只有黑色以及白色两种颜色。二值化后的图像如图4所示，从图4可见，二值化以后的图像只有黑色以及白色两种颜色，并且图像中形成了大片连片的白色色块以及黑色色块。

接着，执行步骤S4，对图像进行裁剪。对图像进行裁剪的目的是只保留图像传感器有效成像区域的图像，由于图像传感器通常都是方形的，但是镜头是圆形的，为了顺应医生的观察习惯，同时也为了使视野范围内的图像更清晰，通常将图像传感器的内切圆区域定义为有效成像区域。当然，也可以使用六边形等其他形状作为图像传感器的有效成像区域。

本实施例中，如图5所示，裁剪后的图像为圆形的图像，即裁剪后的图像的形状与内窥镜前端摄像头所获取有效成像区域的形状一致，因此裁减时把有效的成像区域裁剪下来即可。优选的，裁剪后的图像包含有图像中腔道的区域，以便于获取图像的重心是腔道的中心位置，以便于蛇形管以腔道中心位置为前进的方向。

因此，在裁剪图像前，首先需要确定图像中腔道的区域。由于腔道区域的颜色通常较深，二值化以后的图像通常是一大片黑色的色块，因此，对图像裁剪前，可以通过对二值化以后的图像色块的分布确定腔道区域位于图像的哪一区域，避免裁剪图像时将该区域裁剪掉。

或者，在对图像进行二值化以前，如图3所示的状态，图像中颜色较深的区域通常是腔道所在的区域，因此可以通过二值化以前的图像来确定腔道区域所在的区域。

又或者，建立一个腔道图像数据库，将多种不同的腔道区域的图像存储在该数据库中，裁剪图像前，通过获取该腔道图像数据库的数据，并且与当前已经二值化后的图像进行对比，进而判断图像中哪一区域是腔道所在的图像区域，也能够判断出图像中的腔道所在的区域。

确定腔道所在的区域以后，对图像进行裁剪，例如在确定的腔道所在区域以外的区域，建立一个大致圆形的框，然后将该圆形的框以外的图像裁剪，从而获得一个圆形的图像。并且，裁剪图像后，需要判断腔道所在的区域是否完整的保留在裁剪后的图像中，如果腔道所在的区域被裁剪掉，即裁剪后的图像没有保留完整的腔道所在区域的图像，则需要对图像进行重新裁剪，即以二值化以后的图像进行重新裁剪。

当然，裁剪后的图像不一定是圆形的图像，可以是其他形状的图像，如正方形的图像或者椭圆形的图像、正六边形的图像等，并且，裁剪后的图像的形状可以根据腔道区域的大致轮廓确定，例如，腔道区域的轮廓大致为圆形或者椭圆形，则裁剪后的图像确定为圆形，如果腔道区域的轮廓大致为方形，则裁剪后的图像可以为长方形等形状。

然后，执行步骤S5，获取图像的重心。计算获取图像的重心时，根据二值化后的图像计算图像的重心，例如，计算图像的重心时根据裁剪后的图像的色块分布情况，确定出图像黑色像素的偏向情况。如图5所示的，由于黑色像素主要分布在图像的左下方，则图像的重心也应该位于图像的左下方。计算图像重心的一种计算方法是，将黑色点的质量设定为1，将白色点的质量设定为0，通过算法计算整个区域的重心。如图5所示的，计算获得的图像重心位于图5中十字光标所在的位置。

最后，根据计算获取的图像的重心，生成控制信号，该控制信号是控制内窥镜蛇形管弯曲方向的控制信号。由于蛇形管由控制电机所控制，因此，图像识别主机计算图像的重心后，根据当前蛇形管指向的方向，生成控制蛇形管指向图像重心的控制信号，并且将控制信号传输至电机控制器，电机控制器接收到该控制信号后，将控制蛇形管弯曲，使得蛇形管的弯曲方向正对图像的重心。

由于图像的重心是腔道中心位置，当蛇形管朝向图像的重心弯曲后，医生推进内窥镜前进时，内窥镜将向腔道的中心方向前进，从而避免内窥镜前进时触碰到患者腔道的内壁而造成患者的损伤。

下面结合图6介绍内窥镜导向装置。本实施例具有图像获取模块20、图像调节模块21、二值化处理模块22、图像裁剪模块23、图像重心获取模块24以及控制信号生成模块25。其中，图像获取模块20用于获取内窥镜前端的摄像头所拍摄的图像，并且将图像传送至图像识别主机。

图像调节模块21用于对图像获取模块20所获取的图像进行调节，例如对图像的灰度、对比度进行调节，对图像的灰度进行调节时，可以将彩色的图像调节成黑白灰的图像，对图像的对比度进行调节时，可以增加图像中不同颜色的色彩的对比度，从而使得图像的色彩的对比更加明显。

二值化处理模块22用于对图像调节模块21对图像的灰度、对比度调节后的图像进行二值化处理，即将黑白灰图像转换成黑白图像，例如将各个像素的像素值调整至黑色像素的像素值或者白色像素的像素值，从而将图像转换成只有黑色以及白色的图像。

图像裁剪模块23用于对图像进行裁剪，例如，裁剪后的图像为圆形的图像，即裁剪后的图像的形状与内窥镜前端摄像头所获取有效成像区域的形状一致。当然，对图像进行裁剪时，不能将图像中腔道区域进行裁剪，因此对图像裁剪前需要识别出图像中腔道区域，裁剪图像时需要避免裁剪到图像中腔道的区域，因此只能对腔道区域以外的区域进行裁剪。

由于腔道区域通常是连片的黑色色块，因此，对图像裁剪时可以识别图像中存在的连片的黑色色块，或者根据二值化以前的图像识别出图像中腔道的区域，从而确保不会将腔道区域裁剪掉。并且，裁剪后的图像可以是圆形的图像，也可以是椭圆形、方形的图像，具体可以根据腔道区域的轮廓确定。

图像重心获取模块24用于获取裁剪后的图像的重心，如根据图像中色块的分布情况，确定图像重心位置，确定的图像重心应该是位于腔道区域的中心位置。最后，图像识别主机根据所获取的图像的重心生成控制信号，即由控制信号生成模块25生成控制信号，该控制信号被传送至电机控制器，用于控制蛇形管的电机工作，从而带动蛇形管的弯曲，使得蛇形管指向图像重心位置，也就是使蛇形管指向腔道的中心位置。

当医生推动内窥镜前进时，由于蛇形管指向腔道的中心位置，因此可以避免因医生的操作失误而导致内窥镜触碰到腔道的内壁而引起患者的不适。此外，由于内窥镜的蛇形管已经自动对准腔道的中心，医生操作内窥镜时不需要一只手推动内窥镜前进，另一只手需要操作手柄调节蛇形管的弯曲，可以大大减小医生操作的难度，降低医生操作的疲劳度。

当然，上述实施例仅仅是本发明优选的实施方式，实际应用时，本发明还有更多的改变，例如，计算图像重心时，可以采用未经裁剪的图像进行计算，或者对图像进行二值化前，不对图像的灰度以及对比度进行调节等，这样的改变也能实现本发明的目的。

Claims (10)

1.内窥镜导向方法，其特征在于：包括

获取内窥镜摄像头拍摄的图像，并对所获取的图像进行二值化处理，获得二值化后的图像；

获取所述二值化后的图像的重心；

根据所述重心位置，向内窥镜电机控制器发出控制信号，所述控制信号用于控制内窥镜前端的蛇形管弯曲。

2.根据权利要求1所述的内窥镜导向方法，其特征在于：

对所获取的图像进行二值化处理前，调节所获取的图像的灰度和/或对比度，其中，调节所获取的图像的灰度包括将彩色的图像调节成黑白灰图像。

3.根据权利要求1或2所述的内窥镜导向方法，其特征在于：

获取所述二值化后的图像的重心前，对所述二值化后的图像进行裁剪，获取所述二值化后的图像的重心包括获取裁剪后的图像的重心。

4.根据权利要求3所述的内窥镜导向方法，其特征在于：

对图像进行裁剪包括将方形的图像裁剪成圆形的图像，并且，裁剪图像时，识别图像中腔道区域，被裁剪的图像区域为所述腔道区域以外的图像区域。

5.根据权利要求1或2所述的内窥镜导向方法，其特征在于：

所述控制信号为用于控制内窥镜前端的蛇形管向所述重心方向弯曲的控制信号。

6.内窥镜导向装置，包括

图像获取模块，用于获取内窥镜摄像头拍摄的图像；

二值化处理模块，用于对所获取的图像进行二值化处理，获得二值化后的图像；

图像重心获取模块，用于获取所述二值化后的图像的重心；

控制信号生成模块，用于根据所述重心位置，向内窥镜电机控制器发出控制信号，所述控制信号用于控制内窥镜前端的蛇形管弯曲。

7.根据权利要求6所述的内窥镜导向装置，其特征在于，还包括：

图像调节模块，用于对所获取的图像进行二值化处理前，调节所获取的图像的灰度和/或对比度，其中，调节所获取的图像的灰度包括将彩色的图像调节成黑白灰图像。

8.根据权利要求6或7所述的内窥镜导向装置，其特征在于，还包括：

图像裁剪模块，用于在获取所述二值化后的图像的重心前，对所述二值化后的图像进行裁剪，获取所述二值化后的图像的重心包括获取裁剪后的图像的重心。

9.根据权利要求8所述的内窥镜导向装置，其特征在于：

所述图像裁剪模块对图像进行裁剪包括将方形的图像裁剪成圆形的图像，并且，裁剪图像时，识别图像中腔道区域，被裁剪的图像区域为所述腔道区域以外的图像区域。

10.根据权利要求6或7所述的内窥镜导向装置，其特征在于：

所述控制信号生成模块所生成的所述控制信号为用于控制内窥镜前端的蛇形管向所述重心方向弯曲的控制信号。