[go: up one dir, main page]

CN119302757B - 一种智能手术外视镜系统 - Google Patents

一种智能手术外视镜系统

Info

Publication number
CN119302757B
CN119302757B CN202411460279.1A CN202411460279A CN119302757B CN 119302757 B CN119302757 B CN 119302757B CN 202411460279 A CN202411460279 A CN 202411460279A CN 119302757 B CN119302757 B CN 119302757B
Authority
CN
China
Prior art keywords
imaging
intelligent
exoscopic
surgical
pneumatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411460279.1A
Other languages
English (en)
Other versions
CN119302757A (zh
Inventor
陈国锋
张炜佳
曾智敏
陈鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhuwei Medical Technology Co ltd
Original Assignee
Nanjing Zhuwei Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhuwei Medical Technology Co ltd filed Critical Nanjing Zhuwei Medical Technology Co ltd
Priority to CN202411460279.1A priority Critical patent/CN119302757B/zh
Publication of CN119302757A publication Critical patent/CN119302757A/zh
Application granted granted Critical
Publication of CN119302757B publication Critical patent/CN119302757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/20—Holders specially adapted for surgical or diagnostic appliances or instruments
    • A61B50/22—Racks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/20—Holders specially adapted for surgical or diagnostic appliances or instruments
    • A61B50/24—Stands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B90/35—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种智能手术外视镜系统，包括工作台车、气动机械臂、设于所述气动机械臂末端的智能多光路成像系统、3D显示设备、辅助操控设备；工作台车包括箱体、显示器旋转支架、四星脚底座、万向脚轮；气动机械臂包括气动机械大臂、气动机械小臂、气动摄像分臂、球形关节；智能多光路成像系统包括集成的多个变焦成像光路、智能调焦控制器、环形集成芯片；3D显示设备包括偏振式3D主屏、偏振式3D副屏、头戴式显示设备；头戴式显示设备包括VR眼镜、AR眼镜；辅助操控设备包括压感脚踏板。本发明满足了现代外科手术的需求，提供了更智能化的服务、更高效的信号传输、更舒适的使用体验。

Description

一种智能手术外视镜系统
技术领域
本发明属于医疗器械技术领域，涉及到一种智能手术外视镜系统。
背景技术
近年来，随着医学影像技术的快速发展，外科手术领域逐渐向微创化、精准化方向迈进，外视镜系统作为一种重要的辅助工具，在微创手术、开放手术、远程协作等领域中发挥了重要作用。外视镜系统通过摄像头将手术区域的影像实时传输到显示器上，供医生观察和操作，使得医生可以在尽量少暴露患者内部组织的情况下进行精准的手术操作，从而减少手术创伤、缩短术后恢复时间、提高手术效果。
目前市场上可供选择的手术外视镜系统种类繁多，但仍存在一些不可忽视的问题。例如，外视镜智能化和便利性程度较低，往往不具备多模态成像和多功能传感的功能，镜头无法自动变焦；手术过程中对无影灯的遮挡对术野成像效果有较大干扰，影响手术质量；信息传输方式复杂，传输过程中容易受到干扰，导致显示延迟或画质下降。
因此，迫切需要一种新的手术外视镜系统，以解决现有技术中的不足，提供更智能化的服务、更高效的信号传输、更舒适的使用体验，满足现代外科手术的需求。
发明内容
现有的外视镜智能化和便利性程度较低，往往不具备多模态成像和多功能传感的功能，镜头无法自动变焦；手术过程中无影灯的遮挡对术野成像效果有较大干扰，影响手术质量；信息传输方式复杂，传输过程中容易受到干扰，导致显示延迟或画质下降。为解决上述问题，本发明公开了一种智能手术外视镜系统，满足了现代外科手术的需求，提供了更智能化的服务、更高效的信号传输、更舒适的使用体验。
具体方案如下：
一种智能手术外视镜系统，其特征在于，包括工作台车、气动机械臂、设于所述气动机械臂末端的智能多光路成像系统、3D显示设备和辅助操控设备；所述工作台车包括箱体、显示器旋转支架、四星脚底座和万向脚轮，其中，显示器旋转支架和四星脚底座分别安装在箱体的顶部和底部，万向脚轮配合安装在四星脚底座的四个顶角处；所述气动机械臂包括气动机械大臂、气动机械小臂和气动摄像分臂，其中，气动机械大臂的下端安装在箱体上，气动机械小臂有两段，其中一段通过大臂球形关节与气动机械大臂的上端连接，两段之间以及另一段与气动摄像分臂之间通过小臂球形关节连接，气动摄像分臂通过分臂球形关节与智能多光路成像系统连接；所述智能多光路成像系统包括集成的多个变焦成像光路、智能调焦控制器和环形集成芯片；所述环形集成芯片安装在多个变焦成像光路的外围，并集成了热成像传感器、气体传感器、拉曼光谱传感器和温湿度传感器，外围连接有微型超声探头和微型光纤探头；所述3D显示设备包括偏振式3D主屏、偏振式3D副屏和头戴式显示设备；所述偏振式3D主屏和偏振式3D副屏通过显示器旋转支架与箱体连接，可以进行定轴旋转；所述头戴式显示设备包括VR眼镜和AR眼镜；所述辅助操控设备包括用于控制智能多光路成像系统方位和高度的压感脚踏板。
作为本发明的进一步改进，所述箱体内部前端设有机械臂控制系统、图像处理主机和光源控制系统，所述箱体内部后端设有用于存放医疗器械等的抽屉，所述箱体外部设有操作屏、散热孔，所述操作屏用于启动和关闭外视镜系统、必要时手动调节气动机械臂、设置图像处理主机输出模式、控制成像模式；所述散热孔用于给机械臂控制系统、图像处理主机和光源控制系统散热，防止外视镜过热发生危险；所述机械臂控制系统用于提供运动控制、姿态调整、自动定位、平衡控制、安全功能、制动功能、传感器反馈和集成功能。
作为本发明的进一步改进，所述图像处理主机用于加工处理摄像系统获取的图像信息，并以用户要求的输出模式输出，输出模式包括裸眼3D模式和HMD模式，所述裸眼3D模式适用于偏振式3D主屏和偏振式3D副屏，所述HMD模式适用于头戴式显示设备。
作为本发明的进一步改进，所述图像处理主机提供术中导航功能和路径规划功能，其中，术中导航功能的具体实施方式为：利用预先获取的医学影像数据构建患者解剖结构的三维模型，将外视镜的实时位置和姿态与三维模型进行配准，实现外视镜在患者体内的实时定位，在三维模型上显示外视镜的当前位置和视野，为医生提供术中导航；路径规划功能的具体实施方式为：根据手术目标和解剖结构，自动生成外视镜到达目标部位的最优路径，结合导航系统，引导外视镜沿规划路径移动，避开关键血管和神经组织。
作为本发明的进一步改进，所述图像处理主机还解决手术过程中无影灯被遮挡导致术野亮度下降的问题，综合利用基于深度学习的亮度补偿模型、多尺度分析和边缘保持技术，具体实施方式为：训练一个用于术野亮度补偿的卷积神经网络CNN，利用遮挡和非遮挡术野图像数据进行学习，使其能够自动估计和补偿局部亮度；将该CNN模型应用于多个尺度的术野图像，并使用多尺度融合技术来获得更加清晰和自然的增强结果；同时，在CNN模型中引入了边缘感知的损失函数，并在后处理阶段应用边缘保持滤波器，以确保增强后的图像能够保留关键的结构细节，避免图像失真或伪影。
作为本发明的进一步改进，所述图像处理主机还解决手术过程中无影灯被遮挡导致术野亮度下降的问题，具体实施方式为：训练一个用于术野亮度补偿的CNN模型，其基于现有的图像增强网络结构进行改进，例如U-Net、ResNet等，并根据实际需求进行调整。例如，可以增加网络深度、调整卷积核大小等，以提高模型的学习能力和泛化能力；将该CNN模型应用于多个尺度的术野图像，并使用多尺度融合技术来获得更加清晰和自然的增强结果；同时，引入边缘感知的损失函数，并在后处理阶段应用边缘保持滤波器，以确保增强后的图像能够保留关键的结构细节，避免图像失真或伪影；
所述损失函数定义为：
L＝L_mse+λ×L_edge，
其中，L_mse为均方误差损失函数，用于衡量增强图像与真实图像之间的像素级差异；L_edge为边缘损失函数，用于衡量增强图像与真实图像之间边缘信息的差异；使用Sobel算子或Canny算子提取图像边缘，并计算边缘像素的差异；λ为权重系数，用于平衡两个损失函数的重要性；
其中，L_mse定义为：
L_mse＝1/N×Σ(I_e-I_gt)2，
其中，I_e为增强图像，I_gt为真实图像，N为像素总数；
L_edge定义为：
L_edge＝1/M×Σ(E_e-E_gt)2，
其中，E_e为增强图像的边缘信息，E_gt为真实图像的边缘信息，M为边缘像素总数。
作为本发明的进一步改进，所述光源控制系统提供光源亮度调节、光谱调节、光源稳定性控制、均匀照明检测功能；其中，光源控制系统的光谱调节功能用于多模态成像；多模态成像包括白光成像、ICG荧光成像、窄带成像；所述光源控制系统通过光纤与所述变焦成像光路连接，光纤为多根，用于将不同波长的光传输到外视镜前端。
作为本发明的进一步改进，所述智能多光路成像系统中集成的多个变焦成像光路用于同时进行多视点3D成像和多模态成像；两个所述成像光路能够分别模拟人体左右眼的成像系统，同时采集同一术野的两套图像，两套图像经过图像处理主机进行三维合成处理后，输出至对应的3D显示设备；所述3D显示设备各自对应两个所述成像光路，其余光路用于多模态成像；多个变焦成像光路围绕智能多光路成像系统的中轴呈圆周阵列分布，满足10倍以上的光学变焦变倍比，具备自动对焦和视角调整功能；所述智能调焦控制器采用旋转式按钮设计，具体实施方式为：按钮可以按下和旋转，按下用于切换自动调焦与手动调焦模式，旋转用于手动调焦，同时伴有声音反馈，告知术者调焦状态。
作为本发明的进一步改进，所述热成像传感器用于帮助术者进行组织灌注评估、肿瘤或炎症检测，结果实时叠加在偏振式3D主屏或单独在偏振式3D副屏上呈现；所述气体传感器用于检测手术区域的气体成分变化，有助于早期发现并发症，能够进行组织代谢监测、缺氧检测、感染或坏死指示；所述拉曼光谱传感器无创地为术者提供实时的组织成分分析能力，传感器上设置有小型高灵敏度光谱仪和传感器数据处理单元，结果实时叠加在偏振式3D主屏或单独在偏振式3D副屏上呈现；所述温湿度传感器用于监测手术环境的温度和湿度。
作为本发明的进一步改进，所述微型超声探头是一种小型化的超声成像设备，为术者提供实时的组织深层结构信息，辅助手术导航，提升其精确度。
作为本发明的进一步改进，所述图像处理主机处理后获得的3D场景信息与3D显示设备的传输方式、压感脚踏板与机械臂控制系统的信息传输方式均为5G通信无线传输；所述压感脚踏板由底座、踏板、固定块组成，基于压力传感器与倾斜传感器，共有左右两只，通过不同方式的踩踏控制智能多光路成像系统的方位和高度，固定块用于固定或解除固定智能多光路成像系统的位置；所述操作屏能帮助术者自定义踏板不同的功能组合。
本发明的有益效果在于：
1、实现了术中导航和路径规划功能，为术者和患者提供了更加智能化的服务和舒适的使用体验。
2、可以有效地解决无影灯遮挡导致的术野亮度下降问题，为术者提供始终清晰、自然和细节丰富的术野视图，提高手术质量和效率。
3、提供了多模态成像的功能，通过多个成像光路的集成多视点采集术野信息并进行其他模态的成像，有助于术者更好的判断和多术者协同手术。
4、结合了手动变焦和自动变焦的优点，以应对特殊情况或满足个人偏好，变焦功能具有预设的放大倍率，但也允许术者进行手动微调。结合环形集成芯片这种高度集成的方案，能够在极小的空间内实现多功能传感，为手术外视镜提供全面的组织和环境信息，同时保持设备的紧凑性和操作灵活性。
5、3D显示设备和压感脚踏板传输信息的方式均采用5G无线传输，简化了设备布局，易于设备扩展和升级，提升了安全性和灵活性，进一步满足了现代外科手术的需求。
附图说明
图1为本发明的一种智能手术外视镜系统的立体结构示意图。
图2为本发明的一种智能手术外视镜系统的侧方结构示意图。
图3为本发明的一种智能手术外视镜系统的后方结构示意图。
图4为本发明实施例智能多光路成像系统的一种多视点3D成像方式示意图。
图5为本发明的一种智能手术外视镜系统的压感脚踏板的结构示意图。
图6为本发明实施例环形集成芯片的一种叠层示意图，箭头代表数据传输方向。
附图标记列表：
1、万向脚轮；2、四星脚底座；3、箱体；4、散热孔；5、操作屏；6.1、显示器旋转支架；7、气动机械大臂；8、气动机械小臂；9.1、大臂球形关节；9.2、小臂球形关节；9.3、分臂球形关节；10、气动摄像分臂；11、智能多光路成像系统；12、智能调焦控制器；13、偏振式3D主屏；14、偏振式3D副屏；15、头戴式显示设备；16、抽屉；17.1、变焦成像光路；18、环形集成芯片；19.1、底座；20.1、踏板；21.1、固定块；22、片上系统；23、热成像传感器层；24、气体传感器层；25、拉曼光谱传感器层；26、温湿度传感器层。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供了一种智能手术外视镜系统，如图1、2、3所示，包括：工作台车、气动机械臂、设于所述气动机械臂末端的智能多光路成像系统11、3D显示设备。所述工作台车包括箱体3、显示器旋转支架6.1、四星脚底座2、万向脚轮1。所述气动机械臂包括气动机械大臂7、气动机械小臂8、气动摄像分臂10、球形关节，所述球形关节包括大臂球形关节9.1；小臂球形关节9.2；分臂球形关节9.3。
具体地，该实施例中的气动机械大臂7固定在箱体3上，通过大臂球形关节9.1与气动机械小臂8连接，两节气动机械小臂8和气动摄像分臂10之间通过小臂球形关节9.2相互连接，气动摄像分臂10与摄像系统通过分臂球形关节9.3相互连接。实施例中的球形关节可以绕三个相互垂直的轴旋转，提供3个自由度，故该实施例中的气动机械臂活动灵活且范围很大，最长臂展长度为1600mm。
具体地，所述智能多光路成像系统11包括集成的5个变焦成像光路17.1、智能调焦控制器12、环形集成芯片18。如图4所示，该实施例中的5个变焦成像光路17.1围绕智能多光路成像系统11中轴呈圆周阵列分布，分辨率为3840×2160，光学变倍比为13倍，具备自动对焦和视角调整功能。
具体地，所述环形集成芯片18安装在所述5个变焦成像光路17.1的外围，总高度6mm，内环半径17mm，外环半径22mm，由热成像传感器、气体传感器、拉曼光谱传感器和温湿度传感器这4个MEMS微型传感器垂直且紧凑地堆叠制成，同时结合通孔硅技术(TSV)实现层间互连，外围通过柔性印刷电路与微型超声探头和微型光纤探头连接。TSV技术可以使所述环形集成芯片18各层之间建立高密度、低延迟的电气连接，同时大大减少水平空间占用。
具体地，环形集成芯片18的叠层示意图如图6所示，具体设置为：顶层设置一个高性能的片上系统(SoC)22，集成信号处理单元、模数转换器和通信模块，实现实时数据处理和传输；下层依次设置热成像传感器层23、气体传感器层24、拉曼光谱传感器层25和温湿度传感器层26；箭头代表数据传输方向，数据传向手术外视镜主体。
所述3D显示设备包括偏振式3D主屏13、偏振式3D副屏14、头戴式显示设备(HMD)15；所述偏振式3D显示主屏13和副屏14通过所述显示器旋转支架6.1与所述箱体3连接，可以进行定轴旋转便于根据术者方位进行调整。
所述头戴式显示设备15包括VR眼镜、AR眼镜。实施例中的偏振式3D显示主屏13尺寸为24寸，偏振式3D显示副屏14尺寸为12寸。
所述辅助操控设备包括压感脚踏板。
具体地，所述压感脚踏板由底座19.1、踏板20.1、固定块21.1组成，共有左右两只，如图5所示。基于压力传感器与倾斜传感器，用于控制智能多光路成像系统的方位和高度，具体实施方式为：踩踏板20.1前部，向前移动；踩踏板20.1后部，向后移动；踩踏板20.1左侧，向左移动；踩踏板20.1右侧，向右移动；中心踩踏，调整高度；双脚踩踏，放大或缩小；通过倾斜脚的角度来控制移动速度；踩下固定块21.1可以固定智能多光路成像系统11的位置；抬起固定块21.1可以解除固定；所述操作屏5可以帮助术者自定义不同的功能组合。
所述箱体3内部前端设有机械臂控制系统、图像处理主机、光源控制系统，所述箱体3内部后端设有用于存放医疗器械等的抽屉14。所述箱体3外部设有操作屏5、散热孔4。
所述机械臂控制系统可以提供运动控制、姿态调整、自动定位、平衡控制、安全功能、制动功能、传感器反馈、集成功能。
具体地，所述图像处理主机主要用于加工处理智能多光路成像系统11获取的图像信息，并以用户要求的输出模式输出，输出模式包括裸眼3D模式和HMD模式，所述裸眼3D模式适用于偏振式3D主屏13和副屏14，所述HMD模式适用于头戴式显示设备15，如图4所示，该实施例中图像处理主机进行了裸眼3D模式和HMD模式的同时输出。
所述图像处理主机可以提供术中导航功能。具体实施方式为：利用预先获取的医学影像数据(CT、MRI等)构建患者解剖结构的三维模型，将外视镜的实时位置和姿态与三维模型进行配准，实现外视镜在患者体内的实时定位，在三维模型上显示外视镜的当前位置和视野，为医生提供术中导航。
所述图像处理主机可以提供路径规划功能。具体实施方式为：根据手术目标和解剖结构，自动生成智能多光路成像系统11到达目标部位的最优路径，结合导航系统，引导其沿规划路径移动，避开关键血管和神经组织，可以考虑手术操作的安全性、手术时间等因素进行路径优化。
具体地，所述图像处理主机还可以综合利用基于深度学习的亮度补偿模型、多尺度分析和边缘保持技术解决手术过程中无影灯被遮挡导致术野亮度下降的问题。具体实施方式为：训练一个专门用于术野亮度补偿的卷积神经网络(CNN)，利用大量的遮挡和非遮挡术野图像数据进行学习，使其能够自动估计和补偿局部亮度；将该CNN模型应用于多个尺度的术野图像，并使用多尺度融合技术来获得更加清晰和自然的增强结果；同时，我们在CNN模型中引入了边缘感知的损失函数，并在后处理阶段应用边缘保持滤波器，以确保增强后的图像能够保留关键的结构细节，避免图像失真或伪影。
所述光源控制系统可以提供光源亮度调节、光谱调节、光源稳定性控制、均匀照明检测功能。
具体地，所述光源控制系统的光谱调节功能用于多模态成像；所述多模态成像包括白光成像、ICG荧光成像、窄带成像。该实施例中的智能多光路成像系统11集成了5个变焦成像光路17.1，当减少所述3D显示设备的使用时，可以留出变焦成像光路17.1进行多模态成像。
具体地，所述光源控制系统通过光纤与所述变焦成像光路17.1连接，该实施例中的5个成像光路17.1均设置1根光纤与所述光源控制系统连接用于光源的传输，以备多模态成像之需。
所述操作屏5用于启动和关闭外视镜系统、必要时手动调节所述气动机械臂、设置所述图像处理主机输出模式、控制成像模式。
具体地，所述智能多光路成像系统11集成的5个变焦成像光路17.1用于同时进行多视点3D成像和多模态成像。如图4示意了实施例智能多光路成像系统11的一种多视点3D成像方式，5台3D显示设备采集到的3D场景信息视角不相同，选取所述智能多光路成像系统11中任意两个变焦成像光路15.1，两光路能够分别模拟人体左右眼的成像系统，同时采集同一术野的两套图像，所述两套图像经过所述图像处理主机进行三维合成处理后，以裸眼3D模式输出至偏振式3D主屏13和副屏14，或以HMD模式输出至头戴式显示设备15。视角的选择取决于术者位置，优选地为图示相邻变焦成像光路17.1输出至一台3D显示设备，该情况下可以保证四位术者通过头戴式显示设备15进行手术，一位术者通过偏振式3D主屏13进行手术。在进行多模态成像时，可以相应减少2～4台头戴式显示设备15的使用，空出的1～3个变焦成像光路17.1可以分别进行其他模态的成像。
具体地，所述图像处理主机处理后获得的3D场景信息与所述3D显示设备、所述压感脚踏板与所述机械臂控制系统的信息传输方式为5G通信无线传输，因为传输信息涉及多方隐私数据，故传输时会选择特定的医用信道进行加密传输，同时保证高帧率、高质量传输。
具体地，所述智能调焦控制器12采用旋转式按钮设计，具体实施方式为：按钮可以按下和旋转，按下用于切换自动调焦与手动调焦模式，旋转用于手动调焦，同时伴有声音反馈，告知术者调焦状态。
具体地，所述热成像传感器用于帮助术者进行组织灌注评估、肿瘤或炎症检测等，其具体实施方式为：通过检测物体表面发出的红外辐射工作，将这些辐射转换为电信号处理成温度分布图像，结果实时叠加在偏振式3D主屏13或单独在偏振式3D副屏14上呈现。
具体地，所述气体传感器为电化学传感器，用于检测手术区域的气体成分变化,可能有助于早期发现并发症，可以进行组织代谢监测、缺氧检测、感染或坏死指示。
具体地，所述拉曼光谱传感器可以无创地为术者提供实时的组织成分分析能力，其具体实施方式为：微型光纤探头与一路光纤连接，向组织发射近红外光，同时收集组织的散射光，传感器上的小型高灵敏度光谱仪分析从组织收集的散射光，并由传感器数据处理单元实时分析光谱数据，结果实时叠加在偏振式3D主屏13或单独在偏振式3D副屏14上呈现。
具体地，所述温湿度传感器用于监测手术环境的温度和湿度。
具体地，所述微型超声探头是一种小型化的超声成像设备，可以为术者提供实时的组织深层结构信息，辅助手术导航，提升其精确度。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种智能手术外视镜系统，其特征在于，包括工作台车、气动机械臂、设于所述气动机械臂末端的智能多光路成像系统、3D显示设备和辅助操控设备；所述工作台车包括箱体、显示器旋转支架、四星脚底座和万向脚轮，其中，显示器旋转支架和四星脚底座分别安装在箱体的顶部和底部，万向脚轮配合安装在四星脚底座的四个顶角处；所述气动机械臂包括气动机械大臂、气动机械小臂和气动摄像分臂，其中，气动机械大臂的下端安装在箱体上，气动机械小臂有两段，其中一段通过大臂球形关节与气动机械大臂的上端连接，两段之间以及另一段与气动摄像分臂之间通过小臂球形关节连接，气动摄像分臂通过分臂球形关节与智能多光路成像系统连接；所述智能多光路成像系统包括集成的多个变焦成像光路、智能调焦控制器和环形集成芯片；所述环形集成芯片安装在多个变焦成像光路的外围，并集成了热成像传感器、气体传感器、拉曼光谱传感器和温湿度传感器，外围连接有微型超声探头和微型光纤探头；所述3D显示设备包括偏振式3D主屏、偏振式3D副屏和头戴式显示设备；所述偏振式3D主屏和偏振式3D副屏通过显示器旋转支架与箱体连接，可以进行定轴旋转；所述头戴式显示设备包括VR眼镜和AR眼镜；所述辅助操控设备包括用于控制智能多光路成像系统方位和高度的压感脚踏板；所述智能多光路成像系统中集成的多个变焦成像光路用于同时进行多视点3D成像和多模态成像。
2.根据权利要求1所述的一种智能手术外视镜系统，其特征在于，所述箱体内部前端设有机械臂控制系统、图像处理主机和光源控制系统，所述箱体内部后端设有用于存放医疗器械等的抽屉，所述箱体外部设有操作屏、散热孔，所述操作屏用于启动和关闭外视镜系统、手动调节气动机械臂、设置图像处理主机输出模式、控制成像模式；所述散热孔用于给机械臂控制系统、图像处理主机和光源控制系统散热；所述机械臂控制系统用于提供运动控制、姿态调整、自动定位、平衡控制、安全功能、制动功能、传感器反馈和集成功能。
3.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述图像处理主机用于加工处理摄像系统获取的图像信息，并以用户要求的输出模式输出，输出模式包括裸眼3D模式和HMD模式，所述裸眼3D模式适用于偏振式3D主屏和偏振式3D副屏，所述HMD模式适用于头戴式显示设备。
4.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述图像处理主机提供术中导航功能和路径规划功能，其中，术中导航功能的具体实施方式为：利用预先获取的医学影像数据构建患者解剖结构的三维模型，将外视镜的实时位置和姿态与三维模型进行配准，实现外视镜在患者体内的实时定位，在三维模型上显示外视镜的当前位置和视野，为医生提供术中导航；路径规划功能的具体实施方式为：根据手术目标和解剖结构，自动生成外视镜到达目标部位的最优路径，结合导航系统，引导外视镜沿规划路径移动，避开关键血管和神经组织。
5.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述图像处理主机还解决手术过程中无影灯被遮挡导致术野亮度下降的问题，具体实施方式为：训练一个用于术野亮度补偿的CNN模型；将该CNN模型应用于多个尺度的术野图像，并使用多尺度融合技术来获得更加清晰和自然的增强结果；同时，引入边缘感知的损失函数，并在后处理阶段应用边缘保持滤波器，以确保增强后的图像能够保留关键的结构细节，避免图像失真或伪影；
所述损失函数定义为：
L = L_mse +λ×L_edge，
其中，L_mse为均方误差损失函数，用于衡量增强图像与真实图像之间的像素级差异；L_edge为边缘损失函数，用于衡量增强图像与真实图像之间边缘信息的差异；使用Sobel算子或Canny算子提取图像边缘，并计算边缘像素的差异；λ为权重系数，用于平衡两个损失函数的重要性；
其中，L_mse定义为：
L_mse = 1/N×Σ(I_e - I_gt)2，
其中，I_e为增强图像，I_gt为真实图像，N 为像素总数；
L_edge定义为：
L_edge = 1/M×Σ(E_e - E_gt)2，
其中，E_e为增强图像的边缘信息，E_gt为真实图像的边缘信息，M 为边缘像素总数。
6.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述光源控制系统提供光源亮度调节、光谱调节、光源稳定性控制、均匀照明检测功能；其中，光源控制系统的光谱调节功能用于多模态成像；多模态成像包括白光成像、ICG荧光成像、窄带成像；所述光源控制系统通过光纤与所述变焦成像光路连接，光纤为多根，用于将不同波长的光传输到外视镜前端。
7.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，两个所述成像光路能够分别模拟人体左右眼的成像系统，同时采集同一术野的两套图像，两套图像经过图像处理主机进行三维合成处理后，输出至对应的3D显示设备；所述3D显示设备各自对应两个所述成像光路，其余光路用于多模态成像；多个变焦成像光路围绕智能多光路成像系统的中轴呈圆周阵列分布，满足10倍以上的光学变焦变倍比，具备自动对焦和视角调整功能；所述智能调焦控制器采用旋转式按钮设计，具体实施方式为：按钮可以按下和旋转，按下用于切换自动调焦与手动调焦模式，旋转用于手动调焦，同时伴有声音反馈，告知术者调焦状态。
8.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述热成像传感器用于帮助术者进行组织灌注评估、肿瘤或炎症检测，结果实时叠加在偏振式3D主屏或单独在偏振式3D副屏上呈现；所述气体传感器用于检测手术区域的气体成分变化，有助于早期发现并发症，能够进行组织代谢监测、缺氧检测、感染或坏死指示；所述拉曼光谱传感器无创地为术者提供实时的组织成分分析能力，传感器上设置有小型高灵敏度光谱仪和传感器数据处理单元，结果实时叠加在偏振式3D主屏或单独在偏振式3D副屏上呈现；所述温湿度传感器用于监测手术环境的温度和湿度。
9.根据权利要求1所述的一种智能手术外视镜系统，其特征在于，所述微型超声探头是一种小型化的超声成像设备，为术者提供实时的组织深层结构信息，辅助手术导航，提升其精确度。
10.根据权利要求2所述的一种智能手术外视镜系统，其特征在于，所述图像处理主机处理后获得的3D场景信息与3D显示设备的传输方式、压感脚踏板与机械臂控制系统的信息传输方式均为5G通信无线传输；所述压感脚踏板由底座、踏板、固定块组成，基于压力传感器与倾斜传感器，共有左右两只，通过不同方式的踩踏控制智能多光路成像系统的方位和高度，固定块用于固定或解除固定智能多光路成像系统的位置；所述操作屏能帮助术者自定义踏板不同的功能组合。
CN202411460279.1A 2024-10-18 2024-10-18 一种智能手术外视镜系统 Active CN119302757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411460279.1A CN119302757B (zh) 2024-10-18 2024-10-18 一种智能手术外视镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411460279.1A CN119302757B (zh) 2024-10-18 2024-10-18 一种智能手术外视镜系统

Publications (2)

Publication Number Publication Date
CN119302757A CN119302757A (zh) 2025-01-14
CN119302757B true CN119302757B (zh) 2025-09-26

Family

ID=94191914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411460279.1A Active CN119302757B (zh) 2024-10-18 2024-10-18 一种智能手术外视镜系统

Country Status (1)

Country Link
CN (1) CN119302757B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102697563A (zh) * 2012-06-01 2012-10-03 深圳市麟静科技有限公司 手术用佩戴式显示系统
CN113589514A (zh) * 2021-08-10 2021-11-02 浙江未来技术研究院(嘉兴) 一种显微外视镜系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107476B1 (en) * 2014-02-21 2024-04-24 The University of Akron Imaging and display system for guiding medical interventions
KR20170035831A (ko) * 2014-03-14 2017-03-31 시냅티브 메디컬 (바베이도스) 아이엔씨. 인텔리전트 포지셔닝 시스템과 그것의 방법들
CN108670192B (zh) * 2018-04-21 2019-08-16 重庆贝奥新视野医疗设备有限公司 一种动态视觉刺激的多光谱眼底成像系统及方法
CN110013319B (zh) * 2019-02-20 2024-10-22 广州乔铁医疗科技有限公司 一种新型的机器人外视镜系统
CN109907834B (zh) * 2019-02-20 2024-03-29 广州乔铁医疗科技有限公司 一种具有3d功能的机器人外视镜
CN116777786B (zh) * 2023-06-26 2025-09-23 杭州海康慧影科技有限公司 基于内窥镜成像的视频图像生成方法和装置及内窥镜系统
CN117462280B (zh) * 2023-12-28 2024-06-18 华科精准（北京）医疗科技有限公司 一种可减少过曝的外视镜系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102697563A (zh) * 2012-06-01 2012-10-03 深圳市麟静科技有限公司 手术用佩戴式显示系统
CN113589514A (zh) * 2021-08-10 2021-11-02 浙江未来技术研究院(嘉兴) 一种显微外视镜系统

Also Published As

Publication number Publication date
CN119302757A (zh) 2025-01-14

Similar Documents

Publication Publication Date Title
US20230255446A1 (en) Surgical visualization systems and displays
US12219228B2 (en) Stereoscopic visualization camera and integrated robotics platform
US20220054223A1 (en) Surgical visualization systems and displays
US11154378B2 (en) Surgical visualization systems and displays
US12016631B2 (en) System and method for visualization of ocular anatomy
US20220008158A1 (en) Stereoscopic camera with fluorescence visualization
JP7444163B2 (ja) 撮像装置、撮像方法、及びプログラム
CN110463174A (zh) 用于外科探针的光学系统，组成其的系统和方法，以及用于执行外科手术的方法
KR20200037244A (ko) 촬상 소자 및 촬상 장치
US12245739B2 (en) Medical display controlling apparatus and display controlling method
CN109893258B (zh) 一体化外视镜腹腔镜系统
US20250169916A1 (en) Stereoscopic camera with fluorescence strobing based visualization
JP7230807B2 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
JP2019154883A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
US11026560B2 (en) Medical display control apparatus and display control method
CN119302757B (zh) 一种智能手术外视镜系统
CN109907835B (zh) 应用红外热成像的一体化外视镜腹腔镜设备
JP7143092B2 (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JPWO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2019198293A1 (ja) 顕微鏡システム及び医療用光源装置
JP2020163037A (ja) 医療システム、情報処理装置及び情報処理方法
CN109965987A (zh) 一种具有共聚焦激光扫描功能的机器人外视镜
CN210330756U (zh) 应用红外热成像的一体化外视镜腹腔镜设备
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant