CN120436557A - 一种3d腹腔内窥镜影像装置及方法 - Google Patents

Abstract

本发明专利涉及一种3D腹腔内窥镜影像装置及方法，属于图像处理技术领域。本装置包括冷光源、气腹机、还包括滤光片、透镜组、感光元件、3D摄像镜头电缆、摄像主机、信号连接线、后端装置；采用3D处理模块、3D重构引擎模块、组织优化模块、存储模块、降噪模块、总延迟算法模块等；透镜组平行设置二组；感光元件平行设置二个；满足低延迟，高像素的传输，图像信息得到完整的保留，后端性能强大的主机更好地完成图像的处理，保障最终的图像质量；克服在3D摄像镜头模组端进行图像处理导致模组温度升高，损坏元器件，影响成像质量等问题。可应用在3D内窥镜影像领域。

Description

一种3D腹腔内窥镜影像装置及方法

技术领域

本发明专利涉及属于图像处理技术领域，尤其涉及一种3D腹腔内窥镜影像装置及方法。

背景技术

内窥镜通常向被检体内插入呈细长形状的挠性的插入部，从该插入部前端照明由光源装置供给的照明光，通过由插入部前端的摄像部接受该照明光的反射光而拍摄体内图像。

3D腹腔内窥镜影像装置指配备两个镜头的内窥镜，通过模拟人眼的双目视觉原理，两个镜头同时获取目标物体的不同视角图像，然后通过图像处理系统对这些图像进行处理和融合，生成具有立体效果的图像，供医护人员手术过程中观看的立体影像系统，能够让医生更直观地观察到人体内部组织和器官的三维结构及空间关系。

已公开的专利：发明名称，3D内窥镜的图像传感器数据传输装置及3D内窥镜，公布号：CN215383848U，申请公布日2022.01.04。所述装置包括：第一图像传感器模块102：将光信号转换为第一电信号；第二图像传感器模块103：将光信号转换为第二电信号；图像传感器数据传输装置104用于接收第一电信号和第二电信号，并输出第一电信号对应的第一图像数据至数据处理系统，输出第二电信号对应的第二图像数据至数据处理系统；数据处理系统105用于接收第一图像数据和第二图像数据，并将第一图像数据和第二图像数据进行合成后，输出合成图像数据进行3D显示；数据接口电路2015与并转串电路连接，传输数据至后端；上述已公开专利的技术不知之处是：图像处理不是同时处理的，依次得到第一图像、第二图像；不足之处为了实现3D效果，将图像对齐电路，同步信号电路集成到3D摄像镜头内部；将2个CMOS的图像进行处理后传输；不能反馈位置信息。

已公开的专利：发明名称：一种3D荧光内窥镜、成像方法、装置及调试方法，公布号：CN117398043A，申请公布日：2024.01.16。公开了一种3D荧光内窥镜、成像方法、装置及调试方法，属于内窥镜领域，内窥镜包括内窥镜套管、设置在内窥镜套管内的物镜和感光元件，物镜和感光元件之间设置有分光器件，分光器件将穿过物镜的光束分为射至感光元件的左可见光束、左荧光束、右可见光束和右荧光束，分光器件和感光元件之间设置有使左可见光束和左荧光束的光程一致的左调焦镜以及使右可见光束和右荧光束的光程一致的右调焦镜。该内窥镜可使四路光束同时成像于感光元件上，左右图像无时差，可见光图像和荧光图像也无时差，整个内窥镜只用到一个感光元件，可在较小的空间内实现时间、焦面的一致性，有利于实现3D荧光内窥镜的小型化和高灵敏度显示。上述已公开专利的技术不足之处是：共有4个感光元件，经过两次反射的光在感光元件上得到的图像为实物的镜像的镜像，方向与直接通过二向色镜21的光一致，便于在成像时进行图像处理操作；该系统只能用于成像内窥镜系统；不涉及到影像调优，只处理图像信号。

研究开发3D腹腔内窥镜影像装置，采用的GPU方案，数据直接到达GPU，3D摄像镜头端不处理，GPU能获取最原始的图像数据，GPU再完成ISP图像处理；所有的影像数据可植入AI算法，同时影像算法可实时更新，不需要重新烧录。进一步优化提高图像质量和精度，是十分有必要的。

发明内容

为克服现有医疗内窥镜影像技术的不足之处，发明一种3D腹腔内窥镜影像装置及方法。

一种3D腹腔内窥镜影像装置，包括冷光源、气腹机、摄像前端、摄像主机、后端装置；

所述的冷光源包括：冷光源触摸屏、冷光源模组、冷光源主板、冷光源电源、导光束；冷光源主板分别与冷光源触摸屏、冷光源模组、冷光源电源连接；所述的导光束，一端与冷光源连接，另一端与导光纤维连接；

所述的气腹机包括：气源管理模块、流量控制模块、压力监测模块、气腹机主板、安全保护模块、电源模块、排气系统；气腹机主板分别与气源管理模块、流量控制模块、压力监测模块、安全保护模块、电源模块、排气系统连接；

所述的内窥镜套管内集成有光学透镜成像部分，光学纤维通光部分；所述的导光纤维的一端与导光束连接，导光束与冷光源输出口连接，导光纤维的另一端设置在内窥镜套管的前端；气腹机的充气口设置在内窥镜套管的配套器械前端；

所述的摄像前端包括3D摄像镜头，所述的3D摄像镜头包括：滤光片、透镜组、感光元件、3D镜按键板、陀螺仪、3D镜主板、串行板、3D摄像镜头电缆、导光纤维；所述的透镜组平行设置二组；所述的感光元件平行设置二个；

所述的陀螺仪与按键板连接；所述的按键板与3D镜主板连接；

所述的滤光片设置在透镜组前端；透镜组设置在感光元件前端；所述的陀螺仪内置在3D摄像镜头按键板上；

所述的滤光片过滤掉干扰的杂色，将过滤的图像传输至感光元件上；

所述的感光元件通过3D摄像镜头电缆传输影像数据到摄像主机的输入接口，陀螺仪也将状态信息传输至摄像主机，摄像主机综合陀螺仪信息，对图像进行处理；

所述的摄像主机包括：主机主板、视频输出板、核心板、硬盘、解串板、触摸屏、主机电源、风扇、视频拓展板、网口、USB口、RS232口、信号输出口、显示器、信号连接线、信号输入接口；

所述的3D摄像镜头电缆是指GMSL3数据线；

所述的感光元件用于采集3D摄像镜头获取到的图像；

所述的核心板包括包括融合算法模块，所述的融合算法模块包括采集模块、DPC模块、BLC模块、WB模块、Demosaic模块、Gamma correct模块、CCM模块、Contrast/BrightnessEnhancement模块、Edge Enhancement模块、输出模块、AE Stat模块、AE Control模块、去噪声算法模块、总延迟算法模块、3D处理模块、3D重构引擎模块、组织优化模块、存储模块；主机主板分别与触摸屏、主机电源、风扇、视频转接板、信号输出口或其他主机接口连接；

所述的输出模块包括视频输出板、视频转接板、信号输出端；

所述的主板分别与主机触摸屏、视频转接板、信号输出端连接；所述的信号输出端包括信号输出口、网口、USB口、RS232口；

所述的后端装置包括：显示器，或远端装置；

所述的3D腹腔内窥镜影像装置的硬件连接关系是：透镜组的镜头通过滤光片采集目标区域的图像信息，将采集的图像信息，光学传输到感光元件，感光元件与3D镜主板连接；陀螺仪与按键板连接；按键板与3D镜主板连接；3D镜主板与串行板连接；串行板通过3D摄像镜头电缆与解串板连接，解串板与核心板连接，核心板同时与硬盘及视频输出板连接；视频输出板与视频拓展板连接，视频拓展板与信号输出口连接，信号输入接口与显示器连接；

所述的3D腹腔内窥镜影像装置的影像数据传输关系是：3D摄像镜头通过感光元件将采集的光学信号转换为电信号，并传输至3D镜主板，陀螺仪将感光元件的状态信息采集后输出至3D镜主板，串行板将3D镜主板的数据转换为串行数据，并且通过3D摄像镜头电缆高速传输至解串板中，解串板将串行数据转换为并行数据，并输入到摄像主机；摄像主机核心板融合算法模块读取连接3D摄像镜头的数量以及像素；匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，增强对比度算法模块进行预处理，得到单幅或多幅图像，作为状态1；提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；将状态2图像进行分配，识别为单幅图像，处理后分别输出光谱过滤后图像与正常图像，核心板与图像ISP处理模块连接，ISP处理模块与主机主板连接，主机主板输出图像数据到信号输出口，信号输出口输出到显示器，显示器显示调优后的图像，或通过信号输出口有线或无线网络传输到远端装置。

所述的主机触摸屏是触摸屏开关或是按键开关。

所述冷光源的显色指数≥90；所述冷光源的相关色温，5200-6200K；所述冷光源的红绿蓝光的幅通量比（以515nm~545nm波长范围的绿光辐通量Φeg为基准）是630nm～660nm，波长范围的红光辐通量Φer与Φeg比值应为0.67，允差均为±20；435nm~465nm波长范围的蓝光辐通量Φeb与Φeg比值应为1.3，允差为±20%；所述冷光源的红外截止性能产品在300nm~1700nm波长范围内的辐通量和光通量比值应不大于6mW/lm。

所述的滤光片，用于过滤杂光，只让400-650nm光进入感光元件。

所述的感光元件是CMOS。

所述的主机触摸屏或是按键开关。

所述的3D处理模块的步骤如下：

（1）预处理对齐：

#OpenCV+CUDA实现

gpu_left=cv.cuda_GpuMat(left_img)

gpu_right=cv.cuda_GpuMat(right_img)

#特征点检测与匹配

orb=cv.cuda_ORB_create()

kp_left, des_left=orb.detectAndComputeAsync(gpu_left)

kp_right, des_right=orb.detectAndComputeAsync(gpu_right)

#FLANN匹配（CUDA加速）

matcher=cv.cuda_DescriptorMatcher_createBFMatcher(cv.NORM_HAMMING)

matches=matcher.matchAsync(des_left, des_right)

#RANSAC单应性矩阵计算

H, _ =cv.cuda.findHomography(src_pts, dst_pts, cv.RANSAC, 1.0)

#实时透视变换

gpu_right_aligned=cv.cuda.warpPerspective(gpu_right, H, (width,height))

（2）代价计算：

建立像素级匹配关系，采用自适应代价函数融合

CAD：绝对差值（处理纹理丰富区）

CCensus：局部二值模式（抗光照变化）

CGradient：梯度相似度（保留边缘结构）

（3）代价聚合：

目标：抑制噪声，增强匹配鲁棒性

GPU加速方案：多路径SGM（Semi-Global Matching）

（4）视差计算与优化：

亚像素优化：

三次插值提升精度至0.01像素级

（5）深度图生成：

三角测量原理：

f：焦距（像素单位）

B：基线距（mm）

d：视差值（像素）

（6）深度图优化：

双边滤波：保留边缘的平滑

。

所述的3D重构引擎模块的步骤如下：

（1）表面重建：

改进泊松重建算法：

拓朴优化：

原始网络--空洞填补--各向异性平滑--特征保持简化--流行重构；

医学优先优化：

血管结构增强：基于U-Net识别血管区域进行局部加密

器械区域隔离：动态分割手术器械防止组织粘连

组织分层重建：区分黏膜/肌层/血管层（多材质渲染）

（2）动态更新引擎

增量式重构架构：

#1. 变化区域检测

changed_blocks=detect_changes(prev_depth, new_depth)

#2. 局部点云更新

for block in changed_blocks:

new_points=triangulate(block)

self.kdtree.update(new_points)

#3. 局部网格重构

update_mesh(changed_blocks)

性能优化：

变化区域检测：光流法+深度差分（<2ms）

局部更新：仅处理10-15%数据量。

所述的组织优化模块的步骤如下：

（1）组织光学特性补偿：

生物组织光传输模型：

（2）血管增强：

def enhance_vessels(depth, rgb):

#提取血管特征

vessel_mask=vessel_seg_net(rgb)

#深度图血管区域增强

enhanced_depth=depth + 0.3 * vessel_mask * sobel(depth)

#连续性保持

return anisotropic_diffusion(enhanced_depth)

（3）运动补偿算法：

通过光流估计器械运动速度

（4）组织弹性形变模拟：

M：质量矩阵

K：刚度矩阵

实时反馈手术器械操作形变。

3D腹腔内窥镜影像装置的图像处理方法步骤是：

步骤一、将滤光片设置于透镜组前端，用于过滤杂光，避免图像收到干扰，透镜组设置于感光元件前端；

步骤二、为了实现保障图像信息完整，高像素，2个CMOS将采集的图像转化为数字信号，并将并行信号分别传输传输至串行板；通过串行板进行串行处理，实现高速传输；

步骤三、采用GMSL3传输方式，得到6Gbps的传输速率，将图像送至解串板后，将串行信号转为并行信号；并将2个CMOS并行信号分别传输到核心板；

在这个过程中，陀螺仪将感光元件位置信息实时传输至核心板，以修正图像；

步骤四、核心板融合算法模块自动识别连接3D摄像镜头的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，总延迟算法模块、增强对比度算法模块、进行预处理，色彩还原，图像融合等处理，得到单幅或多幅图像，作为状态1；自动识别3D摄像镜头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率；

步骤五、提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；

步骤六、将状态2图像进行分配，识别为单幅图像或多幅图像，处理后分别输出光谱过滤后图像与正常图像；

步骤七、图像ISP处理模块继续处理单幅图像或多幅图像；

步骤八、3D处理模块将ISP处理好的单幅图像或多幅图像进行立体配准和深度计算，处理方式为预处理对齐、代价计算、代价聚合、视差计算、亚像素优化、深度图生成、深度图优化，生成最终深度图；

步骤九、3D重构引擎模块接收深度图，进行三维几何重建，包括点云生成、表面重建、拓扑优化、纹理映射、动态更新、实时渲染、实时光学追踪等方式，最终输出三维重建图；

步骤十、组织优化模块接收三维重建图，通过医学专用优化算法，包括但不限于组织光学特性补偿算法、血管增强算法、运动补偿算法、组织弹性形变模拟算法等进行组织的图像优化。

步骤十一、核心板将优化后的图像信号传输到信号输出口，将处理好的视频信号输出至显示器上，实时显示3D摄像镜头图像；

步骤十二、依据串口控制发出的指令，可以将核心板处理的视频信号存储到硬盘上或者通过网口进行传输。

本专利中名词定义和解释：

本专利是在申请人已申请专利《一种医疗影像调优装置》，专利申请号：202510278642.6；《一种医疗影像调优装置的优化方法》，专利申请号：202510361287.9；以及《一种4K腹腔内窥镜影像装置及影像优化方法》，专利申请号：202510711473.0；本专利《一种3D腹腔内窥镜影像装置及方法》是申请人持续改进创新的新技术专利。

气腹机：是腹腔镜外科手术中建立与维持气腹的公知技术专用设备，其工作原理是通过机械加压充气，向患者腹腔内灌注医用CO₂气体，使腹壁与脏器分开，从而形成手术操作与视野空间，避免穿刺套管造成脏器损伤。气源管理模块，气源接口：连接二氧化碳（CO₂）气瓶或中央供气系统，确保气体输入。流量控制模块，流量传感器：实时监测气体流速（单位：L/min），通常分为高流量（初始充气阶段）和低流量（维持阶段）。压力调节器：将高压气源（如气瓶）压力降至适合腹腔使用的安全范围（通常为30-50psi）。气体过滤装置：过滤气体中的杂质或微生物，保证气体无菌。压力监测模块，压力传感器：实时检测腹腔内压力（通常设定为12-15mmHg），避免压力过高（导致并发症）或过低（影响手术视野）。压力反馈系统：将监测数据反馈至控制模块，自动调节充气或排气。报警系统：在压力异常（如泄漏、超压）时触发声光报警，并暂停供气。气腹机主板，微处理器：核心控制芯片，处理传感器数据并调节流量、压力。用户界面：触摸屏或按键面板，供医护人员设置目标压力、流量等参数。安全保护模块，过压保护阀：机械或电子冗余设计，在系统故障时切断气源或释放多余气体。气体泄漏检测：通过流量与压力的异常变化判断泄漏，触发警报。温度控制：部分设备配备气体加温功能，避免冷气体进入腹腔引起患者不适。电源模块，主电源适配器：提供设备运行所需电力。排气系统，排气阀：手术结束时快速排出腹腔内气体，通常由电磁阀控制。

陀螺仪：bmi088，明确感光原件位置信息。

GMSL3：高速传输数据达到6Gbps。

MIPI全称为：Mobile Industry Processor Interface，由MIPI联盟开发，是一种高性能、低功耗、低成本的串行通信接口，目的是把设备内部的接口如3D摄像镜头、显示屏接口、射频/基带接口等标准化，从而减少设备设计的复杂程度和增加设计灵活性。

图像传感器：用于采集图像，像素达到4K。

滤光片：用于过滤杂光，保障自然光450-650nm光进入感光原件。

串行板使用芯片：MAX96789。解串板使用芯片：MAX96752。

4K医用内窥镜：传感器采集图像信号，实时输出到4K显示器，供医护人员手术过程中观看的影像系统。

Sensor input:传感器采集图像输入isp管道。

DPC(Dead Pixel Correction):图像坏点检测：检测传感器中存在的坏点，修正这些坏点，坏点为全黑环境下输出图像中的白点，高亮环境下输出图像中的黑点。

BLC(Black Level Compensation):黑电平补偿：从传感器的特性来看，传感器的最低输出电压是黑色电平电压。通过标定黑电平大小，消除黑电平对图像的影响。

WB(White Balance):白平衡：矫正传感器在不同色温下出现的颜色偏差，通过白色卡纸计算RGB三通道增益值，完成白平衡矫正。

Demosaic:去马赛克：单COMS采集的图像只包含RGB中的某一种颜色，通过插值处理还原图像缺失的其他颜色。

Gamma Correction：也称为伽马校正或伽马非线性化，是一种用于调整图像或视频信号的非线性运算或反运算技术。用于编码和解码线性亮度或RGB值，以匹配显示设备的非线性特性，此外一伽马矫正可以扩展或压缩图像的动态范围。

CCM(Color Correction Matrix):颜色矫正矩阵：由于传感器光谱响应的非理想性与环境光源的光谱分布不同的影响，会导致传感器图像与实际场景会存在较大的颜色差异，通过计算颜色校正矩阵可以调整图像颜色，使图像颜色更接近于实际颜色。

Contrast/Brightness Enhancement：通过增强图像对比度亮度，让非均匀光照下的图像的亮度分布更加均匀，图像通透感更强。

Edge Enhancement:边缘轮廓增强：利用边缘检测技术提取图像边缘，对图像边缘进行增强，提升图像锐度。

Output：RGB图像格式转换到YUV420输出。

AE Stat:自动曝光信息统计：统计图像亮度，方差，直方图等信息，用于评估当前图像是否存在欠曝或过曝。

AE Control：根据曝光统计信息评估当前曝光情况，计算下一帧的曝光参数，将下一帧曝光参数传回传感器，完成自动曝光控制。

‌对比度增强（Contrast Enhancement）‌是指通过调整图像的对比度，使其细节更加清晰，增强图像的可视效果。对比度是指图像中最亮和最暗部分之间的差异程度，通过增加这种差异，可以使图像的细节更加突出。

‌亮度增强（Brightness Enhancement）‌则是通过调整图像的亮度级别，使其更加明亮或暗淡。亮度是指图像的平均光照强度，通过调整亮度，可以改变图像的明暗程度，从而影响视觉效果。

自动识别3D摄像镜头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率。

CMOS：是互补金属氧化物半导体（Complementary Metal Oxide Semiconductor）的缩写；它是一种将晶体管、电阻器、电容器和二极管等元件以标准工艺制作在同一硅片上的集成技术。CMOS芯片具有功耗低、集成度高、抗干扰能力强等优点，被广泛应用于微处理器、数字信号处理器、存储器以及图像传感器等领域。

GMSL3：是第三代千兆多媒体串行链路（Gigabit Multimedia Serial Link）技术；高数据传输速率：GMSL3支持高达12Gbps的数据传输速率，能满足高清3D摄像镜头和其他高速数据传输设备的带宽需求；低延迟：实现低延迟的视频数据传输，确保系统的实时性。

EDF：智能调度中的EDF（Earliest Deadline First，最早截止期优先）实时任务管理是一种动态优先级调度算法，广泛应用于需严格满足任务时效性的场景。EDF实时任务管理通过动态优先级分配与数据驱动的决策机制，成为智能调度的核心技术之一。

核心板：采用定制英伟达AGX Orin 64G作为核心板，用于处理3D摄像镜头接收到的图像信息。

导光纤维：3D摄像镜头中的导光纤维是一种用于传输光线的组件，它主要由光纤束组成，能够将光源发出的光线高效地传输到被测物体上。在成像过程中，导光纤维起到了至关重要的作用。它确保了光线能够按照预定的路径投射到物体表面，并在物体表面形成特定的光斑或光条模式。

透镜组：透镜组是3D成像系统的核心部件之一，将体内组织的光线聚焦并传输到图像传感器上，从而形成清晰的图像。透镜组通过多个镜片的组合，将体内组织反射的光线聚焦到图像传感器（如CCD或CMOS）上，形成清晰的图像。

3D处理模块，也称为立体处理单元，或简称3D模块；3D处理模块是用于实现三维图形渲染、处理和交互的软件组件。

3D重构引擎模块：用于实现三维场景或物体数字化重建与处理的核心软件组件。

组织优化模块：3D内窥镜的组织优化模块，特指医学专用优化技术算法，旨在通过算法与成像技术提升手术视野的清晰度、精确性与安全性，其核心功能与技术优化包括：高精度3D表面重建；实时三维测量与计算：支持对器官、组织或病变的直线、曲线距离及面积进行实时测量，误差不超过1mm；多场景适配与扩展性：模块兼容腹腔镜、胸腔镜、妇科手术、泌尿外科手术及关节镜手术等多种微创场景，支持与3D测量系统的集成，满足不同科室的个性化需求。

存储模块：3D内窥镜的存储模块是3D系统的重要组成部分，负责采集、传输、存储和管理手术过程中生成的高清三维图像、视频及相关数据；功能包括数据安全性、传输效率、存储容量及兼容性，以满足临床与科研需求。

硬件技术指标

表一、摄像主机

表二、冷光源技术指标

本发明3D腹腔内窥镜影像装置及方法显著进步和创造性技术特点是：

技术路线采用：本专利的3D摄像镜头通过设计，将可能出现的图像处理问题移至后端，并且对于信号同步工作也移至后端处理，极大地减少了3D摄像镜头的内部使用，降低功耗，减少发热；为了保障图像质量，增加陀螺仪记录芯片的位置信息，通过后端的算法调整，得到合适的图像；透镜组平行设置二组；感光元件平行设置二个；采用GMSL3传输方式，可以得到6Gbps的传输速率，将图像送至后端解串板后，将串行信号转为并行信号，通过采用3D处理模块、3D重构引擎模块、组织优化模块、存储模块、降噪模块、总延迟算法模块等处理模块快速对图像处理；内窥镜3D摄像镜头方案实现流程：CMOS将采集的图像转化为数字信号，并将并行信号传输至串行板；陀螺仪将CMOS的状态信息采集后输出至串行板的信号输出口；串行板将并行信号编译为串行信号，并且高速传输至解串板中，可以实现十几米的高速传输；同时陀螺仪也将状态信息通过高速传输至后端，主机综合陀螺仪信息，对图像进行处理，因为整个图像传输中，图像信息被完整保留，因此可以得到更高质量的图像。主要是克服在3D摄像镜头模组端进行图像处理带来的图像信息丢失问题，克服在3D摄像镜头模组端进行图像处理还可能导致模组温度升高，损坏元器件，影响成像质量等问题；

实现的技术目的：主要目的是为了满足低延迟，高像素的传输，并且图像信息得到完整的保留，后端性能强大的主机更好地完成图像的处理，从而保障最终的图像质量。本专利数据直接到达GPU，3D摄像镜头端不处理，GPU能获取最原始的图像数据；再GPU完成ISP图像处理，所有的影像数据可植入AI算法，同时影像算法可实时更新，不需要重新烧录；采用后端处理方式，保存了图像信息。其他专利在3D摄像镜头前端进行图像处理，可能导致图像信息的缺失。

实现的技术效果：影像数据传输到显示屏实时显示播放，供医护工作人员参看。影像数据同时能够在GPU芯片处理器中进行处理，处理后的结果能够叠加在调优后的影像数据中传输到显示屏实时显示；调优后的影像数据还能够拷贝到外接存储设备，例如U盘中备份或网络传输到远端。

附图说明

图1是本发明的结构图示意图。

图2是本发明硬件结构示意图。

图3是本发明中的数据流程示意图。

图4是本发明中图像状态1至图像状态2的处理流程图本发明中模块数据流程图示意图。

图5是本发明中3D图像处理模块数据流程图示意图。

图6是本发明立体处理单元模块数据流程图示意图。

图7是本发明代价聚合数据流程示意图。

图8是本发明深度图优化模块数据流程图示意图。

图9是本发明3D重构引擎模块数据流程图示意图。

图10是本发明拓朴优化模块数据流程图示意图。

图中：冷光源4-1，冷光源触摸屏4-1-1，冷光源模组4-1-2，冷光源主板4-1-3，冷光源电源4-1-4，导光束4-1-5，气腹机4-2，气源管理模块4-2-1，流量控制模块4-2-2，压力监测模块4-2-3，气腹机主板4-2-4，安全保护模块4-2-5，电源模块4-2-6，排气系统4-2-7，3D摄像头5-1，滤光片5-1-1，透镜组5-1-2，透镜组5-1-2A，透镜组5-1-2B，CMOS5-1-3，CMOS5-1-3A，CMOS5-1-3B，3D镜按键板5-1-4，陀螺仪5-1-4-1，3D镜主板5-1-5，串行板5-1-6，导光纤维5-1-7，导光纤维5-1-7A，导光纤维5-1-7B，3D摄像镜头电缆5-2，摄像主机1-4，主机主板1-4-1，视频输出板1-4-1-1，核心板1-4-1-2，硬盘1-4-1-3，解串板1-4-1-4，主机触摸屏1-4-2，主机电源1-4-3，视频拓展板1-4-4，网口1-4-5，USB口1-4-6，RS232口1-4-7，信号输出口1-4-8，显示器1-5，信号连接线1-5-1，信号输入接口1-5-2。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种3D腹腔内窥镜影像装置及方法，包括内窥镜套管以及冷光源4-1、气腹4-2、CMOS5-1-3，摄像前端、摄像主机、后端装置；

所述的冷光源4-1，包括：冷光源触摸屏4-1-1，冷光源模组4-1-2，冷光源主板4-1-3，冷光源电源4-1-4，导光束4-1-5；冷光源主板4-1-3分别与冷光源触摸屏4-1-1，冷光源模组4-1-2，冷光源电源4-1-4连接，所述的导光束4-1-5，一端与冷光源4-1连接，另一端与导光纤维5-1-7连接；

所述的气腹机4-2，包括：气源管理模块4-2-1，流量控制模块4-2-2，压力监测模块4-2-3，气腹机主板4-2-4，安全保护模块4-2-5，电源模块4-2-6，排气系统4-2-7，气腹机主板分别与气源管理模块4-2-1，流量控制模块4-2-2，压力监测模块4-2-3，安全保护模块4-2-5，电源模块4-2-6，排气系统4-2-7连接；

所述的内窥镜套管内集成有光学透镜成像部分，光学纤维通光部分；导光纤维5-1-7的一端与导光束4-1-5连接，导光纤维5-1-7的另一端设置在内窥镜套管的前端；气腹机4-2的充气口设置在内窥镜套管的配套器械前端；

所述的摄像前端包括：所述的3D摄像镜头5-1包括：滤光片5-1-1、透镜组5-1-2、CMOS5-1-3、3D镜按键板5-1-4、陀螺仪5-1-4-1、3D镜主板5-1-5、串行板5-1-6、导光纤维5-1-7、3D摄像镜头电缆5-2；所述的透镜组5-1-2平行设置二组；所述的CMOS5-1-3平行设置二个；

所述的陀螺仪5-1-4-1与3D镜按键板5-1-4连接；所述的3D镜按键板5-1-4与3D镜主板5-1-5连接；

所述的陀螺仪5-1-4-1内置在3D镜按键板5-1-4上；

所述的滤光片5-1-1过滤掉干扰的杂色，将过滤的图像传输至CMOS5-1-3上；

所述的CMOS5-1-3通过3D摄像镜头电缆5-2传输影像数据到摄像主机1-4的输入接口，陀螺仪5-1-4-1也将状态信息传输至摄像主机1-4，摄像主机1-4综合陀螺仪5-1-4-1信息，对图像进行处理；

所述的摄像主机1-4包括：主机主板1-4-1、视频输出板1-4-1-1、核心板1-4-1-2、硬盘1-4-1-3、解串板1-4-1-4、主机触摸屏1-4-2、主机电源1-4-3、风扇、视频拓展板1-4-4、网口1-4-5、USB口1-4-6、RS232口1-4-7、信号输出口1-4-8、显示器1-5、信号连接线1-5-1、信号输入接口1-5-2；

所述的3D摄像镜头电缆5-2是指GMSL3数据线；

所述的CMOS5-1-3用于采集3D摄像镜头5-1获取到的图像；

所述的主机主板1-4-1包括：核心板1-4-1-2；所述的核心板1-4-1-2包括融合算法模块，所述的融合算法模块包括采集模块、DPC模块、BLC模块、WB模块、Demosaic模块、Gammacorrect模块、CCM模块、Contrast/Brightness Enhancement模块、Edge Enhancement模块、输出模块、AE Stat模块、AE Control模块、去噪声算法模块、总延迟算法模块、3D处理模块、3D重构引擎模块、组织优化模块、存储模块；

主机主板1-4-1分别与触摸屏1-4-2、主机电源1-4-3、风扇、视频转接板1-4-4、信号输出接口1-5-2或其他主机接口连接；

所述的输出模块包括视频输出板1-4-1-1、视频转接板1-4-4、信号输出端；所述的信号输出端包括信号输出口1-4-8、网口1-4-51-4-6、USB口、RS232口1-4-7；

所述的后端装置包括：显示器1-5，或远端接受装置；

所述的3D腹腔内窥镜影像装置的硬件连接关系是：透镜组5-1-2的镜头通过滤光片5-1-2采集目标区域的图像信息，将采集的图像信息光学传输至CMOS5-1-3上，CMOS5-1-3与3D镜主板5-1-5连接；陀螺仪5-1-4-1与3D镜主板5-1-5连接；3D镜按键板5-1-4与3D镜主板5-1-5连接；3D镜主板5-1-5与串行板5-1-6连接；串行板5-1-6通过3D摄像镜头电缆5-2与解串板1-4-1-4连接，解串板1-4-1-4与核心板1-4-1-2连接，核心板1-4-1-2同时与硬盘1-4-1-3及视频输出板1-4-1-1连接；视频输出板1-4-1-1与视频拓展板1-4-4连接，视频拓展板1-4-4与后端装置有线或无线网络连接，后端装置中显示器1-5显示医疗影像；

所述的3D腹腔内窥镜影像装置的影像数据传输关系是：3D摄像镜头1-2通过CMOS5-1-3将采集的光学信号转换为电信号，并传输至3D镜主板5-1-5，陀螺仪5-1-4-1将CMOS5-1-3的状态信息采集后输出至3D镜主板5-1-5，串行板5-1-6将3D镜主板5-1-5的数据转换为串行数据，并且通过3D摄像镜头电缆5-2高速传输至解串板1-4-1-4中，解串板1-4-1-4将串行数据转换为并行数据，并输入到摄像主机1-4；

3D摄像镜头将采集的图像信息转化为数字信号，3D镜主板5-1-5将信号传输至串行板5-1-6；陀螺仪5-1-4-1将CMOS5-1-3的状态信息采集后输出至串行板5-1-6中的信号输入口；串行板将并行信号编译为串行信号，并且高速传输至解串板1-4-1-4中；同时陀螺仪5-1-4-1也将状态信息传输至摄像主机1-4的输入接口，3D摄像镜头电缆1-3传输影像数据到摄像主机1-4的输入接口；摄像主机1-4综合陀螺仪5-1-4-1信息，对图像进行处理；设置在摄像主机1-4核心板1-4-1-2融合算法模块读取连接3D摄像镜头1-2的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，增强对比度算法模块进行预处理，得到单幅或多幅图像，作为状态1；提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；将状态2图像进行分配，识别为单幅图像，处理后分别输出光谱过滤后图像与正常图像，摄像主机核心板1-4-1-2与图像ISP处理模块连接，ISP处理模块与主机主板1-4-1连接，主机主板1-4-1与视频输出板1-4-1-1连接，视频输出板1-4-1-1与视频拓展板1-4-4连接，视频拓展板1-4-4与与主机信号输出口1-4-8连接，主机信号输出口1-4-8与显示器1-5连接，或通过信号输出端接口有线或无线网络传输到远端装置，后端装置中的显示器1-5显示调优后的图像。透镜组5-1-2的镜头通过滤光片5-1-2采集目标区域的图像信息，将采集的图像信息光学传输至CMOS5-1-3上，CMOS5-1-3与3D镜主板5-1-5连接；陀螺仪5-1-4-1与3D镜主板5-1-5连接；3D镜按键板5-1-4与3D镜主板5-1-5连接；3D镜主板5-1-5与串行板5-1-6连接；串行板5-1-6通过3D摄像镜头电缆5-2与解串板1-4-1-4连接，解串板1-4-1-4与核心板1-4-1-2连接，核心板1-4-1-2同时与硬盘1-4-1-3及视频输出板1-4-1-1连接；视频输出板1-4-1-1与视频转接板1-4-4连接，视频转接板1-4-4与后端装置有线或无线网络连接，后端装置中显示器1-5显示调优医疗影像；

所述的3D腹腔内窥镜影像装置的影像数据传输关系是：3D摄像镜头将采集的图像信息转化为数字信号，3D镜主板5-1-5将并行信号传输至串行板5-1-6；陀螺仪5-1-4-1将CMOS5-1-3的状态信息采集后输出至串行板5-1-6中的信号输入口；串行板5-1-6将并行信号编译为串行信号，并且高速传输至解串板1-4-1-4中；同时陀螺仪5-1-4-1也将状态信息传输至摄像主机1-4的输入接口，3D摄像镜头电缆1-3传输影像数据到摄像主机1-4的输入接口，摄像主机1-4综合陀螺仪5-1-4-1信息，对图像进行处理；设置在摄像主机1-4核心板1-4-1-2融合算法模块自动识别连接3D摄像镜头1-2的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，总延迟算法模块，增强对比度算法模块进行预处理，得到单幅或多幅图像，作为状态1；提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；将状态2图像进行分配，识别为单幅图像，处理后分别输出光谱过滤后图像与正常图像，摄像主机核心板1-4-1-2与图像ISP处理模块连接，ISP处理模块与主机主板1-4-1连接，主机主板1-4-1与视频输出板1-4-1-1连接，视频输出板1-4-1-1与视频转接板1-4-4连接，视频转接板1-4-4与信号输出口1-4-8连接，信号输出口1-4-8与显示器1-5连接，或通过信号输出端接口有线或无线网络传输到远端装置，后端装置中的显示器1-5显示调优后的图像。

所述的滤光片5-1-2，用于过滤杂光，只让400-650nm光进入CMOS5-1-3。

所述的图像信息包括医用内窥镜的医疗影像原始数据。

所述的3D摄像镜头5-1是指读取1路的分辨率4k、帧率60帧的医疗影像原始数据。

所述的主机触摸屏1-4-2是触摸屏开关。

3D腹腔内窥镜影像装置的图像处理方法步骤是：

步骤一、将滤光片5-1-4-1设置于透镜组5-1-2前端，用于过滤杂光，避免图像收到干扰，透镜组5-1-2设置于感光元件前端；

步骤二、为了实现保障图像信息完整，高像素，2个CMOS5-1-3将采集的图像转化为数字信号，并将并行信号分别传输传输至串行板5-1-6；通过串行板5-1-6进行串行处理，实现高速传输；

步骤三、采用GMSL3传输方式，得到6Gbps的传输速率，将图像送至解串板1-4-1-4后，将串行信号转为并行信号；并将2个CMOS5-1-3并行信号分别传输到核心板；

在这个过程中，陀螺仪5-1-4-1将感光元件5-1-3位置信息实时传输至核心板1-4-1-2，以修正图像；

步骤四、核心板1-4-1-2融合算法模块自动识别连接3D摄像镜头的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，总延迟算法模块、增强对比度算法模块、进行预处理，色彩还原，图像融合等处理，得到单幅或多幅图像，作为状态1；自动识别3D摄像镜头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率；

步骤五、提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；

步骤六、将状态2图像进行分配，识别为单幅图像或多幅图像，处理后分别输出光谱过滤后图像与正常图像；

步骤七、图像ISP处理模块继续处理单幅图像或多幅图像；

步骤八、3D处理模块将ISP处理好的单幅图像或多幅图像进行立体配准和深度计算，处理方式为预处理对齐、代价计算、代价聚合、视差计算、亚像素优化、深度图生成、深度图优化，生成最终深度图；

步骤九、3D重构引擎模块接收深度图，进行三维几何重建，包括点云生成、表面重建、拓扑优化、纹理映射、动态更新、实时渲染、实时光学追踪等方式，最终输出三维重建图；

步骤十、组织优化模块接收三维重建图，通过医学专用优化算法，包括组织光学特性补偿算法、血管增强算法、运动补偿算法、组织弹性形变模拟算法等进行组织的图像优化。

步骤十一、核心板1-4-1-2将优化后的图像信号传输到信号输出口1-4-8，将处理好的视频信号输出至显示器1-5上，实时显示3D摄像镜头图像；

步骤十二、依据串口控制发出的指令，可以将核心板1-4-1-2处理的视频信号存储到硬盘上或者通过网口1-4-5进行传输。

所述的3D处理模块的步骤如下：参见说明书附图图6，

（1）预处理对齐：

#OpenCV+CUDA实现

gpu_left=cv.cuda_GpuMat(left_img)

gpu_right=cv.cuda_GpuMat(right_img)

#特征点检测与匹配

orb=cv.cuda_ORB_create()

kp_left, des_left=orb.detectAndComputeAsync(gpu_left)

kp_right, des_right=orb.detectAndComputeAsync(gpu_right)

#FLANN匹配（CUDA加速）

matcher=cv.cuda_DescriptorMatcher_createBFMatcher(cv.NORM_HAMMING)

matches=matcher.matchAsync(des_left, des_right)

#RANSAC单应性矩阵计算

H, _ = cv.cuda.findHomography(src_pts, dst_pts, cv.RANSAC, 1.0)

#实时透视变换

gpu_right_aligned=cv.cuda.warpPerspective(gpu_right, H, (width,height))

（2）代价计算：

参见说明书附图图7，

建立像素级匹配关系，采用自适应代价函数融合

CAD：绝对差值（处理纹理丰富区）

CCensus：局部二值模式（抗光照变化）

CGradient：梯度相似度（保留边缘结构）

（3）代价聚合：

目标：抑制噪声，增强匹配鲁棒性

GPU加速方案：多路径SGM（Semi-Global Matching）

（4）视差计算与优化：

亚像素优化：

三次插值提升精度至0.01像素级

（5）深度图生成：

三角测量原理：

f：焦距（像素单位）

B：基线距（mm）

d：视差值（像素）

（6）深度图优化：参见说明书胡图图8，

双边滤波：保留边缘的平滑

。

所述的3D重构引擎模块的步骤如下：参见说明书附图图9，

（1）表面重建：

改进泊松重建算法：

拓朴优化：参见说明书附图图10，

原始网络--空洞填补--各向异性平滑--特征保持简化--流行重构；

医学优先优化：

血管结构增强：基于U-Net识别血管区域进行局部加密

器械区域隔离：动态分割手术器械防止组织粘连

组织分层重建：区分黏膜/肌层/血管层（多材质渲染）

（2）动态更新引擎

增量式重构架构：

#1. 变化区域检测

changed_blocks=detect_changes(prev_depth, new_depth)

#2. 局部点云更新

for block in changed_blocks:

new_points=triangulate(block)

self.kdtree.update(new_points)

#3. 局部网格重构

update_mesh(changed_blocks)

性能优化：

变化区域检测：光流法+深度差分（<2ms）

局部更新：仅处理10-15%数据量。

所述的组织优化模块的步骤如下：

（1）组织光学特性补偿：

生物组织光传输模型：

（2）血管增强：

def enhance_vessels(depth, rgb):

#提取血管特征

vessel_mask=vessel_seg_net(rgb)

#深度图血管区域增强

enhanced_depth=depth + 0.3 * vessel_mask * sobel(depth)

#连续性保持

return anisotropic_diffusion(enhanced_depth)

（3）运动补偿算法：

通过光流估计器械运动速度

（4）组织弹性形变模拟：

M：质量矩阵

K：刚度矩阵

实时反馈手术器械操作形变。

实施例2

所述的主机触摸屏1-4-2是按键开关。

其余同上。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种3D腹腔内窥镜影像装置，其特征在于：包括冷光源、气腹机、摄像前端、摄像主机、后端装置；

所述的冷光源包括：冷光源触摸屏、冷光源模组、冷光源主板、冷光源电源、导光束；冷光源主板分别与冷光源触摸屏、冷光源模组、冷光源电源连接；所述的导光束，一端与冷光源连接，另一端与导光纤维连接；

所述的气腹机包括：气源管理模块、流量控制模块、压力监测模块、气腹机主板、安全保护模块、电源模块、排气系统；气腹机主板分别与气源管理模块、流量控制模块、压力监测模块、安全保护模块、电源模块、排气系统连接；

所述的内窥镜套管内集成有光学透镜成像部分，光学纤维通光部分；导光纤维的另一端设置在内窥镜套管的前端；气腹机的充气口设置在内窥镜套管的配套器械前端；

所述的摄像前端包括3D摄像镜头，所述的3D摄像镜头包括：滤光片、透镜组、感光元件、3D镜按键板、陀螺仪、3D镜主板、串行板、3D摄像镜头电缆、导光纤维；所述的透镜组平行设置二组；所述的感光元件平行设置二个；

所述的陀螺仪与按键板连接；所述的按键板与3D镜主板连接；

所述的滤光片设置在透镜组前端；透镜组设置在感光元件前端；所述的陀螺仪内置在3D摄像镜头按键板上；

所述的滤光片过滤掉干扰的杂色，将过滤的图像传输至感光元件上；

所述的感光元件通过3D摄像镜头电缆传输影像数据到摄像主机的输入接口，陀螺仪也将状态信息传输至摄像主机，摄像主机综合陀螺仪信息，对图像进行处理；

所述的摄像主机包括：主机主板、视频输出板、核心板、硬盘、解串板、触摸屏、主机电源、风扇、视频拓展板、网口、USB口、RS232口、信号输出口、显示器、信号连接线、信号输入接口；

所述的3D摄像镜头电缆是指GMSL3数据线；

所述的感光元件用于采集3D摄像镜头获取到的图像；

所述的核心板包括包括融合算法模块，所述的融合算法模块包括采集模块、DPC模块、BLC模块、WB模块、Demosaic模块、Gamma correct模块、CCM模块、Contrast/BrightnessEnhancement模块、Edge Enhancement模块、输出模块、AE Stat模块、AE Control模块、去噪声算法模块、总延迟算法模块、3D处理模块、3D重构引擎模块、组织优化模块、存储模块；主机主板分别与触摸屏、主机电源、风扇、视频转接板、信号输出口或其他主机接口连接；

所述的输出模块包括视频输出板、视频转接板、信号输出端；

所述的主板分别与主机触摸屏、视频转接板、信号输出端连接；所述的信号输出端包括信号输出口、网口、USB口、RS232口；

所述的后端装置包括：显示器，或远端装置；

所述的3D腹腔内窥镜影像装置的硬件连接关系是：透镜组的镜头通过滤光片采集目标区域的图像信息，将采集的图像信息，光学传输到感光元件，感光元件与3D镜主板连接；陀螺仪与按键板连接；按键板与3D镜主板连接；3D镜主板与串行板连接；串行板通过3D摄像镜头电缆与解串板连接，解串板与核心板连接，核心板同时与硬盘及视频输出板连接；视频输出板与视频拓展板连接，视频拓展板与信号输出口连接，信号输入接口与显示器连接；

所述的3D腹腔内窥镜影像装置的影像数据传输关系是：3D摄像镜头通过感光元件将采集的光学信号转换为电信号，并传输至3D镜主板，陀螺仪将感光元件的状态信息采集后输出至3D镜主板，串行板将3D镜主板的数据转换为串行数据，并且通过3D摄像镜头电缆高速传输至解串板中，解串板将串行数据转换为并行数据，并输入到摄像主机；摄像主机核心板融合算法模块读取连接3D摄像镜头的数量以及像素；匹配内置的图像处理包括算法模块，通过曝光算法模块，去噪声算法模块，增强对比度算法模块进行预处理，得到单幅或多幅图像，作为状态1；提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；将状态2图像进行分配，识别为单幅图像，处理后分别输出光谱过滤后图像与正常图像，核心板与图像ISP处理模块连接，ISP处理模块与主机主板连接，主机主板输出图像数据到信号输出口，信号输出口输出到显示器，显示器显示调优后的图像，或通过信号输出口有线或无线网络传输到远端装置。

2.如权利要求1所述的3D腹腔内窥镜影像装置，其特征在于：所述的主机触摸屏是触摸屏开关或是按键开关。

3.如权利要求1所述的3D腹腔内窥镜影像装置，其特征在于：所述冷光源的显色指数≥90；所述冷光源的相关色温，5200-6200K；所述冷光源的红绿蓝光的幅通量比是630nm～660nm，波长范围的红光辐通量Φer与Φeg比值应为0.67，允差均为±20；435nm~465nm波长范围的蓝光辐通量Φeb与Φeg比值应为1.3，允差为±20%；所述冷光源的红外截止性能产品在300nm~1700nm波长范围内的辐通量和光通量比值应不大于6mW/lm。

4.如权利要求1所述的3D腹腔内窥镜影像装置，其特征在于：所述的感光元件是CMOS。

5.如权利要求1所述的3D腹腔内窥镜影像装置的方法，其特征在于：所述的3D腹腔内窥镜影像装置的方法步骤是：

步骤一、将滤光片设置于透镜组前端，用于过滤杂光，避免图像收到干扰，透镜组设置于感光元件前端；

步骤二、为了实现保障图像信息完整，高像素，2个CMOS将采集的图像转化为数字信号，并将并行信号分别传输传输至串行板；通过串行板进行串行处理，实现高速传输；

步骤三、采用GMSL3传输方式，得到6Gbps的传输速率，将图像送至解串板后，将串行信号转为并行信号；并将2个CMOS并行信号分别传输到核心板；

在这个过程中，陀螺仪将感光元件位置信息实时传输至核心板，以修正图像；

步骤四、核心板融合算法模块自动识别连接3D摄像镜头的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，总延迟算法模块、增强对比度算法模块、进行预处理，色彩还原，图像融合等处理，得到单幅或多幅图像，作为状态1；自动识别3D摄像镜头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率；

步骤五、提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；

步骤六、将状态2图像进行分配，识别为单幅图像或多幅图像，处理后分别输出光谱过滤后图像与正常图像；

步骤七、图像ISP处理模块继续处理单幅图像或多幅图像；

步骤八、3D处理模块将ISP处理好的单幅图像或多幅图像进行立体配准和深度计算，处理方式为预处理对齐、代价计算、代价聚合、视差计算、深度图生成、深度图优化，生成最终深度图；

步骤九、3D重构引擎模块接收深度图，进行三维几何重建，包括表面重建、拓扑优化、纹理映射、动态更新、实时渲染方式，最终输出三维重建图；

步骤十、组织优化模块接收三维重建图，通过医学专用优化算法，包括组织光学特性补偿算法、血管增强算法、运动补偿算法、组织弹性形变模拟算法进行组织的图像优化；

步骤十一、核心板将优化后的图像信号传输到信号输出口，将处理好的视频信号输出至显示器上，实时显示3D摄像镜头图像；

步骤十二、依据串口控制发出的指令，可以将核心板处理的视频信号存储到硬盘上或者通过网口进行传输。

6.如权利要求1或5所述的3D腹腔内窥镜影像装置的方法，其特征在于：所述的3D处理模块的步骤如下：

（1）预处理对齐：

#OpenCV+CUDA实现

gpu_left=cv.cuda_GpuMat(left_img)

gpu_right=cv.cuda_GpuMat(right_img)

#特征点检测与匹配

orb=cv.cuda_ORB_create()

kp_left, des_left=orb.detectAndComputeAsync(gpu_left)

kp_right, des_right=orb.detectAndComputeAsync(gpu_right)

#FLANN匹配（CUDA加速）

matcher=cv.cuda_DescriptorMatcher_createBFMatcher(cv.NORM_HAMMING)

matches=matcher.matchAsync(des_left, des_right)

#RANSAC单应性矩阵计算

H, _=cv.cuda.findHomography(src_pts, dst_pts, cv.RANSAC, 1.0)

#实时透视变换

gpu_right_aligned=cv.cuda.warpPerspective(gpu_right, H, (width, height))

（2）代价计算：

建立像素级匹配关系，采用自适应代价函数融合

CAD：绝对差值（处理纹理丰富区）

CCensus：局部二值模式（抗光照变化）

CGradient：梯度相似度（保留边缘结构）

（3）代价聚合：

目标：抑制噪声，增强匹配鲁棒性

GPU加速方案：多路径SGM（Semi-Global Matching）

（4）视差计算与优化：

亚像素优化：

三次插值提升精度至0.01像素级

（5）深度图生成：

三角测量原理：

f：焦距（像素单位）

B：基线距（mm）

d：视差值（像素）

（6）深度图优化：

双边滤波：保留边缘的平滑

。

7.如权利要求1或5所述的3D腹腔内窥镜影像装置的方法，其特征在于：所述的3D重构引擎模块的步骤如下：

（1）表面重建：

改进泊松重建算法：

拓朴优化：

原始网络--空洞填补--各向异性平滑--特征保持简化--流行重构；

医学优先优化：

血管结构增强：基于U-Net识别血管区域进行局部加密

器械区域隔离：动态分割手术器械防止组织粘连

组织分层重建：区分黏膜/肌层/血管层（多材质渲染）；

（2）动态更新引擎

增量式重构架构：

#1. 变化区域检测

changed_blocks=detect_changes(prev_depth, new_depth)

#2. 局部点云更新

or block in changed_blocks:

new_points = triangulate(block)

self.kdtree.update(new_points)

#3. 局部网格重构

update_mesh(changed_blocks)；

性能优化：

变化区域检测：光流法+深度差分（<2ms）

局部更新：仅处理10-15%数据量。

8.如权利要求1或5所述的3D腹腔内窥镜影像装置的方法，其特征在于：所述的组织优化模块的步骤如下：

（1）组织光学特性补偿：

生物组织光传输模型：

；

（2）血管增强：

def enhance_vessels(depth, rgb):

#提取血管特征

vessel_mask=vessel_seg_net(rgb)

#深度图血管区域增强

enhanced_depth=depth + 0.3 * vessel_mask * sobel(depth)

#连续性保持

return anisotropic_diffusion(enhanced_depth)；

（3）运动补偿算法：

通过光流估计器械运动速度；

（4）组织弹性形变模拟：

M：质量矩阵

K：刚度矩阵

实时反馈手术器械操作形变。