一种结合分割大模型的无监督单目内窥镜深度估计方法

本发明公开了一种结合分割大模型的无监督单目内窥镜深度估计方法，网络框架包含深度预测网络ΦD、位姿估计网络ΦT、本征分解模块ΦI和合成重建模块ΦL。其中深度估计网络采用深度大模型微调技术，结合分割大模型中丰富的语义先验信息，使用分解合成损失、反射损失、映射合成损失和由分割掩码引导的边缘感知深度平滑损失函数综合训练。本发明中语义增强分支网络采用分割大模型的网络架构，精准提取图像语义信息，区分不同组织、器官等结构，建立对手术图像的语义认知体系。通过微调编码器，获取目标图像语义特征，与深度特征融合后，使深度估计模型能结合上下文语义优化深度预测。同时，利用分割大模型生成的自动分割掩码图，计算掩码引导的深度平滑损失，进一步约束深度估计结果的合理性。本发明方案利用了分割大模型中的编码器和自动分割掩码，充分结合大模型中的语义先验信息，提升深度估计效果，进一步加强内窥镜微创手术的操作精度和安全性能。