一种结合迁移学习和注意力机制的内腔图像深度估计方法

深度估计在医学影像中具有重要应用价值，可以弥补医生在手术过程中由于观察目镜感官受限而难以获得精确深度信息的不足。针对内腔手术场景动态多变、软组织尺度微小等原因导致深度估计精度不高的问题，本发明提出了一种结合迁移学习和注意力机制的内腔图像深度估计方法。通过利用U‑net网络对内腔图像进行多尺度的特征提取，并结合通道和空间注意力来优化解码的精度，利用多层级深度优化对图像深度进行估计。同时，针对内腔环境中数据集较少、缺少可靠真值的问题，利用室内数据集对MVSNet网络进行预训练，再将学到的特征和权重利用迁移学习对目标内腔数据集的训练网络进行微调。并针对内腔表面图像引入邻域平滑损失项约束具有相似外观的相邻像素，达到生成平滑深度表面的效果。实验表明，本发明的深度估计网络在Hamlyn公开内腔数据集上显著提高了内腔图像的深度估计精度和完整性。