多模态多视角内腔镜图像分割方法、装置、设备及介质

本申请公开了多模态多视角内腔镜图像分割方法、装置、设备及介质，涉及人工智能技术领域，方法包括：获取窄带光图像和可见光图像；分别提取模态特征和视角特征；融合模态特征得到多模态融合特征；融合视角特征得到多视角融合特征；将多模态融合特征和多视角融合特征进行补全、配准和融合，得到联合特征；分别根据模态特征、视角特征与联合特征分割得到对应的分割区域。本申请过空间配准和特征融合，解决了窄带光图像和可见光图像模态间空间不配准的问题，提高了多模态图像的分割精度；自适应特征学习机制增强了对多视角场景的适应性，有效应对视角变化对分割结果的影响；结合深度学习的多模态多视角分割网络，有效提升了病变区域的检测精度。