面向航海场景的多模态对抗优化三维结构补全方法及装置

本发明一种面向航海场景的多模态对抗优化三维结构补全方法及装置，涉及计算机视觉领域，方法包括：S1，获取极少点云数据、RGB图像和声纳数据并进行数据增强，分为训练集和测试集；S2，构建多模态对抗网络，其生成器包括图像编码器、点云特征提取模块、声纳编码器、融合与先验引进模块、3D解码器、上采样模块和输出模块；生成器输入增强数据，进行编码、特征融合和解码后输出3D补全表示；S3，获取扰动样本数据，将其和训练集输入网络进行训练，得到训练好的多模态对抗网络；S4，将测试集输入训练好的多模态对抗网络，得到三维结构的3D补全表示。本发明通过梯度互依赖、先验向量嵌入、对抗式优化与在线更新，能够生成完整三维形状并适应海况变化。