一种基于多元交互学习的多机器人协同室内场景语义分割方法和系统

本发明属于计算机视觉图像信号处理领域，涉及一种基于多元交互学习的多机器人协同室内场景语义分割方法和系统。该方法包括：采用基于双重注意力集成模块的图像特征编码器对RGB图像和深度图像实现跨模态特征融合；采用维度各向异性注意力增强模块，通过多维方向注意力机制进行特征优化；采用跨任务协同交互模块，利用基于特征层面的交互机制在不同任务之间共享信息；在多任务异构解码阶段，每个机器人使用任务特定的解码器执行特定的任务，实现语义分割、实例分割和场景分类；采用联合优化损失函数对多任务进行端到端联合训练，实现整体的优化与协同感知性能提升。本发明能够提升在执行复杂室内场景语义分割和其他视觉任务时的精度和鲁棒性。