基于全景分割与关系检测的铁路场景理解方法及系统

本发明提供一种基于全景分割与关系检测的铁路场景理解方法及系统，属于基于计算机视觉的铁路运行安全检测技术领域，将全景分割模型与关系检测模型集成在一个端到端的模型中，采用多模态多类别损失函数叠加的方式进行模型训练，得到场景理解模型，实现铁路场景中各目标的分割与目标之间关系的判断；场景理解模型包括多维度特征增强模块、交叉耦合式多模态编解码网络以及多元多模态预测模块。本发明将环境中的各个目标进行像素级分割，并精确推断各目标之间的相对关系；耦合结构的存在，不同模态的信息在这个过程中会互相引导，实现全景分割任务与关系检测任务的相互协调；多类别集中式损失函数，平衡不同模态任务的收敛程度，避免单一模态失效。