一种基于多模态的轨道异物入侵事件捕捉系统及方法

本发明属于轨道安全监测的技术领域，更具体地，涉及一种基于多模态的轨道异物入侵事件捕捉系统及方法。所述方法包括定期采集轨道线路的图像序列；对图像序列中的每对相邻图像进行变化检测，识别出变化区域；对图像中的变化区域进行多模态特征提取；利用多模态提取到的图像特征和文本特征进行变化类型判断；然后生成文本答案和对应的视觉掩码，进一步验证变化类型；事件捕捉模块根据变化类型，确定是否为异物入侵事件，如果是异物入侵事件，则触发报警并记录事件信息。本发明以解决了现有技术在捕捉异物入侵时无法准确区分变化类型的问题。