一种基于跨模态对齐的特种车辆任务状态识别方法及装置

本发明公开了一种基于跨模态对齐的特种车辆任务状态识别方法，包括：构建图像‑音频跨模态检索模型，通过分层提取特征实现图像特征与音频特征的深度交互；利用前向与后向序列到序列模型双路架构，对图像中的车辆外观特征与音频中的警笛频谱特征进行多粒度时空关联分析，动态筛除跨模态冗余信息；基于注意力权重自适应融合有效特征，输出特种车辆任务状态判别结果及跨模态置信度评估；本发明实现了在复杂环境下对特种车辆任务状态的准确识别，为智能交通中自动驾驶避让正在执行任务的特种车辆提供良好的技术支撑，解决了传统单模态识别在复杂环境下可靠性不足、现有跨模态方法特征对齐粒度粗糙及动态适应性差的问题。