一种面向高速公路场景的可解释分层推理多模态方法和系统

本申请属于电数字数据处理技术领域，具体而言涉及一种面向高速公路场景的可解释分层推理多模态方法和系统，所述方法包括：获取多模态数据，并对多模态数据进行预处理；将预处理后的多模态数据进行特征编码和语义融合形成统一特征；统一特征通过分层递归协同推理，包括通过高层部分进行全局语义理解和长期推理得到最终语义状态；通过低层部分进行数据的更新、细粒度计算与补充推断；以最终语义状态为条件，基于高层部分和低层部分的输出通过编码器生成自然语言回答，通过计算高层部分和低层部分的解释分布以计算针对自然语言回答的贡献占比；自然语言回答进行可解释性分析后，对生成的每个结果进行因果激活映射计算，得到可视化解释图。