基于帧间差分的交通视频问答方法

本发明公开了基于帧间差分的交通视频问答方法，基于交通视频的局部突变特性，创新性地在图像预训练模型基础上构建帧间差分提取模块：通过相邻帧的像素级差异计算，有效捕捉运动目标的突变特征。设计门控特征融合机制，在融合问题特征的基础上，动态对齐差分特征与视觉特征的空间分布，实现静态场景与动态变化的协同表征。为增强跨模态特征对齐，提出了层次对比学习策略：在底层实施差分‑视觉特征对比以强化局部动态感知，在高层进行文本‑视觉对比以建立全局语义关联。实验结果表明，本发明在SUTD‑TrafficQA基准数据集上提高了分类性能。