摘要
本发明涉及计算机技术领域,提出一种基于视频的交通事故分析方法、装置、设备及介质,方法包括:提取交通视频的视频特征,以及提取已标记的交通场景问题的文本特征;训练projector模型将视频特征与文本特征对齐并将二者拼接,得到视频‑问题文本特征;基于视频‑问题文本特征,通过大语言模型生成与已标记的交通场景问题对应的预测答案,基于预测答案及对应标记更新projector模型,返回提取视频特征及文本特征的步骤,直至达到预设条件;基于训练好的projector模型及大语言模型分析交通事故发生原因。本方案对交通事故原因尽可能精准剖析,提升交通事故分析的可解释性,有利于提高交通事故分析的准确性及效率。
技术关键词
交通事故分析方法
视频
大语言模型
文本
答案
场景
序列
预训练模型
时序特征
图像编码器
可读存储介质
路侧设备
处理器
传播算法
标记器