一种自动驾驶风险检测与描述方法及系统

本发明公开了一种自动驾驶风险检测与描述方法及系统，通过使用视觉主干网络获取低分辨率视频特征和高分辨率多尺度特征图；使用高低分辨率时空融合模块获取不同分辨率下多尺度时空融合特征；以及使用双分支抽象模块，将融合后的特征分别在视觉任务域和文本任务域中进行跨模态学习，并分别得到目标向量和抽象文本特征；进一步使用多任务解码模块将目标向量解码为风险物体包围框，将抽象文本特征解码为对应的场景、风险提示的文本描述；本发明有效地解耦了风险定位和描述任务，同时保持了对象级的相关性，降低了计算复杂性，并增强了对细粒度对象和时间信息的处理能力，从而提高了模型在复杂场景下的理解能力和泛化能力。