基于多模态融合的自动驾驶安全性辅助方法和系统

本发明涉及基于多模态融合的自动驾驶安全性辅助方法和系统，属于自动驾驶领域。该系统由多模态传感器、预处理单元、特征编码器、时序合并模块、上下文注意力模块、分类模块、数据存储单元、输出单元构成。该方法包含以下步骤：S1：采集视觉图像数据和非视觉图像数据；S2：对视觉图像数据和非视觉图像数据进行预处理；S3：利用特征编码器进行特征提取；S4：利用时序合并模块进行关键事件划分：S5：利用上下文注意力模块对进行特征融合；S6：将融合特征输入分类模块中，预测行人行为类型；S7：将预测行人行为类型结果存储，并反馈给汽车终端系统。本发明方法能够有效地识别和聚合与行人行为相关的关键事件，提高行人行为意图预测的准确性和效率。