一种基于事件相机与脉冲神经网络的动态场景感知方法、系统、终端及介质

本发明公开了计算机视觉和动态物体跟踪技术领域的一种基于事件相机与脉冲神经网络的动态场景感知方法、系统、终端及介质，方法包括：根据事件相机采集的事件流数据中每个像素的亮度变化情况，构建所有像素位置对应的脉冲发放状态，得到脉冲事件数据；利用脉冲神经网络提取脉冲事件数据的时空特征生成光流场，光流场与脉冲事件数据构成事件数据集；将事件数据集输入目标检测网络以获取动态目标的类别与位置信息与语义信息；将RGB脉冲、LiDAR脉冲与事件数据集输入多头注意力机制，结合语义信息进行融合优化，输出多模态感知结果。本发明实现高精度的动态目标感知与多模态信息融合，提升在高速、低光照及复杂动态场景下的实时感知能力与鲁棒性。