基于脉冲神经网络的视觉感知方法、装置、设备及介质

本申请涉及神经网络技术领域，特别涉及一种基于脉冲神经网络的视觉感知方法、装置、设备及介质，采用基于脉冲神经网络的视觉感知系统，方法包括：利用输入模块获取多源图像数据，并对多源图像数据进行预处理，得到包含时间维度的图像张量；利用SNN‑ResNet视觉主干网络对图像张量进行特征提取，得到目标时序特征；基于预设的稀疏注意力机制，利用Transformer感知输出头部根据目标时序特征进行视觉感知，得到目标检测与跟踪结果。由此，解决了传统视觉感知系统功耗高、时序建模能力不足以及推理速度慢等问题，实现了低功耗、高时间动态建模能力和快速响应的高效感知。