一种事件流和事件帧融合的强化学习无人机避障方法

本发明公开了一种事件流和事件帧融合的强化学习无人机避障方法，属于人机避障技术领域。本发明将事件相机产生的事件流和事件帧信息分别输入到不同的特征提取网络中，再通过特征向量融合的方式来获取事件流与事件帧的融合表征；使用在采集的离线数据流上预训练好的事件自分编码器作为模型的事件流特征提取网络，用于将具有时序性、异步性的事件流信息转换为特征信息，以提升无人机避障成功率；同时将强化学习训练过程解耦为两阶段，通过对比重建图像与真值图像进行预训练，事件帧卷积网络在智能体学习过程中进行训练，并有效利用融合特征补充智能体环境交互所需的状态信息。本发明用于搭载了事件相机的无人机，能获得良好的避障效果。