一种基于光学相机和事件相机的双模态目标跟踪方法、系统、设备及介质

一种基于光学相机和事件相机的双模态目标跟踪方法、系统、设备及介质，方法包括：收集光学数据和事件数据，构建多模态数据集RE，将多模态数据集RE按照一定比例划分为训练集REtrain和测试集REtest；构建基于光学相机和事件相机的双模态目标跟踪网络；使用多模态数据集RE中的训练集REtrain训练基于光学相机和事件相机的双模态目标跟踪网络，得到最优训练权重文件FEtrack.pt；使用多模态数据集RE中的测试集REtest和最优训练权重文件FEtrack.pt对基于光学相机和事件相机的双模态目标跟踪网络进行目标跟踪测试，得到目标跟踪结果；系统、设备及介质用于实现该方法；本发明用于解决现有目标跟踪算法在低光照、高动态范围以及目标快速移动情况下目标跟踪精度低的问题。