无人机载多模态融合在线稳像方法、系统、装置和设备

本申请涉及一种无人机载多模态融合在线稳像方法、系统、装置和设备。方法包括：获取预处理后的IMU序列样本和一级稳定帧样本，将IMU序列样本和一级稳定帧样本输入多模态融合在线稳像网络；一级稳定帧样本是通过对视频帧进行机械稳像补偿得到的；多模态融合在线稳像网络包括IMU特征提取支路、图像特征提取支路以及多模态特征融合总支；多模态特征融合总支包括特征级融合模块、偏移量估计模块和重构输出模块；根据预先构建的损失函数、预处理后的IMU序列样本和一级稳定帧样本对多模态融合在线稳像网络进行训练，得到训练好的多模态融合在线稳像网络；通过训练好的多模态融合在线稳像网络进行在线稳像。采用本方法能够显著提高稳像帧的视觉效果和稳定性。