一种基于AR眼镜的多模态数据处理方法、装置及电子设备

本申请提供一种基于AR眼镜的多模态数据处理方法、装置及电子设备，涉及数据处理领域。获取针对目标设备的视觉模态数据、音频模态数据以及IMU模态数据；采用视觉模态编码器对应的轻量化卷积神经网络，对视觉模态数据进行特征提取，得到动态视觉特征；采用音频模态编码器对应的深度卷积神经网络，对音频模态数据进行特征提取，得到音频关键特征；采用IMU模态编码器对应的长短期记忆网络，对IMU模态数据进行特征提取，得到时间序列特征；对动态视觉特征、音频关键特征以及时间序列特征进行评分，得到评分结果；根据评分结果，确定AR眼镜对视觉模态数据、音频模态数据以及IMU模态数据各对应的处理优先级。实施本方案，便于提高AR眼镜的数据处理效率。