基于应用场景特征构建多模态融合的虚拟现实交互方法

基于应用场景特征构建多模态融合的虚拟现实交互方法，涉及虚拟现实技术领域。为解决现有技术中存在的，现有的多模态融合技术在处理不同模态数据的融合时不同模态之间的特征差异性大的技术问题，本发明提供的技术方案为：获取和预处理多模态数据；构建跨模态知识强化网络，进行初始特征提取，对视觉与听觉特征之间的一致性和差异性进行增强；基于频谱和空间注意力的优化网络，优化增强融合特征中的重要上下文信息；构建边缘引导学习网络，结合至触觉数据；将视觉、听觉和触觉特征进行融合，并应用于虚拟现实场景中；通过结构相似性损失、均方误差损失、显著度权重损失和边缘损失对模型进行优化。适合应用于多模态特征在复杂环境中的协作工作。