一种基于增强现实的实时物体交互方法及相关装置

本申请公开了一种基于增强现实的实时物体交互方法及相关装置，涉及AR领域，包括：获取目标图像序列中真实物体的三维模型，基于获取的三维模型生成实时场景理解模型，对用户的实时视频序列进行多模态的意图识别处理，得到用户的实时意图识别结果，基于实时意图识别结果和实时场景理解模型，得到实时场景三维模型，根据实时场景三维模型和目标图像序列进行AR渲染，得到AR渲染结果。本申请的实时场景理解模型能够反映真实物体的实时变化，使得虚拟对象的行为能够随之变化，交互真实感更高，多模态的意图识别处理使虚拟对象与真实物体的交互方式与用户意图更相符，用户体验更好。