摘要
本发明涉及人工智能技术领域,提供一种基于物理约束嵌入的机器人控制方法、装置、设备及介质,应用于金融、医疗健康养老业务场景中,能够通过特征提取实现多模态数据的统一表示;对物理知识图谱进行向量化处理,将抽象物理规则转化为机器可识别的数据结构;构建场景物理图,根据语言特征向量及场景物理图生成物理增强的视觉特征,并进行特征拼接,实现物理知识与视觉、语言模态的深度融合;基于变分自编码器生成包含动态物理信息的目标特征,提高了对物理环境动态变化的实时感知能力;将目标特征输入至预测网络得到动作预测序列,并将动作预测序列转换为对机器人的控制指令,从而基于物理约束嵌入实现对机器人的准确控制。
技术关键词
机器人控制方法
物理
多模态特征
知识图谱构建
机器人控制装置
数据
视觉特征提取
场景
编码器
计算机设备
底层视觉特征
预训练语言模型
消息传递机制
注意力机制