一种基于扩散模型和语言驱动的机械臂抓取姿态检测方法

本发明属于机器人姿态检测技术领域，公开了一种基于扩散模型和语言驱动的机械臂抓取姿态检测方法，利用多头注意力模块对自然语言命令、点云抓取场景等进行计算语义和几何关联权重，再经过通过MLP层来进行噪声预测；与此同时，自然语言命令和场景处理之后提取得到的特征通过MLP层得到一个负提示引导，负提示引导有助于通过远离不需要的对象来引导检测过程朝向想要的对象，之后动态调整噪声预测方向实现目标与非目标语义的联合优化，来帮助扩散模型对初始随机噪声进行去噪，最后可以得到正确的抓取姿态。本发明构建了一种端到端的多模态结合负提示引导学习的扩散模型，可以使用自然语言命令机器人在杂乱的场景中抓住所需的对象。