一种用于扩散策略的基于注意力机制的视觉-状态-力觉的多模观察融合方法

一种用于扩散策略的基于注意力机制的视觉‑状态‑力觉的多模观察融合方法，属于机械臂智能操作技术领域。为了提供更丰富信息的观测特征，本发明将点云特征和状态特征进行堆叠操作后，使用多头注意力机制进行特征交互，得到点云特征和状态特征的融合特征；对力和扭矩信息数据输入到投影模块中，得到投影后的力和扭矩信息数据进行位置编码后，再输入到力和扭矩信息编码器中，得到力和扭矩特征；输入到多头交叉注意力机制中提取跨模态信息；将得到的跨模态信息和得到的点云特征和状态特征的融合特征进行简单拼接操作，得到视觉‑状态‑力觉的多模观察融合特征；将视觉‑状态‑力觉的多模观察融合特征输入到扩散策略网络中，得到机械臂最终要执行的动作序列。