双机械臂抓取控制方法、装置、电子设备及存储介质

本申请公开一种双机械臂抓取控制方法、装置、电子设备及存储介质，涉及机械臂控制领域，可应用于金融科技和医疗健康业务场景，包括：响应于自然语言任务指令，利用双机械臂抓取模型对双机械臂进行双臂动作的动态协同控制。在该模型中，利用视觉编码器提取目标物品的视觉特征向量，以及利用语言编码器解析自然语言任务指令，得到语义特征向量；利用LLM大模型基于视觉特征向量和语义特征向量的融合特征向量，生成全局规划信息；利用动作解码器强化学习模型基于全局规划信息，动态生成双机械臂的动作指令，并根据双机械臂的实时执行状态，对动作指令进行闭环调整。本申请可提高双机械臂抓取控制的灵活性和准确性。