基于大语言模型的机械臂自然语言指令控制系统及方法

本发明公开的基于大语言模型的机械臂自然语言指令控制系统及方法，属于智能制造领域。本发明针对传统机械臂控制依赖预编程及静态规则库的局限性，设计了一种自然语言指令到原子动作序列的动态映射方式，通过构建包含检测、抓取、移动、放置等操作的原子技能库，结合语义解析与多模态协同技术，为柔性装配任务的人机协作提供支持。具体包括：采用DeepSeek‑Distill‑Llam‑8B大模型与LoRA微调技术，将自然语言指令转化为可执行的原子动作序列；基于迁移学习优化的YOLOv8目标检测技术与双目视觉定位技术，构建适配装配场景的感知模块，并与机械臂运动规划模块融合，实现零件及工具的定位抓取。结合语音转文本大模型与Gradio前端框架搭建交互界面，提升人机交互的便利性。通过优化大模型推理与运动规划协同效率，降低指令到执行的响应延时，为智能制造中的人机协作提供高效、可扩展的解决方案。