一种基于多模态大模型的测控仪器系统智能连接方法及装置

本发明公开了一种基于多模态大模型的测控仪器系统智能连接方法及装置，属于智能控制技术领域。利用多模态大模型强大的信息处理能力以及易于操作的人机交互界面，通过基于深度学习的目标检测等算法，精确定位其所要进行抓取、插拔和移动等各种操作的位置；执行动作编排的智能体和动作技能知识库帮助机械臂完成复杂任务。多模态大模型可接收图片、文本、语音等各种信息，并对这些信息进行处理，之后调用合适的动作进行组合，完成对机械臂的控制。本发明有效降低了对环境的依赖，简化了机械臂的操作方法同时提高了实时处理能力。