摘要
本发明公开了一种自然语言驱动机械臂控制方法、装置、设备、介质及产品,涉及人工智能与机器人交叉技术领域。所述方法是在获取自然语言指令以及多模态感知数据后,先将自然语言指令分解为语义嵌入向量,并采用大语言模型分层语义解析得到结构化任务表示,然后融合多模态感知数据以生成任务执行所需的环境表示,再然后将结构化任务表示和环境表示转化为任务图,并将任务图转化为目标机械臂的关节控制指令,最后将关节控制指令发送至关节控制器以予以执行,如此通过多层次语义理解、多模态感知融合和自适应执行控制,可实现机械臂对复杂自然语言指令的精准理解与高效执行,提升其在动态环境中的任务执行精度、适应性、灵活性、易用性和智能化水平。
技术关键词
自然语言
驱动机械臂
多模态
关节控制器
语义
指令输入设备
数据获取单元
意图识别
控制设备
大语言模型
概率分布函数
样本
Sigmoid函数
收发模块
处理单元
分层