摘要
本发明公开了一种基于灵巧类型库的遥操作方法、系统、设备及存储介质,方法包括构建灵巧操作类型库;通过预设的多模态大语言模型MLLM解析任务指令得到相应的操作步骤,从灵巧操作类型库中匹配当前步骤对应的灵巧操作类型;通过插值映射策略实现人手与机械手之间的直觉式精准控制;所述插值映射策略具体为:实时捕捉人手指尖位置;计算人手当前姿态相对于所述伸展状态和收缩状态的归一化投影比例;根据所述投影比例对机械手的伸展与收缩关节角度进行线性插值,生成机械手关节角度指令。本发明通过建立系统化的灵巧类型库,结合多模态大语言模型辅助的类型自动检索模块和插值映射控制策略,提供遥操作的适配性和稳定性。
技术关键词
机械手关节
大语言模型
环境感知数据
人手
动作捕捉手套
指令
语义标签
灵巧机械手
引导机械手
策略
操作者手部
分类结构
生成动作
控制模块
对象
多关节
指关节
自然语言
系统为您推荐了相关专利信息
转换器
噪声
大语言模型
注意力机制
视频生成方法
大语言模型
知识图谱数据
接口调用请求
模板
数据获取模块
文本提取方法
大语言模型
意图识别模型
深度学习模型
实时交通信息
结构化查询语句
大语言模型
可视化系统
自然语言解析
逻辑