摘要
一种用于铰接物体操纵的VLA大模型的构建方法,属于具身智能技术领域。方法如下:使用几何中心表示法描述铰接物体的Action Affordance;构建跟随铰接物体特征集的指令;将一个指令分解为六个不同的子任务特征集;设计训练VLA模型架构;构建几何思维规划器。本发明首几何中心表示方法来描述铰接物体,开发了几何思维规划器,促进了VLA大模型对环境的理解,增强了其对复杂任务的适应能力,使其能够处理多样化的场景和需求,使得VLA模型能够充分理解物体在不同情况下的行为和反应,从而在规划运动路径时做出更为合理的决策,提高路径规划的精度和可靠性。
技术关键词
物体
移动路径规划
旋转关节
受力
图像嵌入
顶点
答案
文本特征向量
图像特征向量
机械臂
编码负责
文本编码器
图像编码器
指令
评分算法
预训练模型
系统为您推荐了相关专利信息
预测网络模型
空间定位方法
特征提取器
多层感知机
预测特征
物体抓取方法
多模态
推理网络
特征提取模块
知识蒸馏方法
电荷耦合器件
相位调制器
待测物体
同步信号发生器
成像装置
音乐生成方法
图像嵌入
样本
图像投影器
音乐特征