摘要
本申请公开了一种结合物理属性推理和触觉反馈的自适应抓取方法及系统,该方法包括:获取语言抓取指令以及目标物体的视觉图像,基于所述视觉图像获取目标物体的候选抓取位姿,并利用视觉‑语言多模态模型推理所述目标物体的粗粒度物理属性;通过串行神经网络对所述粗粒度物理属性进行回归细化,获得细粒度物理属性并计算初始抓取力;基于所述初始抓取力和所述候选抓取位姿执行初始抓取并采集触觉图像,基于广义胡克定律计算实时触觉反馈力;根据所述目标物体的刚度类别,将所述初始抓取力与所述实时触觉反馈力按预定规则融合,得到调整后的抓取力;依据调整后的抓取力继续执行抓取动作至完成语言抓取指令。
技术关键词
抓取方法
物体
多模态
物理
深度图
图像视觉特征
抓取动作
触觉反馈模块
刚度
抓取机器人
广义
深度神经网络
柔性
泊松方程
抓取系统
电子装置
系统为您推荐了相关专利信息
融合特征
故障录波
多模态信息
天气
输电线路故障
三维树木模型
智能检测方法
无人机数据
LIDAR点云
多模态
网络安全威胁
高维特征向量
防御系统
多模态
车辆电子控制单元
多模态数据融合
深度学习模型
动态监控
结核
生成数据源