摘要
本发明属于机械臂抓取技术领域,公开了一种基于属性热图的多模态六自由度抓取检测方法及系统,包括获取RGBD图像;对RGBD图像进行特征提取,对提取的特征进行连续的解码,获得过程特征和增强特征,对增强特征进行操作,获得多种抓取属性的属性热图;将RGBD图像转换为点云数据,将点云数据与过程特征进行融合,获得融合了二维图像特征的点云数据;基于融合了二维图像特征的点云数据和多种抓取属性的属性热图,获得机械臂的抓取位姿;定义损失函数,优化模型参数,获得训练好的检测模型。本发明具有较小的网络规模,在保证准确率的前提下提高了推理速度,并将物理约束正则项加入了模型训练的过程,提升了模型在实际复杂环境中的泛化能力和稳定性。
技术关键词
二维图像特征
机械臂抓取技术
RGBD图像
多模态特征融合
残差网络
模型训练模块
处理器
采样点
数据获取模块
计算机程序产品
注意力
解码模块
指令
定义
系统为您推荐了相关专利信息
深度残差网络模型
分级检测方法
核桃
CT成像装置
图像识别分类
污水处理设备
多模态特征融合
特征选择
特征提取单元
实时数据
热熔接头
多模态特征融合
超声检测系统
相控阵探头
二次谐波信号