一种基于多模态融合的物体抓取方法

本发明公开了一种基于多模态融合的物体抓取方法：构建抓取推理网络，包括多模态融合模块、残差块和转置卷积模块；多模态融合模块对深度图像、彩色图像以及融合信息进行多分支特征提取，以及使用注意力机制对提取的特征进行分层融合处理；使用第1场景的标记数据集训练抓取推理网络，并选取最佳的抓取检测模型作为下一场景的教师模型以及学生模型的初始化基准；从已训练场景的标记数据集各取部分训练数据，并取当前场景的所有标注数据，采用知识蒸馏方法并使用教师模型作为指导对当前初始化的学生模型进行指导训练；使用当前得到的抓取检测模型对已训练场景下的物品进行抓取检测。本发明能有效平衡机器人对抓取学习的稳定性和可塑性。