基于深度学习的物品间任务关系检测方法

本发明属于机器人认知技术领域，具体是一种基于深度学习的物品间任务关系检测方法。采用的任务关系检测模型包括预训练特征提取网络、RPN网络、EMA注意力模块、三特征融合模块和推理模块；预训练特征提取网络对输入图像进行特征提取，RPN网络生成对象的候选框，由候选框得到共享子图；将对象的候选框和共享子图分别通过感兴趣区域池化操作，得到对象特征和子图特征；将任务关系对应的两个对象特征和一个子图特征分别经过EMA注意力模块进行特征提取，得到主体对象特征、关系特征和客体对象特征；主体对象特征、关系特征和客体对象特征输入到三特征融合模块中进行融合，得到融合后的关系特征；主体对象特征、客体对象特征和融合后的关系特征经过推理模块的任务关系推理，得到预测的任务关系；将主体、客体对象特征经过推理模块的类别推理，得到对象的预测类别。该方法能够有效检测物品之间存在的潜在任务关系，用于指导机器人的任务操作。