一种基于多模态多任务学习的机器人分类检测方法及系统

本发明涉及机器人技术领域，尤其是涉及一种基于多模态多任务学习的机器人分类检测方法及系统，包括S1.构建多模态数据集并进行数据预处理；S2.将语义信息数据集和图像数据集进行对齐；S3.构建多模态目标检测模型，将多模态数据集输入模型进行多任务学习，对多模态数据集进行特征提取，并将提取后的视觉图像特征和语义信息特征进行特征融合，利用核心语义注意力机制计算机器人的视觉图像特征的加权和，通过优化加权和完成对模型进行训练。本发明提出了一种基于多模态多任务学习的机器人分类检测方法，融合机器人的图像与语义信息，提升检测时文本与图像的特征交互性，使检测模型具备更高的准确性与鲁棒性。