基于跨模态交互联合检测器的人物图像表情标记方法

本发明公开了基于跨模态交互联合检测器的人物图像表情标记方法，包括以下步骤：获取包含人物的图像；提取图像的人物和相关背景知识，并应用文本分类器预测和标记正面情感或负面情感概率；捕捉对象和伴随文本之间的相互作用：通过提取物体和文本的空间坐标，计算相对距离作为注意力权重，建立基于注意力的多模态融合机制，整合多模态信息并将其输入检测机；计算文本的情感得分，并将该得分直接贡献给检测器；根据得分，对图像中人物的情感进行分类和标记。本申请生成对图像中人物情感的全面描述，以及特定领域的背景知识和详细信息；结合注意机制构建对象和文本的跨模态交互融合特征。