基于一致性评估的社交媒体多模态讽刺识别方法及系统

本发明提出基于一致性评估的社交媒体多模态讽刺识别方法及系统，涉及讽刺识别技术领域。包括将文本特征和图像特征进行统一映射并对齐；将经图像信息对齐后的文本表示和图像嵌入向量拼接后输入至依次连接的多个全连接层中，得到一致性权重；基于一致性权重，将经图像信息对齐后的文本表示和图像嵌入向量进行加权平均，得到融合特征；将融合特征输入至共享注意力机制模块中，提取待识别文本和图像的共性特征表示，进而得到最终的特征表示；基于最终的特征表示，对待识别的文本和图像是否为讽刺进行识别。本发明基于一致性权重进行多模态信息的加权平均，有效地捕捉不同模态之间细微的语义差异和矛盾并进行消解，提高讽刺识别的准确率和鲁棒性。