融合双向交叉注意力和门控机制的多模态反讽识别方法

本发明提出一个融合双向交叉注意力和门控机制的多模态反讽识别模型(MSCAG)，对比传统反讽识别模型在融合图文特征时存在的瓶颈，现在方法往往未能充分挖掘模态间深层次的交互信息，为了解决这个问题，通过双向交叉注意力机制分别精炼出文本层和图像层上相关的注意力特征，残差连接整合文本注意力特征与图像及文本的基础特征，以及图像注意力特征与文本和图像基础特征，运用门控机制以增强两种模态间的信息交互和关键区域聚焦。通过上下文特征与局部特征联合实现更可靠的反讽识别。本发明为多模态反讽识别提供了创新的方法，具有重要的实际应用价值，可以应用于社交媒体中网民评论反讽识别。