一种面向非配对单模态标注的多模态事件抽取方法

一种面向非配对单模态标注的多模态事件抽取方法，包括：基于待提取事件的非配对单模态标注数据，使用生成模型获取另一模态的合成数据，构建伪多模态训练集；分别处理文本和图像数据，提取文本中的候选提议获取特征表示及置信度；在训练阶段，使用动态掩码模块自适应地掩码合成模态的候选提议；使用细粒度模态对齐模块，为每个类别标签设置可学习的查询向量并与候选提议的特征表示进行交互，提取对应类别的特征表示，实现基于事件结构化要素的细粒度模态对齐；根据事件元素与所有真实模态候选提议的特征相似度，确定候选提议的类别标签，实现多模态事件抽取。本发明实现了单模态标注的弱监督场景下的低成本、高鲁棒的多模态事件抽取。