多模态事件抽取方法、装置、设备、存储介质及程序产品

本发明公开了一种多模态事件抽取方法、装置、设备、存储介质及程序产品，该方法包括：对多模态数据中的文本数据进行特征提取，基于文本特征提取结果生成文本标签序列，对多模态数据中的图像数据进行目标检测，基于文本标签序列和目标检测结果获取多模态数据的图文细粒度信息，基于图文细粒度信息生成文本实体集合和视觉实体集合，将文本实体集合与视觉实体集合进行实体匹配，基于实体匹配结果对多模态数据进行细粒度图文对齐，并将细粒度图文对齐后的多模态数据输入至预先构建的事件抽取模型进行事件抽取，实现对全局和局部语义信息的有效分析，从而可以准确地从存在复杂语义场景的多模态数据中抽取事件，有效地避免漏掉潜在的事件价值。