基于类型引导交互的多模态命名实体识别方法和系统、电子设备及计算机可读存储介质

本发明公开了基于类型引导交互的多模态命名实体识别方法和系统、电子设备及计算机可读存储介质，属于多模态命名实体识别技术领域。解决了现有技术中传统的多模态命名实体识别方法因模型难以捕获模态间语义的对应关系导致的识别结果不准确的问题；本发明通过图文对层级提取模块和实体类别提取模块，提取特征；通过类别引导的注意力模块，生成实体类别引导的文本和视觉表示以及增强的实体类别表示；通过基于注意力机制的跨模态层级交互模块，生成对实体类别敏感性强的多模态表示；通过带有类型引导单模态辅助任务的联合学习模块，生成图像文本对的预测序列。本发明有效提升了对图像和文本的识别精度，可以应用于识别和提取命名实体。