一种多模态命名实体识别方法及装置

本发明公开了一种多模态命名实体识别方法及装置，用于解决现有的多模态命名实体识别方法导致多模态命名实体识别的准确性较差的技术问题；方法包括获取待检测文本数据和待检测图像数据；将待检测文本数据和待检测图像数据作为文本图像描述提取模块的输入，输出文本模态特征和图像描述文本模态特征；采用图像特征提取模块根据待检测图像数据进行图像特征提取，输出图像模态特征；通过混合专家融合模块对文本模态特征和图像描述文本模态特征进行特征融合，生成融合文本模态特征；采用多模态注意力融合模块对融合文本模态特征和图像模态特征进行注意力融合，输出目标通用特征识别结果。