一种基于注意力机制的最优特征选择多模态命名实体识别方法

一种基于注意力机制的最优特征选择多模态命名实体识别方法，属于人工智能领域。技术方案包括：获取文本及文本关联图像，通过图像字幕生成模型将文本关联图像转化为图像字幕，连接文本和图像字幕作为跨模态文本，通过关键词提取模型提取跨模态文本中的关联关键词组，利用预训练模型分别获取跨模态文本和关联关键词组的上下文表示，利用后门因果注意力网络对跨模态文本和关联关键词组的上下文表示进行处理，本发明通过因果注意力机制对文本特征和图像特征进行优化，充分缩小文本和图像模态的语义差距，提高了多模态命名实体识别的准确性和健壮性。