基于分步式特征增强网络的多模态数据处理方法及系统

本发明提出了基于分步式特征增强网络的多模态数据处理方法及系统，涉及多模态数据处理技术领域，针对的问题是：未充分利用多模态语料库的语义信息，且未充分挖掘跨模态ESC的潜力，多模态数据处理的准确性低。该方法提取第一模态和第二模态数据特征，对其进行自注意力机制特征增强；基于不同模态数据语料库，分别构建第一模态数据和第二模态数据语义概念，并进行多层共现关系挖掘；通过分步式特征增强网络对自注意力机制增强后的特征进行进一步特征增强，并分别融合得到第一模态和第二模态的最终数据特征。本发明提供分步式特征增强网络，通过结合外部语义线索的跨模态增强和内部语义线索的上下文挖掘，有效提升多模态数据处理性能。