非配对数据下的多模态关系提取方法、装置及电子设备

本发明公开了一种多模态关系提取方法，具体是涉及到一种非配对数据下的多模态关系提取方法、装置及电子设备。方法包括：对图像模态数据进行特征提取，得到多个不同层次的视觉特征，以及对文本模态数据进行特征提取，得到最终层文本特征；基于交叉注意力机制将视觉特征与最终层文本特征进行融合，得到视觉特征对应的层次化视觉特征；将层次化视觉特征与最终层文本特征进行融合处理，得到层次化视觉特征对应的多模态特征；对多个层次化视觉特征、多个多模态特征以及最终层文本特征进行聚合，得到多模态融合特征；将多模态融合特征输入预测模块进行关系提取，得到关系提取结果。本方法可提高非配对数据的多模态关系提取结果的准确度。