同质异质与属性信号解耦表示学习科学问答方法及系统

本发明公开了一种同质异质与属性信号解耦表示学习科学问答方法及系统，属于视觉问答领域，包括：通过编码器获取文本和视觉模态的初始嵌入；利用第一解耦模块将各模态的嵌入解耦为同质嵌入和异质嵌入，并进行融合得到各模态的初步表示；通过第二解耦模块，根据问题的属性信号对融合后的多模态嵌入进行进一步解耦，增强不同属性信号下嵌入的可区分性；将解耦后的表示与原始信息融合，通过解码器预测答案。本发明解决了现有科学问答模型中多模态信息同质性与异质性高度纠缠以及多种属性信号之间高度纠缠的问题。