一种多模态数据融合方法、装置、计算机设备及存储介质

本申请涉及一种多模态数据融合方法、装置、计算机设备以及存储介质。所述方法包括：利用专用模态编码器对待融合的多模态数据进行高阶特征提取，得到多模态数据的高阶嵌入特征；结合专家知识约束和多头注意力机制对所述高阶嵌入特征进行解耦，分别得到表征局部信息的高频特征和表征全局信息的低频特征；利用余弦对齐算法对所述低频特征进行对齐，利用正交投影技术对所述高频特征进行正交投影，并通过自适应深度融合网络对对齐后的低频特征和正交投影后的高频特征进行多层级融合，得到融合后的多模态联合特征。本申请解决了数据的异质性和异构性问题，确保不同模态数据能够有效融合，能够显著提升疾病风险预警的精准度与个性化能力。