一种结合异构图与多模态数据的图神经网络嵌入方法、介质和设备

本发明公开了一种结合异构图与多模态数据的图神经网络嵌入方法、介质和设备，其特征在于包括以下步骤：对异构图中的节点和边进行特征初始化，根据节点类型分别使用文本预训练模型、图像卷积网络或音频处理模型初始化节点特征，并根据边类型对语义边、图像边或社交边进行权重分配和特征编码；通过模态自适应融合机制将多模态数据映射到同一潜在空间，动态调整不同模态的权重，所述模态自适应融合机制包括构建共享嵌入空间和多头注意力机制；基于异构边类型对节点信息进行加权聚合，通过多层图神经网络传播更新节点嵌入，聚合过程中根据边类型定义不同的加权函数；将最终节点嵌入应用于下游任务，并通过任务相关损失函数优化模型。