一种基于多模态数据的电力场景图生成方法及装置

本发明提供一种基于多模态数据的电力场景图生成方法及装置，其中所述方法包括：接收多模态数据，所述多模态数据包括电力图像和电力文本描述；将电力图像输入到预训练的电力场景图生成模型中，生成电力图像对应的电力场景图；电力场景图用于表征多模态数据中的对象及其视觉关系；将电力场景图输入至预训练的多模态图卷积网络中，生成电力图像的图语义特征；将电力文本描述输入至预训练的文本提取模型中，生成文本语义特征；计算图语义特征和文本语义特征的相似度，并基于相似度对电力场景图进行更新，得到更新后的电力场景图，从而可以实现在处理多模态数据时，有效整合图模态和文本模态的信息，在视觉和文本之间建立有效的语义关联。