一种多模态电力数据检索方法、设备及介质

本发明涉及一种多模态电力数据检索方法、设备及介质，属于数据检索技术领域，包括以下步骤：获取电力数据并预处理，将文本和图像输入多层感知机得到初始特征向量，再经路由胶囊算法输出文本和图像特征向量；采用线性变换将其映射到公共空间，得到投影向量；将投影向量输入加性注意力模型，输出融合特征向量。构建哈希函数，基于融合特征向量计算电力数据索引，将索引相同的数据存入对应哈希表桶中。获取用户查询，计算查询融合特征向量及索引，算出其与对应桶中各电力数据融合特征向量的相似度，将相似度评分最高的R个电力数据作为检索结果返回。本发明综合多模态信息，用注意力机制调整重要性，有效提升检索效果。