摘要
本发明属于电力设备运检技术领域,公开了一种面向多模态数据的电力设备运检知识抽取方法及相关装置;其中,所述电力设备运检知识抽取方法包括:获取待知识抽取的电力设备运检多模态数据;将电力设备运检多模态数据输入电力设备多模态抽取网络模型进行知识抽取,获得电力设备运检知识;其中,电力设备运检多模态数据包括电力设备运检记录中指定实体和关系类型的文本记录信息和图像记录信息;电力设备多模态抽取网络模型包括预训练语言模型、视觉自注意力模型、多模态特征融合模块以及实体关系抽取网络。本发明技术方案,实现了图像信息与文本信息的相互补充,能够提高电力设备运检知识抽取的准确性。
技术关键词
面向多模态数据
文本特征向量
知识抽取方法
图像特征向量
多模态特征融合
双层主体
实体关系抽取
电力设备故障
注意力模型
抽取系统
分类网络
预训练语言模型
交叉注意力机制
电力设备运检技术