基于多模态融合的配电网应急操作票生成方法及系统

本发明涉及深度学习领域，更具体地，涉及基于多模态融合的配电网应急操作票生成方法及系统，其中方法包括：获取历史的工作票数据作为源序列，并将源序列进行清洗，得到清洗后源序列；构建开票模型，将清洗后的源序列进行关键词提取后对开票模型进行训练，得到文字开票模型；构建图像数据集以及图像识别模型，根据图像数据集对图像识别模型进行预训练；构建特定任务数据集并进行数据增强的处理；对预训练图像识别模型以及文字开票模型进行训练得到多模态配电网应急操作票生成模型。多模态配电网应急操作票生成模型不仅接收文本分词结果，还融合了图像识别结果。使模型能够精准识别设备操作关系，自动生成符合安全规程的操作票内容。