一种基于图文多模态优化的目标检测方法

本申请提供一种基于图文多模态优化的目标检测方法。该方法包括：根据各个电力设备的实际电压电流和配电站房的电力拓扑图确定配电站房内的电力设备存在故障时，根据各个电力设备的电压电流生成故障位置信息，根据故障位置信息生成故障提问文本，根据故障位置信息获取摄像头拍摄的监控图像，使用输入层对故障提问文本和监控图像进行处理生成输入向量；使用图像编码器对输入向量进行编码处理生成图像编码向量，计算图像编码向量和预设描述文本集合中各个描述文本的文本编码向量之间的相似度，选择相似度最大的描述文本确定故障类型，实现基于图文多模态数据的故障识别，且无需人工输入提问文本，提升故障处理准确性和效率。