摘要
本申请提供一种交通基础设施的异常检测方法、系统、介质和设备,涉及图像处理技术领域,所述方法包括:获取交通基础设施的图像数据;提取图像数据的视觉特征,以及对应异常描述文本的语义向量特征利用多模态模型将视觉特征和语义向量特征映射至同一嵌入空间,并在嵌入空间中计算视觉特征和语义向量特征的特征匹配度;基于特征匹配度确定与图像数据对应异常信息相匹配的文本描述,并利用自然语言生成模型将文本描述转换为交通基础设施的异常检测报告。本申请能够有效提高对于交通基础设施的病害异常检测精度。
技术关键词
多模态
语义向量
异常检测方法
注意力
热力图
交通
图像
数据
文本编码器
异常信息
特征金字塔
自然语言
多元组
视觉特征提取
异常检测系统
语义特征提取
蒸馏
报告