一种基于多模态特征对齐的视频异常检测方法以及装置

本发明涉及视频异常检测技术，揭露了一种基于多模态特征对齐的视频异常检测方法，包括：提取目标视频的视觉文本类别标签并生成视觉完整语句提示后输入至文本编码器中得到视觉文本特征；利用视觉时间网络提取目标视频的视觉特征，根据视觉文本特征和视觉特征获取视觉‑文本对齐图及跨模态增强视觉特征；提取目标视频中音频文件，并获取音频‑文本对齐图及跨模态增强音频特征；将跨模态增强视觉特征和跨模态增强音频特征拼接后输入至异常分类器中得到异常分类结果；利用视觉‑文本对齐图与音频‑文本对齐图获取事件类别分类结果。本发明还提出一种基于多模态特征对齐的视频异常检测装置、设备以及介质。本发明可以提高视频异常检测的准确性。