基于多源数据融合学习的违规行为识别与检测方法及系统

本发明涉及基于多源数据融合学习的违规行为识别与检测方法及系统，属于异常检测技术领域。步骤包括：（1）针对输入的视频信息，使用视频内容描述生成模块，生成对视频内容的整体文本描述；（2）针对输入视频、视频关键图片和视频描述文本进行多源多模态信息融合；（3）计算不同梯度组合的帕累托最优，使用该组合梯度更新整个模型。本发明通过将输入视频的多模态信息进行提取与融合，提升了模型在视频中提取人物行为的语义信息的能力，从而大大增强了模型识别与检测违规行为的性能。