基于多模态特征融合的在线智能监督方法

本发明涉及基于多模态特征融合的在线智能监督方法，包括外部数据装载模块、视频解析模块、人脸识别模块、人员ID编码模块、事件频域构建模块、人员关系构建模块、结果/中间结果保存、更新模块、融合编码模块、人员位置编码模块、视频时空特征提取模块、多模态融合行为分析模型、行为识别、行为预测结果输出模块。本发明利用多模态特征融合技术，把视频流信息中的空间特征，时间特征，以及相关动作事件的频域特征，参与人物间的关系以及空间位置关系等多个维度的特征进行综合编码，利用多维度的特征训练的行为识别智能体运用在智能监督方面。