一种基于多模态算法融合的家庭安全AI监控方法及系统

本发明公开了一种基于多模态算法融合的家庭安全AI监控方法及系统，具体涉及智能家居监控技术领域；是通过采集家庭监控场景中的原始视频图像数据与原始音频数据；利用卷积神经网络模型进行目标识别，生成监控对象的边界框位置信息，并采用长短时记忆神经网络提取监控对象的行为特征；对音频帧序列进行特征提取，并结合事件分类模型识别对应的声音事件类型；对目标位置信息、行为特征与声音事件类型进行同步校正，生成联合行为特征向量；基于联合特征向量进行异常行为识别，判断监控对象是否存在预定义的风险行为，并输出行为识别结果；根据行为识别结果生成家庭安全告警指令，并将告警内容推送至用户终端，提高家庭监控系统的准确性与实时性。