摘要
本发明涉及大数据技术领域,公开一种基于多模态模型驱动的音视频监控与预警方法和系统,方法包括:S1:采集监控场景中的音视频信号,并提取音视频信号的能量分布特征,其中能量分布特征至少包括音频信号的频率能量分布和视频信号的亮度和色彩的变化率;S2:基于音视频信号进行能量分布特征的多模态特征提取,并结合环境背景信息构建环境背景特征向量;S3:基于环境背景特征向量,动态调整音频信号和视频信号的异常检测阈值;S4:将实时提取的音视频信号能量分布特征与异常检测阈值进行比较,当超出异常检测阈值范围时,判定为异常事件,得到预警信息;S5:通过低带宽通信协议将预警信息从边缘设备发送至监控中心。
技术关键词
能量分布特征
音视频
预警方法
音频
异常事件
监控中心
信号
环境光照强度
校准
亮度
高灵敏度麦克风
多模态深度学习
色彩
关键字
MQTT协议
融合特征
动态
随机梯度下降
系统为您推荐了相关专利信息
触摸屏事件
视频通话图像
语音识别服务器
终端屏幕
建立视频通话