一种基于深度学习的行为分析与即时智能语音警示的方法及系统

本发明涉及一种基于深度学习的行为分析与即时智能语音警示的方法及系统，属于视频监控技术领域，包括数据采集模块、特征提取模块、行为分析模块、指令文本生成模块、语音合成与播报单元、多终端预警分发网络模块，数据采集模块包括视频监控设备、音频捕捉设备、设备状态采集传感器、设备定位系统、环境传感器、人员定位系统。本发明中，设置有数据采集模块可确保视频、图像和语音数据的时间同步性，为后续的深度学习分析提供了高质量的多模态输入数据，设置有特征提取模块能够从视频数据中提取出关键的时空特征，从图像数据中提取出视觉特征，以及从语音数据中提取出声学特征，为行为分析和异常判断提供了丰富的特征表示。