摘要
本发明公开了基于神经网络的视频行为识别的方法及其系统,涉及计算机视觉技术领域。本发明通过多模态融合网络高效整合视频、音频和加速度数据,并动态调整融合权重,解决了多模态数据异质性和干扰问题,提升了行为识别系统的鲁棒性和准确性;同时,采用轻量化卷积网络和动态时间规整算法优化计算效率和实时性,满足工业实时监控需求;此外,利用时间序列分析和条件随机场模型精准定位异常行为的起止时间点,并动态调整模型参数,实现了自适应优化,保障了工人操作安全和生产效率。
技术关键词
条件随机场模型
卷积神经网络提取
动态时间规整算法
原始图像数据
时间序列分析方法
加速度传感器数据
视频帧
深度图
前序特征
注意力机制
滑动窗口技术
短时傅里叶变换
线索
序列特征
工业实时监控