摘要
本公开提供了一种肢体冲突行为的识别方法、装置及存储介质,包括:在监控场所布置监控模块,监控模块至少包括:动态视觉传感器、深度相机和语音采集单元;根据动态视觉传感器采集的事件流,采用事件时空金字塔卷积提取肢体动作速度特征;根据深度相机采集的三维数据,采用三维姿态估计网络模型提取肢体姿态特征;根据语音采集单元采集的语音数据,采用语音识别模型和大语言模型提取情绪特征;将肢体动作速度特征、肢体姿态特征和情绪特征输入到多模态注意力融合网络,确定是否存在肢体冲突行为。本公开突破传统单一视觉模态局限,融合动态视觉、三维姿态与语音情绪多维度信息,减少强光、遮挡等环境因素对单一模态的干扰,降低漏报、误报率。
技术关键词
动态视觉传感器
姿态特征
情绪特征
深度相机
时序特征
关节点
采集单元
姿态估计
语音识别模型
监控模块
序列
事件流
识别方法
金字塔
多模态注意力
网络
系统为您推荐了相关专利信息
动态规划模型
模型预测控制方法
控制策略
滚动时域优化
数字孪生模型
故障预测模型
故障预测方法
阶段
周期
特征提取网络
时序遥感图像
图像级标签
密集特征
变换器
分割方法
自动雨刮器
控制雨刮器
挡风玻璃表面
坐标系
图像视觉特征