摘要
本发明公开了一种基于多特征融合的行为检测方法、系统、设备及介质,所述方法包括以下步骤:采用HOG、SVM与MTCNN技术进行人脸检测与定位,结合ICP算法进行图像对齐;采用FaceNet从人脸图像中提取高维特征,采用LSTM网络分析表情随时间序列的变化;采用Mediapipe与PnP技术进行头部姿态估计,采用OpenPose模型基于深度信息对手部骨骼点进行定位;将得到的特征向量进行融合,整合为统一高维表示;基于Dropout层的全连接层对融合特征进行高层次抽象学习;本发明能够全面洞察用户状态,有效区分正常与异常行为,动态调节监测敏感度以应对复杂场景,确保高效安全的服务体验。
技术关键词
头部姿态估计
人脸特征向量
ICP算法
网络分析
图像
序列
人脸关键特征点
融合特征
人脸深度信息
高层次
场景深度信息
视频
手部关键点
面部特征点
三维点云数据
通信接口
捕获场景
可读存储介质
深度学习模型