一种基于RGB和骨骼数据的多模态人体行为识别方法、系统及存储介质

本发明公开了一种基于RGB和骨骼数据的多模态人体行为识别方法、系统及存储介质，属于人体行为识别的技术领域，采集视频并捕获人体骨骼序列图和RGB序列图，将人体骨骼序列图输入人体骨骼信息提取网络分支，提取特征F1；将RGB序列图输入RGB人体图像信息提取网络分支，捕捉RGB序列图的深度时空特征F2；特征选择融合模块基于特征选择机制，选取、融合特征F1和深度时空特征F2，利用RGB图像的上下文信息弥补骨骼图关键信息的缺失；最后，将融合后的特征输入分类器中进行行为识别。本发明利用RGB图像的上下文信息弥补骨骼图关键信息的缺失，能够兼顾环境上下文与人体动作细节，充分利用时序数据解析目标运动轨迹和交互行为，显著提升复杂场景下的识别精度和鲁棒性。