基于骨骼关节点序列的多模态行为分类模型训练方法、装置、计算机设备及可读存储介质

本发明公开了一种基于骨骼关节点序列的多模态行为分类模型训练方法、装置、计算机设备及可读存储介质，包括：首先获取标注真实动作标签的样本视频；其次对每帧图像提取人体骨骼关键点与目标检测框信息，经归一化、补零对齐构建多模态样本序列数据集；最后利用包含多头交叉注意力与自注意力模块的初始模型，通过多模态数据集训练至终止条件，得到可捕捉单模态时序规律与跨模态协同关系的分类模型。该方法融合骨骼动作与目标位置的多模态信息，结合注意力机制强化时序关联，显著提升了动作行为的识别准确率。