多模态人体骨架行为识别方法、装置、设备和存储介质

本公开提出一种多模态人体骨架行为识别方法、装置、设备和存储介质，该方法包括：获取目标人体骨架的待识别骨架序列和提示词集合，其中，提示词集合中包括多个候选提示文本，候选提示文本与候选行为识别结果相关联；对待识别骨架序列进行特征编码，得到时空嵌入特征向量；对候选提示文本进行文本编码，得到文本嵌入特征矩阵；确定时空嵌入特征向量与文本嵌入特征矩阵的相似度；根据相似度从多个候选行为识别结果中确定与待识别骨架序列相匹配的目标行为识别结果。通过实施本公开的方法，能够在少样本乃至零样本的情况下快速实现业务需求，同时多模态数据可以进一步提升方法的准确性。