多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置

本发明公开了一种多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置，其方法包括：通过对与人体骨架序列对应的RGB视频进行采样得到关键帧，经多模态大模型生成动作文本描述；后将人体骨架序列与对应动作文本描述进行编码到公共空间，通过异常样本与信息熵联合估计的样本噪音评估方法生成更可靠的学习目标，使用噪音感知的对比学习方法对模型进行训练；最后，在经过一定批次的迭代训练后可得到性能更优的编码器。本发明在没有额外训练推理成本的前提下，利用编码器本身的能力来区分与动作无关的文本描述，使得模型学习到更加合理的相似性表示，同时较好地提高了编码器在下游任务的性能。