一种基于多模态对比学习的人体姿态估计方法

本发明公开了一种基于多模态对比学习的人体姿态估计方法。首先对输入的Wi‑Fi模态数据进行降噪、降维预处理，采用短时傅里叶变换获得频谱图；对于输入的LiDAR模态数据预处理，采用数据增强获取一对增强版的点云数据，采用PointNet++网络提取其中的人体骨架，并使用模态内对比学习增强人体骨架的质量。随后对预处理之后的两种模态进行联合训练，对于Wi‑Fi模态的频谱图，采用CNN和ResNet34提取Wi‑Fi模态的人体运动姿态特征；对于LiDAR模态的人体骨架序列，采用ST‑GCN提取点云的人体运动姿态特征。最后采用跨模态对比学习，实现异构模态间的特征对齐，并将对齐的特征用于人体姿态估计。