单目视觉与稀疏IMU的康复动作全身姿态估计方法及系统

本发明提供了一种单目视觉与稀疏IMU的康复动作全身姿态估计方法及系统，包括：通过单目RGB相机和多个惯性测量单元IMU同步采集人体康复动作的视频数据与惯性数据，并对图像进行裁剪、缩放至预设分辨率；利用滑动窗口和残差神经网络从连续N帧图像中提取关键点热力图，计算各帧的2D关键点像素坐标；将N帧的2D关键点像素坐标与IMU的旋转矩阵、加速度信号拼接为输入序列；通过时间Transformer对输入序列进行跨模态时序建模，提取高维特征后，经卷积层加权平均并由回归头输出最后一帧的3D相对关键点坐标。本发明通过融合单目视觉与稀疏IMU的跨模态数据，有效解决了因肢体自我遮挡导致的视觉信息缺失问题，克服了传统纯视觉方法在康复动作中的精度不足缺陷。