一种基于多模态特征融合与微调的微姿态识别方法

本发明公开了一种基于多模态特征融合与微调的微姿态识别方法，涉及计算机视觉与动作识别领域。其特征在于，提出了一种通用的跨模态知识融合框架，利用视频、骨架和文本三种模态信息，通过微调网络分别提取多模态特征。同时，引入视频‑骨架与文本‑骨架融合模块，以增强模态间的交互性。采用对比学习对齐特征分布，并结合冻结‑微调策略优化模型训练，降低计算复杂度，提高识别效率。本发明提供的方法能够弥补单模态信息缺失问题，增强对微小姿态变化的感知能力，提高识别精度与鲁棒性，适用于行为监测、人机交互、安全防护等多个应用场景。