基于表征引导多模态扩散模型的活动识别方法和装置

本发明公开了一种基于表征引导多模态扩散模型的活动识别方法和装置，包括：获取原始多模态活动数据并进行预处理后构建无标签数据集和有标签数据集：采用无标签数据集训练多模态的自监督模型以使其从数据中提取包含复杂模式的多模态表征和包含结构信息的全局表征；在扩散模型中引入多模态表征引导的模态层和全局表征引导的全局层，并采用无标签数据集训练扩散模型以使其生成多模态活动数据；利用有标签数据集和基于有标签数据集通过训练后扩散模型生成的多模态活动数据训练活动识别模型，这样可以解决活动识别模型的过拟合问题，提升活动识别的准确率，在医疗保健、运动监测等领域具有广阔的应用前景。