一种基于双向跨模态注意机制的人体活动识别方法

本发明涉及一种基于双向跨模态注意机制的人体活动识别方法，包括以下步骤：首先利用多种无线设备同时采集用户的活动数据集(如毫米波雷达数据，RGB图像数据等)并进行预处理，同时将训练数据划分为无标记数据和标记数据；然后采用无标记数据训练基于无监督对抗对比学习技术搭建的预训练模型；接着利用标记数据微调基于双向跨膜态注意机制的模型，得到人体活动识别模型；最后将未用于训练的用户或场景中的多模态数据输入模型中，完成精准识别。本发明通过对抗对比学习方法提高模型的域自适应性，并设计双向跨模态注意机制增强模态间的信息交融，从而适用于多种复杂环境下且只具备少量标记样本的人体活动识别任务。