一种基于wifi和视觉的多模态感知方法

本发明涉及环境感知技术，其公开了一种基于wifi和视觉的多模态感知方法，实现在不同光照/可视条件下对环境的精确感知。本发明中，在训练多模态感知模型时，同时获取被感知空间的图像数据和CSI数据，并对数据进行预处理和时间对齐；接着，提取图像数据的图像特征，并进行动作识别，获得视觉感知结果；以视觉感知结果作为CSI数据的先验知识，与CSI数据一并输入至CSI数据处理模块，提取CSI特征；然后，对图像特征和CSI特征进行特征融合，获得融合特征；并根据融合特征行分类，获得预测的环境感知结果；最后通过预测的环境感知结果和预先标注的环境感知结果计算损失，并采用反向传播方法训练多模态感知模型。本发明适用于环境中用户动作状态感知。