一种基于视觉辅助的毫米波雷达零样本行为感知方法

本发明属于零样本无线信号行为感知技术领域，公开了一种基于视觉辅助的毫米波雷达零样本行为感知方法，同时收集包含各种不同动作类别的视频和毫米波雷达数据，将毫米波雷达数据集分为训练集和测试集；分别提取视觉相关的全局及局部属性，融合后得到最终各类别的属性；构建三通道卷积神经网络，用于提取毫米波雷达信号中强辨识力的特征表达，并将基于测试集得到的特征和各个不同类别属性比较，得到该毫米波雷达信号的类别。本发明利用丰富的视觉样本生成各种不同类别动作的属性，设计三通道卷积神经网络提取有强辨识力的毫米波雷达特征，并构建属性和毫米波雷达的关系，实现零样本学习任务，降低数据采集和训练成本，拓宽毫米波雷达的应用领域。