一种基于多模态融合的雷达信号调制方式开集识别方法

本文提出一种基于多模态融合的雷达信号调制方式开集识别方法，融合时频图像与文本特征，通过度量学习分类判别并引入极值理论建立拒绝机制，提升对未知类信号的识别能力。具体包括：根据不同雷达信号模型生成时频图并利用大语言模型生成对应文本描述，构建图文配对数据集；搭建图文融合模型实现模态特征交互融合，优化嵌入空间；基于融合后的联合嵌入表示，计算类别嵌入中心；对每个已知类，度量该类下样本的图文联合嵌入表示与其类别嵌入中心之间的距离；基于上述距离度量结果选取尾部样本，拟合威布尔分布模型；利用分布模型对测试样本距离校正，聚合各类别校正前后距离度量结果差值，构建未知类距离度量，统一输入softmax函数完成识别与拒绝判别。