一种基于对比学习的跨模态特征空间映射与缺失模态迁移方法、装置、电子设备及存储介质

一种基于对比学习的跨模态特征空间映射与缺失模态迁移方法、装置、电子设备及存储介质。本发明将源域中的振动和热成像模态经过CNN特征提取之后根据标签进行分类，将特征映射到同一个特征空间中，使用对比学习的方法，尽可能拉近不同模态相同类别的距离，尽可能推远不同类别的距离，形成一个特征空间，然后通过这个特征空间进行分类。在目标域中将振动信号经过1D‑CNN提取之后，映射到同一个特征空间中，然后进行分类，使得特征表达具有语义一致性。通过跨模态特征映射和模态补全技术，实现目标域模态缺失情况下的高效知识迁移和分类。利用类别感知的对比学习方法，保证跨模态特征在共享空间中的语义一致性，提升分类精度。通过类别加权的对比学习方法，提升少数类故障分类的准确性和鲁棒性。