一种基于深度三元融合感知网络的遥感跨模态检索方法

本发明公开了一种基于深度三元融合感知网络的遥感跨模态检索方法，该方法使用训练后的遥感跨模态检索模型将多模态遥感数据进行跨膜态检索；所述遥感跨模态检索模型将多模态遥感数据作为自监督模态增强模块的输入进行预处理，并输入至三元特征表达模块独立捕获提取单模态图像特征、文本特征和音频特征，上述特征作为融合感知模块的输入，以融合生成多模态特征嵌入，并根据所述多模态特征嵌入得到待处理的多模态遥感数据的遥感跨模态检索结果。本发明利用三元特征表达策略、融合感知机制和自监督模态增强技术，解决了模型的模态可扩展性和遥感标注数据的稀缺与高成本等关键问题，显著增强了遥感数据跨模态检索任务的精度和效率。