一种基于混合专家机制的遥感多模态推理方法

本发明适用于遥感技术领域，提供了一种基于混合专家机制的遥感多模态推理方法，包括以下步骤：构建混合专家增强的地理空间感知视觉语言基础模型；构建用于模型训练的遥感数据集，包括两个阶段：阶段I通过聚合跨任务的现有遥感数据集形成基础数据集，阶段II采用数据增强技术提升数据集多样性；采用双阶段训练策略，结合预训练初始化与稀疏化架构优化，同时设计包含自回归损失和辅助损失的总损失函数以训练模型。本发明通过混合专家机制适配任务需求，融合多模态特征，捕捉序列长程依赖关系，优化性能，构建多样化遥感数据集，促使模型区分全局与细节。本发明在提升遥感感知任务性能的同时，维持在推理任务上的强大性能。