一种基于提示蒸馏的不完备多模态学习方法

本发明提出了一种基于提示蒸馏的不完备多模态学习方法，旨在提升多模态模型在模态缺失场景下的鲁棒性与泛化能力。该方法融合知识蒸馏与提示学习的优势，构建了由分层提示生成器、教师网络和推理网络组成的协同框架，实现模态间共享知识与样本级细粒度信息的高效迁移。本方法首先构建并预处理多模态数据集；然后基于提示蒸馏机制，在教师网络和推理网络之间建立高效的知识传递机制；最后利用训练完成的提示生成器与推理网络对不完备模态样本进行推理，显著提升下游任务的准确性与适应能力。本发明通过提示生成器与双蒸馏机制的协同优化，在保持模型轻量化的同时显著提升了知识迁移效率，为复杂真实环境中的多模态学习提供了高效解决方案。