一种多模态预训练模型的渐进式微调方法及系统

本发明公开了一种多模态预训练模型的渐进式微调方法及系统，属于深度学习领域，所述方法包括从已完成预训练的多模态大模型的视觉编码器获取高维的视觉特征向量，并从文本编码器中获取文本特征向量，构建得到异构模态特征；通过资源分配策略分析不同模态的贡献度，动态地指导整个微调过程，将有限的计算资源，分配给对当前任务贡献最大的多模态大模型组件；通过跨模态对比一致性模型对所述异构模态特征进行处理得到最终的优化目标。本发明能够在有限的硬件条件下训练出更大的或使用更大的批次大小进行微调训练。