一种基于自主指令生成调优的多模态推理模型自进化方法

本发明提供了一种基于自主指令生成调优的多模态推理模型自进化方法，涉及语言图像多模态融合领域，通过计算图像指令对应得分，增强了指令微调数据与图像之间的内容相关性，通过对比学习的框架，进一步提升了多模态推理模型的指令微调数据生成能力。本发明有效地提高了多模态推理模型生成数据的质量，通过进一步利用该数据微调多模态推理模型自身，实现了多模态推理模型的自进化。