基于多模态大模型提高模型图片识别能力的方法

本发明公开了基于多模态大模型提高模型图片识别能力的方法，涉及图像识别技术领域，搭建多模态大模型的基础架构，并利用海量图片训练多模态大模型作为基础模型；收集新增的图像，结合图像准备对应的标准问题和描述图片内容的答案；根据图片识别任务需求，设计相应的指令，即提示词，引导大模型进行图片识别。本发明多模态大模型使用海量的图片进行训练，应用到图片识别领域可充分利用多模态大模型的图片特征库来优化图片识别技术的准确率，且通过使用多模态大模型的微调训练，可大幅度减少训练图片数量级，通过进行复合式的微调训练后，多模态大模型可具备泛化所训练图片的识别能力，可以大幅减少需要用于训练的图片数量。