基于小样本的大模型优化方法、装置、设备和存储介质

本申请公开一种基于小样本的大模型优化方法、装置、设备和存储介质，通过获取初始多模态数据；确定与初始多模态数据对应的垂直领域，基于垂直领域对预先获取的第三方大语言模型进行优化；提取初始多模态数据中的初始文本数据，将初始文本数据输入至优化后的第三方大语言模型中，得到输出的增强文本数据；提取初始多模态数据中的初始图像数据，并对初始图像数据进行数据增强处理，得到各张精选图像；由初始多模态数据、增强文本数据和各张精选图像构建混合数据集；利用混合数据集对预先建立的基座大模型进行优化，得到优化后的多模态基座大模型。本申请通过上述处理过程就能够使数据的覆盖范围和情况更广泛，使模型可以适应多模态的服务任务。