一种多模态模型训练方法和装置

本公开提供了一种多模态模型训练方法和装置，其中该方法包括，获取指定领域的训练样本集，训练样本集包括第一格式数据，该第一格式数据至少包括图片信息和对应的文字信息，训练样本集包括第二格式数据，该第二格式数据至少包括指令信息和对应的回复信息，使用第一格式数据和与第一格式数据对应的第二格式数据对多模态模型进行训练，调整多模态模型的参数，直至向该多模态模型输入指定的第一格式数据，该多模态模型输出指定的第二格式数据。通过本公开解决了现有技术中通用多模态智能体在处理特定领域任务时存在一定的局限性的问题，提高了任务多样性、降低了成本，增强了模型的泛化能力。