一种多模态模型训练方法及多模态模型训练装置

本申请提供了一种多模态模型训练方法及多模态模型训练装置，所述方法包括：获取每一训练数据对应的多模态模型的预测输出；其中，所述训练数据包括图片或视频；基于所述预测输出以及至少一个预设指标的指标值，确定每一训练数据对应的所述多模态模型的预测结果；基于所述训练数据对应的正确结果和预测结果，确定出所述训练数据对应的反馈值，并生成每一训练数据对应的训练日志；其中，所述训练日志用于对下一步训练所使用的至少一个预设指标的指标值进行更新；基于所述反馈值对所述多模态模型的训练参数进行调整，得到目标多模态模型。通过所述方法及装置，使得模型训练的训练过程更加稳定，训练效率大大提高，训练后的多模态模型性能也得以提高。