多模态模型处理方法、装置、设备、存储介质和程序产品

本申请涉及一种多模态模型处理方法、装置、设备、存储介质和程序产品。所述方法包括：依据多模态数据中的视觉数据和听觉数据，生成所述视觉数据的描述信息；基于所述描述信息生成包括问题和答案选项的样题信息；根据所述样题信息、所述视觉数据和所述听觉数据，生成答案和所述答案对应的推理过程信息；在所述答案正确的情况下，基于所述视觉数据、所述听觉数据、所述答案正确时对应的所述样题信息和所述推理过程信息，对预训练的多模态模型进行训练，获得目标多模态模型。采用本方法能够有效缓解多模态模型的幻觉问题，从而提高多模态模型的推理准确性。