一种基于多模态的对比解码幻觉减轻方法、装置及终端

本发明公开了一种基于多模态的对比解码幻觉减轻方法、装置及终端，方法包括：获取目标初始数据，对所述目标初始数据进行多模态扰动处理，得到目标扰动数据，所述目标初始数据包括目标高清图像及其对应的目标文本提示词；将所述目标初始数据和所述目标扰动数据输入至目标模型，得到初始输出和幻觉输出，所述目标模型为大型视觉语言模型；对所述初始输出和所述幻觉输出进行对比解码，得到目标输出。本发明通过添加多模态的噪声，并将其与初始输出进行对比，从而校准模型的预测，减少生产错误信息的可能性。