一种多模态信息处理的条件偏好优化方法、系统、设备及介质

本发明涉及大语言模型技术领域，公开一种多模态信息处理的条件偏好优化方法、系统、设备及介质，包括：根据用户输入数据，通过多模态大型语言模型，得到与问题关联图像对应的偏好回答数据对和与问题文本对应的偏好回答数据对；根据用户输入数据以及与问题关联图像对应的偏好回答数据对和与问题文本对应的偏好回答数据对，利用改进型条件偏好优化算法，得到与用户输入数据对应的最优回答，其中，改进型条件偏好优化算法包括直接偏好优化算法、多目标偏好优化算法以及自注意力奖励策略。本发明维护优选响应的质量，提升多模态大型语言模型在处理图像和文本等多模态输入时，能更准确地反映人类偏好，同时避免仅依赖语言信息而忽视图像信息的问题。