大语言模型引导的全景图像描述增强视觉问答方法和系统

本发明公开了一种大语言模型引导的全景图像描述增强视觉问答方法和系统，属于多模态信息处理领域。针对现有方法缺乏对图像关键细节准确描述而导致问答系统生成答案错误的问题，本发明设计了一个包括多层次图像信息获取模块、约束增强的全景图像描述生成模块和视觉问答模块的系统。多层次图像信息获取模块：有效利用视觉语言模型从图像中提取丰富的视觉信息。约束增强的全景图像描述生成模块：结合大语言模型的推理能力生成详细的全景图像描述，同时引入上下文约束示例和约束指令以减轻大语言模型可能产生的幻觉问题。视觉问答模块：从图像、问题和全景图像描述三个维度选择问答样例作为上下文学习样例，有效指导大语言模型在回答问题时的应用。