基于多模态大模型的对话方法、装置、设备以及存储介质

本公开提供了一种基于多模态大模型的对话方法、装置、设备以及存储介质。本公开涉及计算机技术领域，尤其涉及深度学习、大语言模型、问答系统、家装设计软件等技术领域。该方法包括：响应于前端界面的对话操作，获取输入的原始查询文本和前端界面的界面图片；利用视觉大语言模型，根据界面图片中包含的视觉信息，对原始查询文本进行改写，得到增强查询文本；根据原始查询文本和增强查询文本，在向量数据库中检索得到外部知识结果；将增强查询文本和外部知识结果输入问答模型，得到回答文本。根据本公开的方案，可以结合用户的文本输入和实时的操作界面视觉信息，更深刻地理解用户意图，从而提供更加精准、有效的回答。