检索增强生成大语言模型系统和方法

本申请提供一种检索增强生成大语言模型系统和方法，涉及人工智能技术领域。该系统包括：部署有问答服务模块和大语言模型的主机、主机侧网卡设备，以及包括多个算力节点和知识数据库的大数据集群、集群侧网卡设备；主机通过问答服务模块获取提问，并将提问发送至主机侧网卡设备，进而传输至集群侧网卡设备；集群侧网卡设备调用至少一个算力节点将提问转化为查询向量，并根据查询向量访问知识数据库得到对应的检索知识；集群侧网卡设备将检索知识返回至主机侧网卡设备，进而返回至主机；主机通过大语言模型基于检索知识生成答案。本申请的系统，降低了检索增强生成服务对主机的图形处理器资源的需求。