一种基于边缘计算的检索增强生成部署方法

本发明公开了一种基于边缘计算的检索增强生成部署方法，包括：基于云端发布的容器部署与检索所需应用服务需求信息对应的定制模型；其中，所述容器为所述云端基于通用大模型及对应的应用数据定制及压缩后得到的容器；采用少样本或零样本学习方法对部署的定制模型进行微调，并基于微调后的定制模型及用户交互数据进行知识库检索及更新；基于预处理的云端数据库更新本地应用服务数据知识库，并在数据合规约束下通过点对点的方式与其他边缘计算节点进行知识库数据及相关索引共享；本发明基于云端和边缘计算节点实现了数据动态采集和处理，确保模型服务能够利用最新的、多样化的数据，提升检索服务的响应速度和输出质量。