基于大模型小型化技术的智能问答与文本便携式处理引擎

本发明提供了一种基于大模型小型化技术的智能问答与文本便携式处理引擎，大模型小型化处理单元将模型中的浮点数参数转换为低精度的整数参数，按需控制模型加载及占用资源管理，大模型小型化处理单元和大模型小型化应用连接，大模型小型化应用包括：人工智能问答模块：使用户能够通过自然语言进行问题提问并获取准确回答。自然语言转SQL模块，将用户的自然语言请求转换成结构化查询语言并返回查询结果。RAG检索模块，实现对私有知识的训练，提供对内部知识库的检索问。基于大模型的辅助阅读模块，提供智能文本理解和摘要生成功能。本发明解决在传统的便携式设备上由于计算资源受限，无法充分利用大模型进行高效问答与文本处理等问题。