摘要
本发明提供了面向大规模企业的多模态轻量化大模型构建方法及系统,该方法包括:对原始大模型进行体积压缩以优化原始大模型结构,得到精简大模型,所述体积压缩依次包括块删除和块参数共享;建立企业专有数据库,所述专有数据库的建立至少部分地基于向量特征召回及文本切分;建立企业专有知识库,所述专有知识库的建立至少部分地基于知识图谱;基于精简大模型,构建多智能体的低代码工作流;结合算力调度,通过私有化容器部署精简大模型。本方案可高效、快捷地实现大模型的压缩和优化,节省算力资源,且便于私有化部署,具备良好的扩展性。
技术关键词
解码
模型构建方法
缩放参数
企业
注意力
超参数
模型构建系统
蒸馏
工作流
容器
图谱
封装模块
文本
教师
学生
因子
资源
通道