摘要
本申请公开了一种政务大模型的轻量化方法、装置、设备及存储介质,涉及人工智能模型压缩领域,包括:确定政务大模型的元数据,并基于预设政务领域知识图谱构建语义关联矩阵,以基于所述元数据和所述语义关联矩阵确定目标信息;基于所述目标信息对所述政务大模型的权重参数进行可信度评估,并基于得到的评估结果确定剪枝策略;基于所述目标信息和所述权重参数对所述政务大模型的层级进行敏感度分析,得到分析结果,并确定所述权重参数的量化区间,利用所述分析结果和所述量化区间确定量化策略;利用所述剪枝策略和所述量化策略对所述政务大模型进行轻量化,得到相应的目标轻量化模型。因此,本申请能够提高政务大模型轻量化的效果。
技术关键词
轻量化方法
剪枝策略
知识图谱构建
参数
政务信息处理
层级
语义
数据
人工智能模型
复杂度
浮点数
精度
可读存储介质
模块
处理器
注意力
场景
电子设备
系统为您推荐了相关专利信息
仿真模型
脚本
有效性
训练样本集
可执行程序代码
知识图谱构建方法
节点
实体
数据获取模块
遍历算法
多头注意力机制
滑动窗口采样
节点
样本
序列预测方法