摘要
本说明书提供了一种模型剪枝、任务执行方法、介质、设备及程序产品。在此方法中,可以通过对大语言模型进行预剪枝,即,预先移除一个特定的网络层,从而获得一个预剪枝的大语言模型。然后,比较该预剪枝大语言模型与预剪枝前的大语言模型针对同样的校准数据所给出的概率分布之间的差异,以此评估该预剪枝大语言模型中被移除的特定网络层的重要性参数值。进而可以对特定网络层的重要性参数值分析,以识别并移除那些对最终输出结果影响较小的特定网络层以提升剪枝准确率,这样,可以在保持大语言模型性能基本不变的前提下,能够有效降低模型的算力消耗和复杂度。
技术关键词
大语言模型
模型剪枝方法
矩阵
处理器
指令
计算机程序产品
语义
单层
数据
可读存储介质
校准
参数
复杂度
电子设备
存储器
系统为您推荐了相关专利信息
虚拟桌面基础设施
取证方法
风险评估模型
节点
日志
配置文件同步方法
节点
高性能
集群管理系统
同步组件
车辆驾驶控制方法
场景
策略
车辆驾驶控制装置
行驶路径规划