一种模型剪枝、任务执行方法、介质、设备及程序产品

AITNT
正文
推荐专利
一种模型剪枝、任务执行方法、介质、设备及程序产品
申请号:CN202510242206
申请日期:2025-02-28
公开号:CN120181166A
公开日期:2025-06-20
类型:发明专利
摘要
本说明书提供了一种模型剪枝、任务执行方法、介质、设备及程序产品。在此方法中,可以通过对大语言模型进行预剪枝,即,预先移除一个特定的网络层,从而获得一个预剪枝的大语言模型。然后,比较该预剪枝大语言模型与预剪枝前的大语言模型针对同样的校准数据所给出的概率分布之间的差异,以此评估该预剪枝大语言模型中被移除的特定网络层的重要性参数值。进而可以对特定网络层的重要性参数值分析,以识别并移除那些对最终输出结果影响较小的特定网络层以提升剪枝准确率,这样,可以在保持大语言模型性能基本不变的前提下,能够有效降低模型的算力消耗和复杂度。
技术关键词
大语言模型 模型剪枝方法 矩阵 处理器 指令 计算机程序产品 语义 单层 数据 可读存储介质 校准 参数 复杂度 电子设备 存储器
系统为您推荐了相关专利信息
1
一种显示设备及显示设备控制方法
显示设备控制方法 指令 页面 虚拟键盘 文本识别
2
基于虚拟桌面基础设施日志的审计取证方法、装置及设备
虚拟桌面基础设施 取证方法 风险评估模型 节点 日志
3
问答方法、装置、设备、介质和程序产品
文本 图片 知识点 计算机执行指令 问答方法
4
一种配置文件同步方法、装置、设备及存储介质
配置文件同步方法 节点 高性能 集群管理系统 同步组件
5
一种车辆驾驶控制方法和装置
车辆驾驶控制方法 场景 策略 车辆驾驶控制装置 行驶路径规划
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号