摘要
本发明涉及人工智能模型优化技术领域,公开了一种生成式AI模型的多粒度动态剪枝方法及系统。该系统包括模型状态采集模块,通过探针实时获取中间层输出,构建神经元激活分布、权重矩阵范数及连接拓扑的特征信息集;稀疏度评估模块基于特征信息集、初始稀疏度参数及实时计算资源状态,输出稀疏化风险值;剪枝规划协同分析筛选模块在风险值超过阈值时生成多粒度剪枝方案,计算精度恢复操作的协同干扰值并筛选最佳方案;剪枝策略执行反馈模块更新模型参数并生成日志反馈至管理终端。该系统实现生成式模型在推理过程中的自适应结构优化与资源调度。
技术关键词
动态剪枝
多粒度剪枝
边界特征
剪枝策略
层级
更新模型参数
规划
模型预测控制算法
模块
启发式搜索算法
资源约束条件
探针
管理终端
风险
人工智能模型
矩阵
校验机制
生成日志
中间层