一种无需微调的大语言模型权重矩阵分解压缩方法、系统及应用

AITNT
正文
推荐专利
一种无需微调的大语言模型权重矩阵分解压缩方法、系统及应用
申请号:CN202410807143
申请日期:2024-06-21
公开号:CN119961557A
公开日期:2025-05-09
类型:发明专利
摘要
本发明公开了一种无需微调的大语言模型权重矩阵压缩分解方法,所述方法包括如下步骤:步骤一、对待分解的大语言模型权重矩阵进行分解敏感值检测,确定一个或多个分解敏感值;步骤二、对所述权重矩阵进行低秩分解,并在分解过程中保留所述分解敏感值,获得一个或多个分解后的低秩矩阵;步骤三、使用步骤二中保存的所述分解敏感值和所述低秩矩阵重建原始权重矩阵。本发明还公开了实现上述方法的系统,以及上述方法或系统在资源受限的环境中部署复杂的深度学习模型中的应用,具有广泛应用场景。
技术关键词
低秩矩阵重建 矩阵低秩分解 元素 低秩分解方法 深度学习模型 奇异值分解方法 硬件系统 模块 处理器 可读存储介质 受限 存储器 坐标 定义 资源 计算机 数据 场景
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号