一种面向量化大语言模型高效微调的低秩矩阵的缩放调节方法及对话生成方法

本发明涉及一种面向量化大语言模型高效微调的低秩矩阵的缩放调节方法及对话生成方法，本发明在权重微调的过程中，对所有的数据会进行逐批次的迭代，迭代过程用以计算前向计算和反向计算，以进行模型优化。且在每次迭代中考虑量化比特宽度带来的影响，避免因为不同比特量化带来的误差导致欠拟合和过拟合问题。同时，在每次迭代中本专利使用和量化网络同粒度的低秩矩阵，这样在量化微调结束后可以保持量化格式的不变。因此解决现有技术中不同量化位宽下低秩矩阵的缩放调节不当等问题，提高了大语言模型微调的性能。