一种面向交通场景的大模型高效微调与自适应量化方法

本发明提供了一种面向交通场景的大模型高效微调与自适应量化方法，属于智能交通技术领域，首先采用LoRA方法冻结预训练大模型的主干权重，并对其注意力模块权重进行低秩分解；再对权重矩阵及其分解矩阵进行多策略量化处理，包括INT4、FP4与NF4等量化方法；通过动态能量模型剔除异常偏大值，并构建分块概率密度分布函数以提高量化精度；最后，基于KL散度最小化准则自适应选择最匹配的量化方案，实现对模型的4‑bit压缩。该方法可广泛应用于文本生成代码交通控制系统中的模型优化任务，在保障指令生成准确率的同时显著降低计算负载，具备良好的实时性、可移植性与系统实用价值。