一种基于注意力机制的大模型优化方法及系统

本发明属于深度学习技术领域，针对大模型计算资源消耗大、内存占用高及可解释性差等问题，提出一种基于注意力机制的大模型优化方法及系统。方法上，先联合K、V参数矩阵为大KV矩阵，用动态自适应张量分解降维；在各数据处理步骤添加解释层标记处理过程；采用隐式专家协同模型，以门控网络生成权重分解中间计算。其中，张量分解通过NLP模型和拓扑模型预测最优秩并扩展为三阶张量；隐式专家协同模型共享基础参数矩阵、用门控系数组合子网络并实现隐式稀疏性。经实验验证，该方法能缩短计算时间、减少内存占用、提升计算速度、增强模型可解释性与适应性，有效优化大模型性能。