大语言模型的知识蒸馏微调方法、装置、设备及存储介质

本公开涉及人工智能技术领域，尤其涉及大语言模型的知识蒸馏微调方法、装置、设备及存储介质，方法包括：加载大语言模型，获取训练数据和专家经验函数，构建模板引擎、经验总结器和目标函数，通过目标函数实现经验总结器对专家经验的蒸馏学习，通过对经验总结器训练得到优化编码器，对解码器进行模板式对齐训练得到优化解码器；对由优化编码器和优化解码器组成的大语言模型进行联合对齐训练，得到目标大语言模型；本方案中通过蒸馏学习使大语言模型对输入信息进行多维度处理，可以为用户提供更加个性化和定制化的服务，也可以使模型更加鲁棒，还可以使最终得到的目标大语言模型具备更高的准确性。