一种原生语音模态的语言模型训练方法

本发明公开一种原生语音模态的语言模型训练方法，涉及语言模型训练技术领域，所述方法包括：利用传统语音模型构建训练数据集；基于训练数据集中的语音文本对构建语音语义编解码器；使用语音语义编解码器对大语言模型进行第一次微调使其具备语音理解能力；基于人类偏好对大语言模型进行第二次微调，使其具备对语音语调以及人类情感的感知；将微调后的大语言模型进行量化及流式部署。本发明以较小的训练成本，把文本大语言模型转换成具备端到端语音理解与生成的多模态大模型，能够直接处理语音输出，而无需依赖于多个分离的阶段，从而提高了交互的自然性、效率和实时性。