一种轻量级中英双语大语言模型的两阶段训练方法

本申请提供一种轻量级中英双语大语言模型的两阶段训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；预处理流程包括特殊标记清除，敏感数据清理、数据去重、去除广告、格式化处理；步骤2，第一阶段高资源语言训练，即利用英语进行模型训练；步骤3，进行第二阶段双语混合训练，采用语言迁移训练，将中文数据和英文数据混杂进行第二阶段训练；其中，步骤3包括：步骤31，进行词表扩展；步骤32，语言迁移训练。本申请能够提高双语处理能力。