一种异构模型的融合方法及装置

本申请公开了一种异构模型的融合方法，包括如下步骤。步骤S1：对齐多个源模型的词汇表，即：将所有源模型的词汇表合并，得到目标模型的仅一个词汇表。步骤S2：将多个源模型的不同模型结构和参数空间映射为同一种，即映射为目标模型的模型结构和参数空间。所述步骤S1和步骤S2的顺序或者任意在前，或者同时进行，或者交叉进行。步骤S3：将目标模型的参数矩阵和目标模型的词汇表进行适配，即：对源模型的词汇表中的每个词的向量进行合并，获得目标模型的一个用于词汇表映射的权重矩阵。步骤S4：对目标模型进行续训练。本申实现各独立的异构模型的高效整合。