模型融合方法、装置及电子设备

本公开提供了模型融合方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、云计算、大模型等技术领域。具体实现方案为：在大模型的预训练过程中，调用主进程将预训练过程中的中间模型参数缓存至主缓存器中；通过主进程调用子进程读取主缓存器中的中间模型参数以及根据中间模型参数进行参数融合处理；其中，主进程和子进程可以异步进行，在大模型的预训练的同时可以对大模型预训练得到的中间模型参数进行参数融合处理，从而在不影响大模型的预训练效率的情况下，提高了模型融合效率。