大语言模型的终端部署方法和装置、电子设备和存储介质

本申请公开了一种大语言模型的终端部署方法和装置、电子设备和存储介质，可广泛应用于模型处理技术领域。本申请通过将原始大语言模型转换为目标模型格式对应的目标大语言模型以及调用分词器模型，并编译不同平台对应的动态链接库后，通过动态链接库调用分词器模型，以及通过预设开放神经网络交换模型的运行状态调用目标大语言模型后，将分词器模型的输入作为目标大语言模型的输入进行预测，从而实现大语言的终端部署和应用，有效减少代码编写工作量，提高研发效率。