一种基于无服务计算的大模型在线推理服务实现方法

本发明公开一种基于无服务计算的大模型在线推理服务实现方法，涉及模型推理技术领域，该实现方法包括如下操作：构建大模型资源嗅探接口，用于实现先嗅探服务器资源后传输推理数据JSON的API Server方式；构建模型预加载模块，用于使用模型分片技术快速加载大模型；构建共享内存模块，用于对GPU和CPU内存进行规划管理，并动态演绎模拟内存使用率；在基于无服务计算原理实现模型推理并发弹性扩缩容时，使用GPU资源共享。本发明解决了大模型在线推理资源占有较高，资源预热慢等问题，可以避免资源浪费，提高资源的利用率，快速响应的在线推理服务，显著提升用户体验。