一种数据推送方法和装置

本申请实施例公开了一种数据推送方法和装置，该方法包括以下步骤：接收来自客户端的模型上下文协议MCP请求，通过解析所述MCP请求，生成标准化的上下文结构；基于所述上下文结构生成上下文摘要，并根据所述上下文摘要生成缓存键；根据所述缓存键判断是否存在与所述MCP请求对应的缓存，如果是，则从所述缓存加载响应段，并通过服务器发送事件SSE通道将所述响应段推送至所述客户端；否则，通过调用大模型进行推理，并通过SSE通道将推理结果推送至所述客户端。本申请实施例使用缓存键检索缓存，并通过SSE通道将从缓存中的响应段推送至客户端，使得上下文信息能够高效复用，无需重复推理，从而降低响应首包时间和总输出耗时。