一种大语言模型的流式处理系统和方法

本发明涉及一种大语言模型的流式处理系统和方法，在离线环境中，通过大语言模型模块调用大语言模型架构以按批处理模式运行，而在在线环境中则以流式模型参数作为大语言模型架构的模型参数，并调用大语言模型架构以通过令牌解耦缓存机制实现流式推理，还通过所设置的模型参数优化模块采用流式注意力掩码机制对大语言模型架构进行参数优化，以动态调整大语言模型架构的注意力范围，令大语言模型架构仅关注当前可用输入和上下文，获得流式模型参数，确保大语言模型模块达到在批处理模式和流式模式之间的可扩展性要求，且计算成本较低。