基于高速互通连接的语言模型检索推理系统、方法

本申请公开基于高速互通连接的语言模型检索推理系统、方法，包括：主机、高速互通连接交换机、高速互通连接内存池、图像处理器，高速互通连接内存池内包括近存计算内存、双倍数据传输率内存，高速互通连接交换机内包含自适应分区模块；其中，主机通过高速互通连接交换机分别与高速互通连接内存池、图像处理器相连；主机，用于接收第一提示词，生成第二提示词，并将第二提示词通过高速互通连接交换机存储至双倍数据传输率内存；主机，还用于通过高速互通连接交换机，从双倍数据传输率内存中提取第二提示词进行推理，并利用连接到的高速互通连接交换机内自适应分区模块，确定推理阶段的任务分配对象，其中，分配对象为近存计算内存或图像处理器。