一种支持大模型推理过程上下文信息安全保存和恢复的硬件系统、方法及应用

本发明公开了一种支持大模型推理过程中上下文信息安全保存和恢复的硬件系统，所述硬件系统包括：推理主机和存储系统；所述推理主机通过USB接口与所述存储系统进行通讯；所述推理主机中包括：内存、中央处理器、硬盘、GPU/NPU/TPU模块；所述存储系统中包括：ARM Cortex‑M7芯片、DMA/FIFO模块、SDMMC接口、USART接口、GPIO接口；所述存储系统通过SDMMC接口挂载Flash存储芯片，用于保存大模型推理过程中的K、V矩阵数据；所述存储系统和所述Flash存储芯片或所述推理主机和所述存储系统之间采用USB 3.0和/或SDIO 3.0UHS‑2协议进行数据传输。本发明还公开了一种上下文信息保存和恢复方法及应用。