数据缓存方法与主机系统

本公开提出一种数据缓存方法与主机系统。此方法包含：将多个标记输入至神经网络，并取得对应至多个层的键值数据；将第一存储装置划分为缓存区块以及共享区块；将对应至所有层的第一键值数据存储至缓存区块；将对应至第一层的第二键值数据存储至共享区块；将键值数据中对应至除了第一层的至少部分其他层的第二键值数据存储至第二存储装置；以及在进行关于第一层的推论程序时，从缓存区块中读取对应至第一层的第一键值数据，并从共享区块中读取对应至第一层的第二键值数据。因此让神经网络可以处理更多标记。