一种共享记忆矩阵的语言模型使用方法

本发明涉及计算机语言处理技术领域，特别是一种共享记忆矩阵的语言模型使用方法。通过一种循环的迭代结构，将Key矩阵、Value矩阵都通过memory得到，同时保证在推理当前token过程中每层的memory都相同，等效于key张量、value张量共享，从而实现了缓存降低的效果，因而算力资源得到了节省。