一种基于哈希码的大模型键值型知识学习方法

本发明公开了一种基于哈希码的大模型键值型知识学习方法，旨在提高预训练大语言模型在键值式问答上的准确率；该方法包括：在原始的键值问答训练集中，基于键通过特定算法计算生成每个键值对所对应的哈希码；将哈希码加入训练集中对应的每条键值对的键与值之前，用加入哈希码后的改进数据集对模型进行全量微调；推理时，用同样的算法在需要作为输入的键上进行哈希码的计算复原，拼接于键前，输入模型，获得推理解码结果。本发明通过在数据集中引入基于键计算得出的哈希码，缓解了目前大模型有监督微调在键值问答上的准确率随数据集规模增大而下降的问题，提出了更普适于大模型在键值式问答任务上的微调算法，在多个相关数据集上的微调效果均获得了显著提升。