一种基于大语言模型实现的稠密编码器的处理方法和装置

本发明实施例涉及一种基于大语言模型实现的稠密编码器的处理方法和装置，所述方法包括：选择一款已经完成预训练和NLP任务微调并基于纯解码器架构实现的大语言模型作为目标模型，并通过将目标模型解码器在推理过程中使用的因果掩膜矩阵固化为全1矩阵的改造方式得到双向编码器，并由目标模型的嵌入编码模块和多个双向编码器顺次连接组成稠密编码器；通过屏蔽词预测任务对稠密编码器进行一阶段微调，通过无监督对比学习机制对稠密编码器进行二阶段微调；微调结束后，利用稠密编码器为用户指定的目标文档库构建文档向量库，并基于文档向量库和稠密编码器为目标文档库提供检索服务。通过本发明的稠密编码器来处理文本检索任务能提高检索准确率。