一种煤矿垂直领域大模型的构建方法及装置

本发明提供了一种煤矿垂直领域大模型的构建方法及装置，涉及深度学习技术领域，所述方法包括：获取领域语料库数据和通用语料库数据，并分别基于领域语料库数据和通用语料库数据构建领域词表和通用词表；将通用词表和领域词表中的各个分词，基于各自的权重进行加权融合，得到融合词表；基于融合词表，利用领域语料库数据和通用语料库数据对嵌入模型进行训练；加载预训练的原始大语言模型，并将训练完成的嵌入模型替换至原始大语言模型的嵌入层，得到更新后的大语言模型；利用领域语料库数据和通用语料库数据对更新后的大语言模型进行增量预训练，得到煤矿垂直领域大模型。本发明构建的煤矿垂直领域大模型实现了对煤矿行业专业知识的精准表达。