一种针对行业应用的大模型定制化训练方法及系统

本申请公开了一种针对行业应用的大模型定制化训练方法及系统，主要涉及大模型技术领域，用以解决现有技术面临着如何准确切分术语、如何理解协议文档中的层级关系、如何增强模型对低频技术点的学习、无法有效适应通信领域复杂文档的特征，从而导致了模型在实际应用中的效果不稳定的问题。包括：采用预设术语重要性掩码作为大模型注意力权重的偏置项，将预设专业术语token在注意力得分矩阵中调整为预设提升值，并在每一行仅保留Top‑k最大注意力值；采用动态焦点损失函数，参与大模型参数自适应损失计算；迭代训练大模型，获得预训练好的大模型；在预训练完成后，采用对比学习进行领域自适应，获得训练完成的大模型。