基于低秩自适应矩阵和混合专家的多领域问答任务微调方法

本发明属于自然语言处理与参数高效微调领域，具体涉及一种基于低秩自适应矩阵和混合专家的多领域问答任务微调方法，该方法包括：加载数据集并划分；使用句向量模型抽取数据集句向量表示，对句向量使用K均值聚类算法获得类别数N；加载预训练语言模型，冻结原模型参数；在模型中指定的结构旁构建N个非对称的低秩专家模块以及路由模块；将句向量表示作为路由模块输入，路由模块计算专家权重并将不同专家加权求和；所述多领域问答任务微调方法包括低秩自适应矩阵以及混合专家模块；本发明利用低秩自适应矩阵显著降低可训练参数数量，提高训练效率；使用混合专家模块，学习复杂问答任务中不同领域问题的专有知识，提高模型的泛化能力。