领域大语言模型微调训练方法、装置、电子设备及介质

本公开涉及一种领域大语言模型微调训练方法、装置、电子设备及介质；方法包括：在微调训练阶段，获取多个领域任务的原始指令数据，构建单项选择任务数据集，单项选择任务数据集包括多个领域任务的多条单项选择任务数据，对单项选择任务数据集中的原始指令题目进行数据扰动操作，识别各个领域任务的关键注意力头，获取关键注意力头索引表，基于关键注意力头索引表，加载目标领域任务对应的目标关键注意力头列表；针对目标领域任务，基于目标关键注意力头列表进行关键注意力头训练，更新目标关键注意力头列表中各个关键注意力头的权重参数，冻结其他网络层的权重参数。