一种预训练模型微调方法及相关设备

本说明书提供了一种预训练模型微调方法及相关设备，应用于与模型提供方对应的第一计算设备；多个数据提供方持有与不同推理任务对应的私有数据。该方法包括：将待微调的预训练模型发送至与多个数据提供方对应的多个第二计算设备，以使多个第二计算设备基于持有的私有数据对预训练模型进行微调训练；构建与预训练模型对应的MoE门控网络，基于多个第二计算设备得到的多个微调后的预训练模型对MoE门控网络进行训练；MoE门控网络用于：根据待执行的推理任务与多个微调后的预训练模型之间的相关性，确定多个微调后的预训练模型的权重，并根据确定出的权重，将多个微调后的预训练模型执行该推理任务所输出的多个推理结果进行加权融合。