面向预训练语言模型的密态微调和推理方法、设备及产品

本发明公开了一种面向预训练语言模型的密态微调和推理方法、设备及产品，参与主体包括用户和服务提供商；所述服务提供商，拥有预训练语言模型并且参与密态微调和密态推理，该预训练语言模型的参数是服务提供商的隐私；所述用户，拥有微调数据集和推理的输入、输出，是隐私数据；所述密态微调，在保护服务提供商的预训练语言模型和用户的微调数据集的前提下，对语言模型进行微调，用户得到微调模型的非冻结部分；所述密态推理，在保护用户推理输入和输出的前提下，由服务提供商进行微调模型冻结层的推理，得到的推理结果被交付给用户，用户进行非冻结层的推理并获得推理结果。本发明减少了密态微调和推理的时间和通信开销，并且提升了准确率。