生成低秩适配器参数的超网络训练方法及装置

本公开实施例公开了一种生成低秩适配器参数的超网络训练方法及装置，其中方法包括获取作为输入信息的多任务指令数据，并基于所述输入信息生成低秩适应参数；基于超网络的底层模型对所述输入信息处理后的数据、以及所述低秩适应参数对超网络进行优化；其中，所述多任务指令数据中的任务示例基于梯度的影响估计自动选择得到；训练目标为真值引导的训练目标。通过包含一个文本编码器和一个参数生成器，在多任务遵循指令数据上的超网络预训练以及使用稀疏任务数据的泛化微调；约束训练损失和自动示例选择策略，提高训练稳定性和性能。