一种基于基准测试的大语言模型微调联邦学习激励方法

本发明公开了一种基于基准测试的大语言模型微调联邦学习激励方法。该方法包括：在进行大语言模型微调时，节点先对模型进行本地训练；完成本地训练后将训练的参数上传到中心节点，中心节点使用基准测试对该轮训练中节点的训练质量进行评价，基准测试可以准确地衡量出节点本地训练的参数质量与判断节点攻击；根据基准测试结果，更新节点的声誉值；随后中心节点根据评价结果与声誉值，使用联邦学习聚合方法对节点进行全局模型聚合。本发明为大语言模型微调的联邦学习设计了可行的激励机制，解决了在大语言模型微调联邦学习场景下缺乏激励机制的问题，可以吸引可靠节点上交高质量数据，排除低质量的节点贡献，可以进一步推动联邦学习应用落地。