联邦大模型自适应低秩微调方法、装置、计算机设备及存储介质

本发明公开了联邦大模型自适应低秩微调方法、装置、计算机设备及存储介质，所述方法包括：将大语言模型的低秩适应矩阵分解为服务器共享矩阵与客户端私有矩阵；初始化私有矩阵及自适应对角矩阵；客户端根据自适应对角矩阵中各元素的标准差，动态修剪低贡献维度和调整实际有效秩，并结合共享矩阵和私有矩阵，以得到更新后的私有矩阵；服务器通过秩感知聚合策略进行聚合，并使用公共数据集对共享矩阵进行微调，以得到全局模型；将全局模型部署至服务器及各客户端。通过实施本发明的方法可高效实现大语言模型的自适应微调，同时解决传统方法中存在的聚合干扰，资源利用率低及泛化能力不足的问题，本技术方案可应用于金融及医疗健康领域。