针对视觉语言模型的个性化联邦学习方法、终端及介质

本发明涉及联邦学习技术领域，公开了针对视觉语言模型的个性化联邦学习方法、终端及介质。该方法将联邦学习系统中的客户端建模为无向图中的节点，构建多模态的客户端图；将客户端图划分为簇并进行迭代聚类，以最小化客户端图的结构熵；结构熵由簇内同质性和簇间分离度联合确定；对每个簇内的客户端通过LoRA模块进行视觉语言模型微调，并在客户端局部更新阶段通过参数正则化约束局部模型与全局模型的偏差，得到模型上传参数；按照迭代聚类的结果，每个簇内的服务器接收簇内各个客户端的模型上传参数，聚合形成全局模型并下发到客户端。本发明能在有效抵御拜占庭攻击的同时，减少通信开销。