一种基于医疗大模型多模态联邦学习方法、系统及设备

本申请公开一种基于医疗大模型多模态联邦学习方法、系统及设备，涉及联邦学习领域，方法包括：在医疗机构客户端中采用多模态特征融合数据集对接收到的初始全局模型进行本地局部训练，得到局部模型并上传服务器端进行交叉验证，通过评判、保留优质模型特征实现全局训练；直至优化全局模型达到第一预设条件时停止学习，进行医疗机构客户端聚类得到多个簇，将最优局部模型输入至对应簇进行簇内聚合得到集群模型；将各个簇的集群模型送入医疗机构客户端进行本地局部训练，至满足第二预设条件后将各个医疗机构客户端的二次优化局部模型上传至服务器端进行聚合以得到最优联邦全局模型。本申请可保证全局模型训练准确性及效率的同时增强模型泛化能力。