基于图像分割的多模态联邦学习方法、设备及存储介质

本申请公开了一种基于图像分割的多模态联邦学习方法、设备及存储介质，涉及机器学习技术领域，通过离散余弦变换将客户端的输入图像从空间域转换为频域，从而获得客户端的本地中频频谱，在服务器端聚合各个客户端的本地中频频谱，采用该种方案，通过仅传输包含基本特征的中频系数，能够有效减少传输的数据量。此外，通过Sinkhorng算法改进后的EMD计算本地中频频谱与全局中频共识之间的传输单元数量矩阵，能够获得最优的传输方案，利用最优的传输方案迭代更新全局中频共识，进一步借助全局中频共识引导客户端对结构特征与细节信息进行重构，从而增强了图像分割模型在多模态下实现轻量且精确的医学图像分割，确保了模型效率和精度的平衡。