基于细粒度差分隐私的多模态联邦学习隐私保护方法

本发明公开了一种基于细粒度差分隐私的多模态联邦学习隐私保护方法，包括：根据每个模态数据独特的隐私保护需求，为其决定独立的差分隐私保护等级；接为每个模态数据定制化计算实现该等级保护所需的差分隐私噪声幅值；将本地模型解构为与各模态对应的子网络模型；在每个模态子网络和对应的决策网络部分添加前述计算出的定制化差分隐私噪声。此外，本发明还包含一个自适应模态融合优化算法，该算法可在梯度未知的情况下，通过动态优化各模态的融合权重，来最小化差分隐私噪声对学习性能的负面影响。本发明能够精细化地保护多模态联邦学习中的用户隐私，同时降低了人工噪声对系统性能的影响，提高了联邦学习系统的准确性和适用性。