一种基于联邦学习的隐私保护多模态异常检测方法

本发明涉及一种基于联邦学习的隐私保护多模态异常检测方法，属于工业异常检测领域。所述方法，包括：基于联邦学习框架构建客户端和服务器端，将数据集中各类数据随机打乱并均分给客户端，从输入的RGB图像和对应3D点云数据中分别利用冻结的2D特征提取器和3D特征提取器提取特征图；在客户端使用跨模态映射函数将2D特征映射为预测的3D特征，反之亦然，通过最小化余弦距离在正常样本上训练映射网络，服务器端通过联邦平均聚合客户端梯度生成最终模型；在推理阶段重复特征提取与跨模态映射，计算2D特征和3D特征与其预测值之间的欧几里得距离，生成模态特定异常图，并通过像素级乘积聚合生成最终异常图。本发明适用于工业质量检测场景。