摘要
本发明公开了基于双门控混合专家模型与傅里叶降噪的多模态序列推荐方法,包括以下步骤:S1、多模态特征编码:使用BERT/ViT预训练模型提取文本/视觉特征;S2、频域特征去噪:采用傅里叶变换进行频域噪声过滤;S3、双门控混合专家模型:采用并行路径实现自适应多模态融合与时序兴趣建模;S4、多任务联合优化:整合三重辅助对比学习对模型进行联合优化,利用预训练模型BERT/ViT提取文本和图像特征,引入傅里叶变换对多模态特征进行频域降噪,显著提升了模态表示的鲁棒性,输入依赖型专家通过动态路由实现细粒度的模态交互,共享专家利用带门控机制的时间编码建模用户兴趣的周期性演化,优化特征融合质量,FT‑MSR集成了三重辅助学习任务,缓解了数据稀疏性问题。
技术关键词
序列推荐方法
文本
多模态特征
频域特征
跨模态
编码
多任务
视觉特征
项目
周期性特征
兴趣
时间门控
预训练模型
图像嵌入
掩码矩阵
训练样本集