摘要
本发明公开了一种基于稳定性筛选与冲突调解的多模态标签融合方法,包括以下步骤:(1)对社交媒体文本进行预处理;(2)编码文本并计算与标签语义向量的相似度,筛选候选标签;(3)基于Fast Gradient Sign Method生成对抗样本,剔除置信度波动过大的标签,获取稳定文本标签集合;(4)对图像信息编码,结合标签层级结构逐级匹配,获得图像标签集合;(5)计算文本与图像的模态得分;(6)对模态得分进行softmax归一化,获取融合权重;(7)融合标签并提取冲突特征,输入神经网络进行调解;(8)输出最终融合标签集合。本发明提高了标签融合的稳定性与准确性,适用于游客感知建模与个性化推荐等场景。
技术关键词
文本
融合标签
图像
融合方法
轻量级神经网络
语义向量
样本
社交
媒体
信息编码
层级
策略
算法
决策
场景
模块