摘要
本发明提供了一种基于多模态特征融合的隐私图像检测方法及模型训练方法,可以应用于图像处理以及隐私保护技术领域。该隐私图像检测方法包括:提取隐私图像的场景图中标签特征和视觉特征;将场景图中标签特征和视觉特征进行融合,得到融合特征;基于融合特征对场景图进行更新,并分别计算更新后的场景图中视觉聚合向量;将更新后的场景图的视觉聚合向量进行融合,得到视觉模态特征;对隐私图像的文本描述进行编码,得到文本编码,并基于跨模态注意力机制对文本编码进行更新,得到文本模态特征;将视觉模态特征和文本模态特征进行拼接融合,得到多模态特征,并对多模态特征进行处理,得到隐私图像的检测信息。
技术关键词
图像检测模型
标签特征
视觉特征
文本
融合特征
场景
图像检测方法
多模态特征融合
注意力机制
节点
样本
跨模态
对象检测
编码
模型训练方法
图样
系统为您推荐了相关专利信息
信号特征
缠绕方法
特征提取模块
缠绕模型
缠绕标签
感知数据处理方法
异构加速卡
DMA控制器
坐标系
临时标记