摘要
本发明公开了基于多模态域相关提示的无监督域适应方法及装置,涉及无监督域适应技术领域,包括以下步骤:接收预先建立的域相关文本提示,将域相关文本提示输入至预先建立的线性映射网络模型内,输出得到域相关的视觉提示,其中,所述域相关的视觉提示被引入层特定的视觉提示;组合图像和域相关的视觉提示输入至视觉编码器得到视觉特征,接收多层级域特征,将视觉特征和多层级域特征输入至基于注意力的特征增强网络模型内,输出得到域增强后的视觉特征;将域增强后的视觉特征与经过文本编码器编码后的域相关文本提示进行对齐训练,从而实现域相关的多模态联合对齐。
技术关键词
视觉特征
文本编码器
多模态
标记
层级
统计特征
前馈神经网络
处理器
可读存储介质
图像组合
标签
注意力机制
存储器
系统为您推荐了相关专利信息
检测DNA甲基化
分子
磁珠识别
底物
神经退行性疾病
去噪方法
增强型数据
圆盘形结构
BP神经网络
评分机制
文本生成图像方法
生成对抗网络
编码器模块
文本编码器
采样模块