摘要
本发明公开了一种基于语义解耦和动态参数生成的跨语言跨模态检索方法,该方法引入语义解耦模块和动态适配器模块,语义解耦模块将一个句子解耦成语义相关特征和语义无关特征,根据这两个信息,能让模型对处理同个语义但是有不同表述方式的句子也能有较好的表现。动态适配器模块将语义解耦模块的输出通过低秩分解的方式融合到适配器中,将语义相关信息和语义无关信息进行融合,来提高跨语言跨模态检索能力。
技术关键词
跨模态检索方法
语义
适配器
文本编码器
目标语言句子
动态
分支
代表
参数
多层感知机
文本特征向量
分词
图像编码器
模块
预训练模型
检索装置
中间层
系统为您推荐了相关专利信息
协议
融合方法
多源异构数据
增量学习算法
动态数据源
影像分类方法
大语言模型
搜索工具
分类系统
框架