摘要
本发明实施例公开了基于句向量循环的检索相关性模型及构建方法;方法包括:获取查询与对应的文档;基于查询与文档生成序列文本;将序列文本输入预训练模型,得到序列文本的向量化表示,得到文本分类向量、查询向量、标题向量、标题结尾向量、内容向量和内容结尾向量;新建对齐预训练模型输出隐藏层维度的向量作为检索任务第一向量;将检索任务第一向量与查询向量做交叉注意力机制交互处理得到检索任务第二向量;将检索任务第二向量与标题向量与内容向量的拼接向量做交叉注意力机制交互处理得到检索任务第三向量;将检索任务第三向量与文本分类向量拼接,乘以任务加权权重,得到计算分数的未归一化对数概率,利用Sigmoid函数映射得到浮点分数,该浮点分数即为相关性计算分数。
技术关键词
交叉注意力机制
模型构建方法
文本
预训练模型
Sigmoid函数
序列
分词
档位
开方
标识
表达式
计算方法
符号
编码器
摘要
语义
样本
基础
系统为您推荐了相关专利信息
智能纠正方法
文本
合规策略
重构模块
预训练语言模型
评审系统
智能评审方法
关键词提取技术
实体识别技术
文本挖掘技术
多模特征
无监督特征
双塔结构
对象
数据特征提取
文本识别模型
图像处理工具
图像文本识别方法
训练样本数据
非易失性计算机可读存储介质