摘要
本发明提出一种轻量化医疗问答系统构建方法,以轻量化Transformer模型作为基础模型,并构建预存答案库,将医疗问题对应唯一的目标回答作为正样本,从训练集中选取与医疗问题具有相关关键词但上下文语义不同的回答作为硬负样本,从训练集中随机选取若干回答作为简单负样本;采用对比学习的方式对基础模型进行训练,得到训练后的模型,在训练后的模型输出部分设置临时检索后处理模块,得到轻量化医疗问答系统。本发明通过在训练过程中引入更具挑战性的负样本,并对正样本施加更高的权重,本发明能够通过数学优化手段,有效地提升模型在嵌入空间中对细微语义差异的区分能力。
技术关键词
医疗问答系统
样本
联合损失函数
后处理模块
关键词
阶段
答案
训练集
优化器
语义
基础
注意力
术语
数学
参数
策略
线性
输出端
定义