摘要
本发明提供了一种基于多任务均衡与泛化增强的问答系统性能提升方法,涉及人工智能技术领域,包括以下步骤:采用Loose Teacher Forching技术,在训练的中后期随机选择训练样本序列的窗口w,在窗口w中使用模型自己的token代替原始样本的既有token;在计算不用领域样本的loss时使用该领域对应的token总数;本发明使用Loose Teacher Forcing代替现有的Hard Teacher Forcing的训练方案,减轻模型训练和推理时的gap,然后根据训练集的特点自由组合使用数据均衡、难度均衡、收敛均衡,以此进行稳定训练,协调学习各个专业的能力,得到训练好的模型。
技术关键词
性能提升方法
问答系统
多任务
样本
人工智能技术
专业
序列
数据
指示器
速度
指标
动态
进程
线性
系统为您推荐了相关专利信息
攻击检测方法
评分机制
深度学习模型
细粒度分类
样本
行人轨迹预测方法
多头注意力机制
轨迹位置信息
场景
模型参数融合方法
电力系统小干扰
暂态过程
优化搜索算法
建立电力系统
卷积模型
抗环瓜氨酸肽抗体
诊断类风湿关节炎
类风湿关节炎诊断
鸟氨酸
酪氨酸