摘要
本发明提供一种基于先验知识词向量化的模型加速训练方法及装置,在对语料库进行词向量化时,构建先验部分和待学习知识向量,先验部分基于统计方法确定向量维度,整合先验知识减少模型学习负担提高效率;在训练过程中,优先固定先验部分对模型和待学习知识向量进行更新,再对先验部分进行微调,利用待学习知识向量在模型个训练过程中同步更新,捕捉隐含信息、改善上下文的理解,增强泛化能力处理歧义并加速模型收敛。
技术关键词
加速训练方法
自然语言模型
词性向量
词语
成分分析
协方差矩阵
引入注意力机制
梯度下降算法
贡献率
指令
训练样本集
计算机程序产品
处理器
统计方法
数据
阶段
训练装置
标记
可读存储介质
系统为您推荐了相关专利信息
情感分析方法
语义特征
文本
Sigmoid函数
引入注意力机制
预判断方法
情感分析模型
数据
社交网络图
预判断系统
智能故障诊断方法
高维数据空间
FFC连接器
网络架构
信号