一种基于先验知识词向量化的模型加速训练方法及装置

AITNT
正文
推荐专利
一种基于先验知识词向量化的模型加速训练方法及装置
申请号:CN202411842503
申请日期:2024-12-13
公开号:CN119760417A
公开日期:2025-04-04
类型:发明专利
摘要
本发明提供一种基于先验知识词向量化的模型加速训练方法及装置,在对语料库进行词向量化时,构建先验部分和待学习知识向量,先验部分基于统计方法确定向量维度,整合先验知识减少模型学习负担提高效率;在训练过程中,优先固定先验部分对模型和待学习知识向量进行更新,再对先验部分进行微调,利用待学习知识向量在模型个训练过程中同步更新,捕捉隐含信息、改善上下文的理解,增强泛化能力处理歧义并加速模型收敛。
技术关键词
加速训练方法 自然语言模型 词性向量 词语 成分分析 协方差矩阵 引入注意力机制 梯度下降算法 贡献率 指令 训练样本集 计算机程序产品 处理器 统计方法 数据 阶段 训练装置 标记 可读存储介质
系统为您推荐了相关专利信息
1
带表情符号短文本的多模态情感分析方法
情感分析方法 语义特征 文本 Sigmoid函数 引入注意力机制
2
一种基于大数据模型的危急事件预判断方法及装置
预判断方法 情感分析模型 数据 社交网络图 预判断系统
3
一种FFC连接器的智能故障诊断方法及系统
智能故障诊断方法 高维数据空间 FFC连接器 网络架构 信号
4
语音场景下的小样本烟草实体识别方法及系统
实体识别方法 文本 数据 命名实体识别模型 语音
5
电压互感器运行状态监测方法及装置
电压互感器 成分分析 滑动窗口 样本 协方差矩阵
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号