摘要
本发明公开了一种自然语言语义识别方法、装置、设备及介质,包括:根据输入的自然语言提取语义特征,并将语义特征输入到初始混合专家模型中通过Transformer模型对语义特征进行解析,得到隐藏状态矩阵;将隐藏状态矩阵输入到门控网络,生成路由权重矩阵;基于随机化奇异值分解的秩估计,结合隐藏状态矩阵生成当前层激活的专家网络的数量K;根据路由权重矩阵的排序结果选择前K个专家网络,生成掩码矩阵,执行稀疏化前向计算,并基于稀疏梯度传播与负载均衡损失优化专家网络的模型参数,得到目标混合专家模型;采用目标混合专家模型对语义特征进行识别,得到语义识别结果,采用本发明提高了语义识别的准确率和效率。
技术关键词
语义识别方法
自然语言
语义识别装置
网络
掩码矩阵
语义特征提取
可读存储介质
文本
格式
处理器
参数
序列
动态
解析单元
计算机设备
识别模块
系统为您推荐了相关专利信息
位姿误差
误差预测
电子水平仪
机床运动部件
卡尔曼滤波算法
材料特征参数
数控锯床
卷积神经网络模型
速度
预测模型训练
网络管理模型
卫星通信资源
资源调度策略
链路
通信资源分配
智能决策方法
数字孪生模型
板块
交通运行状态
空气质量指数