一种用于语言处理的循环神经网络中隐状态的生成方法

本发明涉及循环神经网络技术领域，特别涉及一种用于语言处理的循环神经网络中隐状态的生成方法，包括以下步骤：S1、输入嵌入：将离散的词语转换为连续的向量表示，为模型提供可计算的语义基础，使词语抽象含义转化为数值形式，嵌入层通过预训练或随机初始化构建，每个词语映射到固定维度向量空间，预训练嵌入利用大规模语料库统计规律捕获语义关联；通过比较查询向量与所有历史隐状态生成的键向量，确定每个历史位置的重要性，具体来说，每个历史隐状态会被转换为键向量和值向量，然后计算查询向量与每个的点积得分，经过缩放和归一化后得到注意力权重。这些权重反映了当前词与各个历史位置的关联强度。