一种基于大语言模型的词嵌入向量提取方法及系统

本发明公开了一种基于大语言模型的词嵌入向量提取方法及系统，属于自然语言处理领域，一种基于大语言模型的词嵌入向量提取方法包括以下步骤：S1.嵌入全局上下文注意力模块，通过线性变换生成Q/K/V向量，跨位置计算全局注意力权重；S2.拼接相邻层编码特征，门控融合生成全局上下文动态语义状态；S3.多头注意力联合编码当前层与全局动态语义状态；S4.平均池化生成全局语义向量，计算动态注意力权重；S5.动态权重与全局向量加权融合生成增强型编码；S6.GELU非线性变换全连接层输出最终词向量；有益效果包括增强全局上下文语义捕捉能力，提升词嵌入向量的表达效果。