大语言模型位置编码和语义机制间的自发转化方法及系统

AITNT
正文
推荐专利
大语言模型位置编码和语义机制间的自发转化方法及系统
申请号:CN202511414874
申请日期:2025-09-30
公开号:CN120892947A
公开日期:2025-11-04
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,提供了一种大语言模型位置编码和语义机制间的自发转化方法及系统。大语言模型位置编码和语义机制间的自发转化方法包括,根据训练样本数量和输入token维度,计算样本复杂度;当样本复杂度小于样本复杂度阈值,大语言模型采用基于位置编码的注意力机制处理输入数据;当样本复杂度从低样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于位置编码映射矩阵;当样本复杂度从高样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于语义特征映射矩阵;当样本复杂度大于样本复杂度阈值,则大语言模型采用语义增强的注意力机制处理输入数据;能够实现大语言模型高效地理解与生成。
技术关键词
复杂度 转化方法 大语言模型 样本 矩阵 语义特征 多头注意力机制 可读存储介质 编码特征 数据 自然语言 计算机设备 处理器 粒子
系统为您推荐了相关专利信息
1
一种基于BERT-TKNB模型的电子对抗装备关系抽取方法
电子对抗装备 关系抽取方法 朴素贝叶斯分类器 前馈神经网络 多层神经网络模型
2
一种大数据智能仓库的运营管理方法及系统
卷积网络模型 运营管理方法 生成对抗网络模型 多源异构数据 网格
3
一种多场景遇险人员精准识别方法及装置
精准识别方法 多尺度特征提取 视频 无人机 雨天图像
4
基于数据驱动的新能源联合出力场景生成系统及方法
匹配误差 马尔可夫链蒙特卡罗 出力场景 生成系统 概率密度函数
5
一种基于深度学习的用电碳排放预测系统及方法
预测系统 排放量 矩阵 灰色模型 时间段
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号