大语言模型位置编码和语义机制间的自发转化方法及系统

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI专利库 AI需求对接 AI新闻日报
下载 AITNT APP
🍎 iOS 下载 🤖 Android 下载
正文
推荐专利
大语言模型位置编码和语义机制间的自发转化方法及系统
申请号:CN202511414874
申请日期:2025-09-30
公开号:CN120892947A
公开日期:2025-11-04
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,提供了一种大语言模型位置编码和语义机制间的自发转化方法及系统。大语言模型位置编码和语义机制间的自发转化方法包括,根据训练样本数量和输入token维度,计算样本复杂度;当样本复杂度小于样本复杂度阈值,大语言模型采用基于位置编码的注意力机制处理输入数据;当样本复杂度从低样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于位置编码映射矩阵;当样本复杂度从高样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于语义特征映射矩阵;当样本复杂度大于样本复杂度阈值,则大语言模型采用语义增强的注意力机制处理输入数据;能够实现大语言模型高效地理解与生成。
技术关键词
复杂度 转化方法 大语言模型 样本 矩阵 语义特征 多头注意力机制 可读存储介质 编码特征 数据 自然语言 计算机设备 处理器 粒子
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号