对可扩展文本进行位置编码方法和装置、电子设备

AITNT
正文
推荐专利
对可扩展文本进行位置编码方法和装置、电子设备
申请号:CN202510403697
申请日期:2025-04-01
公开号:CN120337994A
公开日期:2025-07-18
类型:发明专利
摘要
本申请提出一种对可扩展文本进行位置编码的方法和装置、电子设备,所述方法包括根据所述可扩展文本,确定其对应的文本向量的维度;根据预设的最小维度差值倍数和最大维度插值倍数,确定所述维度中的每个维度对应的插值倍数;以及利用所述插值倍数对所述可扩展文本进行位置编码。根据本申请的实施例,通过灵活的函数形式编码可扩展文本的位置信息,相比于传统的位置编码方式,能够更加自然地捕捉可扩展文本中的相对位置关系,能够适应不同长度文本的应用场景,可应用于不同规模的语言模型中,解决了当前的位置编码方法存在通用性和鲁棒性较差的问题。
技术关键词
文本 位置编码方法 非瞬时性计算机可读存储介质 sigmoid函数 位置编码单元 计算机可读指令 注意力模型 电子设备 处理器 存储计算机程序 指标 鲁棒性 因子 规模 存储器 场景 框架
系统为您推荐了相关专利信息
1
一种基于LLM大模型的运维知识智能问答交互方法、装置及设备
智能问答方法 智能问答交互方法 运维知识图谱 剩余寿命预测模型 答案
2
时序重复感知惩罚采样方法、装置、电子设备及存储介质
大语言模型 语音编码 采样方法 解码 时序
3
一种基于锚点匹配的医疗数据分析与处理系统
关键词 锚点 医院 分析单元 对象
4
基于多模态深度学习的抑郁症早期筛查方法及其系统
多模态深度学习 早期筛查方法 面部表情特征 风险评估模型训练 早期筛查系统
5
一种基于多模态大模型的自适应图像采集方法及系统
图像采集方法 图像采集装置 对象 多模态 图像采集系统
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号