克服大语言模型的最大词元限制

AITNT
正文
推荐专利
克服大语言模型的最大词元限制
申请号:CN202411723167
申请日期:2024-11-28
公开号:CN120087334A
公开日期:2025-06-03
类型:发明专利
摘要
用于克服大语言模型中的最大词元限制的实施例。该实施例可接收目标文本。该实施例可以将与目标文本相关联的注意力矩阵分成一系列子矩阵。该实施例可以利用门控循环单元神经网络来编码对应于该系列子矩阵的固定长度向量。该实施例可以构造有向无环图,其中编码的固定长度向量是节点,并且其中基于目标任务定义节点之间的连接。该实施例可以利用图神经网络来执行动态图构造和节点特征转移,以迭代地生成包括一系列最相关的节点特征和连接关系的更新图。该实施例可以通过从更新图中提取信息来生成针对所接收的目标文本的一个或多个摘要。
技术关键词
节点特征 计算机可读存储器 大语言模型 有向无环图 计算机系统 矩阵 GRU神经网络 计算机程序产品 文本 门控循环单元 摘要 邻居 关系 处理器 注意力 编码 定义
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号