一种层次化概念预测的大语言建模方法

本发明提供一种层次化概念预测的大语言建模方法，旨在通过该方法提升大语言模型的效率和推理表现。包括：使用时序多尺度离散量化自动编码器（Seq‑MultiScale VQVAE）将以文本为代表的时序数据转换为层次化概念令牌树，提出一种基于层次化概念令牌树的概率语言模型，以及基于该令牌树概率语言模型的自回归建模方法。相比传统的预测下一个词，本发明提出的层次化概念预测的大语言建模方法通过预测下一个概念，具有更好的数据效率，能够取得更好的推理表现；此外基于层次化概念令牌树的概率模型能够极大地减少相应自回归方法的注意力长度，从而提升训练和推理效率。