一种用于大模型缓冲优化的视频生成加速方法

本发明涉及计算机技术领域，提供了一种用于大模型缓冲优化的视频生成加速方法。包括，构建并初始化一个数据结构用于存储聚类簇和对应的token值；对视频流中提取的token进行实时聚类处理，根据其特征分配至对应的聚类簇中；并基于预设规则保留和采样聚类簇中的关键token；基于得到的数据信息进行矩阵向量积和配分函数的近似计算，用于降低大模型缓冲优化时的计算负担，并根据近似计算的结果调整数据结构中的聚类簇和对应的token值。本发明采用在线聚类方法压缩数据结构，减少冗余数据的存储，使得在处理大规模数据流时更加高效，基于关键token的在线聚类和采样技术，降低了计算的时间复杂度，加速注意力机制的运算速度。