一种视频生成模型的加速器及计算系统

本发明公开了一种视频生成模型的加速器及计算系统，该加速器包括：稀疏化单元，其输入激活包括连续的多个帧，每帧分割成多个标记；稀疏化单元对包含多个帧的输入激活进行帧间稀疏化以及帧内稀疏化，以筛选并记录相似的标记；矩阵处理引擎，用于对标记进行计算，得到输出标记；其中，若两个标记被记录为相似，则计算其中一个标记的输出标记，并将该输出标记作为这两个标记的输出标记；恢复单元，根据矩阵处理引擎的计算结果以及相似标记的记录来生成输出激活。该加速器利用视频帧在时间和空间维度上的相似性和设计定制化的稀疏和恢复单元，解决了现有的视频生成模型中存在的冗余计算开销的问题，可充分利用硬件资源，具有优秀的性能以及能效比。