一种人工智能模型加速训练推理方法及装置

本发明提供一种人工智能模型加速训练推理方法及装置，属于人工智能领域，本发明首先利用叠层分组技术将人工智能模型中大维度矩阵进行分组拆解，转化为叠层分块矩阵结构；然后利用ACA‑SVD矩阵分解技术将非对角块矩阵进行压缩分解，表示为两个小矩阵相乘；然后将得到的叠层分块矩阵结构的对角矩阵块依次提取出来，将矩阵表示为多个块对角矩阵相乘，分别存储各个块对角矩阵；当进行模型训练和推理时，矩阵相乘过程可以转化成多个块对角矩阵相乘，矩阵求逆过程可以转化成多个块对角矩阵的求逆，各个块对角矩阵相互独立，运算过程中不存在递归关系，可以实现高度并行运算。