采用变换器架构并结合量化感知非线性近似和近存计算的系统

本发明提出了一种GQA‑LUT方法，其利用遗传算法和基于LUT的电路来有效地近似变换器中的非线性算子。GQA‑LUT方法能自适应地找到各种非线性函数的最优解，优于常规的神经网络方法。新颖的舍入变异(RM)算法增强了量化期间的近似准确性，从而提高低位整数精度。在本发明中，还引入LayerNorm折叠策略作为近存计算原理，从而减少两级存储器层次结构的IO和能量开销。此外，提出了一种加性部分和量化方法，以通过在矩阵乘法中量化累加的PSUM以及PSQ‑APSQ分组策略和浮点正则化来降低能量消耗。