结合小波特征分析和各向异性损失的注意力稀释优化方法

本发明涉及大模型领域，特别是涉及一种结合小波特征分析和各向异性损失的注意力稀释优化方法，及其对应的计算机程序产品和自然语言处理设备。该方案首先按照精度等级预设多个初始化量化词表；并结合对输入特征的小波特征分析结果灵活选择初始化量化词表。然后，采用得分感知量化损失或各向异性损失横向各个query与量化点间的距离，实现对量化词表进行分区和更新。最后利用更新后的量化词表将所有query量化为相应的量化点；通过计算量化点与key的内积构建查找表；用查找表中的近似表示的结果，进而实现注意力计算。本发明解决了现有的Transformer中的注意力机制存在的效率较低以及鲁棒性较差的问题。