基于内存高效注意力机制的分割一切模型优化方法及装置

本发明公开了一种基于内存高效注意力机制的分割一切模型优化方法及装置，通过对分割一切模型进行分析，本发明实现了更加可控的内存高效注意力机制，并利用其重新替换了分割一切模型中传统的注意力计算方式，显著降低了模型的推理及测试峰值显存。本发明同时具有高适用性，对于相关衍生的高效分割一切模型，只要其拥有类似传统注意力计算的结构，本发明则同样有效。此外，本发明还解决了分割一切模型中传统的显存优化方式会降低精度这一难题，在无需任何重新训练微调的情况下，本发明可以显著降低模型的推理及测试峰值的显存占用，同时不会带来任何精度效果上的损失。