一种基于多维度剪枝的多模态推理模型加速方法

本发明公开了一种基于多维度剪枝的多模态推理模型加速方法，首先采用元路由器，基于简单高效的自注意力模型，用于自适应地组织剪枝工作流；然后考虑到传统的基于规则的令牌选择方法仅能提供有限的参考，引入了高斯噪声来扩展搜索空间；最后不依赖人工或自动化标注，利用模型输出的变化情况作为自监督信号动态优化元路由器。使用本发明的方法所加速的多模态推理模型在八个基准测试上达到了与最先进模型相当的性能，实现了模型的有效加速。