一种面向大型语言模型的动态层裁剪系统和方法

本发明涉及一种面向大型语言模型的动态层裁剪系统和方法，通过设置转换模块以将输入音频信号转化为多段等编码长度的输入标记的嵌入表示，通过设置路由调节装置以替代传统大型语言模型的转换器模型架构，采用全局标记感知路由算法动态调整计算资源分配，避免了固定资源分配导致的效率低下问题，提高了推理效率，减少了不必要的计算量。并且，路由调节装置将每段输入标记的嵌入表示进行多次感知估计映射和自注意估计映射以获得相应的输出标记，从而实现在转换器模型架构中解耦多层感知机和自注意力层的裁剪策略，使得计算资源分配更加合理，有效避免了统一裁剪所导致的资源浪费，同时保持了模型性能。