一种基于轻量门控机制的大模型推理优化方法和系统

本发明公开了一种基于轻量门控机制的大模型推理优化方法和系统，旨在提升大规模预训练模型在推理任务中的效率，并显著减少计算资源消耗。该方法首先对预训练模型进行初始化，在推理过程中引入动态路由机制，结合轻量门控和阈值判断机制，有效筛选推理过程中的关键层输出。通过对每层的输出进行动态评估，利用门控LSTM单元生成门控输出值，并通过sigmoid函数激活生成层的重要性分数。如果该分数低于预设阈值，则跳过该层计算，以减少不必要的计算开销。此优化策略能够自适应地判断每层输出的重要性，在保证模型输出质量的前提下，减少冗余计算，提高推理速度。本发明适用于多种任务场景，包括自然语言处理、图像生成等，具有广泛的应用价值。