结合模型蒸馏与离线缓存的模型优化管理系统

本发明公开了结合模型蒸馏与离线缓存的模型优化管理系统，涉及大语言模型技术领域；该系统分为多个功能模块依次运行，确保优化过程的高效与稳定；该系统包括数据预处理模块、模型蒸馏模块、离线缓存模块、动态调度模块以及监测反馈模块；其技术要点为：引入复杂度评估模型，在经过两次判断处理后，系统此时能够根据不同问题的复杂度自适应地选择处理模块；通过定期收集效果评估指数，并分析其变化趋势，能够及时发现模块性能下降的问题，在检测到效果评估指数呈下降趋势，即触发优化调整措施，对离线缓存模块或模型蒸馏模块进行针对性优化，确保系统始终保持最佳性能。