一种实现大模型一体机资源使用及并发推理的方法及系统

本发明提供了一种实现大模型一体机资源使用及并发推理的方法及系统，包括结合大模型一体机使用场景，收集模型基础信息；依据评估结果制定差异化资源分配策略，规划隔离资源和共享资源；评估分类数据存储；优化模型推理引擎；定义核心监控指标；构建多维指标评价体系；参考模型指标评价结果，完成模型资源和参数的动态优化。本发明通过系统性的资源规划与管理设计，构建高效智能的资源调度体系，实现对大模型一体机资源的智能感知与精准调配。有力支撑资源使用合理性的准确评估，有效应对复杂多变的应用场景需求，显著提升大模型一体机的资源利用率与运行效率，为大模型一体机领域带来创新性的解决方案与显著的应用价值。