一种多硬件混合大模型推理的方法、系统及相关装置

本申请公开了一种多硬件混合大模型推理的方法、系统及相关装置，用于提升对复杂模态任务的推理效率和灵活性。本申请方法包括：根据多模态大模型的结构信息和不同任务阶段的模态变化特性对任务队列中的目标推理任务进行分解，得到若干个子任务和每个子任务对应的若干个计算单元；根据硬件适配报告和任务资源需求制定调度策略，并根据调度策略将计算单元分配至合适的硬件进行执行；在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态变化监测，实时分析任务执行过程中的模态变化趋势，根据模态变化趋势动态调整调度策略；当所有子任务完成后，对子任务的结果进行合并和验证，输出最终的推理结果。