一种基于混合专家模型的文本数据推理方法及装置

本发明公开了一种基于混合专家模型的文本数据推理方法及装置，用于解决现有的基于混合专家模型的推理过程导致推理效率低的技术问题。方法包括获取预运行文本数据集；在多级异构内存空间中将预运行文本数据集输入至预置混合专家模型进行预运行推理，确定混合专家模块计算传输时间和专家相关性表；基于专家相关性表和预置预取热门专家数量，对预置混合专家模型进行热门专家识别，确定多个目标混合专家模块；采用预置约束感知策划不等式根据预置预取热门专家数量、混合专家模块计算传输时间，确定输入文本批次数量；在多级异构内存空间中，采用各目标混合专家模块根据输入文本批次数量对应的待推理文本数据子集，输出模型推理结果。