轻量混合专家模型架构系统及其实现方法

本发明公开了一种轻量混合专家模型架构系统及其实现方法，它们是相对应的方案，方案中：在通信前与通信后分别引入降维和升维操作，将传统的通信‑计算‑通信模式转变为降维‑通信‑计算‑通信‑升维的新模式，能够减少数据迁移通信的内容量，从而有效地降低通信开销；并且，本发明提供的模型架构可以按照部署时的并行方案进行划分，使用各种训练框架部署，从而在GPU（图形处理器）上高效地进行推理和训练任务。