一种基于微算子的大模型跨平台系统

本发明涉及电数字数据处理领域，尤其涉及一种基于微算子的大模型跨平台系统，包括硬件执行层、硬件接入层、预编译层、微算子层、后端层、框架层及模型层。本发明实施例可以适用于不同硬件平台，能够快速实现大模型的推理与微调，有效简化算子开发、调试与部署过程，提升跨平台模型开发效率。本发明提出了面向大模型场景的微算子开发标准，包括设备访存管理微算子、张量计算微算子以及组合实现的大模型典型算子。此外，本发明提供一种软件架构方案，定义基于微算子的大模型开发流程，涵盖微算子定义及调用方式、不同后端的适配方法、计算核调度以及基于微算子的计算框架与模型搭建方案，以实现大模型推理与微调的高效性及跨平台适配能力。