国产芯片大杀器！全栈开源，断网狂飙千亿模型

一张96GB显存的专业卡卖13.8万元，一套128GB的DDR5内存逼近2.5万元。

连一向淡定的库克，都在财报会上把这轮内存暴涨形容成「百年一遇的洪水」。

离谱的是，硬件越贵，AI公司越往本地端猛砸。OpenAI刚被曝一口气买下数万台Mac，专门用来训练能自己操作电脑的Agent。

原因很简单，24小时连轴转的Agent如果全搁在云端跑，光Token费就能把账单烧穿，大模型往端边搬家已经是明牌。

但把芯片和内存买回来，只算交了半张门票。

要把大模型做成一台稳定好用的终端产品，模型适配、框架打通、性能调优，如果有现成的工具和经验，开发团队就不用样样从头摸索。

今天的生态合作伙伴大会上，后摩智能宣布，整套AI生态软件栈将全面开源！

从拿到模型到做成产品，整条工具链全部开源。到明年1月，15个开源项目会陆续上线。

M50芯片量产还不到一年，就已经有150多款终端产品定下要用它，合作客户破百，甚至把1220亿参数的大模型塞进了一个300克的小盒子。

这套软件栈，就是在这些项目里逐步开发、验证和完善的。

一整条AI落地流水线，全开源了

做一个离线会议助手，看起来只要三步：录音转文字、大模型写纪要，最后存进电脑。

真正动手，难题才冒出来：模型要塞进有限的内存，推理要适配芯片，语音识别和大模型还得协同运行。好不容易跑通，后面还有性能调优、稳定性测试和上线维护。

更麻烦的是，下一家团队做同类产品时，这些工作往往还要重来一遍。

后摩这次开源的工具链，一口气覆盖了从拿到模型到产品上架的全过程，一共分四层。

第一层是模型处理工具。

开发者拿到一个新模型，先用它做量化（把模型压小）、编译和精度评估，把它转换成芯片能跑的格式。

平时往端边设备里塞模型，往往得先把模型硬压成低精度格式，精度一掉，工程师又要花大把时间调优往回找补。

而M50原生支持浮点计算，开发者完全可以按需求直接用浮点格式部署，从源头上少掉一层折腾。

第二层是推理框架、算子库和运行时。

这一层相当于芯片上的总调度，负责把计算任务精准派发下去，并针对M50的存算一体架构做贴身优化。

模型跑得快不快、占多少内存、功耗能不能压住，全看这一层的调度功力。

第三层是领域套件、模型流水框架和中间件。

它负责让多个模型像交响乐团一样配合干活。还是说那个会议助手，语音转文字、文字转纪要、纪要存进应用，中间的每一次交接，都靠这一层来丝滑搞定。

第四层是部署运维工具。

产品交付之后，后续的升级、监控、大批设备的管理，全归它管。

这些硬核工具，后摩准备分三批开源。

第一批是对llama.cpp、vLLM的适配版，这俩可是开发者圈子里最常用的开源推理框架。大家不用换习惯，用着最顺手的工作流，就能接入后摩芯片。

第二批是后摩自研的推理框架，针对自家芯片做深度优化，性能能发挥得更足。

第三批是中间件和各类工具，帮你把一堆散装模型的能力，串成一个能卖钱的产品。

整个开源清单里，ModelZoo（模型示例库）、推理引擎、领域套件一应俱全。连用来管理大批加速卡的Kubernetes基础设施和NPU卡集群管理平台，也一并放了进来。

现在去GitHub搜houmo-ai，已经能看到postmo-modelzoo、postmo-quantflow、vllm-postmo，以及llama.cpp、vLLM的适配版本了。

拿已经公开的postmo-modelzoo来说，它就像一份开箱即用的「实战样板间」。

从量化编译、性能评估到最终部署，每一步都有现成的代码和工具可以直接对照上手，推理示例横跨Linux、Windows 11和Android三大平台。

光是模型目录就一口气列了15个大类，语音识别、语音合成、大语言模型、视觉语言模型、图像生成、全模态全在里面。

用后摩自己的话说，这次开源就是要做到「最佳实践共享无保留」。

150多款产品，押注同一颗芯片

150多款产品押注同一颗M50，意味着这颗芯片要同时闯过Agent Computer、智能移动终端、具身机器人和边缘推理四道截然不同的关卡。

有的设备极其挑剔功耗，有的连网线都不让插，还有的必须跑在纯血国产系统上。

Agent Computer：300克的盒子，跑1220亿参数

Agent Computer，简单说就是专门用来跑AI Agent的电脑。最具代表性的，就是联想的AI主机P7。

这台主机只有300克，一只手就能托住。整机最大功耗30W，插个充电宝就能带走。

就算拔掉网线，也能在本地跑1220亿参数的大模型！每秒输出50个Token，上下文最长支持128K。

它搭载的是后摩M50芯片。典型功耗为10W，可提供160TOPS的INT8算力，最高支持48GB LPDDR5/5X内存。

Agent可能需要7×24小时运行，还会持续处理邮件和私人文件。

如果放在云端跑，每个月要交一大笔Token费，数据交出去也不放心。

换成P7，一次性买断硬件，本地推理就无需再按Token向云端付费。后摩管这叫「端边Token工厂」。

初创公司Deepshard打造的Truffle 1，直接把自己定位成7×24小时在线的「私有AI外脑」，此次与后摩合作的版本同样搭载M50芯片。

你交给它的项目资料、日常聊过的工作习惯，都会留在设备本地。之后处理同一个项目，Agent就能直接调取这些长期记忆，省去每次都要从头交代背景的麻烦。

只要你点头授权，它就能自己钻进Slack和Gmail里帮你查消息、翻邮件，等到真要动手发信或执行操作时，再交由你拍板确认。

哪怕你关掉对话框去忙别的，开发者写好的后台应用也能定时往里喂入最新的项目进展，让它时刻保持信息同步。

对于开发团队来说，平时顺手的工具直接走MCP就能接进来，现有的软件也不用推倒重写，调一下兼容OpenAI格式的接口，就能直接跑在这台设备的本地模型上。

同样是这个场景，绿联把M50塞进了家庭AI中枢HomeAgent HA100 Pro里。家里的私密照片、监控画面，AI在本地就能识别、整理，不用上云。

聊趣智能更会玩，他们的ClawHouse X1给Agent配了个可定制的全息形象。放在办公桌上，它是帮你理日程的数字员工；搬进书房，就成了陪孩子练对话的学习伙伴。

智能移动终端：彻底断网跑35B的纯血国产本

有些单位的电脑，天生就不能插网线。

在政务、金融证券这些行业，「离线可用」是硬要求。

长城N90 Pro笔记本走的是全栈国产路线，装的是银河麒麟V11系统，靠着M50在完全断网的状态下跑35B大模型，每秒30个Token，写文档、做纪要都可以离线完成。

M50能跑通麒麟系统，是因为它适配了主流的操作系统和CPU架构。后摩表示，M50是国内唯一做到这一点的高算力端边AI芯片。

具身机器人：记得住全家人习惯的AI管家

到了客厅，星灵陪伴机器人面临的是另一道题。

它得察言观色读懂人的情绪，还要在日复一日的陪伴里记住一家人的生活习惯。客厅里的一举一动全是私密数据，谁都不放心传上云端。

装上自带160TOPS算力的M50后，星灵把情绪感知和长期记忆全部留在了机身内部，数据一步都不出家门。

边缘推理：一台机器，装下一堂千亿模型实训课

高校想教学生玩大模型，又不敢把数据和课件全放到公有云上，怎么办？

星网教育上了一台实训一体机，里面插的是后摩LM5040加速卡，单卡集成4颗M50。

整台机器可提供3200TFLOPS以上的算力、1.5TB以上的内存！千亿大模型可以部署在学校本地，算力管理平台和配套课程一起交付。

从300克的掌上盒子、纯血国产笔记本，到客厅里的陪伴机器人和校园服务器，核心虽然都是同一颗M50，面对的模型、系统和场景却天差地别。

在这150多个项目里趟出来的适配方案和调优参数，被后摩一笔笔存进了这次开源的软件栈里，攒出了一座实打实的「工程经验银行」。

而现在，这座银行正式向所有开发者敞开了大门。

仓库要够大，马路得够宽

软件能这么痛快地交底，离不开后摩在芯片底层架构上的破局。

在传统芯片里，数据存在「仓库」（存储单元），计算在「车间」（计算单元），两边隔着老远，得不停地来回倒腾数据。AI计算里60%到90%的电，全耗在了这段路上。

而后摩的方案，则是基于全新的SRAM存算一体技术。换句话说就是，数据存在哪儿就在哪儿算。

跟传统方案相比，后摩可以把芯片面积砍掉约70%，功耗降到约十分之一！

但这还只解了一半的题。如今的大模型分成了两大流派，对硬件的「胃口」截然相反。

MoE（混合专家）模型每次只喊几个「专家」干活，可没干活的专家也得占着位置，所以它需要的是一个足够大的「仓库」（超大容量）。

Dense（稠密）模型正好相反，每次推理几乎所有参数都要倾巢而出，数据得像洪水一样冲进计算单元，所以它需要的是一条足够宽的「高速公路」（极高带宽）。

一种架构想同时搞定这俩？很难。

于是后摩分出了两条技术路线。

2D CIM主打「大容量、高算力」，用传统2D封装，外接GDDR、LPDDR5等内存，专门对付MoE模型和图像、视频生成。

3D CIM主打「极致带宽、高算力」，专门对付Dense模型。带宽跟上了，算力才不会干等数据。

说到3D，现在很多人在搞3D堆叠，也就是把存储芯片一层层叠在计算芯片上。

这相当于把仓库搬到了工厂隔壁，路是短了，可数据进了工厂，还是得在老流水线上来回倒腾。

而后摩的3D CIM，连工厂里的流水线都给换了。

在它的堆叠里，最底下负责计算的逻辑芯片，用的正是SRAM存算一体。

上面叠着的存储负责近距离喂数据（近存计算），下面的存算一体芯片就地消化（存内计算）。两层一起减少数据搬运，从而释放「1+1大于2」的倍增效应。

这还远没结束。

目前的3D CIM用的是DRAM，往后还能换成更便宜、更省电的Flash、RRAM。

在今年的全球AI芯片峰会上，后摩已经披露，下一代3D CIM芯片取得了阶段性成果。

硬件分了两条路，跑的却是同一套软件。开发者学会一套工具，换了芯片，稍微做点适配就能接着跑。

当年做OpenCL的人，这次把家底开源了

说起「开放」，后摩智能创始人兼CEO吴强算是老熟人了。

早年他在AMD总部做第一代GPGPU（让显卡也能做通用计算）的核心研发，也是OpenCL创始团队的核心成员。而OpenCL本身，就是一套谁都能用的开放计算标准。

后来，他又去Meta搞过芯片集群的能效优化，回国还当过地平线的CTO。

如今在自己创办的芯片公司里，他把最核心的软件栈也开源了。这次大会致辞里，他给这件事定下的调子是「带头开放，高效赋能」。

从芯出发，向端而生

对终端厂商来说，拿到源码，就等于把主动权牢牢攥在了自己手里。

调用方式不顺手？自己改。想加个独门功能？在现有工具上二次开发。

出了Bug，团队能自己查看代码、定位问题，不必只等闭源SDK（只给工具、不给源码的开发包）的厂商排期修复。

后摩也表示，会快速响应Bug反馈，新功能、新需求随时可以提。

新伙伴积累的适配经验、优化过的代码，也可以补充进这套工具链，供后来的团队复用。

这次到场的，就是这样一群伙伴。做终端的、搞系统的、写框架的、出方案的全来了，联想、中电长城、绿联、麒麟软件、聊趣智能等还上台，分享了各自的落地经验。

芯片在底层撑起本地算力，开源软件在中间铺好跑道，开放生态再把上百个项目攒下的实战经验变成公共底座。

三块拼图合拢，做一台端边AI产品的门槛被实打实地降了下来。

从芯出发，向端而生。

当一家芯片公司把芯片之外的工具链和实战经验悉数开源，端边AI走进千家万户的路，也随之越走越宽。

文章来自于"新智元"，作者 "摩西 所罗门"。