中国LLM讨论纪要

我们在10月初举办的中国LLM讨论。希望对大家理解竞争态势和调研方向有帮助。本文不作为投资建议，投资有风险。如果希望交流或对之后讨论感兴趣，欢迎加我微信hardybeee

1.反蒸馏与国产模型追赶

• 蒸馏难度明显变高，短期蒸馏成本上升5-10倍，多则20倍
• 替代方案效果都不如直接蒸馏：把一个问题拆成10个分别喂前沿模型再拼起来；拿摘要用其他模型做反向rationalization；合成数据、数据生态采购
• 曾有人认为可以通过第三方CSP（如Amazon）拿访问权限，但近期Amazon也出现较大封号潮
• coding / agent benchmark已刷到90%+，再卷意义不大；明年下一个市场大概率是AI for Science或机器人，数据壁垒更高。AI for Science真正做药的模型完全封闭（Claude内独立模型层），只有药企合作能用，「连用都用不到，怎么蒸」；机器人基线数据更提取不出来
• 反蒸馏的影响是多方面的：
• 措施：OpenAI / Anthropic直接拒答或降级，订阅和非定向API都有大量反蒸馏措施，完整推理只有深度合作企业的API能拿到
• 算力（认为是最大问题）：海外模型普遍5-10T，学生太小听不懂老师，700B蒸3-5T效果很差，最后回到预训练问题。训3-5T模型至少需要几万张B卡
• 方向：coding有代码可验证、agent有trajectory，好蒸；但前沿进步方向转向空间理解、computer use、视频生成，很难反向拿到完整数据
• 结论：无论算力、数据还是训练方向，国产模型追赶越来越难，有买方认为没有长期价值

2.RSI与中美差距

• 算力差距在拉大：国内厂商等效B卡一万到几万张，海外明年单个AI lab训练算力或达4-6GW
• 反蒸馏后中美差距预期从3-4个月拉长到约12个月；若海外明年实现RSI，可能进一步拉到18-24个月，认为极有可能
• 研究员瓶颈：训练从10B逐步scale到5-10T，数据配比、算力分配、开几条线都是「炼丹」，50个研究员只能开50条线；RSI后线数由算力决定
• 数据瓶颈：公开数据约35-50T token，未定义数据需Mercor这类公司帮助跨过阈值，之后可靠模型自己合成扩量，最终也收敛到算力
• 国内3T左右模型算力够用，下一代10T左右影响较大。B300国内价格近期反而上涨（Rubin ramp后理论上应走平或下行）
• 蒸馏成本：有数据称国内厂商蒸馏年开销数亿美金（未验证），成本上升5-10倍即十几亿到几十亿美金，对比前三家（DeepSeek、Kimi、智谱）总融资约100-150亿美金，影响不小。Chat补充：有厂商一天蒸馏约30万美金token，年化约1亿美金

• RSI关键是verification：硅谷都在讨论如何在模型 / agent无法自我验证的领域拿到outcome feedback。coding里主攻build system和CI/CD的feedback loop速度
• 空间方向：从DCC软件（CAD、雕刻软件）到仿真、具身大脑，再到真实世界simulation；老游戏里完整的物理碰撞系统可提供空间理解数据，看哪家frontier lab先拿到
• 当前RL是挖fifty-fifty成功率的任务，再往前一步可能不是RL，核心是模型生成的东西能否突破人类verify的极限且仍能被verify。marketing同理：素材好看不等于线上performance好，需要真实outcome数据

3.国模格局与竞争要素

• DeepSeek专注少数方向、走华为卡路线，有差异化但摸索时间更长，不确定性大
• 美国CSP有利润、举债能力和金融深度；若中国举国支持一家主权AI，DeepSeek凭A股融资和国家层面支持容忍度更高，其他独立公司更危险
• 华为：内部能用黑卡就用黑卡，自研卡对外卖；代工找「手套」或走三星仍有路子，但比以前更难

4.国模格局与竞争要素

• Frontier labs开始做cheap intelligence：上半年Anthropic基本没推Sonnet / Haiku，近期很积极；Sam年初起一直在强调。闭源做高价值、开源做低价值的两层结构被打破
• 开源三个value proposition：便宜、可微调、隐私 / 自部署。闭源先攻「便宜」，部分低价值workflow预算会流向闭源
• 闭源降价空间大：每代GPU（软件+硬件）token output约为上一代3-4倍，大幅降价不影响利润
• 国产增长逻辑被打破：上半年逻辑是参数量提升 + 提价（GLM-5.2约$4 / 百万token vs 海外对标约$20）；现在闭源价格下探（有提到GPT-6约$10），国产效果不占优、提不了价，下一代大参数模型成本却只会上升；国产效率优化接近瓶颈，海外才刚开始
• 价格预期从「向上收敛」调整为「向中间收敛」
• 剩余空间：合规严格的国内客户、本地部署 / 微调。但海外开源（Reflection AI等）和微软MAI也在起来，「直接打在国产模型的命门上」
• 国内付费依赖重度用户（a16z报告：前1%用户付费大于后50%），重度用户可直接付费Claude / Codex，存在value leakage
• 可微调短期不会被快速攻破：post-train市场未收敛（Fireworks偏服务 vs Thinking Machines偏产品化，但这部分市场规模还是有的），闭源投入相对小，OpenAI的RFT没推起来。下一个冲击看闭源何时推出产品化调参产品或大规模投FDE
• 闭源降价意图有分歧：对Anthropic成立（frontier对ARR拉动减弱，需开新场景），对OpenAI不成立（frontier对ARR拉动仍大）
• 用户反馈：之前在火山引擎用国产flash模型，后来算下来Codex更划算、跨agent更方便，取消国产订阅统一用Codex（买账号池叠Plus额度）。Codex / Claude价格已能下探到flash层级
  

5. 下一个大场景：AIDD与其他

• 28年需求总量看不清是当前估值overhang，能否支撑约2T capex
• AIDD是当前主要押注：药企研发费用约中几千亿美金，20-30%投入AI就是千亿美金场景。concern在节奏：药物周期长，能否忍受两年无新管线进展仍每年2-3倍投入。金融、客服、法律更多是context和数据问题，非模型step function能解决，需慢慢释放
• 医药同行对AIDD很悲观：研发遵循反摩尔定律，靶点有限，IRR一路走低；即使AIDD成立，改变的是靶点发现速率，瓶颈转到实验、入组、实验猴等物理环节，价值更可能在药明等CXO / CDMO。进一步拆解：
• 大药企capex很大部分是收购管线，波动大，市场高估真实capacity
• LLM替代科学家（查文献、提猜想、调工具、设计分子）本质是coding；真正有价值的是AI制药模型（结构、结合预测），但几千张卡就够，壁垒在数据
• 药企私有失败数据不会给Anthropic，Anthropic长期大概率自建实验室甚至收购药企，但算力消耗不大，撑不起28年capex
• AI制药不遵循第一性原理，只是猜得更多，实验费用大增而产出不保证；小分子公开数据多做得好，有价值的新靶点反而没数据
• 不看好金斯瑞、Twist等蛋白合成（无壁垒，会被自建实验室替代）；看好动物实验和临床：海外受动保限制、无法内化，需求回流中国，AI加速后明年初就要上猴子，认为买实验猴、药明康德最正确

6. 中国模型公司与CSP分成

• 智谱、Kimi已上架Bedrock，take rate约10-15%
• 收入upside不大：Bedrock约90%调用量来自前沿模型，剩余5-10%由多家开源分，Amazon还有自研Nova。利润：乐观算到27年十几亿量级，而智谱上半年研发投入就有20多亿人民币，算力投入增长可能远高于分成增量，拖累盈利周期

文章来自于微信公众号 “Startup Research”，作者 “Startup Research”