最近,后台总有朋友让我讲讲中转站。
刚好前些天逛 WAIC 世界人工智能大会时,我刷到了一个叫 AIBeat 的东西。
他们做了一个 AI 中转站安全排行榜。

世界人工智能大会上AI安全公司斗象科技的展台实拍
作为一个老技术人,我第一反应是,这帮人又来搞测速榜单的噱头了。
看起来非常科学,但除了能看出谁更快以外,记不住任何东西。
但我仔细一看,发现事情并不简单。
人家 AIBeat 不跟你扯什么性价比和速度,人家直接掀桌子。
查的是你这个中转链路到底干不干净。
完整的榜单长这样。

不光有总榜,各个维度的榜单全都安排得明明白白。
什么响应完整性,计费完整性,供应链安全,模型真实性,提示词安全,端点画像,低异常榜和覆盖率榜。
应有尽有。
点进去之后,还能看到历史测试记录的详情。

这可太刺激了。
我把 AIBeat 详细的测评报告从头翻到尾,又抓着几个天天用中转站的朋友一顿盘问。
然后我才意识到,这榜单简直是扒了行业的底裤。
大家都说中转站的水很深,最好不要用,但我没想到,这水下面不仅深,还全都是食人鱼。
先简单说清楚,中转站到底是什么东西。

比如你想用 Claude,GPT 这些国外的模型,官方的渠道在国内很难走通。
要有海外手机号,海外信用卡,动不动还会给你直接封号。
有需求,就有黄牛。
于是,中转站的生意,就这么支棱起来了。
正常情况下,中转站就是个跑腿的。
你把请求发给它,它替你转发给真正的模型,再把答案原样带回来给你。
一个网址,一个密钥,支持人民币充值。
想用哪个模型直接切换就好,丝滑得不行,用起来方便多了。
甚至有些站还天天打折,比官方原价都便宜很多。
那问题来了,资本可不是做慈善的,中转站怎么赚钱呢?
第一种,老实人赚差价,它的进货更便宜,比如大批量采购,企业折扣,地区差价,订阅拆分等等,这种已经算业界良心了。
第二种,狸猫换太子,你想用的是最贵的模型,它偷偷给你换成便宜的。
第三种,那就是真正的绝杀了,它会去卖你的聊天数据,你的每一句话都要从它那经过,人家想拿到这些东西易如反掌。
反手打个包卖给做模型训练或者产品分析的,直接一鱼两吃。
所以,这里最大的问题是,不透明。
这就意味着,可以为所欲为。
AIBeat 报告开篇就说了,中转站的核心风险,来自中间过程不可见。

你能看到的只有两样东西,你发出去的问题,和拿回来的答案。
中间那一段,是黑盒,只有天知道和中转站的老板知道。
报告把黑盒分成了五类,除了上面提到的模型对不对,数据安不安全之外,还有三种花式割韭菜的方法。
第一个是答案完不完整,你的回答有没有被偷偷改写?你发送的请求里有没有被夹带私货?
更要命的是,万一正常的中转节点直接被黑客劫持了呢?

你以为大模型老老实实给你返回了一段完美的代码,实际上是黑客在半路塞进来的投毒指令,直接顺着网线把你本地运行的智能体给一锅端了。
第二个是账单清不清楚,报错失败的请求算不算钱?倍率和余额到底能不能对得上?你充的一百块钱真的按一百块花了吗?
第三个是服务稳不稳定,今天线路好好的,明天上游账号会不会被封?路由会不会说变就变?
最魔幻的是,这五大类坑不是独立的,它们是连环雷。
如果为了省钱给你偷偷换了模型,不仅推理能力变智障了,计费口径也得跟着改,同时还会附赠你一堆报错和高延迟。
牵一发而动你的钱包,全都是真金白银的损失。
既然水这么混,AIBeat 的中转站安全排行榜是怎么做的呢?
很简单,把黑盒砸烂。
把上面这些中间过程里的脏套路,一项一项拎出来。
变成能看见,能记录,能反复测量的硬指标。

我扒了一遍他们背后的检测实现,才发现把黑盒砸烂这句话,说起来轻巧,做起来全是硬骨头。
最大的难点在于,研发团队既看不到中转站的后台日志,也接触不到真实的官方上游。
完全只能靠请求和响应留下的蛛丝马迹,做纯粹的黑盒取证。
为了死磕这个黑盒,他们硬生生搞出了 27 个原生检测探针,又接入了 4 组 PromptBeat 对抗评测。
一次完整的检测,会从端点,模型真实性,提示词,响应完整性,性能等多个维度进行全方位交叉验证。
大家可以看看,下面这张密密麻麻的检测项表。

这可不是靠简单问一句,你是谁,来验明正身的过家家,是刀刀见血的硬核审查。
我随便挑几个点,给大家感受一下这帮人有多细节。
比如查隐藏的提示词注入,不同模型的 Tokenizer 分词器不一样,同一句话差个几十 Token 很正常,直接比对容易造成误伤。
他们怎么干的呢?
AIBEAT 设计了 7 组基线请求,每次测试先算准了当前模型的 Token 偏移量,再做成对差分。
中转站就算只在部分请求里偷偷加料,也会留下洗不掉的计费指纹。
比如查上下文截断,有的站号称支持超长上下文,实际上偷偷给你截断,好从中赚取更多利润。
系统会直接在短,中,长三档文本的开头,中间和末尾,埋入 5 个随机生成的 Canary 标记。
每次标记都不一样,中转站根本没法提前写死答案,哪个位置的数据丢了,狐狸尾巴就会立马露出来。
甚至,表面文本看起来正常也不行,他们还会直接扒开底层的 SSE 流结构。
查事件类型标不标准,Token 传输中有没有突变,流式响应里的模型 ID 和你请求的是不是同一个家族。
再配合上供应链投毒检测,用 npm,pip 等 10 组用例,逐 Token 比对安装命令有没有被中途篡改。
包名或者参数只要被动了手脚,直接按最高风险处理。
最终的每一个打分,你都能一层层下钻,查到最原始的证据。
所以,这根本不是业内常见的普通跑分测速。
作为业内少见的,把模型真实性,隐藏提示词注入,SSE 协议完整性,上下文截断和供应链篡改,绑在同一条证据链上的黑盒审计体系。
这等于是给原本深不见底的黑盒转发链路,装上了一套 360 度无死角的行车记录仪。
所以你在开头看到的那张榜,不是拍脑袋拍出来的。
客观地说,任何检测结果都只反映了特定时间和特定测试条件下的状态。
今天不作恶,不代表明天不作恶,最终的决策还是要结合业务敏感度和最新的复测结果。
AIBeat 也在榜单上标明了最新的测试时间,所有的测试内容全部支持复测。
这就叫用魔法打败魔法,我很认可这个实事求是的做事态度。
在万物都可 AI 生成的时代,我们不得不练出一身本领。
看到一张图,先想是不是 AI 生成的。
看到一段视频,先找找是不是有 AI 生成的破绽。
对 AI 吐出的东西,我们已经足够警惕,也算是被迫学会了零信任原则。
但送这些东西过来的那条路,可能被大多数人忽视了。
所以,我挺感谢这张 AIBeat 的榜单。
它就像一双火眼金睛,帮我们在技术狂飙的时代中。
看清真相,看清脚下的路,从容向前。
文章来自于微信公众号 “欧巴聊AI”,作者 “欧巴聊AI”
【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。
项目地址:https://github.com/browser-use/browser-use
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0