多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI新闻日报

多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26
AI技术研报 2026-10-24 13:42
+7137 阅读

目前的多Agent系统中,往往由主Agent掌握完整材料,通过向子Agent发送局部任务消息来拆解任务、持续推进。


然而,在实际应用当中,即使满足“信息充分”的条件,子Agent仍可能做出错误动作。同一套通信配置,换一个模型或任务状态,准确率就可能天差地别。


究其根本,是现有系统常把“信息充分”当作协作成功的充分条件,却忽视了通信配置本身的隐性代价。


来自亚利桑那大学、香港浸会大学和Amazon Web Services的研究者在NeurIPS 2026论文中研究了这个问题。结果发现,多Agent协作中,消息是否有用,既取决于它提供了什么,也取决于接收模型如何处理这些信息。


多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26


团队让Qwen的80B模型给9B模型发消息,长度限制为128个token。在代码库中寻找相关文件的ContextBench上,下一步准确率提高14.2个百分点;换到工具调用测试ToolSandbox,同一套配置却让准确率下降23.6个百分点。


研究从理论和实验两方面解释了这种差异,并提出一套无需重新训练模型的策略:每一步根据任务和接收模型,选择是否通信、怎样通信,以及是否更换接收模型。


主Agent知道的,怎么告诉子Agent?


在编程和工具调用任务中,主Agent通常掌握更完整的代码仓库、执行记录和任务背景,子Agent则根据局部信息,决定下一步改哪个文件、调用哪个工具。


最直接的办法,是把原始材料全部发过去。但子Agent仍要自己找重点,长上下文中的无关内容也可能干扰判断。


另一种办法,是先压缩成短消息。目标更明确了,却有两个问题:关键内容有没有遗漏?换了表达,子Agent还能不能正确使用?


只看任务最后是否完成,很难分清这些原因:失败可能来自当前消息,也可能源于前几步的错误累积。因此,团队把分析缩小到每次交互,单独看消息如何影响下一步决策。


信息完整,为什么还会做错?


论文标题中的“Bayes-Sufficient”,可以理解为:压缩后的消息,加上接收模型已有的信息,仍然保留了判断目标所需的信息。


就像《肖申克的救赎》里那句“救赎之道,就在其中”:答案就在消息里,接收模型却未必找得到。


从信息上看,这样的压缩已经足够;但实际模型还要读懂消息、提取目标、选出动作,这些步骤不会自动完成。


多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26


△同样回答“要不要带伞”,两种表达都包含判断所需的信息,却可能让接收者作出不同决策。这是作者构造的示意案例,非真实模型记录。


团队在理论上构造了一类任务:对于受表达形式限制的接收模型,原始材料能支持零错误决策;保留决策信息的压缩,却让错误率下界接近50%。


这个例子说明,保留了信息,不等于保留了模型使用这些信息的能力。评估压缩消息,还要考虑接收模型对表达形式的限制。


一条消息,到底能提高多少准确率?


论文把通信带来的实际改善拆成两部分。


第一部分是消息提供的信息收益:在给定的模型、提示词和上下文等约束下,接收模型理论上能少犯多少错。


接收模型实际能做到的,往往低于它在这些约束下的最好表现。通信如何改变这个差距,是第二部分:消息可能增加理解难度、引入干扰,使差距扩大;也可能让目标更明确,使差距缩小。论文将这个差距的变化称为protocol tax。


两部分相减,才是通信的实际收益。所以,内容更完整的消息,最后也可能降低准确率。


发短消息还是发原文,也可这样分析(论文在log-loss下拆解了压缩的影响):短消息能减轻处理负担,却可能遗漏信息,或用了接收模型不易理解的表达。


消息越短越好、信息越全越好,都不足以作为单独的选择标准。


技术拆解:先判断哪里出错,再决定怎么通信


第一,区分信息遗漏、理解失败和动作选择错误。


团队把错误分成三个环节:


  • 没写出来:主Agent掌握了信息,却没有写进消息;
  • 没看出来:信息已经在消息里,子Agent没有提取出来;
  • 选错动作:文件或工具找对了,下一步动作却选错了。


多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26


△三个环节在论文中分别称为externalization、absorption和action closure。


第二,分析什么时候值得换更强的主Agent。


更强的主Agent可能提供更多有效信息,也可能生成更复杂、更难处理的消息。


论文给出了一个有条件的理论结果:如果升级主Agent的净收益随任务难度连续变化、只由负转正一次,就存在唯一的难度阈值,超过它升级才有收益。


实验用“子Agent独立完成下一步的准确率”衡量任务难度。不过,难度并不能解释全部结果,后面的τ-bench实验就是例外。


第三,在推理时选择通信方式,无需重新训练模型。


团队提出的策略包含五种选择:


  • 跳过通信;
  • 发送压缩消息;
  • 发送原始上下文;
  • 换用更强的接收模型;
  • 更新共享任务状态,如当前计划和文件修改情况。


策略根据预先校准的规则,估计各选项的信息收益、处理负担、当前成本和后续风险,再作选择;校准用独立记录,测试时不读标准答案。


其中还有一个直接节省调用的办法:若独立校准表明子Agent在某类任务上不靠消息就能达到80%准确率,就直接跳过通信,不必再调用主Agent生成消息。


六项测试,通信效果并不一致


实验覆盖六套基准:ContextBench(代码上下文定位)、ToolSandbox(有状态的工具调用)、SWE-bench Lite(代码修复)、RepoBench(代码检索与补全)、τ-bench(模拟客服)和BFCL(函数调用)。


比较通信效果时,使用下一步联合准确率:目标文件或工具、动作类型都选对,才算正确。


第一,同一套通信配置,在不同任务上效果相反。


由Qwen3-Next-80B-A3B发送消息、Qwen3.5-9B接收时,ContextBench的准确率从63.3%升至77.5%;ToolSandbox则从88.9%降至65.3%。


多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26


△两套测试分别统计了480步和72步。两套测试使用相同的模型组合,通信带来的变化却相反。


模型组合也会影响结果:同样在ToolSandbox上,改用gpt-5.4发送、gpt-4o-mini接收,准确率从不通信时的80.3%升至100%。


第二,信息不变,只改表达,也可能降低准确率。


团队对消息做了保留决策信息的重新编码,只换字段名和动作标签,再交给GPT系列模型处理。


在原格式能正确完成的样本中,τ-bench、ContextBench和ToolSandbox的准确率分别下降13.5、6.0和3.5个百分点;原本就高度结构化的BFCL没有下降。


第三,找对文件之后,不同模型仍会选择不同动作。


团队将DeepSeek-V3.1生成的同一批消息原样交给8个接收模型,以固定消息内容,单独比较各模型的表现。它们找对文件的比例都在61%到74%之间,差距不算大。


但在找对文件的样本中,动作也选对的比例相差悬殊:DeepSeek-R1、Qwen3.5-9B和Llama-70B都在98%以上,GLM-5为54.5%,MiniMax-M2.5只有5.3%。


这会不会只是回答格式不对,导致评测程序误判?


团队在另一组由gpt-5.4发送消息的实验中放宽解析规则,有效回答最多只多0.2个百分点;在可解析且文件选对的回答中,GLM-5、MiniMax-M2.5和o3仍有四成到九成多选错动作。


多Agent也会帮倒忙!80B给9B支招,准确率反降23.6个百分点 | NeurIPS'26


△ContextBench上的目标定位与动作选择结果。图中包含不同实验设置,详见论文。


第四,主Agent更强,协作效果未必更好。


固定9B接收模型,把发送模型从9B升级为80B后,ContextBench和RepoBench准确率分别提高21个和近9个百分点;ToolSandbox却从91.7%降至65.3%,BFCL和τ-bench分别下降16个和近3个百分点。


τ-bench尤其值得注意:子Agent独立完成下一步的准确率只有一成多,升级主Agent仍无改善。可见除了任务难度,还要看消息表达是否适合接收模型。


注:SWE-bench Lite的对照条件不同,未列入这组比较。


第五,按需通信能节省token,但准确率也有取舍。


ContextBench上,按需通信准确率为73.7%,高于始终不通信的65.0%,低于每步发送的78.7%,token用量比每步发送少46.4%。


这组实验使用300条静态记录,由gpt-5.4发送消息、gpt-4o-mini接收,策略在跳过通信、发送压缩消息和发送原始上下文三种方式中选择。


ToolSandbox另一套设置(144步×5个随机种子)中,按80%校准阈值直接跳过通信,准确率98.8%,与每步发送的98.6%基本持平,token少57.9%。


τ-bench则不理想:开源实现中另一版按阈值选择的策略准确率只有8.3%,不如始终整理成固定格式再发送的13.9%,token相近。


这项研究给出了一种排查顺序:先看必要信息有没有写进消息,再看接收模型有没有提取出正确目标,最后检查动作选择。不同环节出了问题,需要的改进也不同。找对文件却选错动作时,再补充文件说明未必有用。


这些结论主要针对下一步决策;对完整任务的影响,还需结合多步错误累积验证。论文给出的直接启示是:把通信方式和接收模型一起评估,并允许系统在不需要消息时跳过通信。


关于团队


作者(按论文顺序):Yi Xie、Zhanke Zhou、Yi Fan、Yong Ge、Bo Han、Bo Liu


Bo Liu,本文通讯作者,现任亚利桑那大学电气、计算与软件工程学院(School of Electrical, Computing, and Software Engineering)副教授。研究方向为强化学习与控制、决策、可解释人工智能、安全人工智能。


Bo Han,现任香港浸会大学计算机科学系副教授,可信机器学习与推理研究组(TMLR Group)负责人。研究方向为机器学习、基础模型,以及可信、高效的学习与推理方法。入选2024年IEEE“AI’s 10 to Watch”。


Yong Ge,现任亚利桑那大学Eller管理学院管理信息系统系副教授、Eller Fellow。研究方向为数据挖掘、机器学习、推荐系统、商业分析。


论文题目:Bayes-Sufficient Compression Is Not Enough: How Does Communication Help Multi-Agent Systems?

论文链接:https://arxiv.org/abs/2610.03769Bo Liu

学校主页:https://ecse.engineering.arizona.edu/faculty-staff/faculty/bo-liu

韩波个人主页:https://bhanml.github.io/Yong Ge

学院主页:https://eller.arizona.edu/people/yong-ge


文章来自于微信公众号 “量子位”,作者 “量子位”

1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0

添加客服微信AITNT178,进AITNT官方交流群