蚂蚁一口气开源5款语音模型！我们用它扒了《甄嬛传》滴血验亲名场面

配音、听录音、转写全覆盖。

智东西10月20日报道，今日，蚂蚁百灵开源Ming-3.0语音系列模型，共包含用于语音合成、音频理解与对话、语音识别的五款模型，重点支持音色与台词表演控制、长音频分析与连续问答，以及结合热词和对话上下文的语音识别。

具体来看，语音合成系列包含Ming-3.0-tts-0.5B、Ming-3.0-tts-tiny，其中tiny版本还支持长篇多角色播客生成；音频理解与对话系列包含Ming-3.0-audio-flash、Ming-3.0-audio-tiny，面向会议、访谈等录音分析场景；语音识别模型为Ming-3.0-asr-tiny，支持中英文及方言转写。

此次发布的一大亮点是，0.5B参数的TTS模型也能根据文字指令调整声音表演。用户可以像导演一样，要求台词表现出克制的愤怒，指定哪些词重读、哪里停顿，还能在句中加入笑声和叹息。Audio系列则可直接分析录音，在理解对话内容的同时，保留语气、说话人特征和环境音等逐字稿难以呈现的信息；ASR模型支持提前传入地名、产品名等热词及对话上文，辅助识别专业术语和同音词。

目前，Ling Studio网页端仅开放了此次新模型中Audio系列的体验。从智东西的实际体验来看，Ming-3.0-audio-flash能结合长对话分析人物的性格、立场及言外之意，也能准确定位背景声音出现的时间。

实测中比较惊喜的是，面对多人参与的长对话，模型仍能较清楚地区分不同说话人的音色和身份，并梳理各自的性格、立场和主张。不过，遇到心思更复杂的人物，它的分析还是比较流于表面。

五款模型的权重现已在Hugging Face和ModelScope开放。用户可在Ling Studio选择Ming-3.0-audio-flash体验音频理解与对话；开发者可通过API调用Ming-3.0-tts-0.5B、Ming-3.0-audio-flash和Ming-3.0-asr-tiny，分别接入语音生成、音频理解和语音识别能力。

▲Ming-3.0在Hugging Face上的开源主页

体验地址：

https://ling.tbox.cn

开源地址：

https://huggingface.co/collections/inclusionAI/ming-30

01.

实测Ming-3.0-audio-flash

能分析多说话人音色性格，准确定位背景音

为了测试Ming-3.0-audio-flash处理长对话的能力，智东西上传了《甄嬛传》“滴血验亲”这一经典片段的录音，时长为22：15，看看它能不能听懂复杂人物对话中的“勾心斗角”。

首先，我们让模型分析有哪些人物参与，他们分别有什么音色、性格特点，以及在对话中起到什么作用。

约一分钟后，模型给出了详细的人物分析。整体来看，它对主要人物性格和立场的判断比较到位：皇上多疑、重视名分，掌握着现场的裁决权；皇后表面端庄克制，实则善于借刀杀人；祺贵人则情绪激动，不断通过指控加剧冲突。

模型还分析出了人物表态背后的目的。例如，皇后看似为了维护皇室清白提出验亲，实际上是利用掺了白矾的水制造假证据，试图借皇上之手除掉甄嬛。模型还梳理了甄嬛质疑水有问题、温实初解释白矾作用等情节，说明了局势发生反转的原因。

不过，对于甄嬛这样“白切黑”的复杂人物，模型还没有真正理解。它将甄嬛描述为委屈、隐忍、护子心切的可怜女子，对其借助柔弱姿态应对质疑、一步步扭转局面的操作，分析得还不够透彻。

接着，我们测试它能否注意到人物对话之外的背景声音，并找到声音出现的时间。我们向模型提问：“弘曕是什么时候哭的？”

这一次，模型约6.6秒就完成了回答，指出弘曕在3分18秒左右开始哭泣，还描述了哭声尖锐、断续的特点。

我们回到录音的3分18秒，确实听到了孩子的哭声。面对多人交锋的对话，模型没有漏掉背景中的这一声音，还准确找到了它开始出现的位置。

02.

0.5B模型拿下细分榜单第一

长语音推理、识别各有优势

语音合成方面，根据官方披露，Ming-3.0-tts-0.5B在第三方AI评测平台Artificial Analysis的英文发音鲁棒性测试中，以93.2%的成绩与Fish Audio Drama 3 Preview并列第一，高于Eleven v4和Gemini 3.8 Flash TTS。该测试主要考察专有名词、缩写、数字等内容能否读准

在统一参考音色、由听众比较生成效果的Controlled Voice榜单中，该模型位列开放权重模型第一；在使用各家代表音色的Provider Voice榜单中，位列开放权重模型第三。

▲Ming-3.0-tts的英文发音鲁棒性测试成绩及两项开放权重语音合成榜单排名（图源：Artificial Analysis，蚂蚁百灵提供）

官方公布的其他测试显示，Ming-3.0-tts-tiny在德语、西班牙语的词错误率上领先图示对比模型。但在根据文字描述设计音色的测试中，两款TTS模型的成绩均低于Qwen3-TTS。

▲Ming-3.0-tts两款模型在多语种语音合成、副语言控制及音色设计测试中的表现

音频理解方面，在蚂蚁百灵公布的对比测试中，Ming-3.0-audio-flash以99.40分的语音推理成绩，领先字节Seed 2.0 Lite、小米MiMo-V2.6-Pro、阿里Qwen3.8-Omni-Flash和谷歌Gemini 3.8 Flash。在这五款模型中，其综合音频理解成绩仅次于千问，语音问答与指令遵循成绩仅次于Gemini，语音工具调用成绩则位列第三。

▲Ming-3.0-audio-flash（上）与Ming-3.0-asr-tiny（下）的同类模型对比结果，上图指标越高越好，下图错误率越低越好

语音识别方面，Ming-3.0-asr-tiny在领域、方言及中英文四类评测中的平均错误率为4.41%，低于阿里通义的Fun-ASR 1.5、小红书团队的FireRedASR2-LLM（8B）及阿里的Qwen3-ASR-1.7B。

其中，Ming-3.0-asr-tiny在领域和英文识别两项中的错误率最低，方言识别略逊于Fun-ASR 1.5，中文识别则不及FireRedASR2-LLM（8B）。领域和方言部分使用了官方自建测试集。

03.

官方案例：导演模式调台词、调表演

可插入笑声、叹息，识别方言地名

除了上述实测，蚂蚁百灵还展示了台词配音、方言识别等官方案例。

例如，Ming-3.0-tts支持通过自然语言控制台词的表达方式，包括情绪变化、节奏和重音。其中一个配音案例要求模型读出一段愤怒但克制的质问。

英文台词大意为：“你改了计划，却没告诉任何人。那我们怎么知道该做什么？”对应的导演指令则要求模型强调指责的部分，让最后的反问更尖锐，但不要大喊。

另一个案例是让模型说到一半笑出声。官方提供的台词是：“他们一进门就笑成一团，[Laughter]整个屋子都热闹起来了。”其中，“[Laughter]”是笑声标签，用来指定模型在这里加入笑声。

用户也可以通过相应标签，指定叹息、咳嗽等声音出现的位置。

语音识别方面，Ming-3.0-asr-tiny可以结合热词列表和对话上文，辅助识别人名、地名和行业术语。

官方选择了粤语问路场景，预先向模型提供“佐敦道、弥敦道、波鞋街、西洋菜街”等地名热词。模型随后将录音转写为：“弥敦道怎么走？”

据官方透露，开发者可以按需传入这些背景信息，无需额外训练模型。该模型目前已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。

04.

结语：从生成语音到处理具体任务

此次开源覆盖了语音输入、录音分析和回答播报等环节，开发者可以按任务选用模型，也可以将不同能力组合进同一应用。

蚂蚁百灵透露，下一步将探索语音智能体（Voice Agent），支持用户通过多轮语音对话提出需求、发起任务和查询进展。相比一次问答，这需要系统持续记住上下文，并在用户补充或修改要求后继续推进任务。

文章来自于"智东西"，作者 "孙小雯"。