本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】

搜索
AI-TNT
正文
资源拓展
本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】
2025-04-15 16:11

大家好,我是袋鼠帝


上个月底,智谱发布了一个非常牛逼的产品AutoGLM沉思版(国内首个免费使用的DeepResearch),它既能推理,又能动手,还能接管你的浏览器帮你干活儿。


当时就有消息说他们将在4月14号开源AutoGLM沉思版相关的基座模型、推理模型、甚至是原版的沉思模型...


然后今天早起了个大早,就一直在蹲他们的官媒


结果,蹲了个寂寞,官宣迟迟没来...


直到下午,我去访问智谱MaaS开放平台,发现智谱居然悄咪咪把模型更新了...


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


这些模型中,智谱开源的是沉思模型GLM-Z1-Rumination-32B、推理模型GLM-Z1-32B-0414和基座模型GLM-4-32B-0414,


它们遵循宽松的MIT License,完全开源,不限制商用,无需任何申请。


还有对应更小参数量的9B


GitHub地址:


https://github.com/zRzRzRzRzRzRzR/GLM-4


Huggingface地址:


https://huggingface.co/collections/THUDM/glm-4-0414-67f3cbcb34dd9d252707cb2e


不得不说,智谱格局真大!费劲巴拉自研出来的模型说开源就开源了


为什么我对这次智谱开源的模型这么感兴趣呢


因为看了上次智谱官方给出的开源模型性能和参数量,我觉得它非常适合用在全链路本地私有化的AI知识库问答上


另外我最近在玩儿MCP,我也想用智谱这次开源的模型来试试效果。


PS:这两块留到下面的测试案例中给大家详细说说。


在实测之前,先带大家看一下官方给出的数据吧。


这次智谱开源的GLM-4-32B-0414和GLM-Z1-32B-0414都是小参数量模型,只有32B,对比DeepSeek满血版是671B,其参数量小了整整21倍。


但据官方给出的数据,推理模型GLM-Z1-32B-0414在性能上甚至不输于DeepSeek-R1(6710亿参数)


这意味着我们可以轻松在本地跑起来一个性能比肩DeepSeek-R1的超强推理模型:GLM-Z1-Air


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


上图展示了GLM-Z1-Air、DeepSeek-R1、QWQ-32B在数学推理,代码生成,指令遵循,通用问答,工具调用,科学相关领域的能力对比


同时基座模型 GLM-4-32B-0414也以32B参数量,在指令遵循、综合/智能体工具调用、搜索问答方面甚至略超过新版DeepSeek-V3(0324)


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


卧槽,看这数据,GLM-4-32B-0414用来做智能体、接入MCP、接入工作流是再适合不过的了,因为这几个场景都需要严格遵循指令,和灵活的工具调用能力~


最关键的是可以本地部署,私密性强


好了,话不多说,我们来做一些实测,大家就知道了。


唉,说多了都是泪,我本地电脑配置太拉了,GPU只有8G显存,没法本地部署体验了。32B的模型大小在20G左右,我估计需要32G显存才能流畅使用。


我还是先乖乖调用API来体验吧(智谱开放平台也上线了这几个开源模型)


老规矩,拿到大模型API的老三样就可以通过API调用啦:


apikey、base_url、模型名称


先在智谱开MaaS放平台(bigmodel.cn)获取ApiKey:


https://www.bigmodel.cn/usercenter/proj-mgmt/apikeys


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


新建apikey复制备用


API调用地址(base_url):


https://open.bigmodel.cn/api/paas/v4/chat/completions


模型可以选:


glm-4-air-250414(对应基座模型GLM-4-32B-0414)


glm-z1-air(对应推理模型GLM-Z1-32B-0414)


即便是使用官方的API,价格方面也非常感人


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


DeepSeek API都已经是白菜价了,竟然还有模型(GLM-Z1-Air)比DeepSeek-R1便宜30倍!


对于GLM-Z1-Air(高性价比版)我感觉充一块钱都随便用了...


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


接入Fastgpt知识库实测


我在扒拉他们平台的时候,发现了一个更牛逼的模型,叫:GLM-Z1-AirX,说是GLM-Z1-Air的极速版。


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


一位朋友对它的评价


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


正好,dify有个功能:可以让多个大模型同时执行任务,同时展示多模型的回复情况,我们一起通过下面两个视频感受一下它有多快!


视频中左边是GLM-Z1-AirX,右边是DeepSeek-R1,两个视频一刀未剪,原速播放


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


我直接惊了,这推理、回复速度也太快了吧,提一个问题,立马出结果...


随即我查了一下智谱官方给出的数据


GLM-Z1-AirX(极速版)推理速度居然是DeepSeek-R1的8倍


最高输出速度可达200tokens/秒


这应该是目前国内推理模型 速度天花板了!


同时也以32B参数量,性能上比肩DeepSeek-R1


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


在知识库这块,我其实一开始是不推荐大家在知识库中使用推理模型的。


主要是因为RAG本身检索就会耗费一定时间了,如果在等它吭哧吭哧推理,可能一个问题半天才能得到回复,这在很多场景是不允许的。


而且如果用知识库打造AI客服,很多朋友还是挺在意回复速度的。


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


然后我就把GLM-Z1-AirX接入Fastgpt了(配置如下图)


请求地址需完整填写:


https://open.bigmodel.cn/api/paas/v4/chat/completions


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


新建一个Bot,接入我的公众号知识库后


我测试了第一个问题:有哪些浏览器插件?


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


卧槽,我本来没有报太大的希望,因为毕竟只是32B的推理模型。


但是这次智谱是真的惊艳到我了!它不仅快的离谱...


而且通过推理之后的回复会更加详细完整,回答质量又上一个台阶。


我的知识库上传的公众号文章里面刚好只讲了这几个插件。


在完整回答的同时,又非常详细,而且还生成了一个场景对比表格,太贴心了


接着再来一个问题:文章里写入支持接入微信的大模型有哪些?


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


这次回答也准确无误,刚好知识库里面只包含了这两种大模型的微信接入方式。


即便在最后提到了其他大模型,但也没有产生幻觉而乱说。


好,再来:有哪些降低论文AI率的工具?


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


又全中,准确率很高了。


而且又给了参数对比表格,最后还扩展了操作建议...


我只能说推理模型接入知识库之后表现非常强。


特别是那种需求被秒级响应的畅快感,真的会让人上瘾。


你可能会问,GLM-Z1-AirX有没有开源呢?


开源名单里面确实没有GLM-Z1-AirX,但是我推测极速版就是在开源的GLM-Z1-32B-0414基础上堆算力,堆起来的结果。


给的算力充足,速度自然就起飞了,而且模型只有32B,对于智谱来说算力成本肯定不会很大。


GLM-Z1-AirX(极速版)的API价格是5¥/1Mtokens,快还是有代价的,要消耗更多的算力,但其实也足够便宜了。


有一个缺点是:GLM-Z1-AirX和DeepSeek-R1一样,没有支持Function Call,工具调用这块能力有所缺失。希望官方后续能支持


另外,我用越狱prompt测试了一下


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


GLM-Z1-AirX这边直接不回复了,而DeepSeek-R1的回复不堪入目,我不得不打码...


说真的,智谱不愧是跟政府有合作的,安全这块没得说。


接入MCP实测


咱们再来看看接入MCP之后的效果如何


本次的MCP Case是通过Cherry Studio来跑的,因为它支持MCP服务。


对接起来非常方便~


下载地址:https://cherry-ai.com/download


{  "mcpServers": {    "fetch": {      "isActive": true,      "command": "uvx",      "args": [        "mcp-server-fetch"      ],      "name": "fetch"    },    "ddg-search": {      "isActive": true,      "command": "uvx",      "args": [        "duckduckgo-mcp-server"      ],      "name": "ddg-search"    },    "filesystem": {      "isActive": true,      "command": "npx",      "args": [        "-y",        "@modelcontextprotocol/server-filesystem",        "D:\\myGit\\MCP\\filesystem-test"      ],      "name": "filesystem"    },    "desktop-commander": {      "isActive": true,      "command": "npx",      "args": [        "-y",        "@wonderwhy-er/desktop-commander"      ],      "name": "desktop-commander"    }  }}


Cherry Studio安装好之后,打开它,点击左下角设置


上面的json中有5个MCP-Server工具


把上面的MCP json配置,粘贴到下图位置(全部替换,如果无法保存请看评论区置顶),点击确定


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


在模型服务这里,找到智谱AI,填写apikey


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


PS:由于Cherry Studio使用MCP协议对接大模型使用的是function call方式,而GLM-Z1-AirX暂时还不具备function call能力,


所以我们选择拥有function call功能的基座模型:glm-4-air-250414


需要我们手动添加一下glm-4-air-250414(参考下图)


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


如下填写之后保存


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


Case1:通过MCP协议调用联网搜索工具


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


Case2:通过MCP调用文件工具,写一篇文章保存到本地


注意:在json配置里面filesystem那块,需要填写一个赋予AI操作权限的路径


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


Case3:执行docker指令,停止fastgpt服务


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


它真的自己操作,把docker里面的fastgpt停了!


我在想,下次直接可以让AI结合MCP直接帮大家搞定本地部署了,比如本地部署fastgpt,dify,n8n等,从此真正解放双手!


我研究研究,后面分享,不然每次写部署教程,步骤还挺多的...


Case4:总结网页链接


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


体验下来,我觉得GLM-4-Air-250414作为32B的模型,虽然能根据问题正确的选择MCP工具执行,


但跟新版DeepSeek-V3还是有一些差距的,回答质量还有待提升。


另外智谱还上线了一个顶级域名:z.ai


他们把最新开源的三个模型都放上去了,可以免费体验


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】


写在最后


本次让我最惊艳的还是GLM-Z1-AirX(极速版),完全打破了我对推理模型慢的刻板映像(真的太快了!)


用GLM-Z1-AirX的推理能力结合AI知识库,效果叒起飞了,比起普通模型,回复质量有明显的提升。


关键回复的贼快,而且只有32B,稍微有点实力的朋友都能够本地部署使用。


再有就是,智谱的模型安全这块做的不错,特别适合一些中小企业、机构私有化部署之后内部使用。


写差不多了,看了看时间,已经凌晨1:30了,我发现辞职之后,在身体上,我反而比之前上班更累。


但,心不累。


这种为自己打拼、做自己决策的感觉真挺好的。


没有复杂的上下级关系,没有繁琐的审批流程,只有直接而纯粹的思考与行动。


最后,愿我们都能突破生活的桎梏,像不断突破、进化的AI大模型一样,找到属于自己的可能性~


文章来自于微信公众号“袋鼠帝AI客栈”,作者 :袋鼠帝


本地知识库+智谱开源GLM-Z1-Air,安全私密、回答速度飞快!效果突破新高度【含MCP玩法】

1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

3
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

4
知识库

【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。

项目地址:https://github.com/labring/FastGPT

5
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

6
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0

IOS下载
安卓下载
微信群
沪ICP备2023015588号