上线一周,
gemini-2.0-flash-exp、gemini-2.0-flash-thinking-exp 已经成为了我日常对话频率最高的模型之一。
看着名字很长,其实就是对标 GPT-4o 和 o1。
2.0-flash 在 SWE-bench(代码能力评估) 得分超过 Claude-Sonnet-3.5,2.0-flash-thinking 在 LMArena 所有类别拿到冠军,且速度比 o1 快 5 倍!
重要的是,他们还把思考过程公开了(o1每次都会因为这点被吐槽)
还有还有,不同于贵到肉疼的 o1 API,
也区别于“升级版封号斗罗pro-max-plus-ultra”的 Claude(额度是上午充的,号是中午没的。。。)
Gemini 它免费啊!
这就能做很多事了,翻译、编程、日常对话、联网搜索、中文视频聊天、视频剪辑、屏幕共享,把我其他AI应用的活也抢了。
之前用别家模型的 API 是为了节约成本,这次是真的离不开 Gemini 了。
上一次,我是因为 API 价格跳水,梳理了在日常工作流里面如何搭配不同模型的 API 和网页版。
当时我的选择是:
使用OpenAI API的最后一条路断了,我连夜组合出了新的平价方案
但经过这两周的反复尝试后,这几个应用都被 Gemini 取代了,好处就是不需要自建服务集合十来个API,也不需要担心费用了。
官方的羊毛好暖好贴心~
先来简单说说,如何获取 Gemini 的 API Key:
本地的大模型对话端我还是推 Chatbox,作者的更新是真的快,我是自来水💦
最近更新还支持了联网、图片预处理
软件操作界面的右下角“设置”里面就可以选择 Gemini,Chatbox 支持了几乎是全系列的模型,单单是Gemini 系列足足有30个。
再分享一下我的默认设置:上下文消息上限保留12-18个、Temperature保留0.5~0.7。
能回答“9.11跟9.9哪个大”的推理模型免费用上了!
再来就是高频的使用场景 - 代码生成了。
Cursor已经算是半取代我的 vscode,我的 vscode 现在只出现在云端了。
Cursor原生支持Gemini
给大家看看实际生成的速度:
沉浸式翻译,也是老朋友了,
基本上网页、PDF翻译都已经是主力工具,我额外会搭配一个 Bob 来满足更灵活的划词翻译和图片翻译。
因为这两款软件原生就支持 Gemini API Key,
设置上基本没有难度:
沉浸式翻译可以同时对比多个服务
Bob的设置界面
1.5-flash 的翻译速度还是蛮快的,虽说比不上非大模型的翻译接口,但胜在翻译质量是真的高。
不得不说,Gemini 2.0 这个实时语音加屏幕获取太有用了。体验感比 GPT mac 应用的实时屏幕更加丝滑。
这次用的是这款软件:https://www.dinopal.ai,
跟官网相比的话,多支持了中文聊天。
视频里我就尝试让 Gemini 帮我调整生成的图片风格,整体感觉可以充当聊天助理,要用在实时辅助的话,还是有一段距离的。
也期待后续能跟 AI 眼镜、AI 耳机联动起来,搞点新花样。
Gemini能看懂多模态,输入多模态的好处还有更多。
一开始是 @晨然 测试 Gemini 自动剪辑的时候,发现 2.0 可以直接理解到精确毫秒的信息。而且在没有给大量 prompt 情况下给出了这个效果的剪辑,剪除了气口,保留了有效信息。
而 @海辛 根据这个特点实现了控制时间轴的视频生成,简单来说就是靠在 prompt 上写上具体的时间节点来控制镜头的运动,
具体的步骤就是:
<提示语>
视频每一个分镜的开始时间和画面详细描述,时间需要精确到小数点后两位,画面描述需要非常详细,比如环境描述、人物表情穿着、氛围等
</提示语>
关键这还是有论文支持的(666)。
素材来源:@时辰
@歸藏 还专门做了个内容复制,
而且还有衍生的玩法,我做了一个卡比兽和可达鸭推倒比萨斜塔的视频,可以上传到 AI Studio,让 Gemini 给出合适的音效建议,然后就可以在11labs里制作出合适的音效。
可以说,有了Gemini API Key后,起码能顶五个AI应用。
这两个月没白等啊!
如果说 Gemini 1.0 是关于组织和理解信息,
那么 Gemini 2.0 就是让信息变得更加有用。
这就是人工智能的升级,
和人类的升级一样,
从最初的石器和狩猎,
演变到今天操控庞大的信息网。
我已经迫不及待地想看看,
下一个时代会带来什么。
文章来自于微信公众号“卡尔的AI沃茨”,作者“卡尔 & 阿汤”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。
在线使用:https://ffa.chat/
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales