Freu AI

Product Hunt 的朋友们好！👋 我是 Freu AI 的创始人查尔斯。

前段时间，我们预告过正在将浏览器自动化技术扩展到整个操作系统。今天，我们正式推出 Mac 版 Freu AI——这是一款智能代理，可以用自然语言自动化你系统上的任意桌面软件。

现存问题：视觉代理成本过高，RPA 过于脆弱

我们在当前 GUI 自动化领域遇到了巨大瓶颈。传统 RPA（AppleScript、固定 XY 坐标点击器）一旦你调整窗口大小或应用更新 UI 就会失效。另一方面，现代多模态代理（将截图发送给云端大语言模型）在处理重复任务时扩展性极差。

目前，大多数桌面代理的工作方式就像逐行解释器。每次你让它「从这个本地 PDF 提取数据填入 Excel」，它都要截一张图发给云端，分析视觉布局，然后点击操作。

传统成本：约 10k tokens（图像上下文）× 5 个步骤 × 每日 10 次运行 = 每日约 50 万 tokens，这还只是导航完全相同的桌面界面所需的消耗，更不用提难以忍受的延迟了。

解决方案：AOT 编译 + 语义 UI（SUI）

Freu AI 通过引入操作系统级任务的提前（Ahead-of-Time, AOT）编译改变了这一现状。代理不需要每次都从头分析屏幕，你只需要给它演示一遍跨应用工作流。

Freu AI 使用基于云视觉的模型将这次会话「编译」成确定性、可复用的领域专用语言（DSL）。

Freu 的成本优势：当代理观看并学习你的工作流时，你只需支付一次云端「AI 推理」token 成本。但后续运行呢？代理直接在本地调用预编译的 DSL 命令即可。这将 recurring 执行成本降到零，并把延迟从几分钟缩短到几秒钟。

底层工作原理：

当你录制桌面工作流时，我们的引擎不只是保存一个简单的宏。它使用语义 UI（SUI）来理解屏幕内容：

感知：它能识别任意应用中的按钮、文本框和图标。

定位：它锚定在 UI 的语义含义上，而非固定坐标。即使 Spotify 移动了「播放」按钮的位置，Freu AI 依然能找到它。

执行：它将这些视觉锚点绑定到我们的 DSL 中，确定性地执行操作。

🎁 开源福利：

虽然 Mac 桌面应用是我们的核心产品，但我们今天开源了 freu-cli——这是我们底层基于 DOM 的浏览器自动化引擎。你可以把它集成到你自己的代理中，让它们立刻获得网页任务的「肌肉记忆」。仓库地址：

https://github.com/freu-ai/freu-cli

🔮 未来规划：本地视觉执行引擎

我们一直在不懈升级我们的技术栈。很快，我们将推出一项新能力：使用针对 SUI 优化的轻量级视觉模型在你本地硬件上完全运行执行阶段。虽然在初始「学习」阶段，我们始终会依赖强大的云端大语言模型来理解你的复杂意图，但即将推出的本地引擎意味着你日常的重复执行将完全不消耗 API tokens，并且让你的实时屏幕数据 100% 保持隐私。

欢迎大家试用 Mac 版 Freu AI，也希望听听你们对我们的 AOT 方案有什么反馈，或是你们目前是如何处理重复跨应用任务的。我和我的联合创始人今天会全天蹲在评论区回答大家的问题！🚀