Pheebs

我与多位工程负责人交流过，他们希望更好地了解团队的 AI 使用情况，却不知从何入手。我也和一些工程师聊过，他们陷入瓶颈，不知道如何提升。FOMO 情绪正在不断累积，而坦诚自己的 AI 技能短板并非易事。

DAU/WAU 和 token 数量之类的采用率指标能告诉你谁有权限、谁在使用 AI 工具。虽然这些指标可以作为 AI 熟练度和生产力的大致参考，但它们几乎无法反映一次会话内部发生了什么，也无法体现工程师和团队究竟是如何使用 AI 的。

使用的是哪些模型，是否与任务相匹配？我们的花费是否理性？提交前是否会运行测试？AI 输出是会受到质疑还是被照单全收？输出需要大量修补，还是只需稍作打磨？代码仓库是否错失了脚手架机会（技能、上下文文件）？我的团队在上下文管理、evals、编排等 AI 能力方面表现如何？

Pheebs 能够捕捉这些信息，甚至更多。它会记录会话的形态，并为工程师提供独立于团队报告的私密工作视图。为了让数据更有意义，Pheebs 提出了一套 AI 熟练度模型（AI Proficiency Model），重点关注两个方面：

1. 技能组合（Repertoire）：在工程师的工作中，六项能力——models、artifacts、MCP、evals、context management、orchestration——上分别调用了哪些 harness 能力。

2. 判断力（Judgement，灵感来自 Anthropic AI 流畅度指数中的 Discernment 能力）：在 PR 创建和合并之前，AI 输出经历了什么——是否被验证、质疑或打磨？所用模型是否与任务匹配？大多数团队无论什么任务都使用最大的模型。Pheebs 能够展示在合适的场景下使用更小模型可以节省多少成本。

Pheebs 是开源项目，欢迎试用并向我们反馈！