MockDPE: AI Built by Pilots, for Pilots

嘿，Product Hunt 的朋友们！我是 Kevin，本职是后端工程师，同时也是一名商用飞行员。

任何参加过美国联邦航空管理局（FAA）飞行员执照培训的人都知道考试飞行（checkride）的压力——它价格昂贵且风险极高。你要面对指定飞行员考官（DPE），他们会花数小时考察你对法规、飞机系统和气象知识的掌握。我见过 DPE 收费从 600 美元到 2500 美元不等，而且一旦考试失败，失败记录会永久留在你的 FAA 档案中。

在我准备自己的考试飞行时，现有的工具在我看来都已经过时，真实度不足，无法准确模拟考试场景。日常 AI 工具（甚至一些航空专用工具）并不能真正理解航空内容，而其他选项完全没有沉浸感，比如视频和抽认卡。基于我自己的培训经验，我打造了 MockDPE，让学生能够在正式考试前提前练习考试飞行。

MockDPE 可以根据官方 FAA 飞行员认证标准（ACS）进行完整的语音口试。你可以选择机型、自定义飞行航线，还可以上传选填的学习指南或备考笔记。随后 MockDPE 会获取实时航空气象，将真实天气条件融入沉浸式场景，覆盖美国 16000 多个机场，并按照 ACS 逐任务对你打分，就像你面对真正 DPE 考试时一样。

要让小型大语言模型准确且一致地评估开放式航空答题，比听起来要困难得多：我最初使用普通检索增强生成（RAG）的方案远达不到要求。回看 git 历史，我花了近 200 次迭代优化提示词和系统设计，才得到现在的架构。

我选择使用多个较小的模型，每个模型只分配一项狭窄、固定的任务，这样它们就不会被过多规则或指令压垮。一个专门的评分模型会根据注入的参考卡片（FAR、AIM、IFH 以及其他航空内容）对用户的每一项作答打分，并且必须通过工具调用从官方来源提取信息，为回答正确或错误提供法规依据。这种架构加上多次训练迭代，最终实现了跨运行 96.3% 的评分一致性，并且已经获得仪表飞行教官的验证。

任何人都可以免费进行一次完整的模拟考试飞行，足够进行几小时有针对性的仪表训练。考试结束后，你会得到按领域细分的报告，明确指出你在正式考试前应该重点学习哪些内容。如果你想要深入练习，可以通过这个链接获得无限考试次数、针对性练习以及个性化学习模式：https://mockdpe.org/r/PRODUCTHUNT

我一直在思考一个问题：在什么情况下信任 LLM 评估者才是合理的？我的答案是：当它的评估感觉就像真正的评估一样——模型可以访问官方资源，强制使用法规引用，并且获得了以此为生的专业人士的验证。如果这里有人有不同意见，特别是那些研究过 LLM 评估者的朋友，我非常乐意听听你们对我的方案的看法。