Releval

我创建 Releval，是因为改进搜索相关性的工作仍然过于碎片化和依赖人工，远未达到应有的水平。

多年来，我一直在构建和运营搜索系统，反复遇到同一个问题：团队深知搜索质量至关重要，却往往缺乏可靠的方法来衡量某次改动是否真的带来了提升。评估数据最终散落在各类脚本、Notebook、电子表格、仪表盘以及一次性内部工具中。实验难以复现，人工标注成本高昂，而相关性回退往往要等到用户察觉之后才会被发现。

大型科技公司通常通过内部构建专门的评估平台来解决这一问题。它们拥有工程能力、专职团队和预算，能够打造契合自身搜索系统的工具。对较小的公司而言，搭建和维护同样的基础设施往往难以被合理化。搜索或许对客户体验至关重要，但相关性工具很少被视作公司的核心产品，于是它不得不与面向客户的功能争夺有限的工程时间和投入。

现有的商业和开源工具也往往只覆盖工作流中的某个环节。一个团队可能用一个工具处理离线指标，另一个用于分析，自定义脚本来比较排序，还有一套独立流程来收集人工标注。在真正开始改进搜索之前，把这些环节打通就需要投入大量工程精力。

Releval 旨在让这套工作流变得触手可及，而无需每家公司都去自建内部平台。

目标是给搜索团队提供一个切实可用的平台，让他们能够定义有代表性的查询、将其在真实的搜索系统上运行、对结果进行标注、比较排序变更、持续跟踪质量，并把离线指标与生产环境中的实际表现关联起来。它能够与团队现有的搜索技术栈协同工作，而不强求特定的引擎、模型或 AI 服务商。

我也希望评估能够成为日常工程实践的一部分。相关性测试应当是可重复、可自动化、能够像其他质量检查一样在 CI 中运行的。搜索的改动应当有数据支撑，而不是仅仅依赖直觉。

这次早期发布的目的，是想了解更广泛的搜索社区是否也面临同样的问题，以及一个专注的平台是否能让相关性评估变得显著更容易。