CriteriaBot

我在开发另一个项目时需要一些相当特定的内容审核工具，除了传统的审核类别（即有害内容）之外，它还需要能够检测谬论、认知偏差、说服力、事实准确性、主题相关性等内容。现有大多数服务可筛查的内容类别都相当有限，而且感觉更偏向企业级、不太亲民（举个表面例子，大多数服务都要求你打电话咨询价格）。所以我决定自己开发一个，首先用一批小型开源大语言模型作为共识系统的基础，通过更传统的机器学习方法处理它们的单独投票得出结论。我对结果非常满意，它开箱即用，对任何类别都能达到相当高的准确率。

随着这个系统开发成功，我决定将其作为独立服务推出。它预期用例中的许多类别都属于主观判断，理性人之间也可能存在分歧，因此我添加了自定义组件，让系统能够识别出哪些问题的答案可能与用户偏好不一致，并相应进行调整。个性化在请求时就会生效，因此当用户对判定结果提交反馈或提供示例时，下一次评估就会立即生效。