Correlations：氛围测试你的向量模型

在今年 ICLR 会议上，我们被问到最多且最有意思的问题是：

像 Jina AI 这样的向量搜索模型提供商，除了在 MTEB 上做基准测试，会不会做些氛围测试 （Vibe-testing)？

MTEB 全称是 Massive Text Embedding Benchmark (海量文本向量基准测试)，在大量数据集（涵盖 112 种语言）上对文本向量模型进行测试，

包括分类、聚类、信息检索和语义相似性等任务。这是我们在训练向量模型重排器时一个重要的参考标准。

但如同任何的基准测试一样，MTEB 也有一定的局限性：即在面对无标注样本、新领域、新问题时我们无法直接评测。

无论你是否承认，当你拿到一个新的模型时，模型输出的第一直觉和第一印象非常重要，这就涉及到了所谓的氛围测试。

严格来说，氛围测试在人工智能领域中并不是一个新词。

在早期的学术论文中，研究员经常会以 Visual Inspection（肉眼比较）, Qualitative Evaluation（定性分析）的方式含蓄的出现，以避免给人草率和随便的印象。

随着去年来 Vibe Coding（氛围编程）的兴起，Vibe Testing 也就大大方方的站了出来。

尤其是大模型、Agent 应用、长文本应用的兴起和迭代，Vibe Testing 变成了最直接最快的测试方式。

谷歌 Gemini Deep Research 的产品经理 Aarush Selvan 在被问及如何测评 Deep Research 的报告质量时，

无奈地提到"深度研究报告的 Entropy 往往太高了所以很难定量评测，我们内部会先做做 Vibe Testing。"

今天，我们和大家分享一款我们内部用于调试可视化向量的小工具：Correlations。

你可以把它看作是 Jina AI 内部的氛围测试工具，我们在定性分析 DeepSearch 和 Late Chunking 时都用到了它。现已在 GitHub 上开源。

Github: https://github.com/jina-ai/correlations

设计

那么，Correlations 究竟是如何工作的呢？其核心在于生成交互式的热图。 在这张热图上，每一个小格子都清晰地展示了任意两段内容之间的余弦相似度。

这些内容片段（chunks）的来源可以非常灵活：它们既可以源自同一个文档集合，也可以来自不同的文档集合；

可以是不同的内容类型（例如文本与图像，即多模态）；甚至可以用来比较不同超参数配置或不同模型产生的向量效果。

为了方便用户进行深入分析，Correlations 还提供了多种交互方式：

• 悬停检查：鼠标轻点，即可查看原始内容（文本或图像）及其间的相似度分数。

• 区域选择：框选热图特定区域，可以集中分析局部内容的相似性模式。

• 阈值过滤：根据相似度与文本长度来过滤，用来减少噪声。

这款工具的工作过程分成两个步骤：

第一步：npm run embed

先调用 Jina Embeddings API 生成向量，它提供了多种灵活的内容分块策略，可以按换行符、标点符号、固定字符数，也可以按自定义的正则表达式模式切分输入。

第二步：npm run corr

这一步会在你的浏览器中启动一个用户界面（UI），以动态交互的热图形式直观展示向量间的相关性。

快速上手体验：

npm install
export JINA_API_KEY=your_jina_key_here
npm run embed -- https://jina.ai/news/jina-embeddings-v3-a-frontier-multilingual-embedding-model -o v3-blog.jsonl -t retrieval.query
npm run embed -- https://arxiv.org/pdf/2409.10173 -o v3-arxiv.jsonl -t retrieval.passage
npm run corr -- v3-blog.jsonl v3-arxiv.jsonl

JINA_API_KEY 主要是在你需要利用 Jina API 生成向量或从网络链接（URL）读取内容时派上用场。工具本身也完全支持直接读取本地的文本文件。

如果你手头已经有了预先计算好的向量数据（遵循特定的 JSONL 格式），那么完全可以跳过第一步，直接运行 npm run corr 命令进行可视化分析。

这种情况下，自然也就不再需要 JINA_API_KEY 了。

无论是对单一数据集内部的内容进行自相关分析，还是比较两个不同数据集之间的互相关性，Correlations 都能轻松拿捏。

用例

1. 内容去重和对齐分析

譬如，以我们自家 jina-embeddings-v3 模型的学术论文和对应的官方技术博客为例。通过 Correlations 生成的热图，可以观察到，它呈现出清晰的对角线模式。

这种对角线模式直观地显示了两份文档间内容块的高度对齐，也说明技术章节中存在内容复用，尤其是在描述 LoRA 任务类型的技术部分中。

这种直观的验证，比单纯的数字报告更具说服力。

2. 验证引文和参考文献

在检索增强生成（RAG）系统中，一个绕不开的问题是：如何确保检索到的段落确实支持了模型生成的内容？

Correlations 在这里提供了一种直观的校验方法，它计算并展示检索段落与生成声明之间的相似度，帮助我们判断引文是否准确。

实际上，这种基于相似性的分析方法本身就十分强大且直观，尤其是在探索大规模数据集时。

它能帮助我们把相似的东西归到一起，从而发现数据中隐藏的模式和规律。

3. 分块策略探索

如何对内容进行分块（chunking）是一个很讲究的事情，不同的分割方法（比如是否启用迟分(Late Chunking)）会直接影响语义的连贯性。

Correlations 能直观地展示出不同策略下相似性模式的变化，帮助评估和选择更合适的内容块边界，

也让优化分块这件事更有依据，能省去不少反复调试分块策略的功夫。

4. 跨模态分析

现在多模态应用越来越普遍，一个基本的需求就是分析文本和图像之间的关联性。

当配合 jina-clip-v2 这类多模态模型时，Correlations 的能力就不再局限于文本，同样可以处理图像向量。

这样一来，我们就能直观地分析文本与图像间的相关性模式，也为多模态应用提供了一种实用的可视化分析途径。

向量模型可视化相关工作

当我们在处理高维向量时，一个老大难问题，就是它们的可解释性。市面上已经有不少向量模型的可视化技术，各有各的侧重点和适用场景。

这些方法大致可以这么归类：

• 有些是 基于降维的方法：大家可能都熟悉 PCA、t-SNE、UMAP 这些，它们做的事情就是把高维空间“压扁”到我们能直观感受的 2D 或 3D。

• 还有些是 基于交互式探索的方法：比如 Parallax 和 TextEssence 这样的工具，用户可以直接操作和探索数据，自己去发现里面的门道。

• 另外，也有 特定领域的解决方案：像 Clustergrammer，主要针对生物数据这种特定类型的数据。

• 最后一种，就是 直接相似性可视化：Correlations 采用的就是这种思路，通过热图来直接展示。

这种方法的特点是，它力求保留所有内容片段之间的完整成对关系信息。

也就是说，当我们需要细致地调试文本相似性，或者分析不同内容块之间的对齐情况时，Correlations 能提供一个非常直接的视角。

比如当你想知道“这两个具体的东西到底有多像”并且想看到“所有东西两两之间有多像”时，它就派上用场了。

这与那些依赖降维（可能会丢失一些细节信息）或者侧重宏观探索的方法形成了有益的补充。

为了更清晰地了解 Correlations 在整个可视化工具生态中的位置，我们可以看看下面这个表，它列举了一些常见工具及其主要特点和用途：

为何选择直接相似性可视化？

在众多的向量可视化方案中，我们为什么更倾向于直接展示相似性矩阵呢？

目前市面上可视化工具的主要做法是把向量变成一个个的点，然后投射到二维或三维空间里去（比如用 PCA、t-SNE 这些降维方法）。

这样做的好处是能给你一个大概的印象，但它也有个绕不开的局限性，那就是可能会把向量之间两两对应的关键关系信息给弄丢了。

而且，这些工具多数是为分析单个向量空间设计的。

当我们需要比较不同来源、不同内容类型（比如文本和图像），

或者用了不同向量策略（比如有没有开启迟分(Late Chunking)功能）产生的向量效果差异时，它们用起来就不是那么顺手了。

在 Jina AI 的日常工作中，我们就经常碰到要看两组不同向量集合之间关系的情况。

举个例子，在我们的 DeepSearch 产品里，我们得交叉验证报告里的内容和原文段落是不是真的匹配；

或者在做多模态检索的时候，要看看图片和对应的文字描述到底对没对齐。

在这两种情况下，我们都需要探索两个向量集合之间的关系。

Correlations 就派上用场了，它能帮我们直观地感受到匹配的对齐程度，并通过热图上那些高相关性的区域，来验证它们是不是真的对应了语义上正确的匹配。

结论

往小了说，Correlations 就是一个 Vibe testing，图个乐子。

往大了说，我们其实还能从相关矩阵的热图上提取出一些指标，来量化地描述这些内容之间的关系。比如：

• 矩阵密度：在所有内容片段两两之间的相似度里，有多少比例超过了我们设定的某个门槛。它能告诉我们整体的语义内聚性怎么样。

• 特征值分布：通过主成分分析（PCA）这类方法，找出相似性结构里那些最主要的、起主导作用的模式。

• 矩阵秩：指相似性关系中真正有效的维度有多少。它能告诉我们这些关系背后潜在的结构有多复杂，是不是有很多冗余的信息。

• 条件数：这个数值衡量的是计算的稳定性，在基于这些相似度数据做进一步分析时，结果会不会因为一些微小的变化就天差地别。

更进一步地，我们甚至可以尝试从这张大热图里，找出那些最具代表性的“核心语义簇”或“子结构”。

这在数学上对应一个典型的组合优化问题：从一个 n 阶实数矩阵中提取 k 阶最大和主子矩阵。

在我们的应用场景中，就是在相关性矩阵里，找到一个 k 行 k 列的子矩阵，使其内部所有相似度值的总和达到最大。

这种方法能够帮助我们精准定位到数据中最具代表性的语义簇。

总而言之，Correlations 提供了一条从氛围测试到辅助定量分析的完整路径。

我们希望它能帮助开发者和研究者更好地理解、调试和优化他们的向量模型及应用，让大家在探索语义这个复杂空间的时候，能多一个得心应手的工具。

文章来自于微信公众号 “Jina Al”，作者 ：Jina Al