Google EmbeddingGemma 2

EmbeddingGemma 2 是 Google DeepMind 推出的开放、轻量化多模态嵌入模型。它将文本、代码、图像、视频和音频映射到同一个共享空间中，且模型小到可以在手机上运行。

问题：按语义搜索通常需要由多个独立模型组成的流水线：图像需要图像描述模型，音频需要语音转文字模型，再叠加一个文本嵌入器。这种方式速度慢、内存占用高，而且常常需要将数据上传到云端。对于注重隐私的端侧应用来说，这是一个艰难的权衡。

解决方案：基于 Gemma 4 架构构建的一个 7.4 亿参数模型，能在同一空间中嵌入所有五种类型的内容。文本查询可以找到照片，语音备忘录可以找到视频片段。所有处理都在本地运行，数据无需离开设备。

它有何不同：它是模块化的。你可以仅加载所需的编码器，文本和代码最低只需 2.7 亿参数，加上可选的视觉（1.7 亿）和音频（3 亿）编码器。在 Pixel 11 Pro 上进行量化后，纯文本约需 191MB 内存，完整多模态模型约需 567MB。它与 Gemma 4 共享分词器和音频编码器，因此同时运行两者比分开运行占用更少的内存。

主要特性：

• 文本、代码、图像、视频和音频处于同一个嵌入空间

• 8K token 上下文（是 EmbeddingGemma 1 的 4 倍），可容纳约 5.5 分钟音频、29 张图像或 58 帧视频

• 向量可从 768 维压缩到 512、256 或 128 维，存储量最多减少 6 倍

• 代码检索在 MTEB Code 上从 68.76 提升到 78.68（+9.92 分）

• Google 表示，它在 MTEB Code 和 MAEB（音频）等基准测试中领先于所有 10 亿参数以下的多模态嵌入模型

• 还可作为零样本端侧决策引擎：Google 的 MediaPipe 演示能在不到 100 毫秒内为国际象棋每回合的 500 个选项打分

• 兼容 transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio、Qdrant 和 Unsloth

适用对象：正在构建注重隐私、可离线运行的搜索、RAG、多媒体检索或本地代码库搜索的开发者，以及任何希望实现跨模态搜索且无需依赖云端的人。

附言：我追踪科技、SaaS 和 AI 领域的最新最热发布，关注即可收到通知 → @rohanrecommends