EmbedAnything是一个极简但高性能的模块化嵌入流水线，采用Rust语言编写，速度极快、轻量级，支持多源、多模态数据，并可在本地运行。无论您处理的是文本、图像、音频、PDF、网页或其他媒体，EmbedAnything都能简化从各种来源生成嵌入向量的过程，并以高效的方式（内存优化索引）将其无缝流式传输到向量数据库中。它支持密集型、稀疏型、ONNX、model2vec以及后期交互式嵌入，为广泛的使用场景提供了灵活性。

目录

1. 项目简介
   • 基于Rust构建
   • 为什么选择Candle？
2. 快速入门
   • 安装指南
3. 使用方法
4. 路线图
5. 贡献方式
6. 如何添加自定义模型和分块大小

🚀 核心特性

• 无需依赖PyTorch：易于部署在云端，内存占用低。
• 高度模块化：只需一行代码一个词即可为RAG选择任意向量数据库适配器。
• 后端支持：兼容Candle、ONNX及云端模型。
• 多模态支持：可处理PDF、txt、md等文本文件，以及JPG图片和.WAV音频文件。
• GPU支持：也支持GPU硬件加速。
• 分块功能：内置语义分块、延迟分块等方法。
• 向量流式传输：将文件处理、索引和推理分别放在不同线程上执行，从而降低延迟。
• AWS S3存储桶：可直接导入AWS S3存储桶中的文件。
• 预构建Docker镜像：只需拉取starlightsearch/embedanything-server即可。
• SearchAgent：展示了如何利用索引进行搜索推理的示例。

💡什么是向量流式传输？

嵌入模型计算成本高且耗时。通过将文档预处理与模型推理分离，可以显著降低流水线的延迟并提高吞吐量。

向量流式传输将原本的顺序瓶颈转化为高效的并发工作流程。

嵌入过程与主进程分离，从而充分利用Rust的MPSC机制实现高性能，并且由于嵌入直接保存到向量数据库中，因此不会出现内存泄漏。更多信息请参见我们的博客。

🦀 为什么选择Embed Anything

➡️执行速度更快。
➡️无需依赖PyTorch，因此内存占用低，便于在云端部署。
➡️真正的多线程处理。
➡️可以在本地高效运行嵌入模型。
➡️内置语义分块、延迟分块等方法。
➡️支持多种模型，包括密集型、稀疏型、后期交互式、重排序器、ModernBert等。
➡️内存管理：Rust强制实施内存管理机制，有效防止其他语言中常见的内存泄漏和崩溃问题。

⚠️ WhichModel已在pretrained_hf中弃用

🍓 我们的过往合作：

我们曾与多家知名企业合作，包括 Elastic、Weaviate、SingleStore、Milvus 以及 Analytics Vidya Datahours

如需进一步合作，欢迎与我们联系。

基准测试

推理速度基准测试。

仅测量嵌入模型在 ONNX Runtime 上的推理速度。代码

与其他框架的基准测试即将推出！！🚀

⭐ 支持的模型

我们在 Candle 中支持所有 Hugging Face 模型。此外，我们还支持 BERT 和 ColPali 的 ONNX Runtime。

如何在 Candle 上添加自定义模型：from_pretrained_hf

⚠️ WhichModel 已在 from_pretrained_hf 中弃用

import embed_anything
from embed_anything import EmbeddingModel, WhichModel, TextEmbedConfig


# 从 Hugging Face 加载自定义 BERT 模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="sentence-transformers/all-MiniLM-L12-v2"
)

# 配置嵌入参数
config = TextEmbedConfig(
    chunk_size=1000,      # 每个分块的最大字符数
    batch_size=32,        # 并行处理的分块数量
    splitting_strategy="sentence"  # 文本分割策略："sentence"、"word" 或 "semantic"
)

# 嵌入文件（支持 PDF、TXT、MD 等）
data = embed_anything.embed_file("path/to/your/file.pdf", embedder=model, config=config)

# 访问嵌入和文本
for item in data:
    print(f"文本: {item.text[:100]}...")  # 前 100 个字符
    print(f"嵌入形状: {len(item.embedding)}")
    print(f"元数据: {item.metadata}")
    print("---" * 20)

模型	HF 链接
Jina	Jina Models
Bert	所有基于 BERT 的模型
CLIP	openai/clip-*
Whisper	OpenAI Whisper 模型
ColPali	starlight-ai/colpali-v1.2-merged-onnx
Colbert	answerdotai/answerai-colbert-small-v1, jinaai/jina-colbert-v2 及更多
Splade	Splade Models及其他类似 Splade 的模型
Model2Vec	model2vec, minishlab/potion-base-8M
Qwen3-Embedding	Qwen/Qwen3-Embedding-0.6B
Reranker	Jina Reranker Models, Xenova/bge-reranker, Qwen/Qwen3-Reranker-4B

Splade 模型（稀疏嵌入）

稀疏嵌入适用于基于关键词的检索和混合搜索场景。

import embed_anything
from embed_anything import EmbeddingModel, TextEmbedConfig


# 加载用于稀疏嵌入的 SPLADE 模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="prithivida/Splade_PP_en_v1"
)

# 配置嵌入过程
config = TextEmbedConfig(chunk_size=1000, batch_size=32)

# 嵌入文本文件
data = embed_anything.embed_file("test_files/document.txt", embedder=model, config=config)

# 稀疏嵌入适用于混合搜索（结合稠密和稀疏嵌入）
for item in data:
    print(f"文本: {item.text}")
    print(f"稀疏嵌入（非零值）: {sum(1 for x in item.embedding if x != 0)}")

ONNX-Runtime：from_pretrained_onnx

ONNX 模型提供更快的推理速度和更低的内存占用。可以使用 ONNXModel 枚举来加载预配置的模型，或提供自定义模型路径。

BERT 模型

import embed_anything
from embed_anything import EmbeddingModel, WhichModel, ONNXModel, Dtype, TextEmbedConfig


# 选项 2：使用来自 Hugging Face 的自定义 ONNX 模型
model = EmbeddingModel.from_pretrained_onnx(
    WhichModel.Bert
    model_id="onnx_model_link",
    dtype=Dtype.F16  # 使用半精度以加快推理速度
)

云端嵌入模型（Cohere Embed v4）

使用云模型可以获得高质量的嵌入，而无需本地部署模型。

import embed_anything
from embed_anything import EmbeddingModel, WhichModel
import os

# 设置你的 API 密钥
os.environ["COHERE_API_KEY"] = "your-api-key-here"

# 初始化云端模型
model = EmbeddingModel.from_pretrained_cloud(
    WhichModel.CohereVision, 
    model_id="embed-v4.0"
)

# 像使用其他模型一样使用它
data = embed_anything.embed_file("test_files/document.pdf", embedder=model)

语义分块

语义分块通过在语义上有意义的边界处分割文本，而不是按固定大小进行分割，从而保留文本的意义。

import embed_anything
from embed_anything import EmbeddingModel, TextEmbedConfig

# 用于生成最终嵌入的主要嵌入模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="sentence-transformers/all-MiniLM-L12-v2"
)

# 用于确定分块边界的语义编码器
# 此模型会分析文本以找到自然的语义断点
semantic_encoder = EmbeddingModel.from_pretrained_hf(
    model_id="jinaai/jina-embeddings-v2-small-en"
)

# 配置语义分块
config = TextEmbedConfig(
    chunk_size=1000,                    # 目标分块大小
    batch_size=32,                      # 批量处理大小
    splitting_strategy="semantic",      # 使用语义分割
    semantic_encoder=semantic_encoder    # 用于语义分析的模型
)

# 使用语义分块进行嵌入
data = embed_anything.embed_file("test_files/document.pdf", embedder=model, config=config)

# 分块将在语义上有意义的边界处被分割
for item in data:
    print(f"分块: {item.text[:200]}...")
    print("---" * 20)

延迟分块

延迟分块首先将文本分割成更小的单元，然后在嵌入过程中再将它们组合起来，以更好地保留上下文。

import embed_anything
from embed_anything import EmbeddingModel, TextEmbedConfig, EmbedData

# 加载你的嵌入模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="sentence-transformers/all-MiniLM-L12-v2"
)

# 配置延迟分块
config = TextEmbedConfig(
    chunk_size=1000,              # 最大分块大小
    batch_size=8,                 # 处理批次大小
    splitting_strategy="sentence", # 先按句子分割
    late_chunking=True,           # 启用延迟分块
)

# 使用延迟分块嵌入文件
data: list[EmbedData] = model.embed_file("test_files/attention.pdf", config=config)

# 延迟分块有助于在句子边界上保持上下文
for item in data:
    print(f"文本: {item.text}")
    print(f"嵌入维度: {len(item.embedding)}")
    print("---" * 20)

🧑‍🚀 开始使用

💚 安装

pip install embed-anything

对于 GPU 用户以及使用特殊模型如 ColPali 的情况：

pip install embed-anything-gpu

🚧❌ 如果在 Windows 上运行时出现 CUDA 错误，请执行以下命令：

os.add_dll_directory("C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v12.6/bin")

📒 笔记本

使用向量数据库适配器进行端到端检索和重排序
ColPali-Onnx
适配器
Qwen3- 嵌入
基准测试

高级用法与配置

import embed_anything
from embed_anything import EmbeddingModel, WhichModel, TextEmbedConfig

# 加载模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="jinaai/jina-embeddings-v2-small-en"
)

# 配置嵌入参数
config = TextEmbedConfig(
    chunk_size=1000,              # 每个分块的字符数
    batch_size=32,                # 每次处理32个分块
    buffer_size=64,               # 流式传输的缓冲区大小
    splitting_strategy="sentence" # 按句子分割
)

# 使用自定义配置进行嵌入
data = embed_anything.embed_file(
    "test_files/document.pdf", 
    embedder=model, 
    config=config
)

# 处理嵌入结果
for item in data:
    print(f"分块: {item.text}")
    print(f"元数据: {item.metadata}")

查询嵌入

# 嵌入查询
queries = ["什么是机器学习？", "神经网络是如何工作的？"]
query_embeddings = embed_anything.embed_query(queries, embedder=model)

# 使用嵌入进行相似度搜索
for i, query_emb in enumerate(query_embeddings):
    print(f"查询: {queries[i]}")
    print(f"嵌入形状: {len(query_emb.embedding)}")

目录嵌入

# 嵌入目录中的所有文件
data = embed_anything.embed_directory(
    "test_files/", 
    embedder=model, 
    config=config
)

print(f"总分块数: {len(data)}")

使用自定义 ONNX 模型

对于自定义或微调过的模型，指定 Hugging Face 模型 ID 和 ONNX 文件路径：

import embed_anything
from embed_anything import EmbeddingModel, WhichModel, Dtype

# 从 Hugging Face 加载自定义 ONNX 模型
model = EmbeddingModel.from_pretrained_onnx(
    WhichModel.Jina,
    hf_model_id="jinaai/jina-embeddings-v2-small-en",
    path_in_repo="model.onnx",  # 仓库中 ONNX 文件的路径
    dtype=Dtype.F16              # 使用半精度
)

# 使用该模型
data = embed_anything.embed_file("test_files/document.pdf", embedder=model)

注意: 建议使用预配置的模型（通过 ONNXModel 枚举），因为这些模型已经过测试和优化。有关支持的完整 ONNX 模型列表，请参阅 ONNX 模型指南。

⁉️常见问题解答

我需要了解 Rust 才能使用或贡献 EmbedAnything 吗？

答案是不需要。EmbedAnything 提供了 pyo3 绑定，因此您可以在 Python 中运行任何函数而不会遇到问题。要参与贡献，您可以查看我们的指南以及 adapters 文件夹中的 Python 示例。

它与 fastembed 有何不同？

我们同时提供了 candle 和 onnx 两种后端。此外，我们还提供了一个端到端的流程，即您可以摄取不同数据类型并索引到任何向量数据库中，然后对任何模型进行推理。而 fastembed 只是一个 ONNX 包装器。

我们收到了很多关于为什么使用 Candle 的问题。

其中一个主要原因是 Candle 不需要特定格式的 ONNX 模型，这意味着它可以无缝地与任何 Hugging Face 模型一起工作。这种灵活性对我们来说至关重要。然而，我们也意识到，为了获得这种灵活性，我们在一定程度上牺牲了速度。

🚧 贡献 EmbedAnything

首先，感谢您抽出时间来为这个项目做出贡献。我们非常感谢您的贡献，无论是错误报告、功能建议还是拉取请求。您的时间和努力在这个项目中备受珍视。🚀

本文档提供了指导方针和最佳实践，以帮助您有效地做出贡献。这些内容旨在作为指导，而非严格规则。我们鼓励您根据自己的判断行事，并随时可以通过拉取请求提出对本文档的修改建议。

路线图

快速入门

贡献指南

🏎️ 路线图

已完成事项

EmbedAnything 的目标之一是让 AI 工程师能够轻松地在典型文件和文档上使用最先进的嵌入模型。目前我们已经取得了许多成就，以下是我们当前支持的格式，还有一些工作有待完成。

🖼️ 模态与来源

我们很高兴地宣布，我们的平台已扩展到支持多种模态，包括：

• 音频文件

• Markdown 文件

• 网站

• 图片

• 视频（帧采样；启用 video 功能）

• 图

这使您能够在同一个平台上灵活地处理各种数据类型！🌐

⚙️ 性能

我们现在同时支持 candle 和 Onnx 后端
➡️ 支持 GGUF 模型

🫐 嵌入：

从一开始，我们的基础设施就支持多模态。我们已经将其应用于网站、图片和音频，但我们希望进一步扩展它。

➡️ 图嵌入 -- 构建深度优先的 deepwalk 嵌入和 word to vec
➡️ 视频嵌入改进（时空 + 音频）
➡️ Yolo Clip

🌊 扩展到其他向量适配器

我们目前支持广泛的向量数据库用于流式嵌入，包括：

• Elastic：感谢卓越且活跃的 Elastic 团队的贡献
  
• Weaviate
  
• Pinecone
  
• Qdrant
  
• Milvus
  
• Chroma
  

如何添加适配器：https://starlight-search.com/blog/2024/02/25/adapter-development-guide.md

💥 创建 WASM 演示，将 EmbedAnything 直接集成到浏览器中。

💜 添加对远程源摄取的支持

➡️ 支持 S3 存储桶
➡️ 支持 Azure 存储
➡️ 支持 Google Drive/Dropbox

但我们并未止步于此！我们正在积极努力扩展此列表。

想参与贡献吗？ 如果您希望为我们最喜欢的向量数据库添加支持，我们非常乐意得到您的帮助！请查看我们的 contribution.md 文件以获取指南，或者直接联系 sonam@starlight-search.com 。让我们一起构建一些令人惊叹的东西吧！💡

基于 EmbedAnything 构建的精彩项目。

1. 一款基于 Rust 的、类似聊天的代码库交互工具：https://github.com/timpratim/cargo-chat
2. 一个简单的向量检索引擎，同时也支持普通文本搜索：https://github.com/szuwgh/vectorbase2
3. 通过 Rust 构建的守护进程在 CLI 中运行的语义文件跟踪器：https://github.com/sam-salehi/sophist
4. FogX-Store 是一个用于收集和提供大型机器人数据集的数据集存储服务：https://github.com/J-HowHuang/FogX-Store
5. EmbedAnything 库的 Dart 封装：https://github.com/cotw-fabier/embedanythingindart
6. 在 macOS 上使用 Tauri 框架以 Rust 生成嵌入向量：https://github.com/do-me/tauri-embedanything-ios
7. 使用 EmbedAnything 和 Milvus 构建 RAG 系统：https://milvus.io/docs/v2.5.x/build_RAG_with_milvus_and_embedAnything.md

衷心感谢所有关注我们的用户

星标历史

EmbedAnything 快速上手指南

EmbedAnything 是一个基于 Rust 构建的高性能、模块化且内存安全的嵌入（Embedding）管道。它支持文本、图像、音频、PDF 等多种数据源，能够高效地生成稠密、稀疏及多模态向量，并直接流式传输至向量数据库。由于不依赖 PyTorch，它具有极低的内存占用和更快的执行速度，非常适合本地部署和云环境。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (WSL 推荐)
• Python 版本: Python 3.8 - 3.12
• 硬件加速 (可选):
  • GPU: 如需启用 GPU 加速，请确保已安装正确的 NVIDIA 驱动和 CUDA 工具包。
  • CPU: 默认支持，利用 Rust 的多线程优势。
• 前置依赖: 无需安装 PyTorch 或 TensorFlow，EmbedAnything 自带轻量级后端 (Candle/ONNX)。

安装步骤

您可以通过 pip 直接安装。根据是否需要在 GPU 上运行，选择对应的安装包：

1. CPU 版本 (默认推荐)

适用于大多数通用场景，内存占用极低。

pip install embed-anything

2. GPU 版本

如果您拥有 NVIDIA GPU 并希望获得更快的推理速度，请安装 GPU 专用版本。

pip install embed-anything-gpu

提示: 国内用户若遇到下载速度慢的问题，建议使用国内镜像源安装：

pip install embed-anything -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是使用 EmbedAnything 处理本地文件（如 PDF、TXT、MD）并生成向量的最简示例。

示例：加载模型并嵌入文件

此示例演示了如何从 Hugging Face 加载一个 BERT 模型，配置分块策略，并对文件进行嵌入处理。

import embed_anything
from embed_anything import EmbeddingModel, TextEmbedConfig

# 1. 加载预训练模型 (自动从 Hugging Face 下载)
# 支持 sentence-transformers, Jina, CLIP, Whisper 等多种模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="sentence-transformers/all-MiniLM-L12-v2"
)

# 2. 配置嵌入参数
config = TextEmbedConfig(
    chunk_size=1000,              # 每个分块的最大字符数
    batch_size=32,                # 并行处理的批大小
    splitting_strategy="sentence" # 分块策略："sentence", "word", 或 "semantic"
)

# 3. 嵌入文件 (支持 PDF, TXT, MD, JPG, WAV 等)
# 该过程包含文件解析、分块、推理和向量化
data = embed_anything.embed_file("path/to/your/file.pdf", embedder=model, config=config)

# 4. 遍历结果
for item in data:
    print(f"文本片段：{item.text[:100]}...")  # 打印前 100 个字符
    print(f"向量维度：{len(item.embedding)}")
    print(f"元数据：{item.metadata}")
    print("---" * 20)

进阶：使用语义分块 (Semantic Chunking)

为了保持文本的语义完整性，您可以使用专门的编码器进行智能分块：

import embed_anything
from embed_anything import EmbeddingModel, TextEmbedConfig

# 主嵌入模型
model = EmbeddingModel.from_pretrained_hf(
    model_id="sentence-transformers/all-MiniLM-L12-v2"
)

# 语义分析模型 (用于确定最佳切分点)
semantic_encoder = EmbeddingModel.from_pretrained_hf(
    model_id="jinaai/jina-embeddings-v2-small-en"
)

# 配置语义分块
config = TextEmbedConfig(
    chunk_size=1000,
    batch_size=32,
    splitting_strategy="semantic",      # 启用语义分块
    semantic_encoder=semantic_encoder   # 指定语义分析模型
)

# 执行嵌入
data = embed_anything.embed_file("test_files/document.pdf", embedder=model, config=config)

支持的数据源与模型类型

• 多模态支持: 文本 (PDF, TXT, MD), 图像 (JPG), 音频 (WAV)。
• 模型类型: 稠密向量 (Dense), 稀疏向量 (Splade), 多向量交互 (ColBERT/ColPali), 重排序模型 (Reranker)。
• 云端模型: 支持通过 API 调用 Cohere 等云端大模型进行嵌入。