x2vec, Towhee就是你的不二之选！

ENGLISH | 中文文档

 

Towhee 是一个前沿框架，旨在通过基于大语言模型（LLM）的流水线编排来简化非结构化数据的处理流程。它能够从多种非结构化数据类型中提取宝贵洞察，包括长文本、图像、音频和视频文件。借助生成式AI和最先进的深度学习模型，Towhee可以将这些未加工的数据转换为特定格式，如文本、图像或嵌入向量，并高效地加载到向量数据库等合适的存储系统中。开发者可以先使用友好的Python式API构建直观的数据处理流水线原型，随后再针对生产环境进行优化。

🎨 多模态支持：Towhee能够处理多种数据类型。无论是图像数据、视频片段、文本、音频文件，还是分子结构，Towhee都能轻松应对。

📃 LLM流水线编排：Towhee具有高度灵活性，可适配不同的大语言模型（LLM）。此外，它还支持在本地部署开源大型模型。同时，Towhee提供提示词管理和知识检索等功能，使与这些LLM的交互更加高效且富有成效。

🎓 丰富的算子库：Towhee提供了覆盖计算机视觉、自然语言处理、多模态、音频和医疗五大领域的大量即用型先进模型。拥有BERT、CLIP等超过140种模型，以及视频解码、音频切片、帧采样、降维等丰富功能，Towhee能够帮助用户高效构建数据处理流水线。

🔌 预构建的ETL流水线：Towhee为常见任务提供了开箱即用的ETL（提取、转换、加载）流水线，例如检索增强生成、文本图像搜索和视频副本检测等。这意味着即使你不是AI专家，也能利用这些功能快速构建应用。

⚡️ 高性能后端：借助Triton推理服务器的强大能力，Towhee可以在CPU和GPU上，通过TensorRT、PyTorch和ONNX等平台加速模型服务。此外，只需几行代码，即可将你的Python流水线转化为高性能的Docker容器，实现高效的部署和扩展。

🐍 Python式API：Towhee提供了一种链式调用的Python风格API，用于描述自定义的数据处理流水线。我们还支持Schema机制，让处理非结构化数据如同操作表格数据一样简单。

快速开始

Towhee需要Python 3.7及以上版本。你可以通过pip安装Towhee：

pip install towhee towhee.models

流水线

预定义流水线

Towhee提供了一些预定义的流水线，帮助用户快速实现某些功能。目前已实现的功能包括：

• 句子嵌入
• 图像嵌入
• 视频去重
• 文档问答

所有流水线都可以在Towhee Hub上找到。以下是一个使用sentence_embedding流水线的示例：

from towhee import AutoPipes, AutoConfig
# 获取内置的sentence_similarity流水线
config = AutoConfig.load_config('sentence_embedding')
config.model = 'paraphrase-albert-small-v2'
config.device = 0
sentence_embedding = AutoPipes.pipeline('sentence_embedding', config=config)

# 为一句话生成嵌入
embedding = sentence_embedding('你好吗？').get()
# 批量为多句话生成嵌入
embeddings = sentence_embedding.batch(['你好吗？', '你几岁了？'])
embeddings = [e.get() for e in embeddings]

自定义流水线

如果在Towhee Hub中找不到你需要的流水线，也可以通过Towhee的Python API实现自定义流水线。下面我们将创建一个基于CLIP的跨模态检索流水线。

from towhee import ops, pipe, DataCollection
# 创建图像嵌入并构建索引
p = (
    pipe.input('file_name')
    .map('file_name', 'img', ops.image_decode.cv2())
    .map('img', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='image'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map(('vec', 'file_name'), (), ops.ann_insert.faiss_index('./faiss', 512))
    .output()
)

for f_name in ['https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog1.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog2.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog3.png']:
    p(f_name)

# 将Faiss数据刷写到磁盘。
p.flush()
# 根据文本搜索图像
decode = ops.image_decode.cv2('rgb')
p = (
    pipe.input('text')
    .map('text', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='text'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    # Faiss操作结果格式：[[id, score, [file_name], ...]]
    .map('vec', 'row', ops.ann_search.faiss_index('./faiss', 3))
    .map('row', 'images', lambda x: [decode(item[2][0]) for item in x])
    .output('text', 'images')
)

DataCollection(p('小狗柯基')).show()

核心概念

Towhee 由四个主要组成部分构成：算子、管道、DataCollection API 和 引擎。

• 算子：算子是神经网络数据处理管道中的单个构建模块。不同实现的算子按任务分类，每个任务都具有标准接口。算子可以是深度学习模型、数据处理方法，或 Python 函数。

• 管道：管道由多个算子以有向无环图（DAG）的形式连接而成。这种 DAG 可以实现复杂的功能，例如嵌入特征提取、数据标注以及跨模态数据分析等。

• DataCollection API：这是一个符合 Python 风格且支持方法链式调用的 API，用于构建自定义管道，提供了多种数据转换接口：map、filter、flat_map、concat、window、time_window 和 window_all。通过这些接口，可以快速构建复杂的数据处理管道，以处理视频、音频、文本、图像等非结构化数据。

• 引擎：引擎位于 Towhee 的核心位置。给定一个管道后，引擎会驱动各个算子之间的数据流，调度任务，并监控计算资源的使用情况（CPU/GPU 等）。我们在 Towhee 中提供了一个基础引擎，用于在单机上运行管道；同时还提供了一个基于 Triton 的引擎，适用于 Docker 容器环境。

资源

• TowheeHub：https://towhee.io/
• 文档：https://towhee.readthedocs.io/en/latest/
• 示例：https://github.com/towhee-io/examples

贡献

编写代码并不是唯一的贡献方式！提交问题、回答问题以及改进文档，都只是您可以帮助我们不断壮大的社区的众多方式之一。请查看我们的贡献页面，以获取更多信息。

特别感谢以下各位对 Towhee 的贡献，无论是在 Github 上、Towhee Hub 中，还是其他地方：

正在寻找一个用于存储和索引嵌入向量的数据库吗？不妨看看 Milvus。

Towhee 快速上手指南

Towhee 是一个基于大语言模型（LLM）编排的非结构化数据处理框架，支持图像、视频、音频、文本等多种模态数据的提取、转换和加载（ETL）。它提供丰富的预训练模型算子和 Pythonic API，帮助开发者快速构建高性能数据处理流水线。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.7 及以上
• 依赖项：无特殊系统依赖，pip 会自动安装所需 Python 包
• 可选加速：如需 GPU 加速，请确保已安装对应的 CUDA 驱动及 PyTorch/TensorRT 环境

安装步骤

使用 pip 安装 Towhee 核心库及模型包：

pip install towhee towhee.models

💡 国内用户加速建议：如遇下载缓慢，可使用清华或阿里云镜像源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple towhee towhee.models

基本使用

1. 使用预定义流水线（以句子嵌入为例）

Towhee 内置了多种常用任务的预定义流水线，如下是生成句子向量嵌入的示例：

from towhee import AutoPipes, AutoConfig

# 加载并配置 sentence_embedding 流水线
config = AutoConfig.load_config('sentence_embedding')
config.model = 'paraphrase-albert-small-v2'
config.device = 0  # 使用 GPU 0，若为 CPU 可设为 -1

sentence_embedding = AutoPipes.pipeline('sentence_embedding', config=config)

# 单句生成嵌入
embedding = sentence_embedding('how are you?').get()

# 批量生成嵌入
embeddings = sentence_embedding.batch(['how are you?', 'how old are you?'])
embeddings = [e.get() for e in embeddings]

2. 自定义流水线（以 CLIP 跨模态检索为例）

若预定义流水线无法满足需求，可通过链式 API 自定义流程：

from towhee import ops, pipe, DataCollection

# 构建图像索引流水线
p = (
    pipe.input('file_name')
    .map('file_name', 'img', ops.image_decode.cv2())
    .map('img', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='image'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map(('vec', 'file_name'), (), ops.ann_insert.faiss_index('./faiss', 512))
    .output()
)

# 插入图像数据
for f_name in [
    'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog1.png',
    'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog2.png',
    'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog3.png'
]:
    p(f_name)

p.flush()  # 持久化 FAISS 索引

# 构建文本搜图流水线
decode = ops.image_decode.cv2('rgb')
search_pipe = (
    pipe.input('text')
    .map('text', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='text'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map('vec', 'row', ops.ann_search.faiss_index('./faiss', 3))
    .map('row', 'images', lambda x: [decode(item[2][0]) for item in x])
    .output('text', 'images')
)

# 执行搜索并展示结果
DataCollection(search_pipe('puppy Corgi')).show()

通过以上步骤，您即可快速开始使用 Towhee 处理非结构化数据。更多预定义流水线和算子详情，请访问 Towhee Hub 或查阅 官方文档。