Towhee 示例

Towhee 示例用于借助 Towhee 分析非结构化数据，例如图像反向搜索、视频反向搜索、音频分类、问答系统、分子检索等。

提交 Bug 或请求功能

​

关于 Towhee 示例

x2vec，只需 Towhee 就够了！Towhee 可以通过一系列机器学习模型及其他操作生成嵌入向量。它的目标是让 x2vec 普及化，使从初学者开发者到大型组织的每个人，仅需几行代码就能生成稠密嵌入向量。

有许多有趣的示例使用 Towhee 处理各种非结构化数据，如图像、音频、视频等。你可以轻松地在自己的机器上运行这些示例。

有趣示例列表

	训练营	算子
入门	Pipeline 入门 介绍 `Pipeline`，帮助您更好地学习 Towhee 的数据处理流水线。
图像	反向图像搜索 搜索与输入图像相似或相关的图像，支持 ResNet、VGG、EfficientNet、ViT 等多种模型。	图像嵌入 Timm
	图像动画 将一张图片转换成动态图片。	Animegan Cartoongan
	图像去重 在一组图像中查找完全相同或近似的重复项。	图像解码 Timm
	文本图像搜索 返回与输入查询文本描述相关的图像，属于跨模态检索。	CLIP
	可视化 揭秘：图像搜索中的嵌入模型和 ANNS 索引。	图像嵌入
NLP	问答系统 通过自然语言技术处理用户问题并给出答案。	文本嵌入 DPR
	文本搜索 在所有数据中搜索与查询文本最相似的文本。	DPR
视频	反向视频搜索 以一段视频作为输入，搜索与其相似的视频。	动作分类 Pytorchvideo
	视频分类 视频分类是指根据视频帧内容为其生成相关标签的任务。	动作分类
	文本视频搜索 搜索与输入文本相似或相关的视频。	CLIP4Clip
	深度伪造检测 预测给定视频为伪造视频的概率。	Deepfake
音频	音频分类 将特定声音归类到相应类别，例如环境声音分类和语音识别。	音频分类
医疗	分子搜索 基于 Tanimoto 指标搜索相似的分子式，同时也支持子结构和超结构的搜索。	RDKit
数据科学	信用卡审批预测 预测银行是否会向申请人发放信用卡，信用评分可以客观地量化风险大小。
训练	微调 关于如何使用 Towhee 进行微调的教程。	图像嵌入

贡献

欢迎所有人参与 Milvus 训练营的贡献。详情请参阅 贡献指南。

支持

加入 Towhee 社区的 Slack，提出反馈、寻求建议，并直接向工程团队提问。您也可以提交 问题 或参与 讨论。

Towhee Examples 快速上手指南

Towhee Examples 提供了一系列基于 Towhee 的非结构化数据处理示例，涵盖以图搜图、视频检索、音频分类、问答系统及分子搜索等场景。本指南将帮助你快速搭建环境并运行这些示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+), macOS, 或 Windows (WSL2 推荐)
• Python: 3.7 - 3.9
• 包管理工具: pip
• 硬件建议: 部分深度学习模型（如视频处理、大模型图像检索）建议使用带有 CUDA 支持的 GPU 以获得更佳性能。

前置依赖检查： 确保已安装 git 和 python3。

python3 --version
git --version

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆 towhee-examples 仓库到本地：

git clone https://github.com/towhee-io/towhee-examples.git
cd towhee-examples

国内加速提示：如果访问 GitHub 较慢，可使用国内镜像源克隆：

git clone https://gitee.com/towhee/towhee-examples.git
cd towhee-examples

2. 创建虚拟环境（推荐）

为避免依赖冲突，建议创建独立的 Python 虚拟环境：

python3 -m venv towhee_env
source towhee_env/bin/activate  # Windows 用户请使用: towhee_env\Scripts\activate

3. 安装核心依赖

安装 Towhee 框架及示例所需的通用依赖库。为了加快下载速度，推荐使用国内 PyPI 镜像源（如阿里云或清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install towhee -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：部分特定示例（如分子搜索、深度伪造检测）可能需要额外的专用库，请进入对应示例文件夹后查看该目录下的 requirements.txt 进行补充安装。

基本使用

Towhee 的核心概念是 Pipeline（管道），它通过串联不同的算子（Operators）来处理数据。以下以经典的 “以图搜图” (Reverse Image Search) 为例，演示如何运行一个最简单的示例。

1. 进入示例目录

cd image/reverse_image_search

2. 准备数据

大多数示例目录下包含一个 data 文件夹或脚本用于生成测试数据。如果目录为空，通常运行主脚本会自动下载少量测试图片，或者你可以手动放入几张图片到指定目录。

3. 运行示例

执行主要的 Python 脚本。在 reverse_image_search 示例中，通常包含数据导入、建索引和搜索的步骤：

python main.py

运行流程解析：

1. 数据加载：脚本会读取本地图片。
2. 向量化 (Embedding)：调用预训练模型（如 ResNet50 或 ViT）将图片转换为向量。
3. 构建索引：将向量存入内存或轻量级数据库。
4. 执行搜索：输入一张查询图片，系统返回相似度最高的图片列表。

4. 尝试其他场景

你可以轻松切换到其他场景，只需更改目录并运行对应的 main.py 即可：

• 文搜图 (Text-Image Search):

  cd ../../image/text_image_search
  python main.py
  

• 视频分类 (Video Classification):

  cd ../../video/video_tagging
  python main.py
  

• 问答系统 (Q&A System):

  cd ../../nlp/question_answering
  python main.py
  

每个示例的 README.md 文件中都详细列出了该特定场景所需的额外算子和参数说明。通过修改代码中的 pipeline 定义，你可以灵活替换模型或调整处理逻辑。