Autodistill 利用体积大、速度慢的基础模型来训练体积小、速度快的监督模型。借助 autodistill，您可以从无标签图像开始，最终在边缘端运行自定义模型进行推理，整个过程无需人工干预。

[!提示] 您可以在自己的硬件上使用 Autodistill，也可以使用 Roboflow 托管版 Autodistill 在云端为图像打标签。

目前，autodistill 支持目标检测和实例分割等视觉任务，但未来有望扩展到语言及其他类型模型的支持。

🔗 快速链接

👀 示例输出

以下是目标模型在使用 Autodistill 自动标注的数据集训练后，对牛奶瓶和瓶盖进行检测的预测示例（完整流程请观看 Autodistill YouTube 视频）：

🚀 功能

• 🔌 可插拔接口，用于连接不同模型
• 🤖 自动标注数据集
• 🐰 训练快速的监督模型
• 🔒 拥有您自己的模型
• 🚀 将蒸馏后的模型部署到云端或边缘端

📚 基本概念

要使用 autodistill，您需要将未标注的数据输入到基础模型中，该模型会利用本体论为数据集打上标签，然后用这些标签来训练目标模型，最终生成一个针对特定任务优化的蒸馏模型。

Autodistill 定义了几个基本概念：

• 任务 - 任务定义了目标模型将预测的内容。autodistill 流程中各个组件（基础模型、本体论和目标模型）的任务必须匹配，才能相互兼容。目前通过 detection 任务支持目标检测和实例分割，classification 支持也将很快加入。
• 基础模型 - 基础模型是一种大型的基础模型，对多种领域都有广泛的了解。它们通常是多模态的，能够执行多种任务。这类模型体积大、速度慢且成本高昂。例如 GroundedSAM 和即将推出的 GPT-4 多模态版本。我们使用基础模型（结合未标注的输入数据和本体论）来创建数据集。
• 本体论 - 本体论定义了如何向您的基础模型提供提示、数据集将描述什么内容以及目标模型将预测什么。一个简单的本体论是 CaptionOntology，它通过文本描述来提示基础模型，并将其映射到类别名称。其他本体论可能会使用 CLIP 向量或示例图像，而不是文本描述。
• 数据集 - 数据集是一组自动标注的数据，可用于训练目标模型。它是基础模型生成的输出。
• 目标模型 - 目标模型是一种监督模型，它接收数据集并输出一个可直接部署的蒸馏模型。目标模型通常体积小、速度快，并针对特定任务进行了精细调优（但其泛化能力有限，主要依赖于数据集中的信息）。例如 YOLOv8 和 DETR。
• 蒸馏模型 - 蒸馏模型是 autodistill 流程的最终输出；它是一组针对您的任务进行微调的权重，可以直接部署以获取预测结果。

💡 理论与局限性

人工标注是计算机视觉广泛应用的最大障碍之一。为了构建适合生产级模型训练的数据集，往往需要耗费数千小时。然而，用于训练监督模型的蒸馏过程并非新事物——事实上，传统的人工标注不过是另一种形式的蒸馏，只不过其基础模型是极其强大的人类大脑 🧠。

基础模型对许多领域都有广泛的知识，但在生产环境中，我们更需要那些对某一领域非常精通的模型。

随着基础模型性能的不断提升，它们将越来越有能力辅助甚至取代人工完成标注工作。因此，我们需要工具来引导、利用和比较这些模型。此外，这些基础模型体积庞大、成本高昂，且常常被私有 API 所限制。对于许多生产场景而言，我们还需要能够在边缘端低成本、实时运行的模型。

Autodistill 的基础模型已经可以为许多常见场景创建数据集（通过创造性地提示和少量样本学习，我们还可以进一步扩展其用途），但它们目前仍不完美。我们还有大量工作要做；这仅仅是一个开始，我们非常期待您的帮助，共同测试并扩展系统的功能！

💿 安装

Autodistill 是模块化的。你需要安装 autodistill 包（它定义了上述概念的接口），以及 基础模型和目标模型插件（它们实现了具体的模型）。

通过将这些组件分别打包为插件，可以最大限度地减少依赖和许可方面的不兼容性，并且任何人都可以实现和维护新的模型。

示例：

pip install autodistill autodistill-grounded-sam autodistill-yolov8

git clone https://github.com/roboflow/autodistill
cd autodistill
pip install -e .

更多基础模型和目标模型已在下方列出。

🚀 快速入门

请参阅演示 Notebook，以快速了解 autodistill。该 Notebook 演示了如何在无需标注的情况下构建牛奶容器检测模型。

下面，我们浓缩了 Notebook 中的关键部分，以便快速介绍 autodistill。

你也可以通过一条命令运行 Autodistill。首先，安装 autodistill：

pip install autodistill

然后，运行：

autodistill images --base="grounding_dino" --target="yolov8" --ontology '{"prompt": "label"}' --output="./dataset"

此命令会使用 Grounding DINO 为名为 images 的目录中的所有图像添加标签，并利用这些标注图像训练一个 YOLOv8 模型。Grounding DINO 将使用“prompt”为所有图像打上标签，并将该标签保存为“label”。你可以指定任意数量的 prompt 和 label。最终生成的数据集将保存在名为 dataset 的文件夹中。

安装包

在本示例中，我们将展示如何使用 autodistill-grounded-sam 和 autodistill-yolov8，将 GroundedSAM 知识蒸馏到一个小型 YOLOv8 模型中。

pip install autodistill autodistill-grounded-sam autodistill-yolov8

蒸馏模型

from autodistill_grounded_sam import GroundedSAM
from autodistill.detection import CaptionOntology
from autodistill_yolov8 import YOLOv8

# 定义一个本体，用于将类别名称映射到我们的 GroundingDINO 提示词
# 本体字典的格式为 {caption: class}
# 其中 caption 是发送给基础模型的提示词，class 则是将在生成的标注中为该 caption 保存的标签
base_model = GroundedSAM(ontology=CaptionOntology({"shipping container": "container"}))

# 为名为 `context_images` 的文件夹中的所有图像添加标签
base_model.label(
  input_folder="./images",
  output_folder="./dataset"
)

target_model = YOLOv8("yolov8n.pt")
target_model.train("./dataset/data.yaml", epochs=200)

# 对新模型进行推理
pred = target_model.predict("./dataset/valid/your-image.jpg", confidence=0.5)
print(pred)

# 可选：将你的模型上传到 Roboflow 进行部署
from roboflow import Roboflow

rf = Roboflow(api_key="API_KEY")
project = rf.workspace().project("PROJECT_ID")
project.version(DATASET_VERSION).deploy(model_type="yolov8", model_path=f"./runs/detect/train/")

import supervision as sv
import cv2

img_path = "./images/your-image.jpeg"

image = cv2.imread(img_path)

detections = base_model.predict(img_path)
# 使用检测框标注图像
box_annotator = sv.BoxAnnotator()
label_annotator = sv.LabelAnnotator()

labels = [
    f"{base_model.ontology.classes()[class_id]} {confidence:0.2f}"
    for _, _, confidence, class_id, _, _ in detections
]

annotated_frame = box_annotator.annotate(
    scene=image.copy(), detections=detections
)
annotated_frame = label_annotator.annotate(
    scene=annotated_frame, detections=detections, labels=labels
)

sv.plot_image(annotated_frame, (16, 16))

📍 可用模型

我们的目标是让 autodistill 支持将所有基础模型用作基础模型，并支持大多数 SOTA 监督学习模型作为目标模型。我们最初专注于目标检测和分割任务，但计划很快推出分类支持！未来，我们希望 autodistill 也能应用于计算机视觉以外的其他领域。

• ✅ - 完成（点击行/列标题可跳转至仓库）
• 🚧 - 正在开发中

目标检测

实例分割

分类

Roboflow 模型部署支持

您可以选择将使用 Autodistill 训练的一些目标模型部署到 Roboflow 上。在 Roboflow 上部署可以让您使用一系列简洁的 SDK，在边缘设备上运行您的模型，从适用于 Web 部署的 roboflow.js 到适用于 NVIDIA Jetson 设备的 SDK。

以下由 Autodistill 训练的目标模型支持在 Roboflow 上部署：

🎬 视频指南

Autodistill：零标注训练YOLOv8

💡 社区资源

• 使用Autodistill将大型视觉模型蒸馏为更小、更高效的模型：包含如何使用Autodistill的书面指南的公告文章
• AI标注数据与人工标注数据的对比：对结合Autodistill使用的Grounding DINO在不同任务和领域中的定性评估。
• 如何使用CVevals评估Autodistill提示词：评估Autodistill的提示词。
• Autodistill：在不到20分钟内标注并训练计算机视觉模型：在不到20分钟内构建一个用于检测飞机的模型。
• AI标注数据与人工标注数据的对比：探索与Autodistill配合使用的基础模型的优势与局限性。
• 无需标注即可训练图像分类模型：使用Grounded SAM自动标注图像，用于训练Ultralytics YOLOv8分类模型。
• 无需标注即可训练分割模型：使用CLIP自动标注图像，用于训练Ultralytics YOLOv8分割模型。
• 欢迎提交PR，在此添加您自己的资源！

🗺️ 路线图

除了添加新模型之外，我们还计划通过autodistill探索以下几个方向：

• 💡 本体创建与提示工程
• 👩‍💻 人机协作支持
• 🤔 模型评估
• 🔄 主动学习
• 💬 语言任务

🏆 贡献

我们非常欢迎您的参与！请参阅我们的贡献指南开始贡献。感谢所有贡献者！🙏

👩‍⚖️ 许可证

autodistill软件包采用Apache 2.0许可证。每个基础或目标模型插件可能使用与其底层模型许可证相对应的自有许可证。更多信息请参阅各插件仓库中的许可证文件。

常见问题 ❓

导致“PytorchStreamReader读取zip压缩包失败：未能找到中央目录”错误的原因是什么？

该错误是由PyTorch无法加载模型权重引起的。请进入~/.cache/autodistill目录，删除您尝试加载的模型对应的文件夹。然后重新运行代码，模型权重将会从头开始下载。请确保安装过程不被中断。

💻 探索更多 Roboflow 开源项目

AutoDistill 快速上手指南

AutoDistill 是一个利用大型基础模型（Foundation Models）自动标注数据，并训练小型、快速监督模型的开源工具。它能让开发者从零标记的图像直接过渡到可在边缘设备运行的高性能自定义模型，全程无需人工干预。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python 版本: Python 3.8 - 3.11
• 硬件建议:
  • 基础模型推理: 需要 GPU (推荐 NVIDIA GPU，显存 8GB+) 以加速 Grounding DINO 或 GroundedSAM 等模型的运行。
  • 目标模型训练: 需要 GPU 进行 YOLOv8 等模型的微调。
• 前置依赖: 确保已安装 pip 和 git。

提示: 由于基础模型权重较大，首次运行时会自动下载模型文件，请确保网络连接通畅。国内用户若遇到下载缓慢问题，可尝试配置科学网络环境或使用支持断点续传的工具。

安装步骤

AutoDistill 采用模块化设计，您需要安装核心包以及具体的“基础模型”和“目标模型”插件。

1. 安装核心包与插件

以下示例展示如何安装核心库，以及常用的 GroundedSAM (作为基础模型) 和 YOLOv8 (作为目标模型) 插件：

pip install autodistill autodistill-grounded-sam autodistill-yolov8

注意: 如果您只需要使用命令行工具进行快速测试，可以先仅安装核心包：

pip install autodistill

具体任务所需的模型插件会在运行时根据需求安装或需单独指定。

2. 从源码安装 (可选)

如果您希望参与开发或使用最新特性，可以从 GitHub 克隆项目：

git clone https://github.com/roboflow/autodistill
cd autodistill
pip install -e .

基本使用

AutoDistill 提供了两种主要使用方式：命令行一键运行和 Python 代码定制流程。

方式一：命令行快速启动 (One-Command)

这是最简单的使用方式，适合快速验证。该命令将使用 Grounding DINO 对指定文件夹内的图片进行自动标注，并使用标注数据训练一个 YOLOv8 模型。

假设您有一个名为 images 的文件夹存放未标记图片：

autodistill images --base="grounding_dino" --target="yolov8" --ontology '{"prompt": "shipping container"}' --output="./dataset"

• images: 输入图片文件夹路径。
• --base: 指定使用的基础模型 (此处为 grounding_dino)。
• --target: 指定要训练的目标模型 (此处为 yolov8)。
• --ontology: 定义提示词与类别名的映射。上述命令表示将提示词 "shipping container" 标记为类别 "shipping container"。您可以扩展为 {"prompt1": "class1", "prompt2": "class2"}。
• --output: 自动标注数据集的保存路径。

运行结束后，您将在 ./dataset 中看到标注好的数据，并在相应目录下找到训练好的模型权重。

方式二：Python 代码定制流程

通过 Python 代码，您可以更灵活地控制本体论（Ontology）、训练参数及后续部署。

以下示例演示如何将 GroundedSAM 的知识蒸馏到 YOLOv8 模型中：

from autodistill_grounded_sam import GroundedSAM
from autodistill.detection import CaptionOntology
from autodistill_yolov8 import YOLOv8

# 1. 定义本体论 (Ontology)
# 格式为 {提示词：类别名}，提示词用于驱动基础模型，类别名用于最终数据集
base_model = GroundedSAM(ontology=CaptionOntology({"shipping container": "container"}))

# 2. 自动标注数据集
# 读取 ./images 文件夹，将标注结果保存至 ./dataset
base_model.label(
  input_folder="./images",
  output_folder="./dataset"
)

# 3. 初始化并训练目标模型
target_model = YOLOv8("yolov8n.pt") # 使用 nano 版本以加快训练
target_model.train("./dataset/data.yaml", epochs=200)

# 4. 运行推理测试
pred = target_model.predict("./dataset/valid/your-image.jpg", confidence=0.5)
print(pred)

# 5. (可选) 上传模型到 Roboflow 进行部署
# from roboflow import Roboflow
# rf = Roboflow(api_key="YOUR_API_KEY")
# project = rf.workspace().project("YOUR_PROJECT_ID")
# project.version(DATASET_VERSION).deploy(model_type="yolov8", model_path=f"./runs/detect/train/")

可视化标注结果 (可选)

您可以使用以下代码查看基础模型生成的标注效果，以便评估自动标注的质量：

import supervision as sv
import cv2

img_path = "./images/your-image.jpeg"
image = cv2.imread(img_path)

# 获取基础模型的预测结果
detections = base_model.predict(img_path)

# 初始化工具
box_annotator = sv.BoxAnnotator()
label_annotator = sv.LabelAnnotator()

# 生成标签文本
labels = [
    f"{base_model.ontology.classes()[class_id]} {confidence:0.2f}"
    for _, _, confidence, class_id, _, _ in detections
]

# 绘制框和标签
annotated_frame = box_annotator.annotate(scene=image.copy(), detections=detections)
annotated_frame = label_annotator.annotate(scene=annotated_frame, detections=detections, labels=labels)

# 显示图像
sv.plot_image(annotated_frame, (16, 16))

完成上述步骤后，您即可获得一个针对特定任务优化的小型模型，可直接部署到云端或边缘设备。