Bonito

Bonito 是一个用于条件任务生成的开源模型：其任务是将未标注文本转换为特定任务的训练数据集，以用于指令微调。该仓库是一个轻量级库，基于 Hugging Face 的 transformers 和 vllm 库，方便用户使用 Bonito 创建合成数据集。

• 论文：学习生成用于零样本任务适配的指令微调数据集
• 模型：bonito-v1
• 演示：Bonito on Spaces
• 数据集：ctga-v1
• 代码：如需复现论文中的实验，请参阅 nayak-aclfindings24-code。

最新动态

• 🐠 2025年2月：已将 bonito-llm 上架至 PyPI。
• 🐡 2024年8月：发布了新的 Bonito 模型 [BatsResearch/Llama-3.1-8B-bonito-v1]，以 Meta Llama 3.1 为基础模型。
• 🐟 2024年6月：Bonito 被 ACL Findings 2024 接收。

安装

创建环境并使用以下命令安装包：

pip3 install bonito-llm

基本用法

要使用 Bonito 生成合成指令微调数据集，可以使用以下代码：

from bonito import Bonito
from vllm import SamplingParams
from datasets import load_dataset

# 初始化 Bonito 模型
bonito = Bonito("BatsResearch/bonito-v1")

# 加载包含未标注文本的数据集
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# 生成合成指令微调数据集
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)

支持的任务类型

以下是支持的任务类型 [全称 (简写)]：抽取式问答 (exqa)、选择题问答 (mcqa)、问题生成 (qg)、无选项问答 (qa)、是非问答 (ynqa)、指代消解 (coref)、同义句生成 (paraphrase)、同义句识别 (paraphrase_id)、句子补全 (sent_comp)、情感分析 (sentiment)、摘要生成 (summarization)、文本生成 (text_gen)、主题分类 (topic_class)、词义消歧 (wsd)、文本蕴含 (te)、自然语言推理 (nli)。

在 generate_tasks 中，您可以使用全称或简写来指定 task_type。

教程

我们在此处创建了一个教程 链接，介绍如何在 Google Colab T4 实例中使用模型的量化版本。该量化版本由用户 alexandreteles 慷慨提供。此外，我们还有一个教程，可在 Google Colab 的 A100 GPU 上试用 Bonito 模型 链接。

引用

如果您在研究中使用了 Bonito，请引用以下论文：

@inproceedings{bonito:aclfindings24,
  title = {Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation},
  author = {Nayak, Nihal V. and Nan, Yiyang and Trost, Avi and Bach, Stephen H.},
  booktitle = {Findings of the Association for Computational Linguistics: ACL 2024},
  year = {2024}}

Bonito 快速上手指南

Bonito 是一个开源的条件任务生成模型，能够将未标注的文本自动转换为特定任务的指令微调（Instruction Tuning）训练数据集。本项目基于 Hugging Face transformers 和 vllm 构建，旨在帮助用户轻松创建合成数据。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（推荐 Linux 以获得最佳 GPU 兼容性）。
• Python 版本：Python 3.8 或更高版本。
• 硬件要求：
  • 运行基础模型建议具备 NVIDIA GPU（支持 CUDA）。
  • 若使用 CPU 推理，速度会显著较慢。
• 前置依赖：建议先安装 PyTorch（需匹配您的 CUDA 版本），bonito-llm 会自动处理其他依赖（如 transformers, vllm, datasets）。

国内加速建议： 推荐使用国内镜像源安装依赖，以提升下载速度：

pip3 install bonito-llm -i https://pypi.tuna.tsinghua.edu.cn/simple

加载模型时，若访问 Hugging Face 困难，可配置环境变量使用镜像：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

通过 pip 直接安装官方发布的 bonito-llm 包：

pip3 install bonito-llm

基本使用

以下是最简单的代码示例，展示如何加载未标注文本并生成用于自然语言推断（NLI）任务的合成指令微调数据集。

from bonito import Bonito
from vllm import SamplingParams
from datasets import load_dataset

# 初始化 Bonito 模型
# 国内用户若无法直连，请确保已设置 export HF_ENDPOINT=https://hf-mirror.com
bonito = Bonito("BatsResearch/bonito-v1")

# 加载包含未标注文本的数据集
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# 配置采样参数
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)

# 生成合成指令微调数据集
# task_type 支持全称或缩写，例如 "nli" 或 "natural language inference"
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)

# 查看生成的前几条数据
print(synthetic_dataset[:2])

支持的任务类型简述： 除了 nli，您还可以使用 exqa (抽取式问答), mcqa (多选问答), summarization (摘要), sentiment (情感分析) 等。具体可在 task_type 参数中传入任务全称或上述缩写。