精选 Transformer

逐块搭建的最先进 Transformer 模型

Curated Transformers 是一个用于 PyTorch 的 Transformer 库。它提供了由一组可重用组件构成的最先进模型。Curated Transformers 的突出特点包括：

• ⚡️ 支持最先进的 Transformer 模型，包括 Falcon、Llama 和 Dolly v2 等大型语言模型。
• 👩‍🎨 每个模型都由一组可重用的构建模块组成，带来诸多好处：
  • 实现一项功能或修复一个 bug 将惠及所有模型。例如，所有模型都通过 bitsandbytes 库支持 4/8 位推理，并且每个模型都可以使用 PyTorch 的 meta 设备来避免不必要的内存分配和初始化。
  • 向库中添加新模型的工作量很小。
  • 想尝试一种新的 Transformer 架构吗？比如带有旋转位置编码的 BERT 编码器？只需稍加修改即可实现。
• 💎 所有公共 API 都具有一致的类型注解：
  • 获得 IDE 的良好代码支持。
  • 与您现有的类型检查代码无缝集成。
• 🎓 非常适合教学，因为这些构建模块易于学习。
• 📦 依赖项极少。

Curated Transformers 已经在 Explosion 公司进行了生产级测试，并将作为 spaCy 3.7 中的默认 Transformer 实现。

🧰 支持的模型架构

仅编码器模型：

• ALBERT
• BERT
• CamemBERT
• RoBERTa
• XLM-RoBERTa

仅解码器模型：

• Falcon
• GPT-NeoX
• Llama 1/2
• MPT

生成器封装：

• Dolly v2
• Falcon
• Llama 1/2
• MPT

所有类型的模型都可以从 Hugging Face Hub 加载。

spaCy 对精选 Transformer 的集成由 spacy-curated-transformers 包提供。

⏳ 安装

pip install curated-transformers

CUDA 支持

PyTorch 的默认 Linux 构建版本支持 CUDA 11.7。在以下情况下，您应显式安装带有 CUDA 支持的版本：

• 如果您希望在 Windows 上使用 Curated Transformers。
• 如果您希望在 Linux 上使用 Ada 系列 GPU 运行 Curated Transformers。标准 PyTorch 构建支持 Ada GPU，但通过安装支持 CUDA 11.8 的 PyTorch 版本，可以获得显著的性能提升。

在这两种情况下，您可以使用以下命令安装 PyTorch：

pip install torch --index-url https://download.pytorch.org/whl/cu118

🏃‍♀️ 使用示例

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub(name="tiiuae/falcon-7b-instruct", device=torch.device("cuda"))
>>> generator(["Python 是什么？用一句话回答。", "Rust 是什么？用一句话回答。"], GreedyGeneratorConfig())
['Python 是一种高级编程语言，易于学习，广泛应用于 Web 开发、数据分析和自动化。',
 'Rust 是一种旨在替代 C++ 的安全、并发且高效的编程语言。']

您可以在文档中找到更多使用示例。此外，您还可以在 examples 目录中找到使用 Curated Transformers 的示例程序。

📚 文档

您可以在此处阅读有关如何使用 Curated Transformers 的更多信息：

• 概述 (开发版)
• 使用指南 (开发版)
• API 参考 (开发版)

🗜️ 量化

curated-transformers 利用 bitsandbytes 库支持模型的动态 8 位和 4 位量化。

使用量化变体可以自动安装必要的依赖项：

pip install curated-transformers[quantization]

Curated Transformers 快速上手指南

Curated Transformers 是一个基于 PyTorch 的 Transformer 库，提供由可复用组件构建的最先进模型（如 Llama、Falcon、Dolly v2 等）。它以模块化设计、类型注解完善和依赖精简著称，非常适合生产环境及教育学习。

环境准备

• 操作系统：Linux 或 Windows
• Python 版本：建议 Python 3.8+
• 核心依赖：PyTorch
• GPU 支持（可选）：
  • 默认 Linux 版 PyTorch 支持 CUDA 11.7。
  • 若在 Windows 上使用，或使用 Linux 下的 Ada 架构显卡（如 RTX 40 系列），建议安装支持 CUDA 11.8 的 PyTorch 以获得更好性能。

安装步骤

1. 基础安装

使用 pip 直接安装：

pip install curated-transformers

2. 启用 CUDA 加速（按需）

如果需要针对 Windows 或 Ada 显卡优化，请先安装特定版本的 PyTorch：

pip install torch --index-url https://download.pytorch.org/whl/cu118

注：国内用户若下载缓慢，可尝试配置清华源或阿里源安装 torch，但需确保版本兼容性。

3. 启用量化支持（可选）

若需使用 4-bit 或 8-bit 动态量化以节省显存，请安装带量化依赖的版本：

pip install curated-transformers[quantization]

基本使用

以下示例展示如何从 Huggingface Hub 加载 Falcon 模型并进行文本生成：

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub(name="tiiuae/falcon-7b-instruct", device=torch.device("cuda"))
>>> generator(["What is Python in one sentence?", "What is Rust in one sentence?"], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

说明：

• AutoGenerator.from_hf_hub：自动从 Huggingface 加载模型。
• device=torch.device("cuda")：指定在 GPU 上运行（若无 GPU 可改为 "cpu"）。
• 支持的所有模型架构（包括 BERT、RoBERTa、Llama、MPT 等）均可通过类似方式加载。