一个小型课程

这是一个针对您的特定用例对语言模型进行对齐的实用课程。它提供了一种便捷的方式开始语言模型的对齐工作，因为所有内容都可以在大多数本地机器上运行。所需的 GPU 资源极少，也不需要任何付费服务。本课程围绕 SmolLM3 和 SmolVLM2 模型展开，但您所学到的技能同样可以应用于更大的模型或其他小型 LLM/VLM。

本课程的未来

本课程很快将在 Hugging Face Learn 上重新发布！敬请期待后续更新。

课程大纲

本课程提供了一种实用、动手的操作方式，从初始训练到生产部署，全面讲解如何使用小型语言模型。

序号	主题	描述	发布日期
1	指令微调	监督式微调、聊天模板、指令遵循	✅
2	评估	基准测试与自定义领域的评估	✅
3	偏好对齐	使用 DPO 等算法将模型对齐到人类偏好。	✅
4	视觉语言模型	适配并使用多模态模型	✅
5	强化学习	基于强化学习策略优化模型。	2025年10月
6	合成数据	为自定义领域生成合成数据集	2025年11月
7	颁奖典礼	展示项目并庆祝	2025年12月

为什么选择小型语言模型？

尽管大型语言模型展现了令人印象深刻的性能，但它们通常需要大量的计算资源，对于一些专注的应用来说可能过于强大。小型语言模型在特定领域应用中具有以下优势：

• 高效性：训练和部署所需计算资源显著减少。
• 可定制性：更容易针对特定领域进行微调和适应。
• 可控性：能够更好地理解和控制模型的行为。
• 成本：训练和推理的运营成本更低。
• 隐私性：可以在本地运行，无需将数据发送到外部 API。
• 绿色技术：倡导高效利用资源，减少碳足迹。
• 更易开展学术研究：为学术研究提供了一个简单的起点，使用前沿的 LLM 进行研究时，后勤限制更少。

先决条件

在开始之前，请确保您具备以下条件：

• 对机器学习和自然语言处理有基本的了解。
• 熟悉 Python、PyTorch 和 transformers 库。
• 可访问预训练的语言模型和标注数据集。

课程 v1 版本

课程的第一版使用了 GitHub Markdown 和 Jupyter 笔记本。您可以在 v1 目录中找到它。

smol-course 快速上手指南

smol-course 是一门专注于**小型语言模型（Small Language Models）**对齐的实战课程。它旨在帮助开发者在本地机器上低成本地完成从指令微调到偏好对齐的全流程，无需昂贵的 GPU 集群或付费服务。课程基于 SmolLM3 和 SmolVLM2 模型构建，所学技能可迁移至其他大模型或小模型场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

系统要求

• 硬件：大多数本地机器即可运行（最低 GPU 要求，甚至部分任务可在 CPU 上完成）。
• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)。

前置知识与依赖

• 知识储备：具备基础的机器学习与自然语言处理（NLP）概念。
• 编程技能：熟悉 Python、PyTorch 及 Hugging Face transformers 库。
• 数据准备：能够访问预训练语言模型及标注数据集。

软件依赖安装

建议创建独立的虚拟环境并安装核心依赖：

python -m venv smol-env
source smol-env/bin/activate  # Windows 用户使用: smol-env\Scripts\activate

pip install torch transformers datasets accelerate peft trl evaluate

国内加速提示：如果遇到下载缓慢，建议使用国内镜像源安装依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers datasets accelerate peft trl evaluate

安装步骤

本课程以开源仓库形式托管，主要通过克隆代码库获取学习材料（Notebooks 和脚本）。

1. 克隆仓库

   git clone https://github.com/huggingface/smol-course.git
   cd smol-course
   

2. 配置 Hugging Face Token（可选但推荐） 若需上传模型至 leaderboard 或使用 gated models，请登录 HF 账号：

   huggingface-cli login
   

3. 验证环境 进入课程目录，检查是否有对应的章节文件夹（如 unit1, unit2 等），确认 Jupyter Notebook 或 Python 脚本可被识别。

基本使用

本课程采用模块化结构，每个单元对应一个具体的对齐技术（如指令微调、DPO 偏好对齐等）。以下以最简单的**指令微调（Instruction Tuning）**为例展示使用流程。

1. 加载示例数据与模型

在对应的单元目录（例如 unit1）中，通常包含完整的 Notebook。你可以直接运行以下核心代码逻辑来启动微调：

from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset
from trl import SFTTrainer

# 1. 加载小型预训练模型 (例如 SmolLM3)
model_name = "HuggingFaceTB/SmolLM3-135M"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 2. 加载指令数据集
dataset = load_dataset("mlabonne/guanaco-llama2-1k", split="train")

# 3. 配置训练参数
training_args = {
    "output_dir": "./smol-finetuned",
    "per_device_train_batch_size": 4,
    "num_train_epochs": 3,
    "learning_rate": 2e-4,
}

# 4. 初始化 Trainer 并开始训练
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    args=training_args,
)

trainer.train()

2. 参与社区与提交成果

smol-course v2 版本强调社区共建。完成练习后，你可以：

1. 将微调后的模型上传至 Hugging Face Hub。
2. 在课程对应的 Org 下提交 Pull Request 以更新课程内容或添加你的示例。
3. 将模型提交至排行榜（Leaderboard）以查看排名。

# 示例：使用 huggingface-cli 上传模型
huggingface-cli upload <your-username>/smol-my-finetuned ./smol-finetuned

通过上述步骤，你即可完成第一个小型模型的对齐实验，并逐步深入探索多模态适配、强化学习等高级主题。