notebooks

5.2k 848 简单 1 次阅读今天LGPL-3.0语言模型图像音频开发框架其他

AI 解读由 AI 自动生成，仅供参考

notebooks 是 Unsloth 团队精心打造的开源项目，汇集了超过 250 个针对文本、视觉、音频、嵌入模型及语音合成（TTS）的微调与强化学习（RL）实战笔记。它主要解决了 AI 开发者在模型定制过程中面临的环境配置复杂、代码复用难以及从数据准备到推理全流程打通门槛高等痛点。

无论是希望快速上手的初学者，还是需要高效实验的资深研究人员与工程师，都能从中受益。用户无需从零编写底层代码，即可直接基于 Google Colab 或本地环境，对 Gemma、Qwen 等主流大模型进行可视化微调、对话训练甚至复杂的 GRPO 强化学习。

其核心亮点在于“开箱即用”的完整性：每个笔记都涵盖了数据预处理、模型训练到最终推理的全部环节，并针对 Unsloth 的高性能优化特性进行了适配。通过提供清晰的模型分类索引和一键运行链接，notebooks 极大地缩短了算法验证周期，让创作者能更专注于策略调整与应用创新，而非繁琐的工程实现细节。

使用场景

一家初创教育科技公司希望快速构建一个能理解数学公式并讲解解题步骤的专属多模态 AI 助教，团队仅有一名算法工程师且算力资源有限。

没有 notebooks 时

环境配置耗时极长：工程师需手动排查 PyTorch、CUDA 版本兼容性，安装视觉与语言模型的复杂依赖库往往耗费数天时间。
代码复用率低：从数据预处理、QLoRA 微调到推理验证，每个环节都需从零编写样板代码，极易出现难以调试的底层错误。
多模态适配困难：让模型同时处理图像（题目截图）和文本（解题逻辑）需要深厚的架构知识，自行修改注意力机制风险极高。
试错成本高昂：在本地或云端反复尝试不同参数组合时，因缺乏优化导致显存溢出，频繁中断训练进程。

使用 notebooks 后

一键启动开发：直接打开针对 Qwen3.5-VL 等视觉模型的 Colab 笔记本，预置好所有依赖与环境，几分钟内即可开始数据加载。
全流程模板化：利用内置的数据清洗、Unsloth 加速训练及推理代码块，工程师只需替换数据集路径即可跑通完整微调链路。
多模态能力开箱即用：调用现成的 Vision 类型笔记本，无需修改底层架构即可实现“看图说话”的数学题讲解功能。
高效资源利用：借助笔记中集成的显存优化技术，在单张 T4 GPU 上也能流畅训练 8B 甚至更大参数的多模态模型。

notebooks 将原本需要数周的环境搭建与原型验证工作压缩至几小时，让小型团队也能低成本落地垂直领域的多模态大模型应用。

运行环境要求

操作系统

Linux
macOS
Windows

GPU

需要 NVIDIA GPU（推荐 T4, A100, H100 或本地 RTX 3090/4090），显存需求视模型大小而定（2B 模型约 6GB+，20B 模型需 24GB+ 或使用量化/Offload 技术），支持 CUDA 11.8+ 及 BF16/FP8 精度

内存

最低 12GB，推荐 24GB+（取决于加载的模型参数量）

依赖

notes该仓库主要提供 Google Colab 笔记本，可直接在云端免费运行（需绑定 GPU 运行时）。若在本地运行，建议安装 'unsloth' 库以启用针对 Llama、Mistral、Gemma 等模型的 2 倍加速和内存优化。部分高级功能（如 GRPO 强化学习、FP8 训练）需要较新的 GPU 架构（如 Ampere 或 Hopper 系列）。

python3.9+

unsloth

torch

transformers

accelerate

xformers

bitsandbytes

trl

peft

快速开始

📒 微调笔记本

以下是按模型分类的 Colab 笔记本。你也可以在我们的文档中查看所有笔记本。
这些笔记本可以在本地运行，包含数据准备、训练和推理等内容。请阅读我们的微调指南。

主要笔记本

模型	类型	笔记本链接
Unsloth Studio	聊天界面
Gemma 4 (E2B)	视觉
Qwen3.5 (4B)	视觉
Qwen3.5 (2B)	视觉
gpt-oss (20B)	微调
gpt-oss (20B)	GRPO
Qwen3 (14B)	对话
Qwen3-VL (8B)	视觉
Qwen3-Embedding (0.6B)	嵌入
Qwen3: 高级 GRPO	GRPO
Gemma 3 (4B)	视觉
Gemma 3N (4B)	音频
embeddinggemma (300M)	嵌入
Mistral Ministral 3 (3B)	视觉
Mistral v0.3 (7B)	视觉
Llama 3.1 (8B) Alpaca	Alpaca
Llama 3.2 (1B + 3B)	对话
Phi-4 (14B)	对话
Orpheus-TTS (3B)	TTS

GRPO 与强化学习笔记本

模型	类型	笔记本链接
Llama3.1 (8B)	GSM8K 数学 + vLLM
NeMo Gym Sudoku	数独
NeMo Gym Multi Environment	多环境
gpt oss BF16 (20B)	2048 游戏
gpt oss (20B)	扫雷游戏
gpt oss (20B)	自动内核创建
Qwen3 (8B)	DAPO 数学 + vLLM
Llama3 (8B)	ORPO
Openenv wordle	Wordle + vLLM
Qwen2.5 VL (7B)	视觉数学 + vLLM
Zephyr (7B)	DPO
(OpenEnv) gpt oss BF16 (20B)	2048 游戏
gpt oss (20B)	自动内核创建
gpt oss (20B)	2048 游戏
(OpenEnv) gpt oss (20B)	2048 游戏
(DGX Spark) gpt oss (20B)	2048 游戏
(A100) gpt oss (20B)	自动内核创建
Qwen2.5 (3B)	GSM8K 数学 + vLLM
Llama3.2 (1B)	DAPO 数学 + vLLM
Qwen3 VL (8B)	视觉数学
Mistral v0.3 (7B)	GSM8K 数学 + vLLM
Qwen3 5 (4B)	视觉数学
Gemma3 (4B)	视觉数学
Phi 4 (14B)	GSM8K 数学 + vLLM
Gemma3 (1B)	GSM8K 数学
DeepSeek R1 0528 Qwen3 (8B)	DAPO 数学 + vLLM
LFM2.5 (1.2B)	DAPO 数学
Qwen3 (4B)	DAPO 数学 + vLLM
Ministral3 (3B)	数独

工具调用笔记本

模型	类型	笔记本链接
Qwen2.5 Coder (1.5B)	工具调用
FunctionGemma (270M)	工具调用
FunctionGemma (270M)	移动操作
FunctionGemma (270M)	推理
FunctionGemma (270M)	对话

文本转语音（TTS）笔记本

模型	类型	笔记本链接
Spark TTS (0.5B)	TTS
Orpheus (3B)	TTS
Llasa TTS (3B)	TTS
Llasa TTS (1B)	TTS
Sesame CSM (1B)	TTS
Oute TTS (1B)	TTS

视觉（多模态）笔记本

模型	类型	笔记本链接
Qwen2.5 VL (7B)	视觉数学 + vLLM (GRPO RL)
Gemma4 (E4B)	视觉
Gemma4 (E2B)	视觉
Gemma4 (26B A4B)	视觉
Gemma4 (31B)	视觉
Qwen2.5 VL (7B)	视觉
ERNIE 4 5 VL 28B A3B PT	视觉
Qwen3 VL (8B)	视觉
Qwen3 VL (8B)	视觉数学 (GRPO RL)
Qwen3 5 (4B)	视觉
Qwen3 5 (4B)	视觉数学 (GRPO RL)
Gemma3 (4B)	视觉数学 (GRPO RL)
Qwen3 5 (0.8B)	视觉
Qwen2 VL (7B)	视觉
Llama3.2 (11B)	视觉
Qwen3 5 (2B)	视觉
Pixtral (12B)	视觉
LFM2.5 VL (1.6B)	视觉
Ministral3 VL (3B)	视觉
Gemma3 (4B)	视觉
Gemma3N (4B)	视觉

嵌入笔记本

模型	类型	笔记本链接
ModernBert
Qwen3 Embedding (4B)
Qwen3 Embedding (0.6B)
EmbeddingGemma (300M)
BGE M3
ModernBERT (Large)	分类
All MiniLM L6 v2

语音转文本（STT）笔记本

模型	类型	笔记本链接
Whisper (Large)	微调

OCR笔记本

模型	类型	笔记本链接
Deepseek OCR (3B)	微调
Deepseek OCR (3B)	评估
Deepseek OCR (3B)	测试
Deepseek OCR 2 (3B)
Paddle OCR (1B)	视觉

BERT笔记本

模型	类型	笔记本链接
ModernBert
ModernBERT (Large)	分类

Deepseek笔记本

模型	类型	笔记本链接
Deepseek OCR (3B)	微调
Deepseek OCR (3B)	评估
Deepseek OCR (3B)	测试
Deepseek OCR 2 (3B)

ERNIE笔记本

模型	类型	笔记本链接
ERNIE 4.5 VL 28B A3B PT	视觉
ERNIE 4.5 21B A3B PT	对话

GLM笔记本

模型	类型	笔记本链接
(A100) GLM Flash(80GB)

GPT-OSS 笔记本

模型	类型	笔记本链接
gpt oss MXFP4 (20B)	推理
gpt oss (20B)	微调
gpt oss (20B)	微调
gpt oss BNB (20B)	推理
(A100) gpt oss (120B)	微调

Gemma 4 笔记本

模型	类型	笔记本链接
Gemma4 (E4B)	视觉
Gemma4 (E4B)	对话
Gemma4 (E4B)	音频
Gemma4 (E2B)	视觉
Gemma4 (E2B)	音频
Gemma4 (E2B)	对话
Gemma4 (26B A4B)	对话
Gemma4 (26B A4B)	视觉
Gemma4 (31B)	视觉
Gemma4 (31B)	对话

Gemma 笔记本

模型	类型	笔记本链接
Gemma3 (4B)	对话
(A100) Gemma3 (27B)	对话
Gemma3 (270M)	对话
Gemma3 (270M)
Gemma3N (4B)	多模态
Gemma3N (4B)	音频
Gemma3N (2B)	推理
Gemma3 (4B)	视觉
Gemma3N (4B)	视觉
EmbeddingGemma (300M)
Gemma2 (9B)	Alpaca
Gemma2 (2B)	Alpaca
CodeGemma (7B)	对话

Granite 笔记本

模型	类型	笔记本链接
Granite4.0 (3B)	对话
Granite4.0 (350M)	对话

混合注意力笔记本

模型	类型	笔记本链接
LFM2.5 (1.2B)	对话
LFM2.5 VL (1.6B)	视觉
Liquid LFM2 (1.2B)	对话
Liquid LFM2	对话
LFM2.5 (1.2B)
Falcon H1 (0.5B)	Alpaca
Falcon H1	Alpaca

Llama 笔记本

模型	类型	笔记本链接
Llama3.1 (8B)	推理
Llama3 (8B)	Ollama
Llama3 (8B)	Alpaca
Llama3.2 (1B 和 3B)	对话
Llama3.2 (1B)	RAFT
Llama3.1 (8B)	Alpaca
(A100) Llama3.3 (70B)	对话
Llama3.2 (11B)	视觉
Llama3 (8B)	对话
TinyLlama (1.1B)	Alpaca

Mistral 笔记本

模型	类型	笔记本链接
Mistral v0.3 (7B)	对话
Magistral (24B)	理性对话
Pixtral (12B)	视觉
Mistral Small (22B)	Alpaca
Ministral3 VL (3B)	视觉
Mistral v0.3 (7B)	Alpaca
Mistral Nemo (12B)	Alpaca

Nemotron 笔记本

模型	类型	笔记本链接
(A100) Nemotron Nano 3 30B A3B
(A100) Nemotron 3 Nano 30B A3B

Paddle 笔记本

模型	类型	笔记本链接
Paddle OCR (1B)	视觉

Phi 笔记本

型号	类型	笔记本链接
Phi 4	对话型
Phi 3.5 Mini	对话型
Phi 3 Medium	对话型

通义千问笔记本

模型	类型	笔记本链接
Qwen3 (0.6B)	推理对话
Qwen3 (0.6B)
Qwen3 (4B)	QAT
Qwen3 (4B)	对话
Qwen2.5 VL (7B)	视觉
Qwen3 VL (8B)	视觉
Qwen3.5 MoE
(A100) Qwen3.5 27B(80GB)
(A100) Qwen3 (32B)	推理对话
Qwen3.5 (4B)	视觉
Qwen3 (14B)	推理对话
Qwen3 (14B)
Qwen3.5 (0.8B)	视觉
Qwen2 VL (7B)	视觉
Qwen3 (4B)	思考
Qwen3 MoE
Qwen3.5 (2B)	视觉
Qwen2.5 (7B)	阿尔帕卡
Qwen2.5 Coder (14B)	对话
Qwen3 Embedding (4B)
Qwen3 Embedding (0.6B)
Qwen3 (14B)	阿尔帕卡
Qwen2 (7B)	阿尔帕卡
TinyQwen3 MoE

文本补全 / 继续预训练笔记本

模型	类型	笔记本链接
LFM2.5 (1.2B)	文本补全
Mistral v0.3 (7B)	CPT
Mistral (7B)	文本补全

特定用例笔记本

用例	模型	笔记本链接
文本分类	Llama 3.1 (8B)
工具调用	Qwen2.5-Coder (1.5B)
多数据集
KTO	Qwen2.5-Instruct (1.5B)
推理聊天界面	LLaMa 3.2 Vision
对话式	LLaMa 3.2 (1B 和 3B)
ChatML	Mistral (7B)
文本补全	Mistral (7B)

其他笔记本

模型	类型	笔记本链接
CodeForces cot 微调用于 CodeForces 上的推理	推理
合成数据黑客马拉松	合成数据
Unsloth	工作室

📒 Kaggle 笔记本

点击查看我们按模型分类的所有 Kaggle 笔记本：

GRPO 与强化学习笔记本

模型	类型	笔记本链接
Llama3.1 (8B)	GSM8K 数学 + vLLM
gpt oss (20B)	扫雷游戏
gpt oss (20B)	自动内核创建
Qwen3 (8B)	DAPO 数学 + vLLM
Llama3 (8B)	ORPO
Qwen2.5 VL (7B)	视觉数学 + vLLM
Ministral3 (3B)	数独
Zephyr (7B)	DPO
gpt oss (20B)	自动内核创建
(A100) gpt oss (20B)	自动内核创建
Qwen2.5 (3B)	GSM8K 数学 + vLLM
Llama3.2 (1B)	DAPO 数学 + vLLM
Qwen3 VL (8B)	视觉数学
Mistral v0.3 (7B)	GSM8K 数学 + vLLM
Gemma3 (4B)	视觉数学
Phi 4 (14B)	GSM8K 数学 + vLLM
Gemma3 (1B)	GSM8K 数学
DeepSeek R1 0528 Qwen3 (8B)	DAPO 数学 + vLLM
Qwen3 (4B)	DAPO 数学 + vLLM

工具调用笔记本

模型	类型	笔记本链接
Qwen2.5 Coder (1.5B)	工具调用

文本转语音（TTS）笔记本

模型	类型	笔记本链接
Spark TTS (0.5B)	TTS
Orpheus (3B)	TTS
Llasa TTS (3B)	TTS
Llasa TTS (1B)	TTS
Sesame CSM (1B)	TTS
Oute TTS (1B)	TTS

视觉（多模态）笔记本

模型	类型	笔记本链接
Qwen2.5 VL (7B)	视觉数学 + vLLM (GRPO RL)
Qwen2.5 VL (7B)	视觉
ERNIE 4 5 VL 28B A3B PT	视觉
Qwen3 VL (8B)	视觉
Qwen3 VL (8B)	视觉数学 (GRPO RL)
Gemma3 (4B)	视觉数学 (GRPO RL)
Qwen2 VL (7B)	视觉
Llama3.2 (11B)	视觉
Pixtral (12B)	视觉
Ministral3 VL (3B)	视觉
Gemma3 (4B)	视觉
Gemma3N (4B)	视觉

嵌入模型笔记本

模型	类型	笔记本链接
ModernBert
Qwen3 Embedding (4B)
Qwen3 Embedding (0.6B)
EmbeddingGemma (300M)
BGE M3
ModernBERT (Large)	分类
All MiniLM L6 v2

语音转文本（STT）笔记本

模型	类型	笔记本链接
Whisper (Large)	微调

OCR笔记本

模型	类型	笔记本链接
Deepseek OCR (3B)	微调
Deepseek OCR (3B)	评估
Deepseek OCR (3B)	评测
Deepseek OCR 2 (3B)
Paddle OCR (1B)	视觉

BERT笔记本

模型	类型	笔记本链接
ModernBert
ModernBERT (Large)	分类

Deepseek笔记本

模型	类型	笔记本链接
Deepseek OCR (3B)	微调
Deepseek OCR (3B)	评估
Deepseek OCR (3B)	评测
Deepseek OCR 2 (3B)

ERNIE 笔记本

模型	类型	笔记本链接
ERNIE 4.5 VL 28B A3B PT	视觉
ERNIE 4.5 21B A3B PT	对话

GPT-OSS 笔记本

模型	类型	笔记本链接
gpt oss MXFP4 (20B)	推理
gpt oss (20B)	微调
gpt oss (20B)	微调
gpt oss BNB (20B)	推理
(A100) gpt oss (120B)	微调

Gemma 笔记本

模型	类型	笔记本链接
Gemma3 (4B)	对话
(A100) Gemma3 (27B)	对话
Gemma3 (270M)	对话
Gemma3N (4B)	多模态
Gemma3N (4B)	音频
Gemma3N (2B)	推理
Gemma3 (4B)	视觉
Gemma3N (4B)	视觉
EmbeddingGemma (300M)
Gemma2 (9B)	Alpaca
Gemma2 (2B)	Alpaca
CodeGemma (7B)	对话

石英笔记本

模型	类型	笔记本链接
石英4.0 (3B)	对话型
石英4.0 (350M)	对话型

混合注意力笔记本

模型	类型	笔记本链接
液态LFM2 (1.2B)	对话型
猎鹰H1 (0.5B)	阿尔帕卡

羊驼笔记本

模型	类型	笔记本链接
羊驼3.1 (8B)	推理
羊驼3 (8B)	Ollama
羊驼3 (8B)	阿尔帕卡
羊驼3.2 (1B和3B)	对话型
羊驼3.2 (1B)	RAFT
羊驼3.1 (8B)	阿尔帕卡
(A100) 羊驼3.3 (70B)	对话型
羊驼3.2 (11B)	视觉
羊驼3 (8B)	对话型
小羊驼 (1.1B)	阿尔帕卡

Mistral 笔记本

模型	类型	笔记本链接
Mistral v0.3 (7B)	对话型
Magistral (24B)	推理对话型
Pixtral (12B)	视觉型
Mistral Small (22B)	Alpaca 型
Ministral3 VL (3B)	视觉型
Mistral v0.3 (7B)	Alpaca 型
Mistral Nemo (12B)	Alpaca 型

Nemotron 笔记本

模型	类型	笔记本链接
(A100) Nemotron Nano 3 30B A3B
(A100) Nemotron 3 Nano 30B A3B

Paddle 笔记本

模型	类型	笔记本链接
Paddle OCR (1B)	视觉型

Phi 笔记本

模型	类型	笔记本链接
Phi 4	对话型
Phi 3.5 Mini	对话型
Phi 3 Medium	对话型

通义千问笔记本

模型	类型	笔记本链接
Qwen3 (4B)	QAT
Qwen3 (4B)	对话
Qwen2.5 VL (7B)	视觉
Qwen3 VL (8B)	视觉
(A100) Qwen3 (32B)	理性对话
Qwen3 (14B)	理性对话
Qwen3 (14B)
Qwen2 VL (7B)	视觉
Qwen3 (4B)	思考
Qwen2.5 (7B)	阿尔帕卡
Qwen2.5 Coder (14B)	对话
Qwen3 Embedding (4B)
Qwen3 Embedding (0.6B)
Qwen3 (14B)	阿尔帕卡
Qwen2 (7B)	阿尔帕卡

文本补全 / 继续预训练笔记本

模型	类型	笔记本链接
Mistral v0.3 (7B)	CPT
Mistral (7B)	文本补全

其他笔记本

模型	类型	笔记本链接
CodeForces cot 微调用于 CodeForces 上的推理	推理
Unsloth	工作室

已知问题 / 环境说明

NumPy 2.x ↔ soxr: NumPy 2.x 会破坏 soxr，导致 Unsloth 导入失败。可通过固定 numpy<2 来解决。如果需要，可以使用 pip install --force-reinstall "numpy<2"。影响：无法运行 Unsloth。
soxr 重新安装：如果不使用 --no-deps，pip install --force-reinstall soxr 可能会再次引入 NumPy 2.x。应使用 pip install --force-reinstall --no-deps soxr 来避免此问题。影响：可能重新引入 NumPy 2.x 并破坏 Unsloth 的导入。
typing_extensions：较旧版本的 typing_extensions 可能会导致 torch 导入失败（缺少 TypeIs），直到升级为止。请使用 pip install --upgrade typing_extensions 进行升级。影响：无法正确导入 PyTorch。
解析器警告：固定 numpy<2 可能会在与 SciPy/Numba 一起使用时引发 pip 解析器警告；通常这些警告不会造成严重问题。影响：仅为外观上的警告，不影响功能。
ROCm / triton_key：在 ROCm 上使用 torch.compile 时，如果 Triton 缺少 triton_key，LoRA 的反向传播可能会崩溃。目前的解决方法是在 ROCm 上禁用 Inductor/compile（代码中已处理，但仍需注意）。影响：在使用 torch.compile 时，可能导致 AMD GPU 上的训练崩溃。

✨ 参与笔记本贡献

如果您想为我们的笔记本贡献内容，以下是一个入门指南：

找到模板：我们在该项目的根目录下提供了一个名为 Template_Notebook.ipynb 的模板笔记本。该模板包含了本系列所有笔记本的基本结构和格式规范。
创建您的笔记本：
- 复制 Template_Notebook.ipynb。
- 按照以下命名规则重命名复制后的文件：
  - LLM 笔记本：<模型名称>-<类型>.ipynb（例如：Mistral_v0.3_(7B)-Alpaca.ipynb）
  - 视觉笔记本：<模型名称>-Vision.ipynb（例如：Llava_v1.6_(7B)-Vision.ipynb）
  - 类型示例：Alpaca、对话式、CPT、DPO、ORPO、文本补全、CSV、推理、Unsloth_Studio
放入 original_template 目录：当您的笔记本准备就绪后，将其移动到 original_template 目录。
更新笔记本：在终端中运行以下命令：
```
python update_all_notebooks.py
```
该脚本将自动执行以下操作：
- 将您的笔记本从 original_template 目录复制到 notebooks 目录。
- 更新笔记本内部的各个部分（如安装、新闻等），以确保一致性。
- 将您的笔记本添加到本 README.md 文件中的相应列表中。
创建拉取请求：完成后，只需创建一个拉取请求（PR）以合并您的更改，使您的内容对所有人可见！
- 我们非常感谢您的贡献，并期待审阅您的笔记本！

Unsloth Notebooks 快速上手指南

Unsloth Notebooks 是 Unsloth 团队提供的一系列开源 Jupyter Notebook，旨在帮助开发者在 Google Colab 或本地环境中快速对主流大语言模型（如 Llama 3、Qwen、Gemma 等）进行微调、推理及强化学习训练。本指南将协助您快速开始使用。

环境准备

系统要求

运行平台：推荐使用 Google Colab（免费或 Pro 版本），也可在本地 Linux 环境运行。
GPU 要求：
- 微调小型模型（1B-4B）：建议至少 16GB VRAM（如 T4, A10G）。
- 微调中型模型（7B-14B）：建议 24GB+ VRAM（如 A100, H100, RTX 3090/4090）。
- 部分强化学习（GRPO）示例可能需要更高显存。
本地环境依赖：
- Python 3.10+
- CUDA 12.1+ (本地运行时)
- Git

前置依赖

若选择在本地运行，需确保已安装基础深度学习库。Unsloth 会自动处理大部分依赖，但建议预先检查 NVIDIA 驱动状态。

安装步骤

方案一：直接使用 Google Colab（推荐）

无需手动安装，直接点击 README 中的 "Open in Colab" 按钮即可。Notebook 内部包含自动安装脚本。

方案二：本地环境安装

如果您希望在本地复现 Notebook 流程，请执行以下命令安装 Unsloth 核心库。

注意：国内用户建议使用清华源或阿里源加速 pip 下载。

# 1. 升级 pip
pip install --upgrade pip

# 2. 安装 Unsloth (包含最新优化内核)
# 国内加速示例 (使用清华源)
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" \
    -i https://pypi.tuna.tsinghua.edu.cn/simple

# 3. 安装额外依赖 (根据具体模型需求，通常在 Notebook 中会自动执行)
pip install xformers trl peft accelerate bitsandbytes datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：本地运行时，请确保您的 CUDA 版本与 PyTorch 版本兼容。Unsloth 对特定 CUDA 版本有优化，如遇报错请参考官方文档切换 CUDA 版本。

基本使用

最简单的使用方式是直接运行官方提供的预置 Notebook。以下是基于 Llama 3.1 (8B) 进行微调的通用流程示例（逻辑适用于所有列表中的模型）。

步骤 1: 加载模型与分词器

在 Notebook 单元格中运行以下代码初始化模型。Unsloth 会自动加载量化版本以节省显存。

from unsloth import FastLanguageModel

max_seq_length = 2048 # 支持长上下文，RoPE 缩放
dtype = None # 自动检测 (bf16 或 fp16)
load_in_4bit = True # 启用 4-bit 量化以节省显存

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Llama-3.1-8B", # 可替换为 Qwen, Gemma 等
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

步骤 2: 配置 LoRA 适配器

设置低秩适配器（LoRA）参数，仅微调少量参数，大幅降低显存占用。

model = FastLanguageModel.get_peft_model(
    model,
    r = 16, # LoRA 秩
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj"],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    use_gradient_checkpointing = "unsloth", # 节省显存的梯度检查点
    random_state = 3407,
    use_rslora = False, 
    loftq_config = None,
)

步骤 3: 准备数据并训练

定义数据集格式并启动训练。

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = your_dataset, # 替换为您的数据集
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    dataset_num_proc = 2,
    packing = False, 
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        max_steps = 60,
        learning_rate = 2e-4,
        fp16 = not is_bfloat16_supported(),
        bf16 = is_bfloat16_supported(),
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
    ),
)

trainer_stats = trainer.train()

步骤 4: 推理测试

训练完成后，立即测试模型效果。

FastLanguageModel.for_inference(model)
inputs = tokenizer(["你好，请介绍一下你自己。"], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
print(tokenizer.batch_decode(outputs))

对于视觉模型（Vision）、音频模型或强化学习（GRPO）任务，请直接访问 README 表格中对应的 Notebook Link，其中已包含针对该模态的完整数据处理和训练代码。

常见问题

在免费层级运行 Gemma3 (270M) Notebook 时遇到 'OutOfResources: out of resource: shared memory' 错误怎么办？

如何在 Unsloth 中微调 OuteTTS 或其他非标准架构模型（如 CSM）？

使用 Llama 3.2 Notebook 微调自定义数据集时，为什么聊天模板（chat_template）显示错误或混乱？

GitHub 上的 Notebook 文件无法在浏览器中直接渲染或预览怎么办？

在 Kaggle 上运行 Orpheus TTS 微调 Notebook 时，执行 trainer.train() 报错 ValueError 或数据加载错误如何解决？

运行 Qwen2-VL (7B) 视觉模型 Notebook 时，输出大量重复的 'system' 文本且微调失败是什么原因？

Qwen3 Reasoning Notebook 中的数据采样比例与文档描述不一致（实际推理数据占比过高）如何修正？

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|1周前

Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|1周前

开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 159.3k|★★☆☆☆|今天

开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 108.3k|★★☆☆☆|1周前

开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。

★ 100.8k|★★☆☆☆|1周前

插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|1周前

插件开发框架