一个免费且开源的大型语言模型微调框架

🎉 最新更新

• 2026年3月：
  • Axolotl 新增对以下模型的支持：Mistral Small 4、Qwen3.5、Qwen3.5 MoE、GLM-4.7-Flash、GLM-4.6V 以及 GLM-4.5-Air。
  • 支持 MoE 专家量化（通过 quantize_moe_experts: true），在训练 MoE 模型时可大幅降低显存占用（与 FSDP2 兼容）。
• 2026年2月：
  • 支持 ScatterMoE LoRA，利用自定义 Triton 内核直接对 MoE 专家权重进行 LoRA 微调。
  • Axolotl 现已支持 SageAttention 和 GDPO（广义 DPO）。
• 2026年1月：
  • 新增对 EAFT（基于熵的焦点训练）的支持，该方法根据 top-k 对数几率分布的熵来调整损失权重；同时新增 可扩展 Softmax，可提升注意力机制在长上下文场景下的表现。
• 2025年12月：
  • Axolotl 现已支持 Kimi-Linear、Plano-Orchestrator、MiMo、InternVL 3.5、Olmo3、Trinity 以及 Ministral3。
  • 新增对 分布式缪子优化器 的支持，适用于 FSDP2 预训练。
• 2025年10月：Axolotl 新增对以下模型的支持：Qwen3 Next、Qwen2.5-vl、Qwen3-vl、Qwen3、Qwen3MoE、Granite 4、HunYuan、Magistral 2509、Apertus 以及 Seed-OSS。

展开旧版更新

• 2025年9月：Axolotl 现已支持文本扩散训练。更多信息请参见 这里。
• 2025年8月：QAT 已更新，新增 NVFP4 支持。详情请参阅 PR。
• 2025年7月：
  • Axolotl 新增 ND 并行支持。可在单节点内及跨多个节点组合使用上下文并行（CP）、张量并行（TP）和全分片数据并行（FSDP）。更多信息请参阅 博客文章。
  • Axolotl 增加了更多模型支持：GPT-OSS、Gemma 3n、Liquid Foundation Model 2 (LFM2) 以及 Arcee Foundation Models (AFM)。
  • 通过 torchao，Axolotl 现已支持使用 fp8 gather 操作进行 FP8 微调。开始使用请参阅 这里！
  • Voxtral、Magistral 1.1 以及 Devstral，均支持 mistral-common 分词器，现已集成到 Axolotl 中！
  • 新增 TiledMLP 支持，可用于从单 GPU 到多 GPU 的训练，并兼容 DDP、DeepSpeed 和 FSDP，以支持北极长序列训练（ALST）。有关如何使用 ALST 与 Axolotl 的示例，请参阅 这里。
• 2025年6月：Axolotl 新增了支持 mistral-common 分词器的 Magistral 模型。请参阅 文档，开始使用 Axolotl 训练您自己的 Magistral 模型吧！
• 2025年5月：Axolotl 新增了量化感知训练（QAT）支持。探索 文档，了解更多详情！
• 2025年4月：Axolotl 新增了 Llama 4 的支持。请参阅 文档，使用 Axolotl 的线性化版本开始训练您自己的 Llama 4 模型吧！
• 2025年3月：Axolotl 实现了序列并行（SP）支持。阅读 博客 和 文档，了解如何在微调过程中扩展您的上下文长度。
• 2025年3月：（Beta 版）Axolotl 现已支持多模态模型的微调。请参阅 文档，开始微调您自己的多模态模型吧！
• 2025年2月：Axolotl 新增了 LoRA 优化功能，可减少内存占用并提升单 GPU 和多 GPU 训练中 LoRA 及 QLoRA 的训练速度（DDP 和 DeepSpeed）。立即查看 文档，尝试一下吧！
• 2025年2月：Axolotl 新增了 GRPO 支持。深入阅读我们的 博客 和 GRPO 示例，尽情体验吧！
• 2025年1月：Axolotl 新增了奖励建模/过程奖励建模的微调支持。请参阅 文档。

✨ 概述

Axolotl 是一款免费且开源的工具，旨在简化最新大型语言模型（LLMs）的训练后优化和微调流程。

特性：

• 多模型支持：支持训练多种模型，如 GPT-OSS、LLaMA、Mistral、Mixtral、Pythia 等，以及 Hugging Face Hub 上提供的众多其他模型。
• 多模态训练：可对视觉-语言模型（VLMs）进行微调，包括 LLaMA-Vision、Qwen2-VL、Pixtral、LLaVA、SmolVLM2、GLM-4.6V、InternVL 3.5、Gemma 3n 等；同时支持音频模型如 Voxtral，具备图像、视频和音频处理能力。
• 训练方法：全量微调、LoRA、QLoRA、GPTQ、QAT、偏好微调（DPO、IPO、KTO、ORPO）、强化学习（GRPO、GDPO）以及奖励建模（RM）/过程奖励建模（PRM）。
• 简易配置：可在整个微调流程中复用单一 YAML 配置文件，涵盖数据集预处理、训练、评估、量化和推理等环节。
• 性能优化：Multipacking、Flash Attention 2/3/4、Xformers、Flex Attention、SageAttention、Liger Kernel、Cut Cross Entropy、ScatterMoE、序列并行（SP）、LoRA 优化、多 GPU 训练（FSDP1、FSDP2、DeepSpeed）、多节点训练（Torchrun、Ray），以及其他众多优化技术！
• 灵活的数据集处理：支持从本地、HuggingFace 及云端（S3、Azure、GCP、OCI）加载数据集。
• 云原生支持：我们提供 Docker 镜像 和 PyPI 包，便于在云平台和本地硬件上使用。

🚀 快速入门 - 数分钟内完成 LLM 微调

要求：

• NVIDIA GPU（Ampere 或更新架构，以支持 bf16 和 Flash Attention）或 AMD GPU
• Python 3.11
• PyTorch ≥2.9.1

Google Colab

安装

使用 pip

pip3 install -U packaging==26.0 setuptools==75.8.0 wheel ninja
pip3 install --no-build-isolation axolotl[flash-attn,deepspeed]

# 下载示例 Axolotl 配置及 DeepSpeed 配置
axolotl fetch examples
axolotl fetch deepspeed_configs  # 可选

使用 Docker

通过 Docker 安装通常比在本地环境中安装更不易出错。

docker run --gpus '"all"' --rm -it axolotlai/axolotl:main-latest

其他安装方式请参阅 此处。

云服务提供商

• RunPod
• Vast.ai
• PRIME Intellect
• Modal
• Novita
• JarvisLabs.ai
• Latitude.sh

您的首次微调

# 获取 Axolotl 示例配置
axolotl fetch examples

# 或指定自定义路径
axolotl fetch examples --dest path/to/folder

# 使用 LoRA 训练模型
axolotl train examples/llama-3/lora-1b.yml

就是这样！更多详细步骤请参阅我们的 入门指南。

📚 文档

• 安装选项 - 针对不同环境的详细设置说明
• 配置指南 - 全面的配置选项与示例
• 数据集加载 - 从各类来源加载数据集
• 数据集指南 - 支持的格式及其使用方法
• 多 GPU 训练
• 多节点训练
• Multipacking
• API 参考 - 自动生成的代码文档
• 常见问题解答 - 常见问题汇总

🤝 获取帮助

• 加入我们的 Discord 社区 寻求支持
• 浏览我们的 示例目录
• 阅读我们的 调试指南
• 如需专属支持，请联系 ✉️wing@axolotl.ai 了解相关选项

🌟 贡献

欢迎贡献！详情请参阅我们的 贡献指南。

📈 遥测

Axolotl 提供可选择关闭的遥测功能，用于了解项目使用情况并优先推进改进。我们仅收集基础系统信息、模型类型和错误率——绝不会收集个人数据或文件路径。遥测默认启用。如需禁用，请设置 AXOLOTL_DO_NOT_TRACK=1。更多详情请参阅我们的 遥测文档。

❤️ 赞助商

有意赞助者请联系 wing@axolotl.ai

📝 引用 Axolotl

如果您在研究或项目中使用 Axolotl，请按以下方式引用：

@software{axolotl,
  title = {Axolotl: 开源 LLM 训练后优化工具},
  author = {{Axolotl 维护者及贡献者}},
  url = {https://github.com/axolotl-ai-cloud/axolotl},
  license = {Apache-2.0},
  year = {2023}
}

📜 许可证

本项目采用 Apache 2.0 许可证授权，详情请参阅 LICENSE 文件。

Axolotl 快速上手指南

Axolotl 是一个免费且开源的大语言模型（LLM）微调框架，旨在简化最新模型的后期训练和微调流程。它支持多种模型架构、多模态训练以及丰富的优化策略。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 硬件要求：
  • NVIDIA GPU（推荐 Ampere 架构或更新版本，以支持 bf16 精度和 Flash Attention）。
  • 也支持 AMD GPU。
• 软件要求：
  • Python 3.11
  • PyTorch ≥ 2.9.1
• 系统依赖：
  • 建议安装 ninja 编译工具以加速构建过程。

提示：国内开发者若遇到网络问题，建议在 pip 安装时配置清华源或阿里源（例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...）。

安装步骤

您可以选择通过 pip 直接安装或使用 Docker 容器运行。

方式一：使用 Pip 安装（推荐）

首先升级基础构建工具，然后安装 Axolotl 及其依赖（包含 Flash Attention 和 DeepSpeed 支持）：

pip3 install -U packaging==26.0 setuptools==75.8.0 wheel ninja
pip3 install --no-build-isolation axolotl[flash-attn,deepspeed]

安装完成后，获取示例配置文件：

# 下载 Axolotl 示例配置
axolotl fetch examples

# 下载 DeepSpeed 配置（可选）
axolotl fetch deepspeed_configs

方式二：使用 Docker 安装

如果您希望避免环境依赖冲突，可以使用官方 Docker 镜像：

docker run --gpus '"all"' --rm -it axolotlai/axolotl:main-latest

基本使用

Axolotl 的核心优势在于通过单一的 YAML 配置文件驱动整个微调流程（数据预处理、训练、评估、量化及推理）。

1. 准备配置文件

从刚才下载的示例中选择一个适合您模型的配置文件（例如 examples/lora_llama3.yml），并根据您的需求修改以下关键字段：

• base_model: 指定预训练模型的路径或 Hugging Face ID。
• dataset: 指定训练数据集的路径。
• output_dir: 指定模型保存路径。

2. 启动训练

使用 accelerate 启动训练任务。以下是最简单的单卡训练命令示例：

accelerate launch -m axolotl.cli.train examples/lora_llama3.yml

如果您需要指定具体的 GPU 或使用多卡训练，可以结合 torchrun 或配置 deepspeed 参数（需在 YAML 中启用）。

3. 快速体验 (Google Colab)

如果您没有本地 GPU 环境，可以直接在 Google Colab 中运行官方提供的示例笔记本进行快速体验：