LLaMA-O1：基于PyTorch和HuggingFace的开源大型推理模型框架，用于训练、推理与评估

迈向开源大型推理模型

新闻

LLaMA-O1 的首个版本现已上传至 Hugging Face！我们来了！

监督微调模型：

https://huggingface.co/SimpleBerry/LLaMA-O1-Supervised-1129

基础预训练模型：

https://huggingface.co/SimpleBerry/LLaMA-O1-Base-1127

监督微调数据集：

https://huggingface.co/datasets/SimpleBerry/OpenLongCoT-SFT

预训练数据集：

https://huggingface.co/datasets/SimpleBerry/OpenLongCoT-Pretrain-1202

RLHF 正在推进中！请查看我们的 GitHub 仓库：

https://github.com/SimpleBerry/LLaMA-O1

我们正在进行的相关研究：

https://huggingface.co/papers/2406.07394

https://huggingface.co/papers/2410.02884

https://huggingface.co/papers/2411.18203

GGUF 格式：https://huggingface.co/Lyte/LLaMA-O1-Supervised-1129-Q4_K_M-GGUF

在线演示（仅 CPU）：https://huggingface.co/spaces/SimpleBerry/LLaMA-O1-Supervised-1129-Demo

LLaMA-O1 路线图

• 长链思维标记语言（已完成）
• 预训练数据集（已完成）
• 监督微调数据集（已完成）
• PRM 令牌校正数据集（已完成）
• 自对弈强化学习（代码已完成，正在训练）
• 推理时推理增强框架（代码已完成，暂时搁置）

LLaMA-O1 快速上手指南

LLaMA-O1 是一个基于 PyTorch 和 HuggingFace 的开源大推理模型框架，旨在推动开源长思维链（Long CoT）模型的发展。本指南将帮助您快速部署和使用该模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。
• Python 版本: 3.9 或更高版本。
• 硬件要求:
  • 推理: 建议至少 16GB VRAM (对于量化版本可更低)，CPU 推理也可行但速度较慢。
  • 训练/微调: 需要多卡 GPU 环境（如 A100/H100），具体显存需求取决于模型尺寸和批次大小。
• 前置依赖:
  • PyTorch (最新稳定版)
  • Transformers (HuggingFace)
  • Accelerate
  • Git LFS (用于拉取大模型文件)

安装基础依赖命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate datasets
git lfs install

提示：国内开发者若下载 PyTorch 或 HuggingFace 资源受阻，建议使用清华源或阿里源加速，或在代码中配置 HF_ENDPOINT 环境变量指向国内镜像。

安装步骤

目前 LLaMA-O1 主要通过 HuggingFace 直接加载使用，无需复杂的源码编译安装。您可以选择直接使用预训练的基座模型或监督微调（SFT）版本。

1. 克隆项目仓库（可选，用于查看训练代码和最新进展）：

git clone https://github.com/SimpleBerry/LLaMA-O1.git
cd LLaMA-O1

2. 验证模型访问权限： 确保您已登录 HuggingFace CLI，以便顺利拉取模型权重。

huggingface-cli login

基本使用

以下示例展示如何使用 Python 和 transformers 库加载 LLaMA-O1-Supervised-1129（监督微调版）进行简单的推理测试。

1. 加载模型与分词器

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 指定模型路径 (Supervised 版本)
model_name = "SimpleBerry/LLaMA-O1-Supervised-1129"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 加载模型
# 若显存不足，可添加 device_map="auto" 或 load_in_8bit=True (需 bitsandbytes)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

2. 执行推理

LLaMA-O1 擅长长思维链推理，建议在 Prompt 中引导模型逐步思考。

prompt = "Please reason step by step to solve the following math problem: If a train travels 120 km in 2 hours, what is its average speed?"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回答
# max_new_tokens 设置较大值以允许模型输出完整的推理过程
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=1024,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

3. 使用量化版本 (GGUF) - 可选

如果您的本地资源有限，可以使用社区提供的 GGUF 量化版本（需安装 llama-cpp-python 或使用支持 GGUF 的工具）：

• 模型地址: Lyte/LLaMA-O1-Supervised-1129-Q4_K_M-GGUF
• 在线体验: HuggingFace Space Demo (仅 CPU 运行)