Smol Models 🤏

欢迎来到 Smol Models，这是 Hugging Face 推出的一系列高效、轻量级的 AI 模型。我们的使命是打造完全开源、功能强大且体积小巧的文本和视觉模型，使其能够在设备端高效运行，同时保持卓越的性能。

[新] SmolLM3（语言模型）

我们的 3B 参数模型在性能上超越了 Llama 3.2 3B 和 Qwen2.5 3B，同时与更大的 4B 模型（Qwen3 和 Gemma3）相比也毫不逊色。除了性能数据之外，我们还详细分享了如何使用公开数据集和训练框架构建该模型的过程。

资源：

• SmolLM3-Base
• SmolLM3
• 博客

摘要：

• 3B 参数模型：基于 11T 个 token 训练，在 3B 规模中处于 SOTA 水平，并可与 4B 模型相媲美。
• 完全开源模型：开放权重及完整的训练细节，包括公开的数据组合和训练配置。
• 指令模型：具备双模式推理，支持思考/不思考两种模式。
• 多语言支持：涵盖 6 种语言：英语、法语、西班牙语、德语、意大利语和葡萄牙语。
• 长上下文：最长可达 128k，采用 NoPE 并结合 YaRN 技术。

👁️ SmolVLM（视觉语言模型）

SmolVLM 是我们的紧凑型多模态模型，能够：

• 同时处理图像和文本，执行视觉问答、图像描述和视觉叙事等任务。
• 在单次对话中处理多张图片。
• 在设备端高效运行。

仓库结构

smollm/
├── text/               # SmolLM3/2/1 相关代码和资源
├── vision/            # SmolVLM 相关代码和资源
└── tools/             # 共享工具和推理工具
    ├── smol_tools/    # 轻量级 AI 驱动工具
    ├── smollm_local_inference/
    └── smolvlm_local_inference/

快速入门

SmolLM3

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 使用 GPU 或 "cpu" 使用 CPU

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 准备模型输入
prompt = "用简单的语言给我解释一下引力。"
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成输出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 获取并解码输出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

SmolVLM

from transformers import AutoProcessor, AutoModelForVision2Seq

processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")
model = AutoModelForVision2Seq.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "这张图里有什么？"}
        ]
    }
]

生态系统

资源

文档

• SmolLM3 文档
• SmolLM2 论文
• SmolVLM 文档
• 本地推理指南

预训练模型

• SmolLM3 模型合集
• SmolLM2 模型合集
• SmolVLM 模型

数据集

• SmolLM3 预训练数据集
• SmolTalk - 我们的指令微调数据集
• FineMath - 数学预训练数据集
• FineWeb-Edu - 教育内容预训练数据集

SmolLM 快速上手指南

SmolLM 是 Hugging Face 推出的一系列高效、轻量级开源 AI 模型家族，包含专注于文本的 SmolLM3 和具备视觉理解能力的 SmolVLM。这些模型专为端侧部署设计，在保持紧凑体积的同时提供强大的性能。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows
• Python: 3.9 或更高版本
• 硬件:
  • CPU: 通用推理（推荐至少 8GB 内存）
  • GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 6GB+ 以流畅运行 3B 模型）

前置依赖

确保已安装 pip 和 git。建议创建独立的虚拟环境：

python -m venv smollm-env
source smollm-env/bin/activate  # Windows 用户请使用: smollm-env\Scripts\activate

安装步骤

安装核心依赖库 transformers 和 torch。国内开发者推荐使用清华或阿里镜像源加速下载。

# 使用清华镜像源安装 PyTorch (CUDA 12.1 版本示例，如需 CPU 版请移除 torch torchvision torchaudio 后的索引参数)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 安装 transformers 及相关依赖
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. SmolLM3 (文本模型)

SmolLM3 是一个 3B 参数的语言模型，支持多语言（含部分欧洲语言）及长上下文（最高 128k）。以下示例展示如何加载模型并生成回答。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 如有 GPU 设为 "cuda"，否则设为 "cpu"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 准备输入提示
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

# 应用聊天模板
text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成输出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 解码并打印结果
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

2. SmolVLM (视觉语言模型)

SmolVLM 能够处理图像和文本混合输入，适用于视觉问答、图像描述等任务。

from transformers import AutoProcessor, AutoModelForVision2Seq
from PIL import Image
import requests

# 加载处理器和模型
processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")
model = AutoModelForVision2Seq.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")

# 加载示例图片
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png"
image = Image.open(requests.get(url, stream=True).raw)

# 构建消息内容
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What's in this image?"}
        ]
    }
]

# 处理输入并生成 (需配合 processor 处理图像数据)
inputs = processor(text=[messages[0]["content"][1]["text"]], images=[image], return_tensors="pt")
inputs = inputs.to(model.device)

generated_ids = model.generate(**inputs, max_new_tokens=100)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_text)

提示: 首次运行时，模型权重会自动从 Hugging Face Hub 下载。若网络受限，可手动下载模型文件至本地目录，并将代码中的 model_name 替换为本地路径。