📱🦙 MobiLlama：迈向准确且轻量级的全透明GPT（🔥 ICLR'25 SLLM Workshop - SPOTLIGHT）

Omkar Thawakar, Ashmal Vayani, Salman Khan, Hisham Cholakkal, Rao Muhammad Anwer, Michael Felsberg, Timothy Baldwin, Eric Xing 和 Fahad Khan

穆罕默德·本·扎耶德人工智能大学（MBZUAI），阿联酋 与 瑞典林雪平大学

🤗

---

📢 最新动态

• 2025年3月5日 - Mobillama被ICLR'2025 SLLM Workshop接受为Spotlight论文
• 2024年2月26日 - Arxiv预印本发布！
• 2024年2月25日 - 代码（训练和评估脚本）发布！
• 2024年2月25日 - 最终预训练模型（包括中间检查点）及聊天版本连同在线演示链接一并发布！

概述

“越大越好”一直是近年来大型语言模型（LLMs）发展的主要趋势。 然而，对于需要设备端处理、能源效率、低内存占用和快速响应的场景而言，LLMs并不适用。这些要求对隐私保护、安全性以及可持续部署至关重要。 本文探索“少即是多”的范式，旨在解决如何在资源受限设备上设计出既准确又高效的微型语言模型（SLMs）这一挑战。 我们的主要贡献是推出一款准确且完全透明的开源0.5亿（0.5B）参数SLM，命名为MobiLlama，以满足资源受限计算的具体需求，强调在降低资源消耗的同时提升性能。 MobiLlama是一种从较大模型出发，通过精心设计的参数共享机制来降低预训练和部署成本的SLM架构。

⚡ 模型下载

模型名称	下载链接
MobiLlama-05B	HuggingFace
MobiLlama-08B	HuggingFace
MobiLlama-1B	HuggingFace
MobiLlama-05B-Chat	HuggingFace
MobiLlama-1B-Chat	HuggingFace

使用MobiLlama生成文本

模型描述

• 模型类型: 基于LLaMA-7B架构设计的语言模型
• 语言（NLP）: 英语
• 许可证: Apache 2.0
• 更多信息资源:
  • 训练代码
  • 数据准备
  • 指标
  • 完全处理过的Amber预训练数据

加载MobiLlama

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)

model.to('cuda')
text = "I was walking towards the river when "
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

加载中间检查点

model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", revision="ckpt_352", trust_remote_code=True)

所有中间检查点从ckpt_100到ckpt_358均可获取。

数据集

从HuggingFace下载预处理后的Amber数据。整个训练数据包含360个分块，总大小约为8 TB。Amber数据集共包含1.2万亿个token，来源于以下不同数据源。

子集	Tokens (Billion)
Arxiv	30.00
Book	28.86
C4	197.67
Refined-Web	665.01
StarCoder	291.92
StackExchange	21.75
Wikipedia	23.90
Total	1259.13

安装

首先根据您的操作系统说明安装PyTorch。

若要从源码安装（推荐用于训练/微调），请执行以下命令：

conda create -n mobillama python=3.10
conda activate mibillama
git clone https://github.com/mbzuai-oryx/MobiLlama.git
cd MobiLlama
pip install -r  requirements.txt

预训练

对于MobiLlama（使用20个A100 80GB GPU节点）

sbatch pretrain.sh

对于large-base版本，请在pretrain.sh的第11行使用main_largebase.py。

🔎 评估

我们使用Analysis-360来在不同的LLM基准测试上评估我们的模型。

📊 结果

模型名称	参数量	HellaSwag	Truthfulqa	MMLU	Arc_C	CrowsPairs	piqa	race	siqa	winogrande	平均
gpt-neo-125m	0.15B	30.26	45.58	25.97	22.95	61.55	62.46	27.56	40.33	51.78	40.93
tiny-starcoder	0.17B	28.17	47.68	26.79	20.99	49.68	52.55	25.45	38.28	51.22	37.86
cerebras-gpt-256m	0.26B	28.99	45.98	26.83	22.01	60.52	61.42	27.46	40.53	52.49	40.69
opt-350m	0.35B	36.73	40.83	26.02	23.55	64.12	64.74	29.85	41.55	52.64	42.22
megatron-gpt2-345m	0.38B	39.18	41.51	24.32	24.23	64.82	66.87	31.19	40.28	52.96	42.81
LiteLlama	0.46B	38.47	41.59	26.17	24.91	62.90	67.73	28.42	40.27	49.88	42.26
gpt-sw3-356m	0.47B	37.05	42.55	25.93	23.63	61.59	64.85	32.15	41.56	53.04	42.48
pythia-410m	0.51B	40.85	41.22	27.25	26.19	64.20	67.19	30.71	41.40	53.12	43.57
xglm-564m	0.56B	34.64	40.43	25.18	24.57	62.25	64.85	29.28	42.68	53.03	41.87
Lamini-GPT-LM	0.59B	31.55	40.72	25.53	24.23	63.09	63.87	29.95	40.78	47.75	40.83
MobiLlama（我们的）	0.5B	52.52	38.05	26.45	29.52	64.03	72.03	33.68	40.22	57.53	46.00
Lamini-GPT-LM	0.77B	43.83	40.25	26.24	27.55	66.12	69.31	37.12	42.47	56.59	45.49
MobiLlama（我们的）	0.8B	54.09	38.48	26.92	30.20	64.82	73.17	33.37	41.60	57.45	46.67

该表格提供了包括我们MobiLlama在内的多种模型在多个LLM基准上的对比分析。它突出了MobiLlama的优越性能，尤其是在0.5B和0.8B配置下，展示了其在处理复杂语言任务方面的高效性和有效性。这一比较凸显了MobiLlama在实现更高准确率方面的进步，并证明了它作为LLM领域领先解决方案的潜力。

---

模型	参数量	HellaSwag	Truthfulqa	MMLU	Arc_C	CrowsPairs	piqa	race	siqa	winogrande	平均
Boomer	1B	31.62	39.42	25.42	22.26	61.26	57.99	28.99	40.32	50.98	39.80
Pythia-Dedup	1B	49.63	38.92	24.29	29.09	67.11	70.23	32.44	42.63	53.98	45.36
Falcon-RW	1B	63.12	35.96	25.36	35.06	69.04	74.10	36.07	40.23	61.88	48.98
TinyLlama	1.1B	60.22	37.59	26.11	33.61	70.60	73.28	36.45	41.65	59.18	48.74
OLMo	1.2B	62.50	32.94	25.86	34.45	69.59	73.70	36.74	41.14	58.90	48.42
Cerebras-GPT	1.3B	38.51	42.70	26.66	26.10	63.67	66.75	30.33	42.42	53.59	43.41
Lamini	1.3B	38.05	36.43	28.47	26.62	64.62	67.89	33.39	43.19	50.59	43.25
OPT	1.3B	54.50	38.67	24.63	29.60	70.70	72.47	34.16	42.4	59.74	47.43
GPT-NEO	1.3B	48.49	39.61	24.82	31.31	65.67	71.05	34.06	41.81	57.06	45.98
Pythia-Deduped	1.4B	55.00	38.63	25.45	32.59	67.33	72.68	34.64	42.68	56.90	47.32
large-base	1.2B	62.99	35.90	24.79	34.55	68.49	75.57	35.31	41.96	62.03	49.06

与现有<2B参数的完全开源LLM模型在9个基准上的全面对比。我们基于1.2T tokens预训练的1.2B "large-base"模型，在性能上优于近期的OLMo 1.17B模型以及TinyLlama 1.1B模型，而后者是在规模大得多的3T tokens数据集上进行预训练的。

📱 MobiLlama 在 Android 上

要在安卓应用中运行我们的模型，请从这里下载并安装 APK。

🙏 致谢

• 我们感谢LLM-360对其语言模型的完全透明和开源实现。MobiLlama仓库正是基于LLM-360构建的。

📜 引用

@misc{thawakar2024mobillama,
      title={MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT}, 
      author={Omkar Thawakar and Ashmal Vayani and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Michael Felsberg and Timothy Baldwin and Eric P. Xing and Fahad Shahbaz Khan},
      year={2024},
      eprint={2402.16840},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
} 

MobiLlama 快速上手指南

MobiLlama 是一款面向资源受限设备（如移动端）设计的高精度、轻量级开源小语言模型（SLM）。本项目提供了从 0.5B 到 1.2B 参数的多个版本，旨在实现“少即是多”的高效推理体验。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐), macOS, Windows
• Python 版本: 3.10 或更高
• 深度学习框架: PyTorch (需根据显卡驱动安装对应版本，支持 CUDA)
• 硬件建议:
  • 推理: 任意支持 PyTorch 的 CPU 或 GPU (显存需求低，0.5B 模型仅需约 1-2GB 显存)
  • 训练/微调: 推荐 NVIDIA A100/H100 或多卡环境 (原文使用 20 节点 A100 80GB 进行预训练)

安装步骤

推荐使用 Conda 创建独立虚拟环境以避免依赖冲突。

1. 创建并激活虚拟环境

   conda create -n mobillama python=3.10
   conda activate mobillama
   

2. 克隆项目代码

   git clone https://github.com/mbzuai-oryx/MobiLlama.git
   cd MobiLlama
   

3. 安装依赖 注意：请先根据您的系统官方文档安装 PyTorch，然后再运行以下命令安装其他依赖。

   pip install -r requirements.txt
   

   (国内用户若下载依赖较慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数)

基本使用

MobiLlama 完美兼容 Hugging Face transformers 库。以下是最简单的文本生成示例。

1. 加载模型与分词器

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载 0.5B 版本模型 (也可替换为 MBZUAI/MobiLlama-08B 或 MBZUAI/MobiLlama-1B)
model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)

# 将模型移至 GPU (若无 GPU 可改为 'cpu')
model.to('cuda')

2. 执行文本生成

text = "I was walking towards the river when "
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids

# 生成文本
outputs = model.generate(
    input_ids, 
    max_length=1000, 
    repetition_penalty=1.2, 
    pad_token_id=tokenizer.eos_token_id
)

# 解码并输出结果
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

3. 加载中间检查点 (可选)

如果您需要评估训练过程中的特定阶段，可以指定 revision 参数加载中间检查点（范围从 ckpt_100 到 ckpt_358）：

model = AutoModelForCausalLM.from_pretrained(
    "MBZUAI/MobiLlama-05B", 
    revision="ckpt_352", 
    trust_remote_code=True
)

提示: 所有模型权重均可在 Hugging Face MBZUAI 主页 下载，包括基础版和对话版（Chat）。