开源大语言模型

这些大语言模型均获得商业使用许可（例如 Apache 2.0、MIT、OpenRAIL-M）。欢迎贡献！

Language Model	Release Date	Checkpoints	Paper/Blog	Params (B)	Context Length	Licence	Try it
T5	2019/10	T5 & Flan-T5, Flan-T5-xxl (HF)	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer	0.06 - 11	512	Apache 2.0	T5-Large
RWKV 4	2021/08	RWKV, ChatRWKV	The RWKV Language Model (and my LM tricks)	0.1 - 14	infinity (RNN)	Apache 2.0
GPT-NeoX-20B	2022/04	GPT-NEOX-20B	GPT-NeoX-20B: An Open-Source Autoregressive Language Model	20	2048	Apache 2.0
YaLM-100B	2022/06	yalm-100b	Yandex publishes YaLM 100B, the largest GPT-like neural network in open source	100	1024	Apache 2.0
UL2	2022/10	UL2 & Flan-UL2, Flan-UL2 (HF)	UL2 20B: An Open Source Unified Language Learner	20	512, 2048	Apache 2.0
Bloom	2022/11	Bloom	BLOOM: A 176B-Parameter Open-Access Multilingual Language Model	176	2048	OpenRAIL-M v1
ChatGLM	2023/03	chatglm-6b	ChatGLM, Github	6	2048	Custom Free with some usage restriction (might require registration)
Cerebras-GPT	2023/03	Cerebras-GPT	Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models (Paper)	0.111 - 13	2048	Apache 2.0	Cerebras-GPT-1.3B
Open Assistant (Pythia family)	2023/03	OA-Pythia-12B-SFT-8, OA-Pythia-12B-SFT-4, OA-Pythia-12B-SFT-1	Democratizing Large Language Model Alignment	12	2048	Apache 2.0	Pythia-2.8B
Pythia	2023/04	pythia 70M - 12B	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling	0.07 - 12	2048	Apache 2.0
Dolly	2023/04	dolly-v2-12b	Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM	3, 7, 12	2048	MIT
StableLM-Alpha	2023/04	StableLM-Alpha	Stability AI Launches the First of its StableLM Suite of Language Models	3 - 65	4096	CC BY-SA-4.0
FastChat-T5	2023/04	fastchat-t5-3b-v1.0	We are excited to release FastChat-T5: our compact and commercial-friendly chatbot!	3	512	Apache 2.0
DLite	2023/05	dlite-v2-1_5b	Announcing DLite V2: Lightweight, Open LLMs That Can Run Anywhere	0.124 - 1.5	1024	Apache 2.0	DLite-v2-1.5B
h2oGPT	2023/05	h2oGPT	Building the World’s Best Open-Source Large Language Model: H2O.ai’s Journey	12 - 20	256 - 2048	Apache 2.0
MPT-7B	2023/05	MPT-7B, MPT-7B-Instruct	Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs	7	84k (ALiBi)	Apache 2.0, CC BY-SA-3.0
RedPajama-INCITE	2023/05	RedPajama-INCITE	Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models	3 - 7	2048	Apache 2.0	RedPajama-INCITE-Instruct-3B-v1
OpenLLaMA	2023/05	open_llama_3b, open_llama_7b, open_llama_13b	OpenLLaMA: An Open Reproduction of LLaMA	3, 7	2048	Apache 2.0	OpenLLaMA-7B-Preview_200bt
Falcon	2023/05	Falcon-180B, Falcon-40B, Falcon-7B	The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only	180, 40, 7	2048	Apache 2.0
GPT-J-6B	2023/06	GPT-J-6B, GPT4All-J	GPT-J-6B: 6B JAX-Based Transformer	6	2048	Apache 2.0
MPT-30B	2023/06	MPT-30B, MPT-30B-instruct	MPT-30B: Raising the bar for open-source foundation models	30	8192	Apache 2.0, CC BY-SA-3.0	MPT 30B inference code using CPU
LLaMA 2	2023/06	LLaMA 2 Weights	Llama 2: Open Foundation and Fine-Tuned Chat Models	7 - 70	4096	Custom Free if you have under 700M users and you cannot use LLaMA outputs to train other LLMs besides LLaMA and its derivatives	HuggingChat
ChatGLM2	2023/06	chatglm2-6b	ChatGLM2-6B, Github	6	32k	Custom Free with some usage restriction (might require registration)
XGen-7B	2023/06	xgen-7b-4k-base, xgen-7b-8k-base	Long Sequence Modeling with XGen	7	4096, 8192	Apache 2.0
Jais-13b	2023/08	jais-13b, jais-13b-chat	Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models	13	2048	Apache 2.0
OpenHermes	2023/09	OpenHermes-7B, OpenHermes-13B	Nous Research	7, 13	4096	MIT	OpenHermes-V2 Finetuned on Mistral 7B
OpenLM	2023/09	OpenLM 1B, OpenLM 7B	Open LM: a minimal but performative language modeling (LM) repository	1, 7	2048	MIT
Mistral 7B	2023/09	Mistral-7B-v0.1, Mistral-7B-Instruct-v0.1	Mistral 7B	7	4096-16K with Sliding Windows	Apache 2.0	Mistral Transformer
ChatGLM3	2023/10	chatglm3-6b, chatglm3-6b-base, chatglm3-6b-32k, chatglm3-6b-128k	ChatGLM3	6	8192, 32k, 128k	Custom Free with some usage restriction (might require registration)
Skywork	2023/10	Skywork-13B-Base, Skywork-13B-Math	Skywork	13	4096	Custom Free with usage restriction and models trained on Skywork outputs become Skywork derivatives, subject to this license.
Jais-30b	2023/11	jais-30b-v1, jais-30b-chat-v1	Jais-30B: Expanding the Horizon in Open-Source Arabic NLP	30	2048	Apache 2.0
Zephyr	2023/11	Zephyr 7B	Website	7	8192	Apache 2.0
DeepSeek	2023/11	deepseek-llm-7b-base, deepseek-llm-7b-chat, deepseek-llm-67b-base, deepseek-llm-67b-chat	Introducing DeepSeek LLM,	7, 67	4096	Custom Free with usage restriction and models trained on DeepSeek outputs become DeepSeek derivatives, subject to this license.
Mistral 7B v0.2	2023/12	Mistral-7B-v0.2, Mistral-7B-Instruct-v0.2	La Plateforme	7	32k	Apache 2.0
Mixtral 8x7B v0.1	2023/12	Mixtral-8x7B-v0.1, Mixtral-8x7B-Instruct-v0.1	Mixtral of experts	46.7	32k	Apache 2.0
LLM360 Amber	2023/12	Amber, AmberChat, AmberSafe	Introducing LLM360: Fully Transparent Open-Source LLMs	6.7	2048	Apache 2.0
SOLAR	2023/12	Solar-10.7B	Upstage	10.7	4096	apache-2.0
phi-2	2023/12	phi-2 2.7B	Microsoft	2.7	2048	MIT
FLOR	2023/12	FLOR-760M, FLOR-1.3B, FLOR-1.3B-Instructed, FLOR-6.3B, FLOR-6.3B-Instructed	FLOR-6.3B: a chinchilla-compliant model for Catalan, Spanish and English	0.76, 1.3, 6.3	2048	Apache 2.0 with usage restriction inherited from BLOOM
RWKV 5 v2	2024/01	rwkv-5-world-0.4b-2, rwkv-5-world-1.5b-2, rwkv-5-world-3b-2, rwkv-5-world-3b-2(16k), rwkv-5-world-7b-2	RWKV 5	0.4, 1.5, 3, 7	unlimited(RNN), trained on 4096 (and 16k for 3b)	Apache 2.0
OLMo	2024/02	OLMo 1B, OLMo 7B, OLMo 7B Twin 2T	AI2	1,7	2048	Apache 2.0
Qwen1.5	2024/02	Qwen1.5-7B, Qwen1.5-7B-Chat, Qwen1.5-14B, Qwen1.5-14B-Chat, Qwen1.5-72B, Qwen1.5-72B-Chat	Introducing Qwen1.5	7, 14, 72	32k	Custom Free if you have under 100M users and you cannot use Qwen outputs to train other LLMs besides Qwen and its derivatives
LWM	2024/02	LWM-Text-Chat-128K, LWM-Text-Chat-256K, LWM-Text-Chat-512K, LWM-Text-Chat-1M, LWM-Text-128K, LWM-Text-256K, LWM-Text-512K, LWM-Text-1M	Large World Model (LWM)	7	128k, 256k, 512k, 1M	LLaMA 2 license
Jais-30b v3	2024/03	jais-30b-v3, jais-30b-chat-v3	Jais 30b v3	30	8192	Apache 2.0
Gemma	2024/02	Gemma 7B, Gemma 7B it, Gemma 2B, Gemma 2B it	Technical report	2-7	8192	Gemma Terms of Use Free with usage restriction and models trained on Gemma outputs become Gemma derivatives, subject to this license.
Grok-1	2024/03	Grok-1	Open Release of Grok-1	314	8192	Apache 2.0
Qwen1.5 MoE	2024/03	Qwen1.5-MoE-A2.7B, Qwen1.5-MoE-A2.7B-Chat	Qwen1.5-MoE: Matching 7B Model Performance with 1/3 Activated Parameters	14.3	8192	Custom Free if you have under 100M users and you cannot use Qwen outputs to train other LLMs besides Qwen and its derivatives
Jamba 0.1	2024/03	Jamba-v0.1	Introducing Jamba: AI21's Groundbreaking SSM-Transformer Model	52	256k	Apache 2.0
Qwen1.5 32B	2024/04	Qwen1.5-32B, Qwen1.5-32B-Chat	Qwen1.5-32B: Fitting the Capstone of the Qwen1.5 Language Model Series	32	32k	Custom Free if you have under 100M users and you cannot use Qwen outputs to train other LLMs besides Qwen and its derivatives
Mamba-7B	2024/04	mamba-7b-rw	Toyota Research Institute	7	unlimited(RNN), trained on 2048	Apache 2.0
Mixtral8x22B v0.1	2024/04	Mixtral-8x22B-v0.1, Mixtral-8x22B-Instruct-v0.1	Cheaper, Better, Faster, Stronger	141	64k	Apache 2.0
Llama 3	2024/04	Llama-3-8B, Llama-3-8B-Instruct, Llama-3-70B, Llama-3-70B-Instruct, Llama-Guard-2-8B	Introducing Meta Llama 3, Meta Llama 3	8, 70	8192	Meta Llama 3 Community License Agreement Free if you have under 700M users and you cannot use LLaMA 3 outputs to train other LLMs besides LLaMA 3 and its derivatives
Phi-3 Mini	2024/04	Phi-3-mini-4k-instruct, Phi-3-mini-128k-instruct	Introducing Phi-3, Technical Report	3.8	4096, 128k	MIT
OpenELM	2024/04	OpenELM-270M, OpenELM-270M-Instruct, OpenELM-450M, OpenELM-450M-Instruct, OpenELM-1_1B, OpenELM-1_1B-Instruct, OpenELM-3B, OpenELM-3B-Instruct	OpenELM: An Efficient Language Model Family with Open Training and Inference Framework	0.27, 0.45, 1.1, 3	2048	Custom open license No usage or training restrictions
Snowflake Arctic	2024/04	snowflake-arctic-base, snowflake-arctic-instruct	Snowflake Arctic: The Best LLM for Enterprise AI — Efficiently Intelligent, Truly Open	480	4096	Apache 2.0
Qwen1.5 110B	2024/04	Qwen1.5-110B, Qwen1.5-110B-Chat	Qwen1.5-110B: The First 100B+ Model of the Qwen1.5 Series	110	32k	Custom Free if you have under 100M users and you cannot use Qwen outputs to train other LLMs besides Qwen and its derivatives
RWKV 6 v2.1	2024/05	rwkv-6-world-1.6b-2.1, rwkv-6-world-3b-2.1, rwkv-6-world-7b-2.1	RWKV 6	1.6, 3, 7	unlimited(RNN), trained on 4096	Apache 2.0
DeepSeek-V2	2024/05	DeepSeek-V2, DeepSeek-V2-Chat	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model	236	128k	Custom Free with usage restriction and models trained on DeepSeek outputs become DeepSeek derivatives, subject to this license.
Fugaku-LLM	2024/05	Fugaku-LLM-13B, Fugaku-LLM-13B-instruct	Release of "Fugaku-LLM" – a large language model trained on the supercomputer "Fugaku"	13	2048	Custom Free with usage restrictions
Falcon 2	2024/05	falcon2-11B	Meet Falcon 2: TII Releases New AI Model Series, Outperforming Meta’s New Llama 3	11	8192	Custom Apache 2.0 with mild acceptable use policy
Yi-1.5	2024/05	Yi-1.5-6B, Yi-1.5-6B-Chat, Yi-1.5-9B, Yi-1.5-9B-Chat, Yi-1.5-34B, Yi-1.5-34B-Chat	Yi-1.5	6, 9, 34	4096	Apache 2.0
DeepSeek-V2-Lite	2024/05	DeepSeek-V2-Lite, DeepSeek-V2-Lite-Chat	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model	16	32k	Custom Free with usage restriction and models trained on DeepSeek outputs become DeepSeek derivatives, subject to this license.
Phi-3 small/medium	2024/05	Phi-3-mini-4k-instruct, Phi-3-mini-128k-instruct, Phi-3-medium-4k-instruct, Phi-3-medium-128k-instruct	New models added to the Phi-3 family, available on Microsoft Azure, Technical Report	7, 14	4096, 128k	MIT
Phi-4	2024/12	Phi-4	Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning, Technical Report	14	4096	MIT
YuLan-Mini	2024/12	YuLan-Mini	YuLan-Mini: An Open Data-efficient Language Model, GitHub	14	28672	MIT	YuLan-Mini
Selene Mini	2025/01	Selene Mini	Atla Selene Mini: A General Purpose Evaluation Model, GitHub	8	128K	Apache 2.0	Hugging Face Space

面向代码的开源大语言模型

语言模型	发布日期	检查点	论文/博客	参数量 (B)	上下文长度	许可证	试用
SantaCoder	2023/01	santacoder	SantaCoder: 不要好高骛远！	1.1	2048	OpenRAIL-M v1	SantaCoder
CodeGen2	2023/04	codegen2 1B-16B	CodeGen2：关于在编程和自然语言上训练大语言模型的经验教训	1 - 16	2048	Apache 2.0
StarCoder	2023/05	starcoder	StarCoder：最先进的代码专用大语言模型, StarCoder：愿源代码与你同在！	1.1-15	8192	OpenRAIL-M v1
StarChat Alpha	2023/05	starchat-alpha	使用StarCoder创建编码助手	16	8192	OpenRAIL-M v1
Replit Code	2023/05	replit-code-v1-3b	一周内训练出SOTA代码大语言模型并量化其效果——与Replit的Reza Shabani对话	2.7	无穷？(ALiBi)	CC BY-SA-4.0	Replit-Code-v1-3B
CodeT5+	2023/05	CodeT5+	CodeT5+：面向代码理解与生成的开源大型语言模型	0.22 - 16	512	BSD-3-Clause	Codet5+-6B
XGen-7B	2023/06	XGen-7B-8K-Base	使用XGen进行长序列建模：一款输入序列长度达8K的7B大语言模型	7	8192	Apache 2.0
CodeGen2.5	2023/07	CodeGen2.5-7B-multi	CodeGen2.5：虽小但强大	7	2048	Apache 2.0
DeciCoder-1B	2023/08	DeciCoder-1B	隆重推出DeciCoder：高效且准确代码生成的新标杆	1.1	2048	Apache 2.0	DeciCoder演示
Code Llama	2023/08	CodeLlama模型的推理代码	Code Llama：面向代码的开源基础模型	7 - 34	4096	自定义 如果用户数少于7亿且不能将LLaMA输出用于训练除LLaMA及其衍生模型之外的其他大语言模型，则免费	HuggingChat

面向预训练的开源大语言模型数据集

名称	发布日期	论文/博客	数据集	词元数量 (T)	许可证
RedPajama	2023/04	RedPajama项目旨在打造领先的开源模型，首先复现了超过1.2万亿词元的LLaMA训练数据集	RedPajama-Data	1.2	Apache 2.0
starcoderdata	2023/05	StarCoder：最先进的代码专用大语言模型	starcoderdata	0.25	Apache 2.0

面向指令微调的开源大语言模型数据集

名称	发布日期	论文/博客	数据集	样本数量 (K)	许可证
OIG (开放指令通用型)	2023/03	THE OIG 数据集	OIG	44,000	Apache 2.0
databricks-dolly-15k	2023/04	免费Dolly：介绍全球首个真正开放的指令微调大语言模型	databricks-dolly-15k	15	CC BY-SA-3.0
MPT-7B-Instruct	2023/05	隆重推出MPT-7B：开源、可商用大语言模型的新标准	dolly_hhrlhf	59	CC BY-SA-3.0

用于对齐微调的开源大模型数据集

名称	发布日期	论文/博客	数据集	样本数（千）	许可证
OpenAssistant 对话数据集	2023年4月	OpenAssistant 对话——推动大型语言模型对齐民主化	oasst1	161	Apache 2.0

开源大模型的评估

• lmsys.org 的排行榜
• MosaicML 的评估
• 语言模型整体评估（HELM）
• LLM-Leaderboard
• TextSynth Server 基准测试
• Hugging Face 的开源大模型排行榜

---

许可证意味着什么？

• Apache 2.0：允许用户出于任何目的使用该软件、分发它、对其进行修改，并在许可证条款下分发修改后的版本，无需支付版税。
• MIT：与 Apache 2.0 类似，但更简短、更简单。此外，与 Apache 2.0 不同，它不要求声明对原始代码的重大更改。
• CC BY-SA-4.0：允许 (i) 复制和重新分发材料，以及 (ii) 混编、转换并在此基础上创作新作品，无论是否用于商业目的。但如果进行后一种操作，你 必须以与原作品相同的许可证分发你的贡献。（因此，可能不适合内部团队使用。）
• OpenRAIL-M v1：允许免版税地访问和灵活地下游使用及共享模型及其修改版本，并附有一组使用限制（参见 附件 A）。
• BSD-3-Clause：此版本允许为任何目的无限次再分发，只要保留其版权声明和许可证中的免责声明即可。

免责声明： 本仓库提供的信息不构成也不意图构成法律建议。本仓库的维护者不对使用这些模型的第三方的行为负责。如需将模型用于商业目的，请务必咨询律师。

---

改进建议

• 补全上下文长度条目，并检查带有 ? 的条目
• 添加训练的 token 数量？（参见 注意事项）
• 添加（指向）训练代码的链接？
• 添加（指向）评估基准的链接？

Open LLMs 快速上手指南

本指南旨在帮助开发者快速了解并运行 open-llms 列表中支持的各类开源大语言模型（如 LLaMA 2, ChatGLM, Falcon, MPT 等）。由于该仓库是一个模型清单而非单一软件包，以下步骤以通用的 Python 环境搭建及通过 Hugging Face 加载模型为例。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (WSL2 推荐)。
• Python 版本: 3.8 - 3.10。
• 硬件要求:
  • GPU: 推荐 NVIDIA GPU (显存需求视模型参数量而定，7B 模型通常需 16GB+ 显存，量化后可降低)。
  • CPU: 小参数模型（如 <3B）或量化模型可在纯 CPU 环境下运行，但速度较慢。
• 前置依赖:
  • Git
  • CUDA Toolkit (如需使用 GPU 加速)

2. 安装步骤

2.1 创建虚拟环境

建议使用 conda 或 venv 隔离环境。

# 使用 conda
conda create -n open-llms python=3.9
conda activate open-llms

# 或使用 venv
python -m venv open-llms-env
source open-llms-env/bin/activate  # Windows: open-llms-env\Scripts\activate

2.2 安装核心依赖

安装 PyTorch 和 Hugging Face 生态库。国内用户推荐使用清华或中科大镜像源加速下载。

# 安装 PyTorch (以 CUDA 11.8 为例，其他版本请访问 pytorch.org 查询)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 Transformers, Accelerate, SentencePiece 等核心库 (使用清华镜像)
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 配置 Hugging Face 访问 (可选但推荐)

部分模型（如 LLaMA 2, Falcon-180B）需要登录 Hugging Face 并接受协议。

# 安装 huggingface-cli
pip install huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

# 登录账号 (输入您的 Access Token)
huggingface-cli login

提示: 如果无法连接 Hugging Face 官方源，可在代码中设置 HF_ENDPOINT 环境变量使用镜像站： export HF_ENDPOINT=https://hf-mirror.com

3. 基本使用

以下示例展示如何使用 Python 和 transformers 库加载并运行一个典型的开源模型（以 ChatGLM2-6B 或 LLaMA 2 为例）。

3.1 代码示例

创建一个名为 run_model.py 的文件：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 选择模型 ID (从 open-llms 列表中选择，例如 ChatGLM2 或 LLaMA-2-7b-hf)
# 注意：LLaMA 2 需要先获得 Meta 授权并在 HF 上接受协议
model_id = "THUDM/chatglm2-6b" 
# model_id = "meta-llama/Llama-2-7b-chat-hf" 

print(f"正在加载模型：{model_id} ...")

# 2. 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

# 3. 加载模型
# device_map="auto" 会自动分配 GPU 显存，若无 GPU 可改为 device_map="cpu"
# torch_dtype=torch.float16 可节省显存
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 4. 生成文本
input_text = "你好，请介绍一下你自己。"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.8,
    top_p=0.95
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("\n模型回复:")
print(response)

3.2 运行脚本

python run_model.py

3.3 针对不同模型的特别说明

• LLaMA 2: 确保您已填写 Meta 申请表 并在 Hugging Face 页面点击 "Agree and access repository"。代码中 model_id 需替换为具体的 HF 路径。
• RWKV: 该模型架构特殊，建议直接使用其官方仓库 BlinkDL/RWKV-LM 提供的推理脚本，而非标准 transformers 接口。
• 大模型 (如 Falcon-180B, Bloom-176B): 单机显存通常不足，需要使用多卡并行 (device_map="auto" 配合 accelerate) 或加载量化版本 (如 bitsandbytes 4-bit 量化)。

3.4 使用量化版本 (低显存方案)

如果您的显存有限，推荐加载 4-bit 量化模型：

from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto",
    trust_remote_code=True
)