最新动态

• 2023年5月27日 CPM-Bee 正式发布！
• 2023年4月12日 CPM-Ant 已集成至 HuggingFace Transformers！
• 2022年10月12日 双语模型 CPM-Ant+ 正式发布！除了生成中英文文本外，现在还可用于问答、摘要和翻译等任务！
• 2022年9月16日 CPM-Ant 正式发布！
• 2022年5月29日 CPM-Live 训练今日正式启动！请查看 训练动态。
• 2022年5月25日 CPM-Live 的 训练计划 已正式公布。让我们共同期待这次训练！

阶段性成果

• CPM-Bee（2022年10月13日—2023年5月27日）[代码][模型][计划]
• CPM-Ant+（2022年8月5日—2022年10月12日）[代码][模型]
• CPM-Ant（2022年5月29日—2022年8月5日）[代码][模型][官网][博客][计划]

训练计划

考虑到数据规模和计算资源的限制，CPM-Live 将从 100亿参数的模型开始训练。

训练期间我们将：

• 实时展示：模型训练指标
• 每日更新：发布模型训练日志
• 每周处理：收集并回应社区的讨论与反馈
• 不定期发布：在训练过程中发布可下载的检查点文件

训练期间您可以：

• 提出模型方案：如果您对模型架构、训练方法或数据源有更优的想法，欢迎在社区中提交您的方案。若该方案获得广泛支持且具备可行性，我们将将其纳入当前的训练计划中，使 CPM-Live 能够不断学习进步，受益于大家的智慧。

• 开发应用：您可以将基于 CPM-Live 的初步想法、原型、开发代码或已完成的应用提交至社区。我们将在官网上展示最受欢迎的应用。

• 参与论坛交流：您可以在我们的论坛中畅谈与大模型相关的任何话题，例如学术研究、工程实现、工具使用、应用设计等。无论您是经验丰富的专家还是初学者，我们都相信通过积极开放的讨论，每个人都能有所收获。

• 下载资源：当模型训练完成后，您可根据开放使用许可自由下载模型参数。CPM-Live 采用开放许可协议，允许商业用途。结合模型压缩和推理加速工具，您便可在个人电脑上体验大模型的强大能力！

社区

我们的社区基于 GitHub Discussions 构建。

请阅读 第一篇帖子，开启您对 CPM-Live 的探索之旅吧！

CPM-Live 快速上手指南

CPM-Live 是一个开源的大模型实时训练项目，旨在通过社区协作持续迭代模型。本项目已发布多个版本（如 CPM-Ant、CPM-Ant+、CPM-Bee），支持中文/英文文本生成、问答、摘要及翻译等任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。
• Python: 3.8 或更高版本。
• GPU: 推荐使用 NVIDIA GPU，并安装对应的 CUDA 驱动。
• 前置依赖:
  • PyTorch (建议 1.10+)
  • Git

提示：国内开发者建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

由于 CPM-Live 的不同阶段模型（如 CPM-Ant, CPM-Bee）位于不同的分支或独立仓库中，请根据您想使用的具体模型选择安装方式。以下以集成到 HuggingFace 的 CPM-Ant 为例，这是最便捷的上手方式。

1. 安装基础依赖

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers sentencepiece accelerate

(注：若需从源码运行特定训练代码，请克隆对应分支)

git clone https://github.com/OpenBMB/CPM-Live.git
cd CPM-Live
# 根据需求切换分支，例如 cpm-ant 或 cpm-ant-plus
git checkout cpm-ant 
pip install -r requirements.txt

2. 获取模型

如果您使用 HuggingFace Transformers 接口，无需手动下载，代码会自动拉取模型。若需手动下载或使用国内镜像，可配置 HF_ENDPOINT：

export HF_ENDPOINT=https://hf-mirror.com

基本使用

以下示例展示如何使用 CPM-Ant-10B 进行简单的中文文本生成。该模型已原生支持中文，无需额外分词配置即可流畅运行。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载分词器和模型
model_name = "openbmb/cpm-ant-10b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")

# 准备输入文本
input_text = "中国的首都是"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成文本
outputs = model.generate(
    inputs.input_ids, 
    max_new_tokens=50, 
    do_sample=True, 
    temperature=0.7, 
    top_p=0.9
)

# 解码并输出结果
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

运行结果示例：

中国的首都是北京，位于华北平原北部，背靠燕山，毗邻天津市和河北省。北京是全球首个“双奥之城”……

---

更多模型版本（如双语模型 CPM-Ant+ 或最新 CPM-Bee）的使用方法及完整训练计划，请访问 GitHub 讨论区 或查看各分支下的详细文档。