代码世界模型

代码世界模型（CWM）是一个拥有320亿参数的开放权重大型语言模型，旨在推动基于世界模型的代码生成研究。

CWM 的发布内容包括模型权重（预训练、监督微调和指令微调版本）、技术报告、模型卡片，以及用于运行模型推理和在关键基准测试上复现报告结果的起始代码，这些基准测试包括 SWE-bench Verified、LiveCodeBench、AIME 和 MATH。

请参阅随附的 代码世界模型技术报告。

摘要

我们推出了代码世界模型（CWM）。CWM 是一个用于代码生成和代码推理的大型语言模型，尤其经过训练，能够更好地表示和推理代码及命令如何影响程序或系统的状态。具体而言，我们在大量来自 Python 执行轨迹和容器化环境中智能体交互的观测-动作轨迹上对 CWM 进行了中间训练，并在其后通过广泛的多任务强化学习，在可验证的编码、数学以及多轮软件工程环境中进行了进一步训练。

模型下载

Hugging Face 权重

模型权重已在 Hugging Face 上提供，可供与 vLLM 一起使用。

模型	描述	下载链接
cwm	指令微调模型	🤗 Hugging Face
cwm-sft	SFT 模型	🤗 Hugging Face
cwm-pretrain	预训练模型	🤗 Hugging Face

从 Hugging Face 下载权重的步骤如下：

• 访问其中一个仓库，例如 facebook/cwm
• 阅读并接受许可协议。一旦您的请求被批准，您将获得访问所有 CWM 模型权重的权限。请注意，过去处理请求可能需要长达一小时的时间。

PyTorch 权重

我们还以 PyTorch 分布式检查点格式（DCP）分发 PyTorch 检查点，供希望深入研究或使用本仓库中发布的代码的开发者使用。一旦您的请求被批准，您将通过电子邮件收到一个签名的 URL，可用于执行 ./download_pytorch.sh <URL> 命令。这些链接可能会在24小时后或达到固定下载次数后失效。如果开始出现类似 403: Forbidden 的错误，请重新提交请求。

有关模型详情、更多用途信息、风险与限制，以及权重发布的许可协议，请参阅下方的模型卡片。

模型卡片

请参阅 模型卡片。

在 CWM 仓库中开始使用

环境设置

micromamba env create -f environment.yaml -n CWM

注意：请使用最新版本的 micromamba（>= 2.2.0），以确保环境变量正确设置。

运行本仓库中的评估和演示，默认配置下需要 160GB 的显存总和（例如两块 Nvidia H100 显卡）以及 RDMA（Mellanox 5 InfiniBand 或 AWS EFA）。

模型使用提示

[!IMPORTANT] CWM 在推理过程中需要专用的系统提示才能发挥最佳性能。如果没有正确的提示配置，CWM 的输出质量可能会显著下降。详情请参阅 MODEL_CARD.md。

使用 CWM 进行推理

为了提供一个参考的推理实现，我们提供了一个简单的服务端点，用于从 PyTorch DCP 权重和 Fastgen（Carbonneaux 等人）服务器本地运行 CWM 模型的推理。请查看 serve README 以开始使用。

复现评估结果

我们提供了运行推理并复现 CWM 智能体和推理评估结果的主要逻辑。请参阅 evals README 获取说明。

演示

我们提供了演示来展示模型的能力。借助我们的演示，您可以将 CWM 用作神经调试器。请参阅 demos README 开始使用。

使用 Hugging Face 权重的示例

有关使用 Hugging Face 权重的 CWM 示例和起始代码，请参阅 模型卡片。

许可协议

• 本仓库中的代码采用 BSD-3 许可协议发布，详见 LICENSE 文件。
• 模型权重则采用自定义许可协议发布，详情请参阅 CWM 许可页面。

引用

@misc{cwm2025,
  author       = {FAIR CodeGen 团队, Meta},
  title        = {CWM：用于世界模型驱动的代码生成研究的开放权重大型语言模型},
  year         = {2025},
  url          = {https://ai.meta.com/research/publications/cwm/}
}

CWM (Code World Model) 快速上手指南

CWM 是一个拥有 320 亿参数的开源大语言模型，专为代码生成及基于“世界模型”的代码推理而设计。它经过 Python 执行轨迹和容器化环境交互的中间训练，并在可验证的编码、数学及多轮软件工程环境中进行了强化学习后训练。

环境准备

系统要求

• GPU 显存：运行评估和演示默认配置需要总计 160GB 的 GPU 显存（例如：2 张 Nvidia H100）。
• 网络互联：推荐使用 RDMA 网络（Mellanox 5 InfiniBand 或 AWS EFA）以支持分布式运行。
• 包管理器：需安装 micromamba (版本 >= 2.2.0)，以确保环境变量正确设置。

前置依赖

• 已配置好的 Python 开发环境。
• Hugging Face 账号（用于下载模型权重，需接受许可协议）。

安装步骤

1. 创建运行环境

使用 micromamba 创建名为 CWM 的隔离环境：

micromamba env create -f environment.yaml -n CWM

激活环境：

micromamba activate CWM

2. 获取模型权重

CWM 提供 Hugging Face 格式（适用于 vLLM）和 PyTorch DCP 格式。

方式 A：通过 Hugging Face 下载（推荐）

1. 访问 facebook/cwm 页面。
2. 阅读并接受 License 协议。审批通过后（通常需 1 小时），您将有权下载所有 CWM 模型权重。
3. 使用 git lfs 或 Hugging Face CLI 下载：

   git lfs install
   git clone https://huggingface.co/facebook/cwm
   

   注：国内用户若访问受限，可使用镜像站（如 hf-mirror.com）设置环境变量加速：

   export HF_ENDPOINT=https://hf-mirror.com
   

方式 B：通过 PyTorch DCP 下载

1. 在 Meta CWM 下载页 提交申请。
2. 审批通过后，查收邮件获取签名 URL。
3. 使用提供的脚本下载：

   ./download_pytorch.sh <YOUR_SIGNED_URL>
   

基本使用

重要提示：系统提示词 (System Prompt)

注意：CWM 需要一个专用的系统提示词才能在推理时发挥最佳性能。如果未正确配置，输出质量可能会显著下降。请务必参考 MODEL_CARD.md 获取具体的 System Prompt 内容。

场景一：使用 Hugging Face 权重进行推理

若您已下载 HF 格式的权重，可结合 vLLM 或官方提供的示例代码加载模型。具体启动代码和参数配置请参阅 MODEL_CARD.md 中的 "Examples with Hugging Face weights" 部分。

场景二：本地部署服务 (PyTorch DCP 权重)

官方提供了一个基于 Fastgen 服务器的简单推理端点，用于加载 PyTorch DCP 权重。

1. 进入 serve 目录查看文档：

   cat serve/README.md
   

2. 按照文档指引启动本地服务，即可通过 API 调用 CWM 进行代码生成或调试任务。

场景三：运行评估与演示

• 复现评测结果：参考 evals/README.md 运行 SWE-bench Verified, LiveCodeBench 等基准测试。
• 体验神经调试功能：参考 demos/README.md 运行演示程序，体验 CWM 作为“神经调试器”的能力。