您构建最先进基础模型所需的一切，端到端完成

🔥 最新消息

• [2026年3月] 升级至Transformers v5、TRL v0.30、vLLM v0.19及veRL v0.7兼容
• [2026年3月] MCP集成第一阶段：为MCP服务器支持搭建包框架及依赖
• [2026年3月] 新增oumi deploy命令，用于在fireworks.ai和parasail上部署oumi模型专用推理端点
• [2026年3月] 增加对Qwen3.5模型系列的支持
• [2026年3月] 推理引擎获得多项改进：list_models API、错误报告优化等
• [2026年2月] Oumi平台与Lambda联合使用，微调并部署4B模型进行用户意图分类预览
• [2026年2月] Lambda与Oumi合作，实现端到端自定义模型开发
• [2025年12月] Oumi v0.6.0发布，支持Python 3.13、新增oumi analyze CLI命令、TRL 0.26+支持等
• [2025年12月] WeMakeDevs AI Agents Assemble黑客马拉松：Oumi关于文本转SQL微调的网络研讨会
• [2025年12月] Oumi与WeMakeDevs共同赞助AI Agents Assemble黑客马拉松，收到超过2000个参赛项目
• [2025年11月] Oumi v0.5.0发布，具备高级数据合成、超参数调优自动化、OpenEnv支持等功能
• [2025年11月] 使用OpenEnv进行RLVF微调示例笔记本，这是一款由Meta PyTorch团队开发的开源库，用于创建、部署和分发智能体强化学习环境
• [2025年10月] Oumi v0.4.1和v0.4.2发布，支持Qwen3-VL和Transformers v4.56、数据合成文档与示例，以及大量错误修复

🔎 关于

Oumi 是一个完全开源的平台，旨在简化基础模型的整个生命周期——从数据准备、训练，到评估和部署。无论您是在笔记本电脑上进行开发、在集群上启动大规模实验，还是将模型部署到生产环境中，Oumi 都能为您提供所需的工具和工作流。

借助 Oumi，您可以：

• 🚀 使用最先进的技术（SFT、LoRA、QLoRA、GRPO 等）训练和微调参数量从 1000 万到 4050 亿的模型
• 🤖 同时处理文本模型和多模态模型（Llama、DeepSeek、Qwen、Phi 等）
• 🔄 利用 LLM 评判员合成并筛选训练数据
• ⚡️ 使用流行的推理引擎（vLLM、SGLang）高效部署模型
• 📊 在标准基准上全面评估模型
• 🌎 可在任何地方运行——从笔记本电脑到集群再到云端（AWS、Azure、GCP、Lambda 等）
• 🔌 可与开源模型和商业 API（OpenAI、Anthropic、Vertex AI、Together、Parasail 等）集成

所有这些功能都通过一致的 API 实现，具备生产级可靠性，并为您提供研究所需的所有灵活性。

更多信息请访问 oumi.ai，或直接阅读快速入门指南。

🚀 开始使用

Notebook	在 Colab 中尝试	目标
🎯 入门：概览		核心功能快速概览：训练、评估、推理和作业管理
🔧 模型微调指南		LoRA 微调的端到端指南，包含数据准备、训练和评估
📚 模型蒸馏		将大型模型蒸馏为更小、更高效的模型的指南
📋 模型评估		使用 Oumi 的评估框架进行全面的模型评估
☁️ 远程训练		在云平台（AWS、Azure、GCP、Lambda 等）上启动并监控训练作业
📈 LLM 作为评判员		使用内置评判员过滤和筛选训练数据

🔧 使用方法

安装

选择最适合您的安装方式：

# 基本安装
uv pip install oumi

# 带 GPU 支持
uv pip install 'oumi[gpu]'

# 最新开发版本
uv pip install git+https://github.com/oumi-ai/oumi.git

# 拉取最新镜像
docker pull ghcr.io/oumi-ai/oumi:latest

# 运行 Oumi 命令
docker run --gpus all -it ghcr.io/oumi-ai/oumi:latest oumi --help

# 挂载配置文件进行训练
docker run --gpus all -v $(pwd):/workspace -it ghcr.io/oumi-ai/oumi:latest \
    oumi train --config /workspace/my_config.yaml

curl -LsSf https://oumi.ai/install.sh | bash

如需更多高级安装选项，请参阅安装指南。

Oumi CLI

您可以使用 oumi 命令快速训练、评估和推理模型，只需选用现有的配方之一：

# 训练
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

# 评估
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml

# 推理
oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml --interactive

如需更多高级选项，请参阅训练、评估、推理以及LLM 作为评判员指南。

远程运行作业

您可以通过 oumi launch 命令在云平台（AWS、Azure、GCP、Lambda 等）上远程运行作业：

# GCP
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml

# AWS
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml --resources.cloud aws

# Azure
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml --resources.cloud azure

# Lambda
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml --resources.cloud lambda

注意：Oumi 目前处于测试版阶段，仍在积极开发中。核心功能已稳定，但随着平台不断完善，部分高级功能可能会发生变化。

💻 为什么选择 Oumi？

如果您需要一个用于训练、评估或部署模型的综合性平台，Oumi 是一个绝佳的选择。

以下是使 Oumi 脱颖而出的一些关键特性：

• 🔧 零样板代码：使用适用于热门模型和工作流的即用型配方，几分钟内即可上手。无需编写训练循环或数据流水线。
• 🏢 企业级：由大规模训练模型的团队构建并验证
• 🎯 科研就绪：非常适合机器学习研究，实验易于复现，且提供灵活的接口以自定义每个组件。
• 🌐 广泛的模型支持：兼容大多数主流模型架构——从小型模型到最大规模的模型，从纯文本模型到多模态模型。
• 🚀 SOTA 性能：原生支持分布式训练技术（FSDP、DeepSpeed、DDP）和优化的推理引擎（vLLM、SGLang）。
• 🤝 社区至上：100% 开源，拥有活跃的社区。无供应商锁定，无附加条件。

📚 示例与配方

探索不断增长的、开箱即用的配置集合，适用于最先进的一系列模型和训练工作流：

注意： 这些配置并非支持内容的完整列表，而只是帮助您入门的示例。您可以在 oumi 文档中找到更全面的支持 模型 和数据集列表（包括 监督微调、预训练、偏好优化 以及 视觉-语言微调）。

通义千问家族

🐋 深势R1家族

🦙 Llama 家族

🦅 Falcon 家族

💎 Gemma 3 家族

🦉 OLMo 3 家族

🎨 Vision Models

🔍 Even more options

This section lists all the language models that can be used with Oumi. Thanks to the integration with the 🤗 Transformers library, you can easily use any of these models for training, evaluation, or inference.

Models prefixed with a checkmark (✅) have been thoroughly tested and validated by the Oumi community, with ready-to-use recipes available in the configs/recipes directory.

📖 Documentation

To learn more about all the platform's capabilities, see the Oumi documentation.

🤝 Join the Community

Oumi is a community-first effort. Whether you are a developer, a researcher, or a non-technical user, all contributions are very welcome!

• To contribute to the oumi repository, please check the CONTRIBUTING.md for guidance on how to contribute to send your first Pull Request.
• Make sure to join our Discord community to get help, share your experiences, and contribute to the project!
• If you are interested in joining one of the community's open-science efforts, check out our open collaboration page.

🙏 Acknowledgements

Oumi makes use of several libraries and tools from the open-source community. We would like to acknowledge and deeply thank the contributors of these projects! ✨ 🌟 💫

📝 Citation

If you find Oumi useful in your research, please consider citing it:

@software{oumi2025,
  author = {Oumi Community},
  title = {Oumi: an Open, End-to-end Platform for Building Large Foundation Models},
  month = {January},
  year = {2025},
  url = {https://github.com/oumi-ai/oumi}
}

📜 License

This project is licensed under the Apache License 2.0. See the LICENSE file for details.

[^1]: Open models are defined as models with fully open weights, training code, and data, and a permissive license. See Open Source Definitions for more information.

Oumi 快速上手指南

Oumi 是一个完全开源的平台，旨在简化基础模型的全生命周期管理——从数据准备、训练、评估到部署。它支持从笔记本电脑到大规模集群的多种环境，并提供统一的 API 来训练和微调从 10M 到 405B 参数的模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)。
• Python 版本: 推荐 Python 3.10 - 3.13。
• 硬件要求:
  • 基础使用: 任意现代 CPU 即可运行推理和小型实验。
  • GPU 训练/推理: 需要 NVIDIA GPU 并安装对应的 CUDA 驱动。
• 前置依赖:
  • 推荐使用 uv 进行包管理（速度更快），若未安装也可使用标准的 pip。
  • 若需远程启动云任务，需配置对应云平台（AWS, GCP, Azure, Lambda 等）的凭证。

国内开发者提示：由于 PyPI 源在国外可能访问较慢，建议在使用 pip 或 uv 时配置国内镜像源（如清华源、阿里源）。

• uv 配置示例：export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
• pip 配置示例：pip install ... -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

您可以选择以下任一方式进行安装：

方式一：使用 uv 安装（推荐）

这是最快且最可靠的安装方式。

# 基础安装
uv pip install oumi

# 如果需要 GPU 支持（包含 torch, vLLM 等深度学习依赖）
uv pip install 'oumi[gpu]'

# 或者安装最新开发版本
uv pip install git+https://github.com/oumi-ai/oumi.git

如果没有安装 uv，可以先安装它，或者将上述命令中的 uv pip 替换为 pip。

方式二：使用 Docker

如果您希望避免配置本地 Python 环境，可以直接使用官方 Docker 镜像：

# 拉取最新镜像
docker pull ghcr.io/oumi-ai/oumi:latest

# 运行测试命令
docker run --gpus all -it ghcr.io/oumi-ai/oumi:latest oumi --help

# 挂载本地配置文件并运行训练
docker run --gpus all -v $(pwd):/workspace -it ghcr.io/oumi-ai/oumi:latest \
    oumi train --config /workspace/my_config.yaml

方式三：一键安装脚本（实验性）

在不设置复杂 Python 环境的情况下快速尝试：

curl -LsSf https://oumi.ai/install.sh | bash

基本使用

安装完成后，您可以直接使用 oumi 命令行工具调用预置的配方（Recipes）进行训练、评估和推理。以下以 smollm 模型为例：

1. 模型训练 (Training)

使用预置配置文件启动监督微调 (SFT)：

oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml

2. 模型评估 (Evaluation)

在标准基准测试上评估模型性能：

oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml

3. 模型推理 (Inference)

启动交互式对话界面进行测试：

oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml --interactive

4. 远程云端任务 (可选)

如果您需要在云端集群（如 AWS, GCP, Lambda）上运行任务，可以使用 oumi launch 命令：

# 在 GCP 上启动任务
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml

# 指定在 AWS 上启动
oumi launch up -c configs/recipes/smollm/sft/135m/quickstart_gcp_job.yaml --resources.cloud aws

下一步建议： 对于更详细的功能演示（如 LoRA 微调、模型蒸馏、数据合成等），建议访问 Oumi 官方文档或直接在 Google Colab 中运行其提供的 入门教程 Notebook。