Collective Knowledge项目（CK）

Collective Knowledge（CK） 是一个由社区驱动的项目，致力于支持开放科学、提升研究的可重复性， 并促进协作学习，以最高效、最具成本效益的方式在各种模型、数据集、软件和硬件上运行AI、ML及其他新兴工作负载： [ 白皮书 ]。

它包含以下子项目。

Collective Mind项目（MLCommons CM）

Collective Mind自动化框架（CM） 旨在支持开放科学，并促进基于FAIR原则的协作式、可重复且可重用的研究、开发 和实验。

它帮助用户以非侵入的方式将其软件项目转化为基于文件的可移植、可重用的工件库（代码、数据、模型、脚本）， 这些工件带有可扩展的元数据和可重用的自动化流程、统一的命令行界面以及简单的Python API。

此类工件可以轻松地串联成可移植且与技术无关的自动化工作流，使用户能够在多样且快速发展的模型、数据集、软件和硬件之间 重新运行、重现和重用复杂的实验设置。

例如，CM有助于模块化、自动化和定制MLPerf基准测试。

旧版CM API和CLI（2021-2024）

更多详情请参阅项目页面。

旧版及简化的CM和MLPerf自动化由Grigori Fursin、cTuning基金会和OctoML捐赠给MLCommons。它们目前由MLCommons Infra WG（MLCFlow、MLC脚本、mlcr等）支持。

新版CM API和CLI（CMX，2025+）

Collective Mind扩展或通用元数据交换（CMX） 是Collective Mind自动化框架（MLCommons CM）的下一代演进， 旨在根据用户反馈提升自动化流程的简单性、灵活性和可扩展性。它与CM向后兼容，随CM一同发布于cmind包中， 可作为CM及旧版MLPerf自动化的直接替代品，同时提供更简单、更稳健的接口。

更多详情请参阅项目页面 和CMX4MLOps自动化。

MLOps和MLPerf自动化

我们开发了一套可移植、可扩展且与技术无关的自动化配方， 配备通用的CLI和Python API（CM脚本），用于统一和自动化 在不同平台上使用任何软件和硬件构建、运行、基准测试和优化复杂ML/AI应用所需的所有手动步骤。

其中两个关键自动化是脚本和缓存： 详见CK游乐场在线目录， 以及MLCommons在线目录。

CM脚本将cmake的概念扩展为简单的Python自动化、原生脚本 和JSON/YAML元描述。它们需要Python 3.8及以上版本，依赖项极少， 并且由社区和MLCommons成员持续扩展（参见贡献者列表）， 以便在Ubuntu、MacOS、Windows、RHEL、Debian、Amazon Linux 以及其他任何操作系统上原生运行，或在自动生成的容器内运行， 同时保持向后兼容性。

有关如何使用CMX在不同系统上运行MLPerf推理基准测试，请参阅MLCommons的在线MLPerf文档。 只需安装pip install cmx4mlperf，并将以下命令和标志替换为：

• cm -> cmx
• mlc -> cmlc
• mlcr -> cmlcr
• -v -> --v

Collective Knowledge游乐场

Collective Knowledge游乐场 - 一个统一且开源的平台，旨在索引所有CM/CMX自动化，类似于PYPI， 并协助用户准备CM/CMX命令，以：

• 汇总、处理、可视化和比较AI和ML系统的MLPerf基准测试结果
• 运行MLPerf基准测试
• 组织开放且可重复的优化挑战和锦标赛。

工件评估和可重复性倡议

工件评估自动化 - 一项由社区驱动的倡议， 利用CK、CM和CMX来自动化工件评估， 并在ML和系统会议中支持可重复性工作。

历史项目

• CM-MLOps（2021）
• CM4MLOps（2022-2024）
• CK自动化框架v1和v2

许可证

Apache 2.0

版权

版权所有 © 2021-2025 MLCommons

Grigori Fursin、cTuning基金会和OctoML将该项目捐赠给MLCommons，以造福所有人。

版权所有 © 2014-2021 cTuning基金会

作者

• Grigori Fursin

维护者

• 旧版 CM、CM4MLOps、MLC 和 MLPerf 自动化工具：MLCommons 基础设施工作组
• CMX（自 2025 年起的下一代 CM）：Grigori Fursin

概念

如需深入了解本项目的动机，请参阅以下文章和演示文稿：

• HPCA'25 论文《MLPerf Power：从微瓦到兆瓦，对机器学习系统的能效进行基准测试，以实现可持续的人工智能》：[ Arxiv ]，[ 使用 CM/CMX 复现结果的教程 ]
• NeuralMagic 的 vLLM MLPerf 推理 4.1 提交，由 CM 自动化完成： [README]
• SDXL MLPerf 推理 4.1 提交，由 CM 自动化完成： [README]
• “借助 Collective Mind、虚拟化 MLOps、MLPerf、Collective Knowledge Playground 和可重复优化锦标赛，打造更高效、更具成本效益的 AI/ML 系统”：[ ArXiv ]
• ACM REP'23 主题演讲，介绍 MLCommons CM 自动化框架：[ 幻灯片 ]
• ACM TechTalk'21 关于 Collective Knowledge 项目的演讲：[ YouTube ]，[ 幻灯片 ]
• 《皇家学会期刊》2020 年论文：[ 论文 ]

致谢

本开源项目由 Grigori Fursin 创建，并由 cTuning.org、OctoAI 和 HiPEAC 资助。Grigori 将该项目捐赠给 MLCommons，旨在模块化和自动化 MLPerf 基准测试，造福社区，并推动其作为一项协作性、社区驱动的努力不断发展。

我们感谢 MLCommons、FlexAI 和 cTuning 对本项目的大力支持，同时也感谢我们敬业的 志愿者和合作者，感谢他们提供的反馈和贡献！

如果您觉得 CM、CMX 和 MLPerf 自动化工具有所帮助，请引用以下文献：[ ArXiv ]，[ BibTex ]。

欢迎您联系 作者，探讨长期规划及潜在的合作机会。

Collective Knowledge (CK/CMX) 快速上手指南

Collective Knowledge (CK) 是一个社区驱动的项目，旨在支持开放科学和可复现研究。其核心组件 Collective Mind (CM) 及新一代 CMX 框架，帮助用户将软件项目转化为可移植、可复用的自动化工作流，特别适用于模块化运行和优化 MLPerf 基准测试及各类 AI/ML 负载。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Ubuntu, Debian, RHEL, Amazon Linux, MacOS, Windows 等主流操作系统。
• Python 版本：需要安装 Python 3.8 或更高版本（推荐 Python 3.10+）。
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆仓库，可选)
  • 网络连接（用于下载自动化脚本和元数据）

提示：建议在虚拟环境（如 venv 或 conda）中安装，以避免依赖冲突。

安装步骤

CK 的核心功能通过 PyPI 上的 cmind 包提供。您可以使用以下命令进行安装。

1. 基础安装

使用官方 PyPI 源安装最新版本的 CM/CMX 框架：

pip install cmind

2. 国内加速安装（推荐中国开发者）

如果您在中国大陆，建议使用国内镜像源以加快下载速度：

pip install cmind -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 MLPerf 专用扩展

若您需要运行 MLPerf 基准测试或相关 MLOps 自动化任务，请额外安装 cmx4mlperf 包：

pip install cmx4mlperf -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，您可以在终端输入 cmx --help 验证安装是否成功。

基本使用

CMX 提供了统一的命令行接口（CLI），用于发现、运行和组合自动化脚本。

1. 查看可用自动化脚本

列出所有已索引的自动化脚本（类似于 cmake 的目标列表，但更丰富）：

cmx find script

或者访问在线目录查看完整列表：CK Playground Scripts Catalog

2. 运行一个简单的自动化任务

CMX 的核心逻辑是通过 run script 命令执行特定的自动化流程。以下是一个通用的执行模板：

cmx run script <script_name> [--tags=<tag1>,<tag2>] [--extra_args]

示例：运行一个帮助命令或查看特定脚本详情 假设我们要查找并运行与 "hello" 相关的示例脚本（如果环境中已索引）：

cmx run script --tags=hello

3. 运行 MLPerf 基准测试

如果您安装了 cmx4mlperf，可以使用简化的命令来运行基准测试。注意命令前缀的变化：

• 旧版 cm -> 新版 cmx
• 旧版 mlc -> 新版 cmlc

示例：运行 ResNet-50 图像分类推理测试（伪代码示例，具体参数需参考文档）

cmx run script --tags=app,mlperf,inference,resnet50 \
  --scenario=Offline \
  --backend=onnxruntime \
  --device=cpu

4. 缓存管理

CMX 自动管理软件、数据集和模型的缓存。您可以手动清理或查看缓存：

# 查看缓存状态
cmx find cache

# 清理特定缓存
cmx rm cache --tags=<specific_tag>

5. 下一步

• 探索更多命令：访问 Collective Knowledge Playground 获取可视化的命令生成器和实验结果对比。
• 查阅文档：详细的使用案例和 MLPerf 配置请参考 MLCommons 官方文档。