---

ClearML

ClearML 是一套用于机器学习（ML）/深度学习（DL）开发与生产的完整工具套件。它包含五大核心模块：

• 实验管理器（Experiment Manager） - 自动化实验跟踪、环境与结果记录
• MLOps / LLMOps - 面向 ML/DL/生成式 AI（GenAI）任务的编排、自动化与流水线解决方案（支持 Kubernetes / 云平台 / 物理机）
• 数据管理（Data-Management） - 基于对象存储（S3 / GS / Azure / NAS）的完全可微分数据管理与版本控制方案
• 模型服务（Model-Serving） - 云端就绪 的可扩展模型服务解决方案！
  • 5 分钟内部署新模型端点
  • 内置基于 Nvidia-Triton 的优化 GPU 推理支持
  • 开箱即用的模型监控（Model Monitoring）功能
• 报告（Reports） - 创建并共享富文本 Markdown 文档，支持嵌入在线内容
• :fire: 编排仪表盘（Orchestration Dashboard） - 面向整个计算集群（云平台 / Kubernetes / 本地部署）的实时可视化仪表盘
• 🔥 💥 GPU 分片（Fractional GPUs） - 基于容器、驱动级别的 GPU 显存限制技术 🙀 !!!

这些组件由 ClearML-server 统一支撑，详见 自托管部署指南 与 免费托管服务

---

---

实验管理	数据集
编排	流水线

ClearML 实验管理器（Experiment Manager）

只需在你的代码中添加两行，即可获得以下功能：

• 完整的实验设置日志
  • 完整的源代码控制信息，包括未提交的本地更改
  • 执行环境（包括具体的包及其版本）
  • 超参数（Hyper-parameters）
    • 使用 argparse / Click / PythonFire 解析命令行参数，并记录当前使用的值
    • 显式参数字典（Explicit parameters dictionary）
    • TensorFlow Defines（absl-py）
    • Hydra 配置及其覆盖项（overrides）
  • 初始模型权重文件
• 自动捕获完整的实验输出
  • stdout 和 stderr
  • 资源监控（CPU/GPU 利用率、温度、IO、网络等）
  • 模型快照（可选自动上传至中央存储：共享文件夹、S3、GS、Azure、Http）
  • 工件（Artifacts）日志与存储（共享文件夹、S3、GS、Azure、Http）
  • TensorBoard / TensorBoardX 的标量、指标、直方图、图像、音频和视频样本
  • Matplotlib 与 Seaborn
  • ClearML Logger 接口，提供完全的灵活性
• 广泛的平台支持与集成
  • 支持的机器学习/深度学习框架：PyTorch（包括 ignite / lightning）、TensorFlow、Keras、AutoKeras、FastAI、XGBoost、LightGBM、MegEngine 和 Scikit-Learn
  • 与 Jupyter Notebook 无缝集成（包括版本控制）
  • 与 PyCharm 远程调试 无缝集成

开始使用 ClearML

1. 免费注册 ClearML 托管服务（Hosted Service）（或者，你也可以自行部署服务器，参见此处）。

   ClearML 演示服务器（Demo Server）： ClearML 默认不再使用演示服务器。若要启用演示服务器，请设置环境变量 CLEARML_NO_DEFAULT_SERVER=0。 使用演示服务器无需凭证，但提交到该服务器的实验是公开的，请确保不要在使用演示服务器时运行敏感实验。

2. 安装 clearml Python 包：

   pip install clearml
   

3. 通过创建凭证将 ClearML SDK 连接到服务器，然后执行以下命令并按照提示操作：

   clearml-init
   

4. 在你的代码中添加两行：

   from clearml import Task
   task = Task.init(project_name='examples', task_name='hello world')
   

搞定！你现在进程输出的所有内容都会被自动记录到 ClearML 中。

下一步，自动化！点击此处了解 ClearML 的“两步自动化”功能。

ClearML 架构

ClearML 的运行时组件包括：

• ClearML Python 包：只需添加两行代码即可将 ClearML 集成到现有脚本中，并可选择使用 ClearML 强大且灵活的类和方法扩展你的实验及其他工作流。
• ClearML 服务器（Server）：用于存储实验、模型和工作流数据；支持 Web UI 实验管理器以及 MLOps 自动化，以实现可复现性和调优。该服务器既可作为托管服务使用，也可作为开源软件自行部署。
• ClearML Agent：用于 MLOps 编排、实验与工作流的可复现性及可扩展性。

附加模块

• clearml-session - 在任意 Docker 容器中启动远程 JupyterLab / VSCode-server，支持云服务器或本地服务器
• clearml-task - 在远程机器上运行任意代码库，并完整远程记录 TensorBoard、Matplotlib 和控制台输出
• clearml-data - 用于管理和版本控制数据集的 CLI 工具，支持从 S3/GS/Azure/NAS 创建 / 上传 / 下载数据
• AWS 自动扩缩器（Auto-Scaler） - 根据你的工作负载自动启动 EC2 实例，并预设预算！无需使用 AKE！
• 超参数优化（Hyper-Parameter Optimization） - 使用黑盒方法和先进的贝叶斯优化算法优化任意代码
• 自动化流水线（Automation Pipeline） - 基于现有实验 / 任务构建流水线，支持嵌套流水线（pipeline of pipelines）！
• Slack 集成 - 将实验进度 / 失败情况直接报告到 Slack（完全可自定义）！

为什么选择 ClearML？

ClearML 是我们为解决机器学习（Machine Learning）/深度学习（Deep Learning）领域中无数研究人员和开发者共同面临的问题而打造的解决方案：训练生产级（production-grade）深度学习模型的过程虽然令人振奋，但却十分混乱。
ClearML 通过将代码版本控制（code version control）、研究项目（research projects）、性能指标（performance metrics）和模型溯源（model provenance）关联起来，对这一过程进行追踪与管控。

我们专门设计了 ClearML，使其能够轻松集成，让团队在使用过程中无需改变现有的方法和实践。

• 日常使用它来提升团队协作效率和实验可见性
• 只需点击一个按钮，即可从任意实验创建远程任务（remote job）
• 自动化流程并构建流水线（pipelines），以收集你的实验日志、输出结果和数据
• 通过最简洁直观的接口，将所有数据存储在任意对象存储（object-storage）解决方案中
• 在 ClearML 平台上对所有数据进行编目，实现数据透明化

我们相信 ClearML 具有开创性意义，并希望借此建立实验管理（experiment management）、MLOps 和数据管理之间真正无缝集成的新标准。

我们是谁

ClearML 由你和 clear.ml 团队共同支持，该团队致力于帮助企业构建可扩展的 MLOps 解决方案。

我们开发 ClearML 的初衷，就是为了追踪并管控训练生产级深度学习模型这一既精彩又混乱的过程。
我们承诺将持续积极地支持并不断拓展 ClearML 的功能。

我们保证始终向后兼容（backwardly compatible），确保你的所有日志、数据和流水线都能随你一同平滑升级。

许可证

Apache License, Version 2.0（更多信息请参见 LICENSE）

如果你在开发流程 / 项目 / 发表成果中使用了 ClearML，请引用我们 :heart:：

@misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/clearml/clearml},
url={https://clear.ml/},
author = {ClearML},
}

文档、社区与支持

更多详细信息，请参阅 官方文档 和 YouTube 频道。

如需示例和使用场景，请查看 examples 文件夹 及其对应的 文档说明。

如有任何疑问，欢迎在我们的 Slack 频道 提问，或在 Stack Overflow 上使用 'clearml' 标签提问（此前使用的是 trains 标签）。

对于功能请求或 Bug 报告，请使用 GitHub Issues。

此外，你也可以随时通过邮箱 info@clear.ml 联系我们。

贡献

我们始终欢迎 Pull Request（PR） :heart: 更多详情请参阅 ClearML 的 贡献指南（Guidelines for Contributing）。

愿原力（以及学习率女神）与你同在！

ClearML 快速上手指南

环境准备

• 操作系统：Linux / macOS / Windows 均支持
• Python 版本：3.7 及以上
• 网络要求：需能访问 app.clear.ml（如部署私有服务器则无需）
• 可选加速：国内用户建议配置 PyPI 镜像源（如清华源）以加速安装：

  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple clearml
  

安装步骤

1. 安装 clearml Python 包：

   pip install clearml
   

2. 注册并获取凭证：

   • 访问 ClearML 托管服务 免费注册账号
   • 登录后进入 Settings > Workspace Settings > Create Credentials
   • 复制生成的 api_access_key 和 api_secret_key

3. 初始化本地配置：

   clearml-init
   

   按提示输入服务器地址（默认为 https://app.clear.ml）及上述密钥，完成连接配置。

💡 若仅用于测试，可跳过注册，通过设置环境变量启用公开 Demo 服务器（注意：实验数据将公开）：

export CLEARML_NO_DEFAULT_SERVER=0
clearml-init

基本使用

在任意 Python 脚本开头添加以下两行代码即可自动追踪实验：

from clearml import Task
task = Task.init(project_name='examples', task_name='hello world')

完整示例：

from clearml import Task
import time

# 初始化任务（自动记录代码、参数、环境等）
task = Task.init(project_name='quick_start', task_name='basic_example')

# 模拟训练过程
for epoch in range(5):
    loss = 1.0 / (epoch + 1)
    print(f"Epoch {epoch}, Loss: {loss:.4f}")
    # 自动捕获 stdout、指标、资源使用情况等
    time.sleep(0.5)

print("Training completed!")

运行该脚本后，所有日志、指标、代码版本、依赖环境等信息将自动同步至 ClearML Web 控制台，无需额外配置。