LabNotebook

深度学习实验的简易实验管理器

labnotebook 允许你：

• 通过一个非常简单的接口，灵活地将所有实验数据保存到 PostgreSQL（关系型数据库） 中，包括配置、模型、结果和训练曲线。
• 通过 Web 应用程序流式传输，监控运行中实验的任何指标：
• 通过 Web 应用、SQLAlchemy（Python SQL 工具库），或传统的 SQL（结构化查询语言） 文本查询永久访问所有这些数据。

你需要做的只是修改代码以包含 labnotebook.start_experiment() 和 labnotebook.stop_experiment()，并将你想保存到数据库的信息作为参数传递。作为可选操作，你可以使用 labnotebook.step_experiment() 来保存每个训练步骤的信息。

你可以在 此处 看到一个非常简单的示例笔记本。

另一个在 PyTorch 中训练 ConvNet（卷积神经网络） 时进行日志记录的示例位于 此处。

为什么选择 labnotebook？

在生命科学领域，科学家会在他们的 实验室笔记本 中记录一切。我想要一个类似的永久存储库用于我的 PyTorch 实验，使我能够：

• 异步查看正在发生的事情。TensorBoard（可视化工具）显然提供了出色的功能，尽管其界面和存储系统我并不特别喜欢。很难跟踪旧实验的所有指标并将其与新实验进行比较。

• 将所有内容永久存储在可查询的数据库中。Sacred 提供了一些此类功能，但接口复杂且不灵活。此外，我认为实验数据是关系型数据与 NoSQL（非关系型数据库） 数据的混合体，而 PostgreSQL 更适合此类实验数据的查询类型。

快速阅读我所做的技术栈选择，请查看我的 博客文章。

安装

设置 PostgreSQL 数据库：

遵循 详细的安装指南，创建你的数据库，并记下数据库的 URL。它通常的形式为 postgres://<username>:<password>@localhost/<databasename>。

注意你需要版本 9.4 及以上。

安装 labnotebook：

克隆仓库：

git clone https://github.com/henripal/labnotebook.git

进入目录并在本地安装 labnotebook：

cd labnotebook
pip install .

启动 API：

安装完包后，你可以在数据库 URL 上运行以下命令来启动 API（应用程序编程接口）：

start_backend <database_url>

启动 Web 应用：

导航到 frontend 目录并提供服务；例如使用 Python 3 的 http.server：

cd frontend
python -m http.server

然后打开服务地址和端口，如果你使用的是 Python 服务器，通常是 http://localhost:8000。

用法与文档：

一个简单的示例笔记本可在 此处 找到。

一个更真实的示例，在 PyTorch 中使用 labnotebook 对 MNIST 进行卷积神经网络训练并记录日志，可在 此处 找到。

限制与待办事项：

这是一个非常早期的 Alpha（早期测试） 版本工具，我认为有些人可能会喜欢。我尚未在旧版浏览器或框架上测试过。 目前我仅在 Ubuntu 上使用 Chromium 进行了测试，针对 PyTorch 风格的实验。 我很乐意收到关于此在其他平台运行情况下的任何反馈！

贡献！

我一个人负责这个项目，存在很多 Bug（程序错误）。欢迎任何贡献；如果你想贡献但不确定如何开始，请告诉我，我会带你一步步完成！

归属：

本项目的前端使用了 VueJS、Vuetify 和 Highcharts。

---

如果你喜欢这个并希望了解我的最新动态，在 Twitter 上关注我？

LabNotebook 快速上手指南

LabNotebook 是一个用于深度学习实验的简单实验管理器。它允许你将所有实验数据灵活地保存到 PostgreSQL 数据库中，并通过 Web 应用程序实时监控运行中的实验指标。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：官方主要测试于 Ubuntu，其他系统可能未完全验证。
• 数据库：需要安装 PostgreSQL 数据库（版本需为 9.4+）。
• 编程语言：Python 3。
• 浏览器：推荐使用 Chromium 浏览器访问前端界面。
• 网络：建议配置国内 PyPI 镜像源以加速安装。

安装步骤

1. 配置数据库

首先创建你的 PostgreSQL 数据库，并记录连接地址。通常格式如下：

postgres://<username>:<password>@localhost/<databasename>

2. 克隆与安装项目

克隆仓库并进入目录，使用国内镜像源安装本地包：

git clone https://github.com/henripal/labnotebook.git
cd labnotebook
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple .

3. 启动后端服务

使用你刚才记录的数据库 URL 启动 API 服务：

start_backend <database_url>

(请将 <database_url> 替换为你的实际数据库连接字符串)

4. 启动前端应用

进入 frontend 目录并使用 Python 内置服务器启动 Web 界面：

cd frontend
python -m http.server

默认情况下，服务将运行在 http://localhost:8000。请在浏览器中打开该地址即可访问。

基本使用

在你的深度学习训练代码中，只需引入 labnotebook 模块并调用相应的函数来记录实验信息。

核心 API

• labnotebook.start_experiment()：开始记录一个新的实验。
• labnotebook.stop_experiment()：停止当前实验。
• labnotebook.step_experiment()：(可选) 在每个训练步骤中保存信息。

代码示例

以下是一个最小化的使用示例，展示了如何集成到训练循环中：

import labnotebook

# 开始实验，传入配置信息
labnotebook.start_experiment(config={"lr": 0.001, "batch_size": 32})

try:
    # 模拟训练过程
    for epoch in range(epochs):
        # 记录每个步骤的数据
        loss = train_step()
        labnotebook.step_experiment(metrics={"loss": loss, "epoch": epoch})
        
finally:
    # 结束实验
    labnotebook.stop_experiment()

查看数据

所有记录的数据都可以通过以下方式访问：

1. Web 界面：直接在前端页面查看图表和数据。
2. SQL 查询：通过 SQLAlchemy 或直接使用 SQL 文本查询永久存储的数据。

更多详细用法请参考项目中的示例 Notebook：basic_usage.ipynb 和 mnist.ipynb。