# Keras 项目模板

一个用于简化使用 Keras 构建和训练深度学习模型的项目模板。

目录

• 快速入门
• 运行示例项目
• Comet.ml 集成
• 模板详情
  • 项目架构
  • 文件夹结构
  • 主要组件
• 未来工作
• 示例项目
• 贡献
• 致谢

快速入门

该模板允许您轻松构建和训练带有检查点及 TensorBoard 可视化的深度学习模型。

要使用此模板，您需要：

1. 定义一个数据加载器类。
2. 定义一个继承自 BaseModel 的模型类。
3. 定义一个继承自 Trainer 的训练器类。
4. 创建一个包含实验所需参数的配置文件。
5. 使用以下命令运行模型：

python main.py -c [配置文件路径]

运行示例项目

提供了一个用于 MNIST 数据集的简单模型，可用于测试此模板。 运行示例项目步骤如下：

1. 启动训练：

python main.py -c configs/simple_mnist_config.json

2. 启动 TensorBoard 可视化：

tensorboard --logdir=experiments/simple_mnist/logs

Comet.ml 集成

该模板还支持向 Comet.ml 报告实验信息，使您能够查看所有超参数、指标、图表、依赖项等，包括实时指标。

在配置文件中添加您的 API 密钥 [configs/simple_mnist_config.json#L15]：

例如："comet_api_key": "your key here"

开始训练后，界面如下所示：

您还可以将 GitHub 仓库与 Comet.ml 项目关联，以实现完整的版本控制。

模板详情

项目架构

文件夹结构

├── main.py             - 这是一个负责整个流水线的主程序示例。
│
│
├── base                - 此文件夹包含项目组件的抽象类
│   ├── base_data_loader.py   - 此文件包含数据加载器的抽象类。
│   ├── base_model.py   - 此文件包含模型的抽象类。
│   └── base_train.py   - 此文件包含训练器的抽象类。
│
│
├── model               - 此文件夹包含您的项目模型。
│   └── simple_mnist_model.py
│
│
├── trainer             - 此文件夹包含您的项目训练器。
│   └── simple_mnist_trainer.py
│
|
├── data_loader         - 此文件夹包含您的项目数据加载器。
│   └── simple_mnist_data_loader.py
│
│
├── configs             - 此文件夹包含您的项目实验和模型配置。
│   └── simple_mnist_config.json
│
│
├── datasets            - 此文件夹可能包含您的项目数据集。
│
│
└── utils               - 此文件夹包含您所需的工具函数。
     ├── config.py      - 用于解析配置文件的实用函数。
     ├── dirs.py        - 用于创建目录的实用函数。
     └── utils.py       - 用于解析命令行参数的实用函数。

主要组件

模型

您需要：

1. 创建一个继承自 BaseModel 的模型类。
2. 重写 build_model 方法来定义您的模型。
3. 在构造函数中调用 build_model 方法。

训练器

您需要：

1. 创建一个继承自 BaseTrainer 的训练器类。
2. 重写 train 方法来定义训练逻辑。

注意： 若要在每个训练周期后添加功能，例如保存检查点或使用 Keras 回调记录 TensorBoard 日志：

1. 在构造函数中声明一个回调数组。
2. 定义一个 init_callbacks 方法来填充回调数组，并在构造函数中调用它。
3. 将回调数组传递给模型对象上的 fit 方法。

注意： 您可以使用 fit_generator 替代 fit，以支持生成新的数据批次，而不是一次性加载整个数据集。

数据加载器

您需要：

1. 创建一个继承自 BaseDataLoader 的数据加载器类。
2. 重写 get_train_data() 和 get_test_data() 方法，以返回您的训练和测试数据集划分。

注意： 如果您希望数据读取器每次从数据集中读取一批数据，也可以定义一个不同的逻辑，即数据加载器类具有 get_next_batch 方法。

配置

您需要定义一个包含实验和模型配置的 .json 文件，例如实验名称、批量大小和 epoch 数量。

主程序

负责构建整个流水线：

1. 解析配置文件。
2. 创建数据加载器类的实例。
3. 创建模型类的实例。
4. 创建训练器类的实例。
5. 使用训练器对象上的 ".Train()" 方法训练模型。

从配置加载

现在我们可以无需显式创建每个类的实例即可加载模型。请参阅：

1. from_config.py：此脚本可以加载任何配置文件，这些配置文件会指向正确的模块/类进行导入。
2. 查看 configs/simple_mnist_from_config.json，了解如何通过配置文件实现这一点。运行命令如下：

python from_config.py -c configs/simple_mnist_from_config.json

3. 查看 conv_mnist_from_config.json（以及额外的数据加载器/模型），以了解仅需更换配置文件即可轻松运行不同实验：

python from_config.py -c configs/conv_mnist_from_config.json

示例项目

• 使用卷积神经网络和词嵌入对有毒评论进行分类

未来工作

开发一个用于 Keras 项目脚手架的命令行工具，用户只需定义数据加载器、模型和训练器，然后运行该工具即可生成整个项目。（目前通过从配置文件中加载这些组件已基本实现）

贡献

欢迎任何形式的贡献，包括改进模板和示例项目。

致谢

本项目模板基于 MrGemy95 的 TensorFlow 项目模板。

感谢我的同事 Mahmoud Khaled、Ahmed Waleed 和 Ahmed El-Gammal，他们曾参与最初孕育出该模板的项目。

Keras-Project-Template 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 建议 Python 3.6+
• 核心依赖:
  • TensorFlow (包含 Keras)
  • Comet.ml (可选，用于实验追踪)
  • TensorBoard (用于可视化)

安装前置依赖：

pip install tensorflow comet_ml tensorboard

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow comet_ml tensorboard

安装步骤

本项目是一个项目模板，无需通过 pip 安装库文件，直接克隆仓库即可使用。

1. 克隆仓库

   git clone https://github.com/Ahmkel/Keras-Project-Template.git
   cd Keras-Project-Template
   

2. 验证目录结构 确保您看到以下核心文件夹：

   • base/: 包含数据加载器、模型和训练器的抽象基类。
   • model/, trainer/, data_loader/: 存放具体实现的文件夹。
   • configs/: 存放实验配置文件 (.json)。
   • main.py: 启动脚本。

基本使用

本模板通过定义类继承基类并配置 JSON 文件来运行实验。以下是运行内置 MNIST 演示项目的最简步骤。

1. 运行演示项目

直接使用提供的配置文件启动训练：

python main.py -c configs/simple_mnist_config.json

2. 查看训练可视化 (TensorBoard)

训练开始后，在另一个终端窗口运行以下命令查看实时日志和指标：

tensorboard --logdir=experiments/simple_mnist/logs

然后在浏览器中访问显示的地址（通常为 http://localhost:6006）。

3. 自定义开发流程

若要基于此模板开发自己的项目，需遵循以下五个步骤：

1. 定义数据加载器: 在 data_loader/ 创建新类，继承 BaseDataLoader，并重写 get_train_data() 和 get_test_data()。
2. 定义模型: 在 model/ 创建新类，继承 BaseModel，重写 build_model() 并在构造函数中调用它。
3. 定义训练器: 在 trainer/ 创建新类，继承 BaseTrainer，重写 train() 函数定义训练逻辑。
   • 注: 如需保存检查点或使用 TensorBoard 回调，请在构造函数中定义 callbacks 数组并将其传递给模型的 fit 函数。
4. 编写配置文件: 在 configs/ 新建 .json 文件，配置实验名称、批大小 (batch_size)、轮数 (epochs) 及模块路径。
5. 运行实验:

   python main.py -c [path/to/your/config.json]
   

进阶：完全通过配置驱动

模板支持 from_config.py，允许仅通过修改配置文件来切换不同的模型和数据集，而无需修改主代码逻辑：

python from_config.py -c configs/simple_mnist_from_config.json