Hyperas

Hyperas 将 Keras 的快速实验与 Hyperopt 的超参数优化结合在一起。 它使你无需学习 Hyperopt 的语法，就能充分利用 Hyperopt 的强大功能。 相反，你可以像往常一样定义你的 Keras 模型，只需使用简单的模板语法来指定要调优的超参数范围。

安装

pip install hyperas

快速入门

假设你已经生成了如下数据：

def data():
    x_train = np.zeros(100)
    x_test = np.zeros(100)
    y_train = np.zeros(100)
    y_test = np.zeros(100)
    return x_train, y_train, x_test, y_test

并且有一个现有的 Keras 模型，如下所示：

def create_model(x_train, y_train, x_test, y_test):
    model = Sequential()
    model.add(Dense(512, input_shape=(784,)))
    model.add(Activation('relu'))
    model.add(Dropout(0.2))
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.2))
    model.add(Dense(10))
    model.add(Activation('softmax'))

    # ... 模型训练

    return model

为了对这个模型进行超参数优化， 只需将你想优化的参数用双大括号括起来， 并选择一个用于运行算法的分布。

在上面的例子中，假设我们想优化两个 Dropout 层的最佳 Dropout 概率。 如果我们选择在区间 [0,1] 上的均匀分布， 那么对应的定义如下。请注意，在返回模型之前，为了进行优化， 我们还需要定义对我们来说重要的模型评估指标。 例如，在下面的例子中，我们以准确率作为优化目标。

注意：在下面的代码中，我们使用 'loss': -accuracy，即准确率的负值。这是因为 Hyperopt 在底层总是会最小化你提供的任何指标。如果你希望真正最小化某个指标，比如均方误差或其他损失函数，则应保持正号（例如 'loss': mse）。

from hyperas.distributions import uniform

def create_model(x_train, y_train, x_test, y_test):
    model = Sequential()
    model.add(Dense(512, input_shape=(784,)))
    model.add(Activation('relu'))
    model.add(Dropout({{uniform(0, 1)}}))
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout({{uniform(0, 1)}}))
    model.add(Dense(10))
    model.add(Activation('softmax'))

    # ... 模型训练

    score = model.evaluate(x_test, y_test, verbose=0)
    accuracy = score[1]
    return {'loss': -accuracy, 'status': STATUS_OK, 'model': model}

最后一步是实际运行优化，具体操作如下：

best_run = optim.minimize(model=create_model,
                          data=data,
                          algo=tpe.suggest,
                          max_evals=10,
                          trials=Trials())

在这个例子中，我们最多进行 10 次评估，并使用 Hyperopt 中的 TPE 算法来进行优化。

更多详细信息，请参阅下方的“完整示例”。

完整示例

注意: 重要的是将你的数据和模型封装到函数中，如下面所示，然后将它们作为参数传递给优化器。data() 返回 create_model() 所需的数据。上述示例的扩展版本在一个脚本中如下所示。这个示例展示了 hyperas 的许多潜在用法，包括：

• 在均匀分布中采样以调整 dropout 概率
• 不同的层输出大小
• 不同的优化算法
• 不同的激活函数选择
• 根据选择有条件地添加层
• 替换整组层

from __future__ import print_function
import numpy as np

from hyperopt import Trials, STATUS_OK, tpe
from keras.datasets import mnist
from keras.layers.core import Dense, Dropout, Activation
from keras.models import Sequential
from keras.utils import np_utils

from hyperas import optim
from hyperas.distributions import choice, uniform


def data():
    """
    数据提供函数：

    将此函数与 create_model() 分离，以便 hyperopt 不会在每次评估时重新加载数据。
    """
    (x_train, y_train), (x_test, y_test) = mnist.load_data()
    x_train = x_train.reshape(60000, 784)
    x_test = x_test.reshape(10000, 784)
    x_train = x_train.astype('float32')
    x_test = x_test.astype('float32')
    x_train /= 255
    x_test /= 255
    nb_classes = 10
    y_train = np_utils.to_categorical(y_train, nb_classes)
    y_test = np_utils.to_categorical(y_test, nb_classes)
    return x_train, y_train, x_test, y_test


def create_model(x_train, y_train, x_test, y_test):
    """
    模型提供函数：

    创建 Keras 模型，其中双大括号根据需要被替换。返回值必须是一个有效的 Python 字典，包含两个常用键：
        - loss: 指定要最小化的数值评估指标
        - status: 如果可行，只需使用 STATUS_OK；否则请参阅 hyperopt 文档
    最后一个键是可选的，但建议包含：
        - model: 指定刚刚创建的模型，以便我们稍后可以再次使用它。
    """
    model = Sequential()
    model.add(Dense(512, input_shape=(784,)))
    model.add(Activation('relu'))
    model.add(Dropout({{uniform(0, 1)}}))
    model.add(Dense({{choice([256, 512, 1024])}}))
    model.add(Activation({{choice(['relu', 'sigmoid'])}}))
    model.add(Dropout({{uniform(0, 1)}}))

    # 如果我们选择 'four'，则添加额外的第四层
    if {{choice(['three', 'four'])}} == 'four':
        model.add(Dense(100))

        # 我们也可以在整组层之间进行选择

        model.add({{choice([Dropout(0.5), Activation('linear')])}})
        model.add(Activation('relu'))

    model.add(Dense(10))
    model.add(Activation('softmax'))

    model.compile(loss='categorical_crossentropy', metrics=['accuracy'],
                  optimizer={{choice(['rmsprop', 'adam', 'sgd'])}})

    result = model.fit(x_train, y_train,
              batch_size={{choice([64, 128])}},
              epochs=2,
              verbose=2,
              validation_split=0.1)
    # 获取训练期间最高的验证准确率
    validation_acc = np.amax(result.history['val_acc']) 
    print('最佳验证准确率:', validation_acc)
    return {'loss': -validation_acc, 'status': STATUS_OK, 'model': model}


if __name__ == '__main__':
    best_run, best_model = optim.minimize(model=create_model,
                                          data=data,
                                          algo=tpe.suggest,
                                          max_evals=5,
                                          trials=Trials())
    X_train, Y_train, X_test, Y_test = data()
    print("最佳模型评估结果：")
    print(best_model.evaluate(X_test, Y_test))
    print("最佳模型所选超参数：")
    print(best_run)

常见问题解答

以下是一些常见错误的列表

TypeError: 需要字符串标签

你可能正在尝试直接在 Python 中执行带有模板的模型创建代码。这会失败，因为 Python 无法运行大括号中的模板语法，例如 {{uniform..}}。实际上，def create_model(...) 函数已经不再是有效的 Python 函数了。

你需要将代码包裹在 def create_model(...): ... 函数中，然后像示例中那样从 optim.minimize(model=create_model,... 调用它。

原因是 hyperas 通过将 {{...}} 中的所有内容替换为一个单独的临时文件来工作，然后运行替换后的模型（类似于 jinja 模板）。这就是 hyperas 作为“非常简单的封装”简化 hyperopt 使用方式的基础。

TypeError: 'generator' 对象不可下标访问

这是一个已知问题。

只需运行 pip install networkx==1.11 即可解决。

NameError: 全局名称 'X_train' 未定义

也许你在 def create_model(x_train...) 调用中忘记从 def data(): ... 函数返回 x_train 参数了。

你并不局限于示例中的相同参数列表。任何从 data() 返回的参数都会传递给 create_model()。

笔记本调整

如果你遇到类似 "没有这样的文件或目录" 或 OSError, Err22 的错误，你可能需要在 optim.minimize 函数中添加 notebook_name='simple_notebook'（假设你当前的笔记本名称是 simple_notebook），如下所示：

best_run, best_model = optim.minimize(model=model,
                                      data=data,
                                      algo=tpe.suggest,
                                      max_evals=5,
                                      trials=Trials(),
                                      notebook_name='simple_notebook')

hyperas 是如何工作的？

我们所做的就是解析 data 和 model 模板，并将它们转换为符合 hyperopt 格式的代码，通过重建 space 对象将其传递给 fmin。相关代码主要位于 optim.py 和 utils.py 中。

如何解读 hyperas 模型的输出？

hyperas 会将你的脚本转换为符合 hyperopt 标准的代码，有关如何解释结果的指导，请参阅 这里。

如何向数据函数传递参数？

假设你希望你的数据函数接受一个参数，可以仅使用位置参数（而非关键字参数）来定义它：

import pickle
def data(fname):
    with open(fname, 'rb') as fh:
        return pickle.load(fh)

请注意，你的参数必须能够被 repr 完整地表示出来（例如字符串和数字）。如果需要更复杂的对象，可以在 data 函数内部利用传入的参数来构建它们。

在运行试验时，将要替换的参数以元组形式传入 data_args：

best_run, best_model = optim.minimize(
    model=model,
    data=data,
    algo=tpe.suggest,
    max_evals=64,
    trials=Trials(),
    data_args=('my_file.pkl',)
)

如果我需要更灵活地加载数据并调整模型怎么办？

Hyperas 是 Hyperopt 的一个便捷封装，但它也有一些局限性。如果你觉得它在当前场景下并不“便捷”，那就不要使用它，直接选择 Hyperopt 即可。使用 Hyperas 能做到的一切，用 Hyperopt 也能实现，只是定义模型的方式有所不同。如果你想从 Hyperas 中榨取更多灵活性，可以查看 这里。

如何并行运行 Hyperas？

你可以借助 MongoDB（需要先安装并配置用户）来使用 Hyperas 并行运行多个模型。以下是一个基于 MNIST 数据集的简短示例：

1. 复制并修改 examples/mnist_distributed.py 文件（如果需要，可以适当增加 max_evals 值）：

2. 运行 python mnist_distributed.py。该脚本会生成一个 temp_model.py 文件，并将其复制到所有参与模型评估的机器上。随后，主程序会开始等待评估结果。

3. 在其他机器上（确保已安装 Python 及所有依赖包，最好版本一致），执行以下命令：

   export PYTHONPATH=/path/to/temp_model.py
   hyperopt-mongo-worker --exp-key='mnist_test' --mongo='mongo://username:pass@mongodb.host:27017/jobs'
   

4. 当达到 max_evals 次评估后，你应该会得到最佳模型的输出。此外，你也可以通过 MongoDB 查看所有结果，从中找出最佳模型并运行它，具体步骤如下：

   from pymongo import MongoClient
   from keras.models import load_model
   import tempfile
   c = MongoClient('mongodb://username:pass@mongodb.host:27017/jobs')
   best_model = c['jobs']['jobs'].find_one({'exp_key': 'mnist_test'}, sort=[('result.loss', -1)])
   temp_name = tempfile.gettempdir() + '/' + next(tempfile._get_candidate_names()) + '.h5'
   with open(temp_name, 'wb') as outfile:
       outfile.write(best_model['result']['model_serial'])
   model = load_model(temp_name)
   

Hyperas 快速上手指南

Hyperas 是一个将 Keras 深度学习框架与 Hyperopt 超参数优化库结合的轻量级工具。它允许你使用简单的模板语法（双大括号）在标准的 Keras 模型代码中定义超参数搜索空间，无需学习复杂的 Hyperopt 语法即可快速进行模型调优。

环境准备

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6+
• 前置依赖：
  • Keras (支持 TensorFlow 后端)
  • Hyperopt
  • NumPy
  • NetworkX (注意：若遇到 'generator' object is not subscriptable 错误，需安装特定版本 networkx==1.11)

安装步骤

推荐使用 pip 进行安装。国内用户可指定清华或阿里镜像源以加速下载。

# 使用默认源安装
pip install hyperas

# 或使用国内镜像源加速安装（推荐）
pip install hyperas -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用 Hyperas 只需三个步骤：定义数据加载函数、定义带模板语法的模型函数、运行优化器。

1. 定义数据与模型

在 create_model 函数中，使用 {{distribution(...)}} 语法包裹需要优化的超参数。

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout
from keras.utils import np_utils
from keras.datasets import mnist

from hyperas import optim
from hyperas.distributions import choice, uniform
from hyperopt import Trials, STATUS_OK, tpe

def data():
    """
    数据加载函数
    返回的数据将自动传递给 create_model 函数
    """
    (x_train, y_train), (x_test, y_test) = mnist.load_data()
    x_train = x_train.reshape(60000, 784)
    x_test = x_test.reshape(10000, 784)
    x_train = x_train.astype('float32')
    x_test = x_test.astype('float32')
    x_train /= 255
    x_test /= 255
    
    nb_classes = 10
    y_train = np_utils.to_categorical(y_train, nb_classes)
    y_test = np_utils.to_categorical(y_test, nb_classes)
    
    return x_train, y_train, x_test, y_test

def create_model(x_train, y_train, x_test, y_test):
    """
    模型构建函数
    使用 {{ }} 定义超参数搜索空间
    """
    model = Sequential()
    model.add(Dense(512, input_shape=(784,)))
    model.add(Activation('relu'))
    
    # 优化 Dropout 概率，范围 0 到 1
    model.add(Dropout({{uniform(0, 1)}}))
    
    model.add(Dense({{choice([256, 512, 1024])}})) # 优化神经元数量
    model.add(Activation({{choice(['relu', 'sigmoid'])}})) # 优化激活函数
    
    model.add(Dropout({{uniform(0, 1)}}))
    model.add(Dense(10))
    model.add(Activation('softmax'))

    # 优化优化器选择
    model.compile(loss='categorical_crossentropy', metrics=['accuracy'],
                  optimizer={{choice(['rmsprop', 'adam', 'sgd'])}})

    result = model.fit(x_train, y_train,
              batch_size={{choice([64, 128])}}, # 优化 Batch Size
              epochs=2,
              verbose=0,
              validation_split=0.1)
    
    # 获取验证集最高准确率
    validation_acc = np.amax(result.history['val_acc'])
    
    # 注意：hyperopt 默认最小化目标函数，因此返回负的准确率
    return {'loss': -validation_acc, 'status': STATUS_OK, 'model': model}

if __name__ == '__main__':
    # 执行超参数优化
    best_run, best_model = optim.minimize(model=create_model,
                                          data=data,
                                          algo=tpe.suggest,
                                          max_evals=5, # 最大评估次数
                                          trials=Trials())
    
    print("最佳超参数组合:")
    print(best_run)

2. 运行优化

直接运行上述脚本即可。Hyperas 会自动解析模板，生成临时文件并调用 Hyperopt 进行搜索。

• 关键参数说明：
  • model: 包含模板语法的模型构建函数。
  • data: 数据加载函数。
  • algo: 优化算法，常用 tpe.suggest。
  • max_evals: 尝试的超参数组合数量。
  • trials: 用于存储实验结果的对象。

3. 查看结果

程序运行结束后，best_run 字典将包含最优的超参数配置，best_model 则是使用该配置训练出的最佳 Keras 模型对象，可直接用于评估或预测。