神经画家

我们使用一个神经网络，它接受坐标 (x, y)，并输出对应的 RGB 值来生成图像。

通过不同的随机超参数设置，该网络可以生成风格差异很大的图像。

作品集

视频

详情

该图像由单路径前馈网络生成，仅包含全连接层和批归一化，并辅以多种非线性激活函数，权重采用高斯随机初始化。

生成这些引人入胜图像的关键在于，在每一层都从庞大的非线性函数库中随机选择非线性激活函数，尤其是那些不连续的函数（如符号函数）或在某些点附近梯度较大的函数（例如 log(abs(x) + eps)）。

我们目前使用的非线性激活函数如下：

NONLIN_TABLE = dict(
    relu=T.nnet.relu,
    tanh=T.tanh,
    abs_tanh=lambda x: abs(T.tanh(x)),
    sigmoid=T.nnet.sigmoid,
    softplus=T.nnet.softplus,
    sin=T.sin,
    cos=T.cos,
    sgn=T.sgn,
    sort=lambda x: T.sort(x, axis=1),
    abs=abs,
    log_abs=lambda x: T.log(abs(x) + eps),  # 这太棒了
    log_abs_p1=lambda x: T.log(abs(x) + 1),
    log_relu=lambda x: T.log(T.nnet.relu(x) + eps),
    log_square=lambda x: T.log(x**2 + eps),  # 只是一个标量

    xlogx_abs=lambda x: T.xlogx.xlogx(abs(x) + eps),
    xlogx_abs_p1=lambda x: T.xlogx.xlogx(abs(x) + 1),
    xlogx_relu=lambda x: T.xlogx.xlogx(T.nnet.relu(x) + eps),
    xlogx_relu_p1=lambda x: T.xlogx.xlogx(T.nnet.relu(x) + 1),
    xlogx_square=lambda x: T.xlogx.xlogx(x**2 + eps),

    softmax=T.nnet.softmax,
    logsoftmax=T.nnet.logsoftmax,
    hard_sigmoid=T.nnet.hard_sigmoid,
    identity=lambda x: x,
    square=lambda x: x**2
)

实现代码请参见：https://github.com/zxytim/neural-painter/blob/master/neural_painter.py。该代码基于 Theano 框架。

自己尝试一下

./neural_painter.py --image_size 800x800 --hidden_size 100 --nr_hidden 4 --nonlin random_every_time --nr_channel 3 --output_nonlin identity --coord_bias --seed 42 --output 42.png

相关项目

• Npainter（浏览器中的神经画家，使用 RNN，由 rupeshs 开发）
  • 演示：https://rupeshs.github.io/npainter/
  • GitHub：https://github.com/rupeshs/npainter

相关链接

• 组合模式生成网络的维基百科页面
  • https://en.wikipedia.org/wiki/Compositional_pattern-producing_network
• CPPN 在 TensorFlow 中的实现
  • https://github.com/hardmaru/cppn-tensorflow
• Karpathy 的图像回归示例：
  • http://cs.stanford.edu/people/karpathy/convnetjs/demo/image_regression.html
• 使用 TensorFlow 生成抽象图案：
  • http://blog.otoro.net/2016/03/25/generating-abstract-patterns-with-tensorflow/
• 高分辨率 MNIST 图像生成器（CPPN + GAN/VAE）：
  • http://blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/

我们正在招聘！

我们是来自 旷视科技（http://www.megvii.com）的研究人员，这是一家位于北京的计算机视觉初创公司。 公司发展迅速，正渴求像您这样优秀的人才！

如果您感兴趣或想了解更多，请将您的简历或其他相关信息发送至 zxy@megvii.com。

Neural Painter 快速上手指南

Neural Painter 是一个利用神经网络生成艺术图像的工具。它通过输入坐标 (x, y) 直接输出对应的 RGB 颜色值。通过随机化网络超参数（特别是各层的非线性激活函数），该工具能够生成风格差异巨大的抽象图案。

环境准备

本项目基于 Theano 深度学习框架开发，因此需要配置相应的 Python 环境。

• 操作系统: Linux / macOS / Windows (需配置 Theano 支持)
• Python 版本: 推荐 Python 2.7 或 Python 3.6+ (需兼容 Theano 版本)
• 核心依赖:
  • theano: 深度学习后端
  • numpy: 数值计算
  • Pillow (PIL): 图像保存与处理
  • scipy: 科学计算库

注意: 由于 Theano 已停止维护，建议在独立的虚拟环境（如 conda 或 venv）中安装，以避免依赖冲突。国内用户可使用清华源或阿里源加速 pip 包安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/zxytim/neural-painter.git
   cd neural-painter
   

2. 安装依赖库 推荐使用国内镜像源加速安装：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple theano numpy scipy Pillow
   

   注：如果系统未预装 BLAS 库（如 OpenBLAS 或 MKL），可能需要先通过系统包管理器安装，以便 Theano 能高效运行。

3. 赋予执行权限

   chmod +x neural_painter.py
   

基本使用

运行脚本即可生成图像。以下命令将生成一张分辨率为 800x800、风格随机的抽象图片。

最简单的使用示例：

./neural_painter.py --image_size 800x800 --hidden_size 100 --nr_hidden 4 --nonlin random_every_time --nr_channel 3 --output_nonlin identity --coord_bias --seed 42 --output 42.png

参数简析：

• --image_size: 生成图像的尺寸（宽 x 高）。
• --hidden_size: 隐藏层神经元数量。
• --nr_hidden: 隐藏层数量。
• --nonlin: 非线性激活函数策略，random_every_time 表示每层随机选择，是生成多样化风格的关键。
• --seed: 随机种子，固定此值可复现相同的图像。
• --output: 输出文件名。

生成完成后，当前目录下将出现名为 42.png 的艺术图像文件。修改 --seed 或其他超参数可探索更多不同的视觉效果。