---

该项目可能已被放弃，因为维护者正打算转向其他方向。如果有任何人对继续该项目感兴趣，请联系我们，以便我们讨论后续步骤。

请访问：https://groups.google.com/forum/#!forum/tiny-dnn-dev

---

tiny-dnn 是一个基于 C++14 的深度学习实现。它非常适合在计算资源有限的环境中运行，例如嵌入式系统和物联网设备。

Linux/Mac OS	Windows

目录

• 特性
• 与其他库的比较
• 支持的网络
• 依赖项
• 构建
• 示例
• 贡献
• 参考文献
• 许可证
• Gitter 聊天室

更多详细信息请参阅 文档。

最新动态

• 2016年11月30日 v1.0.0a3 发布！
• 2016年9月14日 tiny-dnn v1.0.0alpha 发布！
• 2016年8月7日 tiny-dnn 已迁移到组织账号，并更名为 tiny-dnn :)
• 2016年7月27日 tiny-dnn v0.1.1 发布！

特性

• 在没有 GPU 的情况下仍保持合理速度：
  • 使用 TBB 多线程和 SSE/AVX 向量化技术。
  • 在 Core i7-3520M 上训练 MNIST 数据集仅需 13 分钟，准确率达到 98.8%。
• 跨平台且纯头文件实现：
  • 只要拥有支持 C++14 的编译器，即可在任何地方运行。
  • 只需包含 tiny_dnn.h 文件，用 C++ 编写模型即可，无需安装任何额外组件。
• 易于集成到实际应用中：
  • 不向 stdout/stderr 输出信息。
  • 具有稳定的吞吐量（简单的并行化模型，无垃圾回收）。
  • 不会抛出异常。
  • 可导入 Caffe 模型。
• 实现简单：
  • 是学习神经网络的理想库。

与其他库的比较

请参阅 维基页面。

支持的网络

层类型

• 核心层
  • 全连接层
  • Dropout 层
  • 线性运算层
  • 零填充层
  • 幂运算层
• 卷积层
  • 卷积层
  • 平均池化层
  • 最大池化层
  • 反卷积层
  • 平均反池化层
  • 最大反池化层
• 归一化层
  • 对比度归一化层（仅前向传播）
  • 批量归一化层
• 拆分/合并层
  • 拼接层
  • 切片层
  • 元素级相加层

激活函数

• tanh
• asinh
• sigmoid
• softmax
• softplus
• softsign
• 整流线性（ReLU）
• 漏斗 ReLU
• 恒等函数
• 缩放 tanh
• 指数线性单元（ELU）
• 缩放指数线性单元（SELU）

损失函数

• 交叉熵
• 均方误差
• 平均绝对误差
• 带 ε 范围的平均绝对误差

优化算法

• 随机梯度下降（带/不带 L2 正则化）
• 动量法及 Nesterov 动量法
• Adagrad
• RMSprop
• Adam
• Adamax

依赖项

无需任何依赖。你只需要一个支持 C++14 的编译器（gcc 4.9+、clang 3.6+ 或 VS 2015+）。

构建

tiny-dnn 是纯头文件库，因此 无需构建。如果想要运行示例程序或单元测试，你需要安装 cmake 并输入以下命令：

cmake . -DBUILD_EXAMPLES=ON
make

然后切换到 examples 目录并运行可执行文件。

如果你希望使用 Visual Studio 或 Xcode 等 IDE，也可以利用 cmake 生成相应的项目文件：

cmake . -G "Xcode"            # 对于 Xcode 用户
cmake . -G "NMake Makefiles"  # 对于 Windows Visual Studio 用户

之后在 Visual Studio 中打开 .sln 文件进行构建（Windows/MSVC），或者在 Linux/macOS/Windows-MinGW 上输入 make 命令。

以下是一些可用的 cmake 选项：

选项	描述	默认值	使用所需的附加条件
USE_TBB	使用 Intel TBB 进行并行化	OFF1	Intel TBB
USE_OMP	使用 OpenMP 进行并行化	OFF1	OpenMP 编译器
USE_SSE	使用 Intel SSE 指令集	ON	支持 SSE 的 Intel CPU
USE_AVX	使用 Intel AVX 指令集	ON	支持 AVX 的 Intel CPU
USE_AVX2	以 AVX2 库支持构建 tiny-dnn	OFF	支持 AVX2 的 Intel CPU
USE_NNPACK	使用 NNPACK 进行卷积运算	OFF	多核 CPU 上的神经网络加速包
USE_OPENCL	启用/禁用 OpenCL 支持（实验性）	OFF	异构系统并行编程的开放标准
USE_LIBDNN	使用 Greentea LibDNN 通过 OpenCL 在 GPU 上进行卷积运算（实验性）	OFF	支持 CUDA 和 OpenCL 的通用卷积实现
USE_SERIALIZER	启用模型序列化	ON2	-
USE_DOUBLE	使用双精度计算代替单精度	OFF	-
USE_ASAN	使用 Address Sanitizer	OFF	clang 或 gcc 编译器
USE_IMAGE_API	启用 Image API 支持	ON	-
USE_GEMMLOWP	启用 gemmlowp 支持	OFF	-
BUILD_TESTS	构建单元测试	OFF3	-
BUILD_EXAMPLES	构建示例项目	OFF	-
BUILD_DOCS	构建文档	OFF	Doxygen
PROFILE	构建单元测试	OFF	gprof

¹ tiny-dnn 默认使用 C++14 标准库进行并行化。

² 如果不使用序列化功能，可以将其关闭以加快编译速度。

³ tiny-dnn 默认使用 Google Test 框架来运行单元测试。无需预先安装，它会在 CMake 配置过程中自动下载。

例如，如果你想使用 Intel TBB 并构建测试，可以输入以下命令：

cmake -DUSE_TBB=ON -DBUILD_TESTS=ON .

自定义配置

你可以编辑 include/config.h 文件来定制默认行为。

示例

构建卷积神经网络

#include "tiny_dnn/tiny_dnn.h"
using namespace tiny_dnn;
using namespace tiny_dnn::activation;
using namespace tiny_dnn::layers;

void construct_cnn() {
    using namespace tiny_dnn;

    network<sequential> net;

    // 添加层
    net << conv(32, 32, 5, 1, 6) << tanh()  // 输入:32x32x1, 5x5卷积, 6个特征图
        << ave_pool(28, 28, 6, 2) << tanh() // 输入:28x28x6, 2x2池化
        << fc(14 * 14 * 6, 120) << tanh()   // 输入:14x14x6, 输出:120
        << fc(120, 10);                     // 输入:120,     输出:10

    assert(net.in_data_size() == 32 * 32);
    assert(net.out_data_size() == 10);

    // 加载 MNIST 数据集
    std::vector<label_t> train_labels;
    std::vector<vec_t> train_images;

    parse_mnist_labels("train-labels.idx1-ubyte", &train_labels);
    parse_mnist_images("train-images.idx3-ubyte", &train_images, -1.0, 1.0, 2, 2);

    // 定义优化算法
    adagrad optimizer;

    // 训练（50 轮，每次 30 个小批量）
    net.train<mse, adagrad>(optimizer, train_images, train_labels, 30, 50);

    // 保存
    net.save("net");

    // 加载
    // network<sequential> net2;
    // net2.load("net");
}

构建多层感知机 (MLP)

#include "tiny_dnn/tiny_dnn.h"
using namespace tiny_dnn;
using namespace tiny_dnn::activation;
using namespace tiny_dnn::layers;

void construct_mlp() {
    network<sequential> net;

    net << fc(32 * 32, 300) << sigmoid() << fc(300, 10);

    assert(net.in_data_size() == 32 * 32);
    assert(net.out_data_size() == 10);
}

另一种构建 MLP 的方式

#include "tiny_dnn/tiny_dnn.h"
using namespace tiny_dnn;
using namespace tiny_dnn::activation;

void construct_mlp() {
    auto mynet = make_mlp<tanh>({ 32 * 32, 300, 10 });

    assert(mynet.in_data_size() == 32 * 32);
    assert(mynet.out_data_size() == 10);
}

更多示例，请参阅 examples/main.cpp 或 MNIST 示例 页面。

贡献

随着深度学习社区的快速发展，我们非常欢迎你的贡献，以加速 tiny-dnn 的开发！ 有关快速贡献指南，请查看 贡献文档。

参考文献

[1] Y. Bengio, 基于梯度的深度架构训练实用建议。 arXiv:1206.5533v2, 2012

[2] Y. LeCun, L. Bottou, Y. Bengio 和 P. Haffner, 应用于文档识别的基于梯度的学习。 IEEE 会刊, 86, 2278-2324.

其他有用的参考列表：

• UFLDL 推荐阅读
• deeplearning.net 阅读清单

许可证

BSD 3-Clause 许可证

Gitter 社区

我们设有 Gitter 社区，用于讨论新功能和质量保证。 欢迎加入我们！

开发者	https://gitter.im/tiny-dnn/developers
用户	https://gitter.im/tiny-dnn/users

tiny-dnn 快速上手指南

tiny-dnn 是一个基于 C++14 的轻量级深度学习库，专为计算资源受限的环境（如嵌入式系统、IoT 设备）设计。它无需 GPU，仅依赖标准编译器，采用头文件形式，无需安装即可使用。

注意：该项目目前处于寻找维护者的状态，可能已停止活跃开发，但代码仍可编译运行。

环境准备

系统要求

• 操作系统：Linux, macOS, Windows
• 编译器：支持 C++14 标准的编译器
  • GCC 4.9+
  • Clang 3.6+
  • Visual Studio 2015+

前置依赖

• 核心依赖：无。只需包含头文件即可使用。
• 可选依赖（用于加速或构建示例/测试）：
  • CMake：用于生成构建文件或编译示例。
  • Intel TBB / OpenMP：用于多线程并行加速。
  • NNPACK / OpenCL：用于特定硬件加速（实验性）。

安装步骤

由于 tiny-dnn 是 header-only（仅头文件） 库，通常无需传统意义上的“安装”。

方法一：直接使用（推荐）

直接将 tiny_dnn.h 头文件（位于 tiny_dnn/ 目录下）复制到你的项目包含路径中，或在代码中指定相对路径引用即可。

方法二：编译示例与单元测试

如果你希望运行官方提供的示例程序或单元测试，需要安装 CMake 并执行以下命令：

# 配置构建（开启示例构建）
cmake . -DBUILD_EXAMPLES=ON

# 编译
make

# 进入示例目录运行
cd examples
./mnist  # 以 mnist 示例为例

针对特定 IDE 用户：

• Xcode (macOS): cmake . -G "Xcode"
• Visual Studio (Windows): cmake . -G "NMake Makefiles" (然后打开生成的 .sln 文件或运行 nmake)

开启高级优化选项（可选）： 若需使用 Intel TBB 进行并行加速，可在配置时添加参数：

cmake -DUSE_TBB=ON -DBUILD_TESTS=ON .

基本使用

以下是最简单的卷积神经网络（CNN）构建与训练示例（基于 MNIST 数据集逻辑）：

#include "tiny_dnn/tiny_dnn.h"
using namespace tiny_dnn;
using namespace tiny_dnn::activation;
using namespace tiny_dnn::layers;

void construct_cnn() {
    using namespace tiny_dnn;

    // 1. 定义网络结构 (sequential 顺序模型)
    network<sequential> net;

    // 添加层：输入 32x32 -> 卷积 -> 激活 -> 池化 -> 全连接 -> 输出
    net << conv(32, 32, 5, 1, 6) << tanh()      // 5x5 卷积，6 个特征图
        << ave_pool(28, 28, 6, 2) << tanh()     // 2x2 平均池化
        << fc(14 * 14 * 6, 120) << tanh()       // 全连接层
        << fc(120, 10);                         // 输出层 (10 类)

    // 2. 准备数据 (此处仅为伪代码逻辑，实际需加载二进制数据)
    std::vector<label_t> train_labels;
    std::vector<vec_t> train_images;
    // parse_mnist_labels("train-labels.idx1-ubyte", &train_labels);
    // parse_mnist_images("train-images.idx3-ubyte", &train_images, -1.0, 1.0, 2, 2);

    // 3. 定义优化算法
    adagrad optimizer;

    // 4. 训练模型 (损失函数：mse, 优化器：adagrad)
    // 参数：优化器，训练图像，训练标签，小批量大小，迭代次数
    // net.train<mse, adagrad>(optimizer, train_images, train_labels, 30, 50);

    // 5. 保存模型
    // net.save("net");
}

构建多层感知机 (MLP) 的简化写法：

#include "tiny_dnn/tiny_dnn.h"
using namespace tiny_dnn;
using namespace tiny_dnn::activation;

void construct_mlp() {
    // 一行代码构建网络：输入层 -> 隐藏层 (300) -> 输出层 (10)，激活函数为 tanh
    auto mynet = make_mlp<tanh>({ 32 * 32, 300, 10 });
}