Cortex

在 Clojure 中进行神经网络、回归和特征学习。

Cortex 由 ThinkTopic 与 Mike Anderson 合作开发。

邮件列表

https://groups.google.com/forum/#!forum/clojure-cortex

使用方法

所有库都发布在 clojars 上。Cortex 目前尚未达到 1.0 版本，仍处于初步阶段，因此未来可能会有较多变化。不过，它已经可以用来训练一些初始的分类器或回归模型。需要注意的是，保存格式尚未稳定，尽管我们目前使用 nippy 格式保存 edn 数据，但可能需要一定的努力才能兼容不同版本的保存文件。

Cortex 设计

设计细节请参见： Cortex 设计文档

请查看各类单元测试和示例以了解如何训练模型。特别是： mnist 验证

此外，若想了解在更实际场景中使用 Cortex 的示例，请参阅： mnist 示例。

现有框架对比

• 斯坦福大学 CS 231 课程的 第 12 讲 对 Caffe、Torch、Theano 和 TensorFlow 进行了详细分析。

待办事项：

• 导入主要 Keras 模型的 hdf5 格式（例如 VGG-Net）。这需要每个模型连同单个输入及其各层输出的数据。请不要要求支持任何功能，除非你能提供相应的全面测试。

• 支持各种形式的循环神经网络。compute 分支中已有相关工作，其设计专门匹配 cuDNN 的循环 API。不过，相比运行一些较大的预训练模型，这一点的重要性较低。

• 关于大型网络，我们需要实现多 GPU 支持以及多机分布式支持（后者可以通过上述基于图的描述层来实现）。

• 对 GPU 系统进行性能分析，确保在单 GPU 情况下充分利用 GPU 资源。

• 提升数据导入和可视化支持。我们已经有了 geom 库，并且对数据集也有清晰定义，现在需要将这些工具整合起来，构建一些优秀的可视化示例。

开始使用：

• 克隆项目并在 cortex 和 compute 两个模块中分别运行 lein test。各类单元测试会训练不同的模型。

GPU 计算安装说明

Ubuntu

$ sudo apt install nvidia-cuda-toolkit
重启

安装 cuDNN，并将 cuDNN 文件复制到本地 CUDA 安装目录下的相应文件夹中（通常位于 /usr/local/cuda）。参考链接：此处的“安装 cuDNN”部分。

检查是否安装成功：运行 $ nvidia-smi

此时应已安装 CUDA 8.0。当前主分支使用的是 CUDA 8.0，因此如果你使用的是 CUDA 7.5，则需要修改 mnist 示例 项目文件中的 javacpp 依赖项。

Mac OS

以下说明遵循 TensorFlow 的 GPU 设置流程，即：

安装 coreutils 和 CUDA：

$ brew install coreutils
$ brew tap caskroom/drivers
$ brew cask install nvidia-cuda

将 CUDA 工具包添加到 bash 配置文件中：

export CUDA_HOME=/usr/local/cuda
export DYLD_LIBRARY_PATH="$DYLD_LIBRARY_PATH:$CUDA_HOME/lib"
export PATH="$CUDA_HOME/bin:$PATH"

下载 CUDA 深度神经网络 库。

下载并解压后，移动文件：

$ sudo mv include/cudnn.h /Developer/NVIDIA/CUDA-8.0/include/
$ sudo mv lib/libcudnn* /Developer/NVIDIA/CUDA-8.0/lib
$ sudo ln -s /Developer/NVIDIA/CUDA-8.0/lib/libcudnn* /usr/local/cuda/lib/

如果遇到类似以下的 JNI 链接错误：

从中央仓库检索 org/bytedeco/javacpp-presets/cuda/8.0-1.2/cuda-8.0-1.2-macosx-x86_64.jar
主线程异常：java.lang.UnsatisfiedLinkError: 在 java.library.path 中找不到 jnicudnn，编译位置：(think/compute/nn/cuda_backend.c
lj:82:28)
        at clojure.lang.Compiler.analyze(Compiler.java:6688)
        at clojure.lang.Compiler.analyze(Compiler.java:6625)
        at clojure.lang.Compiler$HostExpr$Parser.parse(Compiler.java:1009)

请确保你已为当前版本的 CUDA 安装了正确的 cuDNN。

Windows

关于在 Windows 上启用 GPU 加速的一些初步信息，请参阅： https://groups.google.com/forum/#!topic/clojure-cortex/hNFW1T_2PZc

另请参阅：

路线图

Cortex 快速上手指南

Cortex 是一个基于 Clojure 的深度学习库，支持神经网络、回归分析和特征学习。本指南将帮助你快速搭建环境并运行第一个模型。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu), macOS, 或 Windows
• JDK: Java 8 或更高版本
• 构建工具: Leiningen (lein)
• GPU 加速 (可选):
  • NVIDIA GPU (支持 CUDA)
  • CUDA Toolkit 8.0 (当前主分支版本)
  • cuDNN 库

前置依赖

若需启用 GPU 加速，请预先安装以下驱动和库：

Ubuntu:

sudo apt install nvidia-cuda-toolkit
# 安装后重启系统
reboot

随后前往 NVIDIA 官网 下载并安装 cuDNN，将其文件复制到本地 CUDA 安装目录（通常为 /usr/local/cuda）。

macOS:

brew install coreutils
brew tap caskroom/drivers
brew cask install nvidia-cuda

配置环境变量（添加到 ~/.bash_profile 或 ~/.zshrc）：

export CUDA_HOME=/usr/local/cuda
export DYLD_LIBRARY_PATH="$DYLD_LIBRARY_PATH:$CUDA_HOME/lib"
export PATH="$CUDA_HOME/bin:$PATH"

下载 cuDNN 库后，执行以下命令链接文件：

sudo mv include/cudnn.h /Developer/NVIDIA/CUDA-8.0/include/
sudo mv lib/libcudnn* /Developer/NVIDIA/CUDA-8.0/lib
sudo ln -s /Developer/NVIDIA/CUDA-8.0/lib/libcudnn* /usr/local/cuda/lib/

注意: 安装完成后，运行 nvidia-smi 确认 GPU 状态正常。若使用非 8.0 版本的 CUDA，需在项目配置文件中调整 javacpp 依赖版本。

安装步骤

Cortex 通过 Clojars 发布。在你的 Clojure 项目配置文件 project.clj 中添加以下依赖：

:dependencies [[thinktopic/cortex "LATEST_VERSION"]]

(请将 LATEST_VERSION 替换为 Clojars 上的最新版本号)

获取源码并验证安装（需要同时克隆 cortex 和 compute 仓库）：

git clone https://github.com/thinktopic/cortex.git
git clone https://github.com/thinktopic/compute.git

# 进入目录并运行测试以验证环境
cd cortex
lein test

cd ../compute
lein test

注：单元测试会自动训练一些小型模型，是验证安装是否成功的最佳方式。

基本使用

Cortex 的核心功能包括定义网络结构、加载数据和训练模型。以下是一个极简的使用流程概念示例（参考官方 MNIST 示例）：

1. 定义网络层: 使用 Cortex 提供的 API 构建神经网络层。
2. 准备数据: 加载数据集（如 MNIST）并转换为 Cortex 可用的格式。
3. 训练模型: 调用训练函数进行迭代优化。

你可以参考官方提供的完整示例来开始实际开发：

• 基础验证示例: src/cortex/verify/nn/train.clj
• 实战分类示例 (MNIST): examples/mnist-classification/src/mnist_classification/core.clj

在 REPL 中加载命名空间并开始实验：

(require '[cortex.nn.execute :as execute]
         '[cortex.nn.layers :as layers])

;; 定义简单的网络结构示例
(def my-network
  (layers/infer-network-shape
    [:input-layer]
    [:dense-layer {:n-out 100 :activation :relu}]
    [:output-layer {:n-out 10 :activation :softmax}]))

;; 后续步骤涉及数据绑定与执行训练，详见 examples 目录下的完整代码

提示: Cortex 目前尚未达到 1.0 稳定版，API 和数据保存格式（EDN/Nippy）可能会随版本更新而变化。建议定期查看单元测试以了解最新用法。