SparkNet

用于 Spark 的分布式神经网络。 详情请参阅 论文。 如有疑问，请访问 sparknet-users 邮件列表！

快速入门

使用我们的 AMI 启动一个 Spark 集群

1. 创建 AWS 秘密访问密钥和访问密钥。说明请见 这里。

2. 使用相关值运行 export AWS_SECRET_ACCESS_KEY= 和 export AWS_ACCESS_KEY_ID=。

3. 在本地克隆我们的仓库。

4. 通过运行以下命令在 EC2 上启动一个包含 5 个工作节点的 Spark 集群：

    SparkNet/ec2/spark-ec2 --key-pair=key \
                           --identity-file=key.pem \
                           --region=eu-west-1 \
                           --zone=eu-west-1c \
                           --instance-type=g2.8xlarge \
                           --ami=ami-d0833da3 \
                           --copy-aws-credentials \
                           --spark-version=1.5.0 \
                           --spot-price=1.5 \
                           --no-ganglia \
                           --user-data SparkNet/ec2/cloud-config.txt \
                           --slaves=5 \
                           launch sparknet
   

你可能需要修改该命令中的多个参数。例如，--key-pair 和 --identity-file 标志指定了用于连接集群的密钥对。--slaves 标志则指定了 Spark 工作节点的数量。

使用 SparkNet 训练 Cifar 数据集

1. 以 root 用户身份 SSH 登录到 Spark 主节点。

2. 运行 bash /root/SparkNet/data/cifar10/get_cifar10.sh 获取 Cifar 数据。

3. 在 5 个工作节点上训练 Cifar 数据集：

    /root/spark/bin/spark-submit --class apps.CifarApp /root/SparkNet/target/scala-2.10/sparknet-assembly-0.1-SNAPSHOT.jar 5
   

4. 完成！相关信息会记录在主节点的 /root/SparkNet/training_log*.txt 文件中。

使用 SparkNet 训练 ImageNet 数据集

1. 按照 这里 的说明获取 ImageNet 数据：

   wget http://.../ILSVRC2012_img_train.tar
   wget http://.../ILSVRC2012_img_val.tar
   

   这需要先注册账号并提交申请。

2. 在 Spark 主节点上创建 ~/.aws/credentials 文件，内容如下：

   [default]
   aws_access_key_id=
   aws_secret_access_key=
   

   并填写两个字段。

3. 使用 ~/spark-ec2/copy-dir ~/.aws 将此文件复制到所有工作节点（请严格按照该命令输入，因为它对尾部反斜杠等细节较为敏感）。

4. 创建一个名为 S3_BUCKET 的 Amazon S3 存储桶。

5. 使用以下命令将 ImageNet 数据以适当格式上传至 S3：

   python $SPARKNET_HOME/scripts/put_imagenet_on_s3.py $S3_BUCKET \
       --train_tar_file=/path/to/ILSVRC2012_img_train.tar \
       --val_tar_file=/path/to/ILSVRC2012_img_val.tar \
       --new_width=256 \
       --new_height=256
   

   该命令会将图像调整为 256×256 像素大小，打乱训练数据，并将验证数据分块打包成 tar 文件。

6. 在 5 个工作节点上训练 ImageNet 数据集：

   /root/spark/bin/spark-submit --class apps.ImageNetApp /root/SparkNet/target/scala-2.10/sparknet-assembly-0.1-SNAPSHOT.jar 5 $S3_BUCKET
   

在现有 Spark 集群上安装 SparkNet

具体步骤可能因你的集群配置而异。如果遇到问题，请务必在邮件列表中分享你的经验。

1. 如果要使用 GPU，确保所有节点上都已安装 CUDA 7.0。

2. 根据你的配置，你可能需要将以下内容添加到 ~/.bashrc 文件中，并运行 source ~/.bashrc：

   export LD_LIBRARY_PATH=/usr/local/cuda-7.0/targets/x86_64-linux/lib/
   export _JAVA_OPTIONS=-Xmx8g
   export SPARKNET_HOME=/root/SparkNet/
   

   请注意替换为正确的目录路径（第一个目录应包含 libcudart.so.7.0 文件）。

3. 在你的主目录下克隆 SparkNet 仓库：git clone https://github.com/amplab/SparkNet.git。

4. 使用以下命令将 SparkNet 目录复制到所有节点：

   ~/spark-ec2/copy-dir ~/SparkNet
   

5. 构建 SparkNet：

   cd ~/SparkNet
   git pull
   sbt assembly
   

6. 现在你可以按照上述方法运行 CIFAR 应用程序。

构建你自己的 AMI

1. 启动一个运行 Ubuntu 14.04 且配备 GPU 实例类型（如 g2.8xlarge）的 EC2 实例。假设其 IP 地址为 xxx.xx.xx.xxx。

2. 以 ubuntu 用户身份连接到该节点：

   ssh -i ~/.ssh/key.pem ubuntu@xxx.xx.xx.xxx
   

3. 安装编辑器：

   sudo apt-get update
   sudo apt-get install emacs
   

4. 打开文件：

   sudo emacs /root/.ssh/authorized_keys
   

   删除 ssh-rsa ... 之前的所有内容，以便能够以 root 用户身份连接到节点。

5. 使用 exit 关闭连接。

6. 以 root 用户身份重新连接到节点：

   ssh -i ~/.ssh/key.pem root@xxx.xx.xx.xxx
   

7. 安装 CUDA 7.0。

   wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.0-28_amd64.deb
   dpkg -i cuda-repo-ubuntu1404_7.0-28_amd64.deb
   apt-get update
   apt-get upgrade -y
   apt-get install -y linux-image-extra-`uname -r` linux-headers-`uname -r` linux-image-`uname -r`
   apt-get install cuda-7-0 -y
   

8. 安装 sbt。说明请见 这里。

9. 更新软件包列表：

   apt-get update
   

10. 安装 awscli 和 s3cmd：

    apt-get install awscli s3cmd
    

11. 安装 Java：

    apt-get install openjdk-7-jdk
    

12. 在你的主目录下克隆 SparkNet 仓库：

    git clone https://github.com/amplab/SparkNet.git
    

13. 将以下内容添加到你的 ~/.bashrc 文件中，并运行 source ~/.bashrc：

    export LD_LIBRARY_PATH=/usr/local/cuda-7.0/targets/x86_64-linux/lib/
    export _JAVA_OPTIONS=-Xmx8g
    export SPARKNET_HOME=/root/SparkNet/
    

    其中一些路径可能需要调整，但 LD_LIBRARY_PATH 目录应包含 libcudart.so.7.0 文件（可在运行 updatedb 后使用 locate libcudart.so.7.0 查找）。

14. 构建 SparkNet：

    cd ~/SparkNet
    git pull
    sbt assembly
    

15. 创建 ~/.bash_profile 文件，并添加以下内容：

    if [ "$BASH" ]; then
      if [ -f ~/.bashrc ]; then
        . ~/.bashrc
      fi
    fi
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    

    Spark 要求在 ~/.bash_profile 中设置 JAVA_HOME，否则 SparkNet/ec2/spark-ec2 启动脚本会报错。

16. 清除 Bash 历史记录：

    cat /dev/null > ~/.bash_history && history -c && exit
    

17. 现在你可以为你的实例创建镜像，大功告成！这就是我们创建 AMI 时所采用的流程。

JavaCPP 二进制文件

我们已为几个平台构建了 JavaCPP 的二进制文件。它们存储在以下位置：

1. 带 GPU 的 Ubuntu：http://www.eecs.berkeley.edu/~rkn/snapshot-2016-03-05/
2. 带 CPU 的 Ubuntu：http://www.eecs.berkeley.edu/~rkn/snapshot-2016-03-16-CPU/
3. 带 CPU 的 CentOS 6：http://www.eecs.berkeley.edu/~rkn/snapshot-2016-03-23-CENTOS6-CPU/

SparkNet 快速上手指南

SparkNet 是一个基于 Apache Spark 的分布式深度学习框架，支持在集群上训练深度神经网络。本指南将帮助您快速搭建环境并运行示例。

环境准备

系统要求

• 操作系统: Ubuntu 14.04 (推荐用于官方 AMI) 或其他 Linux 发行版
• 硬件:
  • 若使用 GPU 加速：需配备 NVIDIA GPU 并安装 CUDA 7.0
  • 若仅使用 CPU：无需 GPU 驱动
• 软件依赖:
  • Java 7 (OpenJDK)
  • Scala 2.10
  • Apache Spark 1.5.0
  • SBT (Scala Build Tool)
  • AWS CLI (若部署在 AWS 上)

前置配置

如果您计划在现有集群上手动安装，请确保所有节点已安装 CUDA 7.0（如需 GPU 支持），并在 ~/.bashrc 中配置以下环境变量（路径需根据实际情况调整）：

export LD_LIBRARY_PATH=/usr/local/cuda-7.0/targets/x86_64-linux/lib/
export _JAVA_OPTIONS=-Xmx8g
export SPARKNET_HOME=/root/SparkNet/

注意：LD_LIBRARY_PATH 指向的目录必须包含 libcudart.so.7.0 文件。

安装步骤

您可以选择通过官方提供的 AWS AMI 快速启动，或在现有 Spark 集群上手动安装。

方案一：使用 AWS AMI 快速启动（推荐新手）

1. 配置 AWS 凭证 创建 AWS Secret Key 和 Access Key，并在终端导出：

   export AWS_SECRET_ACCESS_KEY=<your_secret_key>
   export AWS_ACCESS_KEY_ID=<your_access_key>
   

2. 克隆仓库

   git clone https://github.com/amplab/SparkNet.git
   

3. 启动 Spark 集群 使用提供的脚本在 EC2 上启动一个包含 5 个 Worker 的集群（需根据实际密钥和区域修改参数）：

   SparkNet/ec2/spark-ec2 --key-pair=key \
                          --identity-file=key.pem \
                          --region=eu-west-1 \
                          --zone=eu-west-1c \
                          --instance-type=g2.8xlarge \
                          --ami=ami-d0833da3 \
                          --copy-aws-credentials \
                          --spark-version=1.5.0 \
                          --spot-price=1.5 \
                          --no-ganglia \
                          --user-data SparkNet/ec2/cloud-config.txt \
                          --slaves=5 \
                          launch sparknet
   

方案二：在现有 Spark 集群上手动安装

1. 克隆代码 在主节点和所有工作节点的主目录下克隆仓库：

   git clone https://github.com/amplab/SparkNet.git
   

2. 同步文件 将 SparkNet 目录复制到所有节点（如果使用 spark-ec2 工具）：

   ~/spark-ec2/copy-dir ~/SparkNet
   

3. 编译构建 进入目录并构建项目：

   cd ~/SparkNet
   git pull
   sbt assembly
   

基本使用

以下以训练 CIFAR-10 数据集为例，展示最简单的使用流程。

1. 准备数据

SSH 登录到 Spark Master 节点（用户通常为 root），下载 CIFAR-10 数据：

bash /root/SparkNet/data/cifar10/get_cifar10.sh

2. 提交训练任务

使用 spark-submit 提交 CIFAR 训练应用，指定 Worker 数量（例如 5 个）：

/root/spark/bin/spark-submit --class apps.CifarApp /root/SparkNet/target/scala-2.10/sparknet-assembly-0.1-SNAPSHOT.jar 5

3. 查看结果

训练日志将输出到 Master 节点的以下文件中：

/root/SparkNet/training_log*.txt

---

注：若需训练 ImageNet 数据集，需先将数据上传至 Amazon S3 并使用 apps.ImageNetApp 类提交任务，具体步骤参考官方文档详细章节。