RandWireNN

非官方 PyTorch 实现： 探索用于图像识别的随机连接神经网络。

结果

在 ImageNet (ILSVRC2012) 数据集上的验证结果：

Top 1 准确率 (%)	论文	此处
RandWire-WS(4, 0.75), C=78	74.7	69.2

• (2019.06.26) 69.2%：使用 SGD 优化器训练 250 个 epoch，学习率 0.1，动量 0.9，权重衰减 5e-5，余弦退火学习率调度（未应用标签平滑，见下方损失曲线）
• (2019.04.14) 62.6%：使用 SGD 优化器训练 396k 步，学习率 0.1，动量 0.9，权重衰减 5e-5，约在 300k 步时将学习率衰减至 0.1
• (2019.04.12) 62.6%：使用 Adabound 优化器训练 416k 步，初始学习率 0.001（约在 300k 步时衰减至 0.1），最终学习率 0.1，无权重衰减
• (2019.04) JiaminRen 的实现 使用与论文相同的训练策略，达到了几乎接近论文的准确率。
• (2019.04.10) 63.0%：使用 Adam 优化器训练 450k 步，初始学习率 0.001，每 150k 步将学习率衰减约 0.1
• (2019.04.07) 56.8%：在 AWS p3.2xlarge (NVIDIA V100) 上训练耗时约 16 小时。总共进行了 120k 步训练，使用 Adam 优化器，设置 lr=0.001, batch_size=128，且未进行学习率衰减。

依赖项

此代码已在 Python 3.6 和 PyTorch 1.0.1 环境下测试通过。其他依赖包可通过以下命令安装：

pip install -r requirements.txt

生成随机有向无环图

cd model/graphs
python er.py -p 0.2 -o er-02.txt # Erdos-Renyi
python ba.py -m 7 -o ba-7.txt # Barbasi-Albert
python ws.py -k 4 -p 0.75 ws-4-075.txt # Watts-Strogatz
# 节点数：-n 选项

上述所有命令的输出都会生成类似如下的 txt 文件：

(节点数)
(边数)
(每行代表一条边)

训练 RandWireNN

1. 下载 ImageNet 数据集。训练/验证文件夹应包含 1,000 个目录，每个目录内存放对应类别的图片列表。对于验证图片文件，可使用以下脚本：https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh

2. 编辑 config.yaml

   cd config
   cp default.yaml config.yaml
   vim config.yaml # 指定数据目录和图的 txt 文件
   

3. 开始训练

   注意：此处的验证不会使用完整的测试集，因为这会耗费大量时间。（约 3 分钟）

   python trainer.py -c [config yaml] -m [name]
   

4. 查看 tensorboardX

   tensorboard --logdir ./logs
   

验证

运行完整验证：

python validation.py -c [配置文件路径] -p [检查点路径]

这将显示已训练模型的准确率和平均测试损失。

作者

Seungwon Park / @seungwonpark

许可证

Apache License 2.0

RandWireNN 快速上手指南

RandWireNN 是论文《Exploring Randomly Wired Neural Networks for Image Recognition》的非官方 PyTorch 实现，旨在探索随机连接神经网络在图像识别任务中的表现。

环境准备

• 操作系统: Linux / macOS (Windows 需自行适配)
• Python 版本: 推荐 Python 3.6+
• 深度学习框架: PyTorch 1.0.1+
• 硬件要求: 建议使用支持 CUDA 的 NVIDIA GPU（如 V100）以加速训练

安装步骤

1. 克隆项目代码（假设已获取源码目录）：

   cd RandWireNN
   

2. 安装依赖包（国内用户推荐使用清华或阿里镜像源加速）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 生成随机有向无环图 (DAG)

进入模型图生成目录，选择一种随机图算法生成拓扑结构文件：

cd model/graphs
# Erdos-Renyi 模型
python er.py -p 0.2 -o er-02.txt
# Barabasi-Albert 模型
python ba.py -m 7 -o ba-7.txt
# Watts-Strogatz 模型 (论文主要使用此模型)
python ws.py -k 4 -p 0.75 -o ws-4-075.txt

注：可通过 -n 参数指定节点数量。生成的 txt 文件包含节点数、边数及具体的边连接信息。

2. 配置训练参数

1. 准备 ImageNet (ILSVRC2012) 数据集，确保训练集和验证集目录结构正确（包含 1000 个类别子文件夹）。
2. 复制并编辑配置文件：

   cd config
   cp default.yaml config.yaml
   vim config.yaml
   

   在 config.yaml 中修改以下关键项：
   • data_dir: 指向 ImageNet 数据集根目录。
   • graph_file: 指向上一步生成的图结构 txt 文件路径（如 ../model/graphs/ws-4-075.txt）。

3. 开始训练

运行训练脚本，指定配置文件和实验名称：

python trainer.py -c config/config.yaml -m randwire_exp

训练过程中可使用 TensorBoard 监控损失和准确率：

tensorboard --logdir ./logs

4. 模型验证

训练完成后，使用检查点文件进行完整验证：

python validation.py -c config/config.yaml -p ./logs/randwire_exp/checkpoint_best.pth

该命令将输出模型在验证集上的 Top-1 准确率和平均测试损失。