FishNet

此仓库包含论文的实现代码：

FishNet：用于图像、区域和像素级预测的通用骨干网络，作者：孙书洋、庞江淼、史建平、易帅、欧阳万利，NeurIPS 2018。

FishNet 被用作关键组件，帮助我们在 COCO 检测挑战赛 2018 中获得第一名。

请注意，此处发布的结果比我们在论文中报告的略好。

前置条件

• Python 3.6.x
• PyTorch 0.4.0+

数据增强

方法	设置
随机翻转	True
随机裁剪	8% ~ 100%
宽高比	3/4 ~ 4/3
随机 PCA 光照	0.1

注意：我们对所有权重和偏置都应用了权重衰减，而不仅仅是卷积层的权重。

训练

要使用 8 张 GPU 和 256 的批量大小训练 FishNet-150，只需运行：

python main.py --config "cfgs/fishnet150.yaml" IMAGENET_ROOT_PATH

模型

未使用技巧训练的模型

模型	参数	浮点运算次数	Top-1	Top-5	百度云	Google 云
FishNet99	16.62M	4.31G	77.41%	93.59%	下载	下载
FishNet150	24.96M	6.45G	78.14%	93.95%	下载	下载
FishNet201	44.58M	10.58G	78.76%	94.39%	即将提供	即将提供

使用余弦学习率调度（200 个 epoch）和标签平滑训练的模型

模型	参数	浮点运算次数	Top-1	Top-5	百度云	Google 云
FishNet150	24.96M	6.45G	79.35%	94.75%	下载	下载
FishNet201	44.58M	10.58G	79.71%	94.79%	下载	下载

要加载这些模型，例如 FishNet150，您需要先构建您的 FishNet150 结构，如下所示：

from models.network_factory import fishnet150
model = fishnet150()

然后您可以从预训练检查点加载权重，方法如下：

checkpoint = torch.load(model_path)  #  model_path: 您的检查点路径，例如 checkpoints/fishnet150.tar
best_prec1 = checkpoint['best_prec1']
model.load_state_dict(checkpoint['state_dict'])
optimizer.load_state_dict(checkpoint['optimizer'])

请注意，您 不需要 使用 tar 命令解压缩模型。您从云端下载的模型可以直接加载。

待办事项：

• 更新我们的 arXiv 论文。
• 发布预训练模型。
• 使用更多训练技巧训练模型。

引用

如果您认为我们的研究有用，请引用以下论文：

@inproceedings{sun2018fishnet,
  title={FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction},
  author={Sun, Shuyang and Pang, Jiangmiao and Shi, Jianping and Yi, Shuai and Ouyang, Wanli},
  booktitle={Advances in Neural Information Processing Systems},
  pages={760--770},
  year={2018}
}

联系方式

您可以通过发送邮件至 kevin.sysun@gmail.com 联系孙书洋。

FishNet 快速上手指南

FishNet 是一种适用于图像、区域和像素级预测的多功能骨干网络，曾在 COCO 2018 检测挑战赛中助力获得第一名。本指南将帮助你快速在本地环境中运行该模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.6.x
• 深度学习框架: PyTorch 0.4.0 或更高版本
• 硬件: 建议使用 NVIDIA GPU 进行训练（官方示例基于 8 GPU 环境）

安装步骤

1. 克隆仓库 首先获取源代码：

   git clone https://github.com/ucbdrive/fishnet.git
   cd fishnet
   

2. 安装依赖 确保已安装符合版本的 PyTorch。如果尚未安装，可使用以下命令（根据具体 CUDA 版本调整）：

   pip install torch==0.4.0 torchvision
   

   注：其他常规依赖如 yaml, opencv-python 等通常需自行安装，若运行报错请补充安装对应库。

3. 准备数据集 下载 ImageNet 数据集并将其路径记录下来，后续训练命令中需要用到该路径（即 IMAGENET_ROOT_PATH）。

基本使用

1. 训练模型

以训练 FishNet-150 为例，使用 8 张 GPU 和 256 的批量大小（Batch Size），运行以下命令：

python main.py --config "cfgs/fishnet150.yaml" IMAGENET_ROOT_PATH

请将 IMAGENET_ROOT_PATH 替换为你本地的 ImageNet 数据集实际路径。

2. 加载预训练模型

你可以直接加载官方提供的预训练权重（支持百度云或 Google Drive 下载，无需解压 .tar 文件）。

步骤一：构建模型结构

from models.network_factory import fishnet150
model = fishnet150()

步骤二：加载权重

import torch

# model_path 替换为你下载的 checkpoint 文件路径，例如 checkpoints/fishnet150.tar
checkpoint = torch.load(model_path)

# 加载最佳精度记录
best_prec1 = checkpoint['best_prec1']

# 加载模型参数
model.load_state_dict(checkpoint['state_dict'])

# 加载优化器状态（如需继续训练）
optimizer.load_state_dict(checkpoint['optimizer'])

3. 预训练模型下载推荐

国内用户推荐优先使用 百度网盘 链接下载模型：

模型	Top-1 精度	百度网盘下载
FishNet99	77.41%	点击下载
FishNet150	78.14%	点击下载
FishNet150 (增强版)	79.35%	点击下载

增强版模型使用了余弦学习率调度（200 epochs）和标签平滑技术，性能更优。