联邦学习（PyTorch）

实现了经典联邦学习论文：来自去中心化数据的高效通信深度网络学习。

实验在 MNIST、Fashion MNIST 和 CIFAR10 数据集上进行（包括 IID 和非 IID 情况）。在非 IID 情况下，用户之间的数据可以均等或不均等地划分。

由于这些实验旨在展示联邦学习范式的有效性，因此仅使用了 MLP 和 CNN 等简单模型。

需求

请从 requirements.txt 文件中安装所有依赖包：

• Python 3
• PyTorch
• Torchvision

数据

• 可以手动下载训练集和测试集，或者它们将自动从 torchvision 数据集中下载。
• 实验在 MNIST、Fashion MNIST 和 CIFAR 数据集上运行。
• 如果要使用自己的数据集：请将数据集移动到 data 目录，并基于 PyTorch 的 Dataset 类编写一个包装器。

运行实验

基线实验以传统方式训练模型。

• 在 CPU 上使用 MLP 模型对 MNIST 数据集运行基线实验：

python src/baseline_main.py --model=mlp --dataset=mnist --epochs=10

• 或者在 GPU 上运行（例如，如果存在 gpu:0）：

python src/baseline_main.py --model=mlp --dataset=mnist --gpu=0 --epochs=10

---

联邦实验涉及使用多个本地模型来训练全局模型。

• 在 GPU 上使用 CNN 模型对 CIFAR 数据集运行 IID 条件下的联邦实验：

python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=1 --epochs=10

• 在非 IID 条件下运行相同的实验：

python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=0 --epochs=10

您可以更改其他参数的默认值以模拟不同的条件。请参阅选项部分。

选项

传递给实验的各种参数的默认值在 options.py 中给出。以下是一些参数的详细说明：

• --dataset: 默认值为 'mnist'。可选值：'mnist'、'fmnist'、'cifar'。
• --model: 默认值为 'mlp'。可选值：'mlp'、'cnn'。
• --gpu: 默认值为 None（在 CPU 上运行）。也可以设置为特定的 GPU ID。
• --epochs: 训练轮数。
• --lr: 学习率，默认为 0.01。
• --verbose: 详细日志输出。默认开启，设置为 0 可关闭。
• --seed: 随机种子。默认值为 1。

联邦相关参数

• --iid: 用户之间数据的分布情况。默认为 IID。设置为 0 表示非 IID。
• --num_users: 用户数量。默认值为 100。
• --frac: 用于联邦更新的用户比例。默认值为 0.1。
• --local_ep: 每个用户的本地训练轮数。默认值为 10。
• --local_bs: 每个用户本地更新的批量大小。默认值为 10。
• --unequal: 用于非 IID 设置。可以选择在用户之间均等地或不均等地划分数据。默认值为 0 表示均等划分，设置为 1 表示不均等划分。

MNIST 数据集上的结果

基线实验：

该实验以传统方式训练单个模型。

参数：

• 优化器：SGD
• 学习率：0.01

表格 1： 训练 10 个 epoch 后的测试准确率：

模型	测试准确率
MLP	92.71%
CNN	98.42%

---

联邦实验：

该实验在联邦学习环境中训练全局模型。

联邦参数（默认值）：

• 用户比例 (C)：0.1
• 本地批量大小 (B)：10
• 本地轮数 (E)：10
• 优化器：SGD
• 学习率：0.01

表格 2： 使用以下条件训练 10 个全局轮次后的测试准确率：

模型	IID	非 IID（均等）
MLP	88.38%	73.49%
CNN	97.28%	75.94%

更多阅读

论文：

• 联邦学习：挑战、方法与未来方向
• 来自去中心化数据的高效通信深度网络学习
• 具有差分隐私的深度学习

博客文章：

• CMU MLD 博客文章：联邦学习：挑战、方法与未来方向
• Leaf：联邦学习基准测试（CMU）
• TensorFlow Federated
• Google AI 博客文章

Federated-Learning-PyTorch 快速上手指南

本指南基于 Federated-Learning-PyTorch 开源项目，帮助开发者快速搭建联邦学习环境并运行基础实验。该项目复现了经典的联邦学习论文算法，支持 MNIST、Fashion-MNIST 和 CIFAR-10 数据集。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.x
• 核心依赖：
  • PyTorch
  • Torchvision

国内加速建议： 安装 PyTorch 时，推荐访问 PyTorch 官网 获取适合您环境的命令，或使用清华/中科大镜像源加速 pip 安装：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone <repository_url>
   cd Federated-Learning-PyTorch
   

   (注：请将 <repository_url> 替换为实际的仓库地址)

2. 安装依赖包 使用项目提供的 requirements.txt 一键安装所需库（建议使用国内镜像源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 数据准备

   • 自动下载：首次运行实验时，脚本会自动从 Torchvision 下载 MNIST、Fashion-MNIST 或 CIFAR-10 数据集。
   • 自定义数据集：若需使用自有数据，请将数据集放入 data 目录，并编写一个继承自 torch.utils.data.Dataset 的包装类。

基本使用

项目提供两种主要运行模式：基准实验（传统集中式训练）和 联邦实验（分布式联邦训练）。

1. 运行基准实验 (Baseline)

在传统模式下训练单个模型。以下示例使用 MLP 模型在 MNIST 数据集上训练 10 个 epoch。

• CPU 运行：

  python src/baseline_main.py --model=mlp --dataset=mnist --epochs=10
  

• GPU 运行（指定显卡 ID，例如 0）：

  python src/baseline_main.py --model=mlp --dataset=mnist --gpu=0 --epochs=10
  

2. 运行联邦实验 (Federated Learning)

模拟多用户协作训练全局模型。以下示例使用 CNN 模型在 CIFAR-10 数据集上进行联邦训练。

• 独立同分布 (IID) 场景：

  python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=1 --epochs=10
  

• 非独立同分布 (Non-IID) 场景：

  python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=0 --epochs=10
  

关键参数说明

您可以通过修改命令行参数来调整实验配置（默认值定义在 src/options.py 中）：

参数	说明	默认值/选项
--dataset	数据集选择	'mnist', 'fmnist', 'cifar'
--model	模型架构	'mlp', 'cnn'
--iid	数据分布类型	1 (IID), 0 (Non-IID)
--num_users	参与用户总数	100
--frac	每轮参与训练的用户比例	0.1
--local_ep	每个用户的本地训练轮数	10
--local_bs	每个用户的本地批量大小	10
--unequal	Non-IID 下数据是否不均分	0 (均分), 1 (不均分)
--epochs	全局训练轮数	-
--lr	学习率	0.01