DROO

无线供电移动边缘计算网络中的在线计算卸载深度强化学习

用于复现我们针对无线供电移动边缘计算的DROO算法的Python代码[1]，该算法以时变无线信道增益作为输入，并生成二进制的卸载决策。它包括：

• memory.py：WPMEC的DNN结构，包括训练结构和测试结构，基于TensorFlow 1.x实现。

  • memoryTF2.py：基于TensorFlow 2实现。
  • memoryPyTorch.py：基于PyTorch实现。

• optimization.py：求解资源分配问题。

• data：所有数据存储在此子目录中，包括：

  • data_#.mat：训练和测试数据集，其中# = {10, 20, 30}表示用户数量。

• main.py：运行此文件以执行DROO，包括设置系统参数，基于TensorFlow 1.x实现。

  • mainTF2.py：基于TensorFlow 2实现。如果您使用TensorFlow 2进行编程，请运行此文件以执行DROO。
  • mainPyTorch.py：基于PyTorch实现。如果您使用PyTorch进行编程，请运行此文件以执行DROO。

• demo_alternate_weights.py：运行此文件以评估当WDs权重交替变化时DROO的性能。

• demo_on_off.py：运行此文件以评估当部分WDs随机开关时DROO的性能。

引用本工作

1. L. Huang, S. Bi, 和 Y. J. Zhang, “无线供电移动边缘计算网络中的在线计算卸载深度强化学习,” IEEE移动计算汇刊，第19卷，第11期，页2581-2593，2020年11月。

@ARTICLE{huang2020DROO,  
author={Huang, Liang and Bi, Suzhi and Zhang, Ying-Jun Angela},  
journal={IEEE Transactions on Mobile Computing},   
title={无线供电移动边缘计算网络中的在线计算卸载深度强化学习},   
year={2020},
month={十一月},
volume={19},  
number={11},  
pages={2581-2593},  
doi={10.1109/TMC.2019.2928811}
}

关于作者

• Liang HUANG，lianghuang AT zjut.edu.cn

• Suzhi BI，bsz AT szu.edu.cn

• Ying Jun (Angela) Zhang，yjzhang AT ie.cuhk.edu.hk

所需软件包

• TensorFlow

• numpy

• scipy

代码运行方式

• 对于DROO算法，运行文件main.py。如果您使用TensorFlow 2或PyTorch编程，请分别运行mainTF2.py或mainPyTorch.py。原始的DROO算法是基于TensorFlow 1.x编写的。如果您是深度学习新手，建议从TensorFlow 2或PyTorch开始，它们的代码更加简洁易懂。

• 更多DROO演示：

  • 权重交替的WDs，运行文件[demo_alternate_weights.py](demo_alternate_weights.
  • 开关状态变化的WDs，运行文件demo_on_off.py
  • 请务必根据您使用的框架，将import MemoryDNN代码从

      from memory import MemoryDNN
    

    修改为

      from memoryTF2 import MemoryDNN
    

    或

      from memoryPyTorch import MemoryDNN
    

    如果您使用的是TensorFlow 2或PyTorch。

DROO在此处展示的是单时隙优化。如果您希望将DROO应用于多时隙的连续控制问题，请参考我们的LyDROO项目。

DROO 快速上手指南

DROO 是一个基于深度强化学习（Deep Reinforcement Learning）的算法，用于解决无线供电移动边缘计算网络中的在线计算卸载问题。该工具根据时变无线信道增益生成二进制卸载决策。

环境准备

系统要求

• Python 3.x
• 支持 TensorFlow 1.x、TensorFlow 2.x 或 PyTorch 的运行环境

前置依赖

请确保安装以下核心依赖包：

• tensorflow (推荐 TF2) 或 torch (PyTorch)
• numpy
• scipy

提示：原作者建议深度学习初学者优先使用 TensorFlow 2 或 PyTorch 版本，代码结构更清晰易读。原始代码基于 TensorFlow 1.x 编写。

安装步骤

1. 克隆或下载项目代码 确保本地包含所有源文件（如 main.py, memory.py, data/ 等）。

2. 安装 Python 依赖 推荐使用国内镜像源加速安装（以清华源为例）：

   # 如果使用 TensorFlow 2
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow numpy scipy
   
   # 或者使用 PyTorch (请访问 pytorch.org 获取对应版本的安装命令，以下为示例)
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch numpy scipy
   

基本使用

1. 运行主程序 (DROO 算法)

根据你的深度学习框架选择对应的入口文件：

• TensorFlow 1.x (原始版本):

  python main.py
  

• TensorFlow 2.x (推荐):

  python mainTF2.py
  

• PyTorch (推荐):

  python mainPyTorch.py
  

程序将自动读取 data/ 目录下的数据集（如 data_10.mat），并进行训练与测试。

2. 运行演示脚本 (可选)

如果需要评估特定场景下的性能，可运行以下演示脚本。

注意：若使用 TensorFlow 2 或 PyTorch，请先编辑演示脚本中的导入语句： 将 from memory import MemoryDNN 修改为：

• from memoryTF2 import MemoryDNN (TF2)
• from memoryPyTorch import MemoryDNN (PyTorch)

演示场景：

• 交替权重场景 (Alternating-weight WDs):

  python demo_alternate_weights.py
  

• 随机开关机场景 (ON-OFF WDs):

  python demo_on_off.py
  

3. 多时隙连续控制扩展

当前代码主要针对单时隙优化问题。如果您需要将 DROO 应用于多时隙连续控制问题，请参考作者的另一个开源项目：LyDROO。