UAV-DDPG - UAV辅助移动边缘计算的深度确定性策略梯度任务优化

UAV-DDPG 项目介绍

项目背景

UAV-DDPG 项目源自一篇学术论文，题为「无人机辅助移动边缘计算的计算卸载优化：一个深度确定性策略梯度方法」。该项目旨在优化无人机（UAV）在移动边缘计算（MEC）系统中的计算任务卸载，提升通信覆盖率和质量。

在这个系统中，无人机携带计算资源，为临近的用户设备（UE）提供卸载服务。用户设备将部分计算任务卸载到无人机上，而剩余任务则在设备本地处理。在这种情况下，为了减少任务的最大处理延迟，项目需在用户调度、任务卸载比例、无人机的飞行角度和速度上进行联合优化。这一问题由于包含非凸约束条件、高维状态空间和连续动作空间而相当复杂。

解决方案

为了解决上述问题，项目提出了一种基于深度确定性策略梯度 (DDPG) 的强化学习算法。此算法能够在无法控制的动态环境中推导出最佳的计算卸载策略。项目的实验结果表明，该算法能迅速收敛到最优解，并在处理延迟方面相较于其他基线算法（如深度Q网络，DQN）有显著提升。

实验与成果

该项目进行了大量实验，验证了所提算法相对于传统方法的优越性。结果显示，使用 DDPG 算法的无人机辅助计算系统不仅在任务延迟方面表现优越，而且具备快速收敛的特性。

必需的软件

项目开发基于 TensorFlow 1.X 环境，用户需要在运行算法前准备相应的开发环境。

参考文献

该项目的相关研究成果发表在《Wireless Networks》期刊上，有兴趣的读者可以引用以下文献：

@article{wang2021computation,
  title={Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach},
  author={Wang, Yunpeng and Fang, Weiwei and Ding, Yi and Xiong, Naixue},
  journal={Wireless Networks},
  volume={27},
  number={4},
  pages={2991--3006},
  year={2021},
  publisher={Springer}
}

开发背景

需要注意的是，项目中的开源代码主要由一名研究生在攻读硕士期间完成。由于该作者毕业后未继续从事科研工作，目前代码未能持续维护和更新。因此，项目代码仅供参考。

联系方式

如需进一步了解该项目，可以通过以下方式联系项目作者王云鹏（1609791621@qq.com）。

其他相关项目

项目团队还开发了另一个名为 MADDPG 的项目，感兴趣的用户可以参考相关资料。此外，用户也可以使用 Ray 框架实现其他深度强化学习算法。