基于定价策略的移动边缘计算资源协同优化理论与方法研究.pdf

摘要

在移动计算和物联网时代，资源消耗型应用的爆炸式增长对移动设备的计算

能力和延迟提出了更高的要求。由于传统的云计算中心通常位置距离终端用户较

远，不可避免地会经历广域网（WideAreaNetwork，WAN）延迟，因此无法满足

这些计算密集型任务和时延敏感型任务的要求。为了解决上述问题，移动边缘计算

（MobileEdgeComputing，MEC）将计算功能部署在网络边缘，使计算资源接近终

端用户，从而为用户提供低延迟、高带宽和灵活的计算服务。本论文从网络经济学

的角度出发，通过向移动用户收取边缘卸载服务费用，激励用户做出合适的卸载决

策以实现分布式地资源协同优化。本论文的主要工作如下：

第一，本论文对主要采用的两大技术手段，强化学习和网络经济学，进行了理

论介绍和相关应用总结，为后续第三和第四章的技术部分做铺垫。首先，本论文介

绍了强化学习的主要基本模型，基于值函数和基于策略的强化学习模型，然后引入

了无线资源分配管理中存在的挑战，并归纳了针对不同资源分配问题中如何选择

合适的强化学习模型问题；接下来，为了探索和应用网络经济学中的定价方法来协

同优化MEC资源分配，论文阐述了不同的经济与定价模型以及如何应用到无线资

源分配管理中。

第二，为了实现MEC服务提供商自身盈利最大化，论文通过向终端用户收取

卸载服务费的方式来激励用户做出合理的卸载决策，并基于此研究了MEC服务提

供商的动态定价策略问题。由于用户信息的未知性和用户任务的时变性，论文提出

了一种基于策略梯度（PolicyGradient，PG）的强化学习（ReinforcementLearning，

RL）算法，利用深度神经网络（DeepNeuralNetwork，DNN）作为策略网络获取

定价策略，并使用基准神经网络（BaselineNeuralNetwork，BNN）来降低使用PG

算法的方差以提高算法的鲁棒性。与传统Q-learning算法相比，所提基于PG的动

态定价算法由于可以在连续行为空间进行决策，降低了量化性能损失，其收益提高

约44%。

第三，为了克服MEC系统中由于障碍物遮挡引起的服务中断问题，论文通过

引入智能反射面（IntelligentReflectingSurface，IRS）避开障碍物提高信道质量，

并基于此研究了IRS反射波束成形和定价策略的联合优化问题。由于用户的移动

特性和任务到达模式未知性，该联合优化问题是非确定性多项式难题（Non-

deterministicPolynomial-Hard，NP-hard）的。因此，论文研究了基于深度确定性策

略梯度(DeepDeterministicPolicyGradient，DDPG)的IRS相移向量和定价策略的联

合优化问题，以实现MEC服务提供商的社会福利函数最大化。仿真结果表明，与

无IRS辅助的方案对比，论文所提算法的社会福利函数提高约46%。

关键词：移动边缘计算，资源分配，网络经济学，强化学习，智能反射面

ABSTRACT

IntheeraofmobilecomputingandInternetofThings(IoT),theexplosivegrowth

ofresource-consumingapplicationsrequireshigherdemandsonmobiledevices.Since

traditionalcloudcomputingcentersareusuallylocatedfarawayfromend-users,they

inevitablyexperienceWideAreaNetwork(WAN)delay,therefore,itisunabletomeet

therequirementsofthesecompute-intensiveandlatency-sensitiveapplications.Tosolve

theseproblems,MobileEdgeComputing(MEC)deployscomputingresourcesattheedge

ofthenetworktobringcomputin