关键词: 计算卸载；无人机；移动边缘计算；深度强化学习；Computing Offloading； UAV； Mobile Edge Computing； Deep Reinforcement Learning
1. 引言
随着科学技术的发展以及智能手机、平板电脑及各种移动设备的普及，移动计算已成为日常生活中不可或缺的一部分，并且应用到很多领域如医疗健康、物联网以及金融风险监控等。这些应用往往需要大量的计算资源并且会产生非常高的能耗，然而，对于用户的本地设备来说，该设备的计算能力、存储空间和电池寿命等都是有限的，因此只能进行一些简单的计算任务。云计算的出现可以弥补某些方面的不足，但是，在面向众多用户并产生大量数据的应用场景中，将计算任务从移动设备迁移到云端的过程会消耗巨量的网络带宽。这很可能突破网络的安全承载上限，引发网络拥堵，进而导致通信延迟至无法容忍的程度[1]。因此，对于5G时代那些对延迟极为敏感、复杂度与可靠性要求又极高的计算任务而言，传统的云计算卸载方式已不再适用[2]。为了普及并妥善处理这类计算任务，我们必须探索并采用更为先进的计算模式。
移动边缘计算(Mobile Edge Computing, MEC)克服了传统云计算的不足，MEC系统通过在网络的边缘部署计算节点，为用户就近提供了丰富的计算能力，有效解决了用户与远端云中心之间因距离过远而产生的问题，同时也缓解了因数据回传至云端而造成的网络容量拥堵状况[3]。用户的无线设备可以将计算任务卸载到具有通信资源的节点上，克服计算限制[4]。但是，在某些情况下，MEC也会受到限制。例如，当无线设备与通信基站相距很远并且有障碍物阻挡时，通信链路受到阻碍，那么通信会受到阻碍，影响任务卸载过程。无人机(Unmanned Aerial Vehicle, UAV)具有出色的灵活性和机动性，因此可以用于MEC中，为远程用户提供通信服务[5]。UAV辅助MEC提供了到UE的更好的无线连接(视线)，并且在实现中具有更大的灵活性[6]。因此，UAV辅助MEC系统的研究具有非常重要的实际意义。
近年来，对于UAV辅助MEC系统用于任务卸载的研究有非常多，Cheng等[7]在任务和能量约束条件下，通过联合优化任务卸载、资源分配以及UAV轨迹最小化UAV能耗和完成时间。Liang等[8]为了保证通信服务，考虑优化UAV部署和资源分配达到降低平均用户延迟的目的。Li等[9]联合优化UAV的路径轨迹和任务分配，实现系统的能耗最小化。Cao等人[10]研究了三节点系统(UE、中继节点和接入点)中MEC的联合计算和通信问题，目标是最小化UE和中继节点的整体能耗。
然而，大多数研究UAV辅助边缘计算时往往只考虑MEC系统能耗最小化，但是UAV本身电量有限这一条件往往都忽略掉了[11]，这可能会出现任务未处理完而UAV由于电量耗尽无法飞行，导致最终的任务卸载无法完成。在无人机辅助MEC系统中，网络连接、带宽和延迟的变化都可能影响任务的卸载效率和调度性能。无人机的飞行路径不确定，可能导致通信链路的不稳定，给任务卸载和调度带来额外的复杂性。无人机的计算能力有限，同时飞行时的能源消耗也使得其无法长时间提供高效的计算服务。因此，在设计卸载和调度策略时，如何平衡计算负载、能源消耗和任务完成时间成为一个主要挑战。无人机辅助MEC系统需要同时优化多个目标，如减少延迟、提高吞吐量、优化能效等，如何设计合适的调度策略来解决这些目标之间的权衡，是一个重要的问题。
针对以上问题，本文研究UAV辅助MEC环境下考虑UAV自身电量的同时，优化MEC系统总成本最小化问题也就是时延和能耗权重和最小化问题，主要贡献如下：
(1) 提出了基于UAV辅助MEC系统模型。考虑到UAV的飞行能耗和电池容量等条件，建立了用户调度、任务卸载比、传输功率、无人机飞行角度和飞行速度的联合优化问题，从而实现终端用户总成本最小化即总能耗和时延的权重之和最小化的目的。
(2) 将优化问题转化为一个无转移概率的马尔可夫决策过程(Markov decision process, MDP)，并根据问题设计场景和需求，同时定义了MDP的状态空间、动作空间和奖励函数，并且使用深度强化学习(Deep reinforcement learning, DRL)中的深度确定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)求解问题模型，并且我们的算法达到了更好的效果。
2. 系统模型
考虑一个UAV辅助的MEC系统，有UU 个UAV和MM 个UE组成，其中U={1,⋯,k,⋯,u}U={1,⋯,k,⋯,u} ， M={1,⋯,i,⋯,m}M={1,⋯,i,⋯,m} ，每个UE可以处理少量的计算任务。由于UE本地计算能力有限，所以，UE会选择将计算任务在本地处理或者是将部分计算任务卸载到UAV上处理。考虑采取正交频分多址将UE的任务向UAV传输，将持续时间TT 分成II 个相同的时隙，在每个时隙下UAV仅处理一个UE任务。假设UAV在时间内的飞行高度始终是HH ，建立3D笛卡尔坐标系。假设UAVkk 在时隙ii 下的位置定义为 Lk(i)=(xk(i),yk(i),H)Lk(i)=(xk(i),yk(i),H) ，由于固定了UAV的飞行高度HH ，考虑UAV的2D坐标，定义为 L′k(i)=(xk(i),yk(i))Lk'(i)=(xk(i),yk(i)) ，在下一时隙下UAV的位置为：Lk(i+1)=(xk(i+1),yk(i+1),H)Lk(i+1)=(xk(i+1),yk(i+1),H) ，并且有：
xk(i+1)=xk(i)+vk(i)tflycosθk(i)xk(i+1)=xk(i)+vk(i)tflycosθk(i)(1)
yk(i+1)=yk(i)+vk(i)tflysinθk(i)yk(i+1)=yk(i)+vk(i)tflysinθk(i)(2)
其中，vk(i)vk(i) 是UAV kk 在时隙ii 下的飞行速度，0≤vk(i)≤vmax0≤vk(i)≤vmax 且θk(i)∈[0,2π)θk(i)∈[0,2π) 是UAVkk 在时隙ii 下水平方向移动距离的角度，tflytfly 是飞行时间。
此外，还要考虑到UAV的飞行范围，保证其只在服务范围内移动，定义XmaxXmax ，YmaxYmax 为UAV服务范围的总长度和总宽度。因此，在任意时间间隔下都有：
0≤xk(i)≤Xmax,∀k∈U0≤xk(i)≤Xmax,∀k∈U(3)
0≤yk(i)≤Ymax,∀k∈U0≤yk(i)≤Ymax,∀k∈U(4)
同时，考虑任意两个无人机之间的移动，为了避免无人机发生碰撞，设置一个最小距离LminLmin ，因此，在任意时间间隔下有以下碰撞约束条件：
∥Lk(i)−Lj(i)∥≥Lmin,∀k,j∈U‖Lk(i)−Lj(i)‖≥Lmin,∀k,j∈U(5)
2.1. 通讯模型
UAVkk 在时隙i下的位置定义为：Lk(i)=(xk(i),yk(i),H)Lk(i)=(xk(i),yk(i),H) ，同时UEmm 在时隙ii 下的坐标可以定义为Lm(i)=(xm(i),ym(i),0)Lm(i)=(xm(i),ym(i),0) 。那么在时隙ii 下UEmm 到UAVkk 的信道链路的信道增益表示为：
hkm(i)=h0∥Lk(i)−Lm(i)∥2hkm(i)=h0‖Lk(i)−Lm(i)‖2(6)
其中∥Lk(i)−Lm(i)∥‖Lk(i)−Lm(i)‖ 表示UEmm 和UAVkk 的欧几里得距离，且h0h0 表示在参考距离d0=1d0=1 米处传播的信道增益。
在UEmm 向UAVkk 卸载过程中，在时隙ii 下UEmm 的数据传输速率为：
Rkm(i)=Blog2(1+hkm(i)Pm(i)σ2)Rkm(i)=Blog2(1+hkm(i)Pm(i)σ2)(7)
其中，BB 表示通信带宽，0≤Pm(i)≤Pmax0≤Pm(i)≤Pmax 表示在时隙ii 下UEmm 向UAVkk 进行计算卸载时在上传链路中的发射功率，PmaxPmax 表示UEmm 的最大发射功率，σ2σ2 表示噪声功率。
定义Dm(i)Dm(i) 为UEmm 的计算任务大小，在我们的系统中，用户的卸载策略采用的是部分卸载策略。定义φm(i)∈[0,1]φm(i)∈[0,1] 为UEmm 的在在时隙ii 下的卸载比例。其中，卸载比例表示从本地设备卸载到边缘处理器的任务比例，卸载比为0时意味着用户不将自己的计算任务卸载到边缘处理器上而是用本地的处理器进行，卸载比为1时意味着用户将自己的计算任务全部卸载到边缘处理器上进行处理。
φm(i)=⎧⎩⎨⎪⎪0, 不卸载(0,1), 部分卸载1, 完全卸载φm(i)={0, 不卸载(0,1), 部分卸载1, 完全卸载(8)
在MEC系统中，由服务器提供的计算结果通常非常小可以忽略不记。因此，不考虑下行链路的发送延迟。考虑以下几个方面的延迟和能耗：UEmm 与UAVkk 通信的传输时间延迟、计算时间延迟和能量消耗。
UEmm 与UAVkk 通信的传输延迟和传输能耗为：
ttraUAVk,m(i)=φm(i)Dm(i)sRkm(i)tUAVk,mtra(i)=φm(i)Dm(i)sRkm(i)(9)
EtraUAVk,m(i)=Pm(i)ttraUAVk,m(i)EUAVk,mtra(i)=Pm(i)tUAVk,mtra(i)(10)
其中ss 表示处理每个单位字节所需的CPU周期。
2.2. 计算模型
UEmm 在时隙ii 下的本地计算时间延迟为：
tlocal,m(i)=(1−φm(i))Dm(i)sCUEtlocal,m(i)=(1−φm(i))Dm(i)sCUE(11)
其中CUECUE 表示UE的计算能力，我们假设每个用户UE的计算能力相同。
UEmm 与UAVkk 通信计算时间延迟为：
tcomUAVk,m(i)=φm(i)Dm(i)sCUAVktUAVk,mcom(i)=φm(i)Dm(i)sCUAVk(12)
其中CUAVkCUAVk 是UAVkk 的CPU计算能力。
当MEC服务器在处理任务时，它的计算功率可以表示为
PUAVk,m(i)=κC3UAVkPUAVk,m(i)=κCUAVk3(13)
因此计算能耗为：
EUAVk,m(i)=PUAVk,m(i)tUAVk,m(i)=κC2UAVkφm(i)Dm(i)sEUAVk,m(i)=PUAVk,m(i)tUAVk,m(i)=κCUAVk2φm(i)Dm(i)s(14)
UAV在时隙ii 下的飞行过程中的飞行能耗[12]可表示为：
Efly(i)=0.5MUAVtfly∥vk(i)∥2Efly(i)=0.5MUAVtfly‖vk(i)‖2(15)
其中MUAVMUAV 为无人机的质量。
2.3. 问题公式
所有计算任务处理完成的时间为整个系统的最终时间，在时隙ii 下整个系统的时间延迟可以表示为：
T(i)=∑m=1Mαm(i)max{tlocal,m(i),ttraUAVk,m(i)+tcomUAVk,m(i)}T(i)=∑m=1Mαm(i)max{tlocal,m(i),tUAVk,mtra(i)+tUAVk,mcom(i)}(16)
其中αm(i)={0,1}αm(i)={0,1} ，表示在任一时隙下都有任务需要处理。
因此，系统的总时延表示为：
T=∑i=1IT(i)T=∑i=1IT(i)(17)
在时隙ii 下处理完计算任务的能量消耗可以表示为：
E(i)=∑m=1Mαm(i)(EtraUAVk,m(i)+Efly+EcomUAVk,m(i))E(i)=∑m=1Mαm(i)(EUAVk,mtra(i)+Efly+EUAVk,mcom(i))(18)
∑i=1IE(i)≤EC∑i=1IE(i)≤EC(19)
其中ECEC 为UAV的电池总电量。
因此，系统的总能耗表示为：
E=∑i=1IE(i)E=∑i=1IE(i)(20)
定义时间延迟和能耗的权重和表示为系统成本，因此，优化问题可以表示为：
min(vk(i),θk(i),φm(i),Pm(i),αm(i))∑k=1Uω1T+ω2Emin(vk(i),θk(i),φm(i),Pm(i),αm(i))∑k=1Uω1T+ω2E(21)
s.t. 0≤φm(i)≤1,∀i∈I,m∈Ms.t. 0≤φm(i)≤1,∀i∈I,m∈M(22)
∑i=1I∑m=1Mαm(i)Dm(i)=D∑i=1I∑m=1Mαm(i)Dm(i)=D(23)
0≤vk(i)≤vmax,∀k∈U0≤vk(i)≤vmax,∀k∈U(24)
0≤θk(i)<2π,∀k∈U0≤θk(i)<2π,∀k∈U(25)
ω1+ω2=1ω1+ω2=1(26)
∑i=1IE(i)≤EC∑i=1IE(i)≤EC(27)
0≤xk(i)≤Xmax,∀k∈U0≤xk(i)≤Xmax,∀k∈U(28)
0≤yk(i)≤Ymax,∀k∈U0≤yk(i)≤Ymax,∀k∈U(29)
其中约束(22)表示计算任务的卸载率的值范围；约束(23)指定了在整个时间段内要完成的所有计算任务；约束条件(24)和(25)给出UAV的水平移动速度和角度的范围；约束(27)确保无人机在所有时隙飞行能耗和计算能耗不超过最大电池容量；约束条件(28)和(29)表明UAV只能在给定区域内移动。
5. 结束语
本文研究了无人机辅助移动边缘计算的任务卸载问题。首先，我们考虑了联合用户任务调度、任务卸载比、传输功率、无人机飞行角度和飞行速度，建立MEC系统的总能耗和时延权重和最小化问题；其次，将该问题转化成一个MDP过程并且使用DDPG算法求解。仿真结果表明所提算法能有效降低MEC系统的总成本。未来工作将考虑更复杂的情况，多无人机和基站下的任务卸载等，并且进一步提高系统性能。
参考文献 略
