每周文章分享-177

为响应低碳要求，电力系统中部署了大量可再生能源(RESs)。然而，RESs的间歇性增加了系统的脆弱性，在极端事件下甚至会造成严重的破坏。电动汽车由于其机动性和灵活性的特点，可以在提供各种辅助服务的同时增强系统的弹性。在这种情况下，电动汽车在电网中的分布式控制成为一个具有巨大动态性和不确定性的复杂决策问题。为此，提出了一种多智能体强化学习方法来同时计算离散和连续动作，这符合电动汽车路由和调度问题的性质。

此外，在多智能体环境下，该方法可以提高学习的稳定性和可扩展性，并保持隐私性。基于IEEE 6总线和33总线电网与交通系统集成的仿真结果验证了该方法在提供系统弹性和碳强度服务方面的有效性。

电动汽车控制问题面临以下挑战：

1)假设系统操作员可以知道所有的数学模型和技术参数，从而破坏了电动汽车的隐私。

2)难以准确获取系统的不确定性分布来模拟系统的随机和动态特性。

3)求解各响应时间的优化是非常耗时的，特别是在复杂的电力运输系统中，当需要快速响应时间来增强弹性和考虑大量的随机和整数变量时。

针对以上挑战，本文提出了一种新的MARL方法H-PSPPO，以解决电动汽车控制存在的一系列复杂问题。

本文所提出的框架如图1所示，共包含三个主要部分：

图1. 本文架构

（1）MAS模块

本文研究的MAS建模了聚合器、一组电动汽车和耦合电力运输网络之间的相互作用。其中，电动汽车作为RL agent与电力-交通网络(环境)进行交互，在交通网络中进行路由动作ki: 

a)进行调度动作xi;

b)在电网中，则得到局部观测oi和奖励ri;

c)MAS中的聚合器作为可信任的第三方，可以提供系统弹性动态(即负载减少量Pls;

d)并增强学习性能。

（2）Dec-POMDP模块

与传统的MAS不同，Dec-POMDP将MAS建模为具有潜在隐藏系统状态的顺序决策过程。本文更多地解释这个Dec-POMDP是如何与检验的MAS和提议的H-PSPPO集成的。Dec-POMDP中的EV代理独立行动，不知道其他代理的局部观察和行动。因此，在该MAS中，假设agent之间不存在隐式通信或信息共享。然而，为了保证合作方式，聚合器可以获取减载量Pls d，并抽象一个同时输入局部观测值oi和弹性贡献ei的新批评网络，该网络可以在某种程度上捕捉系统动态并指导智能体的行为以提高系统的弹性增强。

（3）H-PSPPO模块

H-PSPPO导出了以下四个具体的实现细节，这些细节对本文提出的电动汽车路由和调度问题具有深刻的见解和特别的关键，具体如下：

a)构造一个混合动作空间来计算离散和连续动作。

b)利用近端策略优化(PPO)算法在采样效率、学习稳定性、超参数鲁棒性等方面的优势对策略进行优化。

c)近似抽象状态值函数，增强电动汽车的可扩展性和隐私性。

d)采用参数共享(PS)技术，达到不共享局部信息的分布式控制方式。

原始PPO包含一个actor网络，用于估计计算连续动作的高斯分布的均值和方差，以及一个评论家网络，用于评估执行动作的q值。而Hybrid PPO具有两个行动者分支(网络)，分别用于同时生成离散和连续动作。

具体来说，我们重新考虑具有混合动作空间的Dec-POMDP。一方面，训练一个φi参数化的离散参与者网络，生成一个softmax(f)分布，输出所有可能的离散动作[K]的相应概率，然后从这个分类策略ki中采样离散动作

另一方面，训练一个以ψi为参数的连续行动者网络，生成一个输出相应均值和方差的高斯分布，然后从这个随机策略中对连续行动者进行抽样。

然后分别对离散型政策和连续型政策进行更新，通过最小化它们各自的截断代理目标来约束政策更新。然后，离散策略和连续策略的目标可以表示为：

其中第一项是正常的策略梯度，第二项是通过剪切[1−η,1 + η]之间的概率比来修整策略梯度，其中η是一个小的超参数，它鼓励新策略在每个梯度上从旧版本更新更少。这里，概率比(ζ d1,t)只考虑离散策略而(ζ ci,t)只考虑连续策略。也就是说，尽管这两种政策相互作用决定了整个行动，但它们的目标并不明确地以彼此为条件。也就是说，在政策评价中，以上被看作是两个独立的分布，而不是一个联合分布。具体定义如下：

另外，{Ai,t}是广义优势函数

（4）抽象状态-值函数

IRL只获取局部观测值而不获取其他信息，可能存在不稳定问题。为此，在多智能体PPO的激励下，本文通过合并所有智能体的局部观测值来形成全局状态，重新表述了状态值函数Vi(oi) = Vi(s)≈Vi(o1:I)。然而，由于隐私的挑战，其他代理直接获取局部观测值是不切实际的。此外，集中式批评的输入维度随着智能体大小和观察空间成比例地增加，很快使问题难以大规模设置。最后，连接所有局部观察也可能不包含足够的全局信息来将POMDP减少到MDP，因为可能存在任何代理都没有观察到的关键信息。因此，本文假设EV聚合器是一个可信的第三方，它可以为所使用的EV提供反映集中训练过程中所有代理集体行为的系统关键信号。为此，我们将每个智能体i的多智能体联合状态值函数近似为：

其中ei表示智能体i对系统总体减载量的贡献。可以观察到ei是一个内嵌函数，它不仅抽象了所有其他智能体的局部观测值，而且还反映了智能体I提供系统弹性的状态(ei的值越低，表示有助于增强弹性的性能越好，反之亦然)。因此，该函数提供了代理的局部观测值以及系统整体动态的良好近似值。将ei引入到状态值函数估计中，每个智能体在不知道自己和所有其他智能体的电力运输局部信息和控制活动的情况下，可以根据自己和所有其他智能体的观察和行为的影响做出熟悉的决策，从而保护了电动汽车的隐私性，提高了可扩展性。

（6）PS技术

由于本文考虑了具有相同观察、行动和奖励函数的I个智能体的DECO-MDP，因此使用PS技术可以以更高的效率训练它们的策略。PS允许所有代理共享单个策略的参数。这使得共享策略可以使用所有智能体收集的样本经验进行训练，以增强学习性能，同时仍然允许不同智能体之间的不同行为，因为每个智能体接收不同的局部观察值。为了实现这一技术，本文假设所有局部EV代理从环境中获得的经验被传输到一个中央聚合器，用于更新由φ和ψ参数化的共享策略。然后，该策略被广播到所有局部EV代理，以计算对环境执行的动作。在传统的分布式MARL方法中，中央聚合器必须访问所有本地EV代理的数据进行交换，这可能会引起EV的数据隐私问题。然而，在我们提出的PS技术中，中央聚合器不需要本地数据共享，从而保持了本地数据的隐私性。在这种情况下，用来估计状态值函数的批判网络也可以用PS技术来训练Vs。

（7）训练过程

在每次训练迭代中，HPSPPO按照共享策略πs对所有智能体运行T步，并通过与环境的交互作用，用收集到的轨迹i:I更新它们。一旦收集到一批轨迹，聚合器就利用它们来计算每个智能体i和时间步长t的贴现奖励。

然后，本文可以通过最大化它们各自的目标来训练两个共享actor网络：

其中N为批大小。通过最小化均方误差损失函数来训练共享评论家网络：