通过基于强化学习的周期性策略来提升以太网的能效

《Engineering Applications of Artificial Intelligence》：Enhance energy efficient ethernet with reinforcement learning based periodic strategy

现有能源高效以太网策略在动态交通下性能不稳定，本文提出基于强化学习的周期策略RLPS，通过动态调整周期长度平衡节能与延迟，实验显示节能达60.8%。

　　

Kai Wang|Wanchun Jiang|Renfu Yao|Jiawei Huang|Jianxin Wang

中南大学计算机科学与工程学院，中国长沙，410083

摘要

能效以太网（Energy Efficient Ethernet，EEE）的策略决定了何时进入和退出节能模式，从而直接影响节能效果和数据帧的传输延迟。然而，由于该策略的性能高度依赖于网络流量，现有的EEE策略要么需要在特定流量负载下进行静态参数配置，要么需要基于假设特定流量分布的流量预测模型来调整参数。因此，在实际变化的网络流量下，现有策略很难保持一致的高性能。为了解决这个问题，我们将强化学习（reinforcement learning，RL）纳入EEE策略的设计中，提出了基于强化学习的周期性策略（RLPS）。具体而言，RLPS以动态调整的周期长度周期性运行。在每个周期中，RLPS首先传输所有缓冲的数据帧，然后进入选定的节能模式直到周期结束。RLPS不是直接输出节能模式切换决策，而是在线学习每个周期的长度，以有效捕捉流量变化的影响。这种周期性方法能够在每个周期内利用学习到的信息优化功耗，同时减少在线学习的开销。通过合成流量和真实数据流的广泛模拟表明，RLPS的性能优于现有策略，功耗降低了高达60.8%，同时在不同的流量负载和分布下保持一致的高性能。

引言

自20世纪70年代以来，以太网一直是计算机网络中的关键技术。随着以太网带宽的快速增长，功耗也显著增加（Reviriego等人，2011年）。然而，以太网链路的利用率通常较低。例如，大多数链路的负载率低于20%（Benson等人，2010年）。即使在空闲期间，以太网接口也会以满负荷运行，导致大量能源浪费。为了降低以太网的功耗，电气和电子工程师协会（IEEE）802.3bj工作组制定了40/100吉比特每秒（Gbps）能效以太网（EEE）标准（IEEE，2014年）。该标准定义了两种节能模式，在低流量负载期间激活这些模式。在节能模式下，功耗显著降低。因此，EEE的节能效果取决于其保持节能模式的时间长度。然而，在节能期间，到达的数据帧会被缓冲而不是立即传输，从而引入额外的排队延迟。因此，EEE的性能应从节能效果和数据帧的额外排队延迟两个方面来评估。

EEE策略决定了EEE进入和退出节能模式的时间，这对EEE的性能至关重要。现有策略并非由标准规定，而是由制造商根据其期望的性能来实施。目前已经提出了许多策略（Reviriego等人，2009年；Mostowfi，2015年；Herrería-Alonso等人，2015年；Mostowfi和Shafie，2018年；Herrería-Alonso等人，2017年；Cenedese等人，2016年；Jiang等人，2020年；Jiang等人，2023年）。一些策略依赖于在特定流量负载下的适当参数配置来获得良好性能（Mostowfi，2015年；Herrería-Alonso等人，2015年；Mostowfi和Shafie，2018年）。尽管分析结果可以在假设的流量分布下指导参数配置（Pan等人，2017年；Herrería-Alonso等人，2019年），但这些策略在实际变化的网络流量下难以保持一致的高性能。另一种方法是基于流量预测来调整参数（Herrería-Alonso等人，2017年；Jiang等人，2020年）。当预测结果准确时，即使流量动态变化，性能也能保持良好。然而，流量预测的准确性总是依赖于关于流量分布的预设假设。换句话说，当流量分布与预设假设不符时，流量预测的准确性可能会较差。因此，现有策略在实际变化的网络流量下难以保持一致的高性能。此外，大多数现有策略都是根据当前或估计的流量条件来决定模式切换。然而，目前尚不清楚当前决策是否能够适应未来的流量变化。因此，这些策略在面对频繁的流量变化（如Pareto流量和动态变化的真实流量）时可能会表现不佳。总体而言，设计一个能够在40/100 Gbps EEE下始终保持高性能的EEE策略仍然是一个未解决的问题。

本文的目标是开发一种自适应的EEE策略，该策略能够在动态流量条件下保持一致的高性能，无需依赖预设的流量假设，同时实现最大的功耗节省和可接受的延迟。为此，我们将强化学习（RL）方法（Sutton等人，1999年）纳入EEE策略的设计中。具体来说，我们提出了基于强化学习的周期性策略（RLPS），该策略以动态调整的周期长度周期性运行。其核心思想是，单个节能模式切换决策的影响难以及时评估，因为EEE的性能取决于切换期间及之后到达的数据帧数量，即相对较长的时间间隔。因此，RLPS不是为每个节能模式切换决策训练一个模型，而是周期性运行，并在线学习每个周期的长度以反映流量的影响。基于这一创新框架，RLPS在每个周期开始时传输所有缓冲的数据帧，直到队列为空，然后该周期的剩余时间用于节能。通过明确的节能时间，可以正确选择节能模式，并明确每个模式切换决策的影响。此外，每个周期只进入一次节能模式，以避免不必要的节能模式切换导致的能源浪费。最后但同样重要的是，RLPS直接使用性能指标作为奖励来训练在线学习模型。由于周期长度与性能紧密相关，RLPS可以学习到最佳的周期长度并始终获得良好的性能。此外，在线学习模型只需定期更新，计算开销是可以接受的。总之，通过引入强化学习，RLPS可以自适应地调整每个周期的长度，并选择适当的节能模式，无论流量如何变化。在ns-3网络模拟器（Nsnam，2026）中进行的广泛模拟表明，RLPS在不同的流量负载和分布下始终保持一致的高性能。

本文的主要贡献如下：

• $•$
  我们发现，现有的EEE策略在实际变化的网络流量下难以保持一致的高性能，因此建议将强化学习方法纳入EEE策略的设计中，以应对动态流量的影响。
• $•$
  我们开发了一个用于设计基于学习的EEE策略的周期性框架，并提出了RLPS，该策略能够在不同的流量下保持一致的高性能。RLPS周期性运行，减少了在线学习的开销，通过在线学习每个周期的长度来反映流量的影响，并在每个周期实现接近最优的节能效果。
• $•$
  我们在ns-3网络模拟器中实现了RLPS。通过合成流量和真实数据流的模拟表明，RLPS的性能优于现有策略，功耗降低了高达60.8%，同时在不同的流量负载和分布下保持一致的高性能。

本文的其余部分组织如下：第2节是背景和相关工作；第3节介绍了RLPS的设计；第4节评估了RLPS的性能；第5节是结论。

40/100 Gbps EEE标准

尽管以太网已被广泛采用，但许多网络接口的负载通常较低，尤其是在午夜等非高峰时段。尽管处于空闲状态，这些网络接口仍以满负荷运行，导致大量能源浪费。因此，帮助大量网络接口在不影响性能的情况下自动节能的EEE标准至关重要。为此，IEEE制定了IEEE 802.3az（IEEE，2010年）和IEEE 802.3bj（IEEE，2014年）标准。

基本思想

EEE节能的核心在于活动模式和节能模式之间的切换。现有的EEE策略基于对流量分布的假设来确定节能模式的切换，这限制了它们对不可预见模式的适应能力。换句话说，传统方法无法感知到达流量的特征变化。近年来，有许多研究使用强化学习方法来学习网络流量特征。

实施和设置

在本节中，我们描述了RLPS和其他比较策略的实现和配置。

RLPS的实现。 RLPS在ns-3网络模拟器（Nsnam，2026）中实现。具体来说，通过扩展ns-3的以太网通道对象来实现EEE模块。函数$\eta$和$\lambda$的权重系数分别设置为0.005和0.5。此外，RL模块基于Tensorflow实现，并通过

结论

在本文中，我们提出了用于40/100 Gbps EEE的RLPS，以解决现有EEE策略的局限性，这些策略要么依赖于静态参数，要么依赖于基于预测的参数调整，难以在多样化和动态的流量条件下保持一致的高性能。鉴于单个节能模式切换决策的影响难以评估，RLPS采用了一个具有自适应周期长度的周期性控制框架。

CRediT作者贡献声明

Kai Wang：撰写 – 审稿与编辑，撰写 – 原稿，验证，方法论，资金获取。Wanchun Jiang：撰写 – 审稿与编辑，监督，方法论，资金获取，概念化。Renfu Yao：撰写 – 审稿与编辑，验证，方法论，调查。Jiawei Huang：撰写 – 审稿与编辑，监督。Jianxin Wang：撰写 – 审稿与编辑，监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

这项工作本质上是以下会议论文的扩展：“Wanchun Jiang, Zhuang Tian, Renfu Yao, Xunyong Tan, Kai Wang, Jiawei Huang, and Jianxin Wang. RLPS: 基于强化学习的40/100 Gbps能效以太网周期性策略。第22届IEEE国际并行与分布式处理应用研讨会（ISPA），2024年”。这项工作部分得到了国家自然科学基金（Grant编号62472451）的支持。