《Future Generation Computer Systems》:Dynamic Feedback-driven Adaptive Queue-based Load Balancing in Cloud Environment
编辑推荐:
云环境中动态负载均衡的挑战与解决方案。针对静态算法适应性差、单指标评估不足及集中式调度延迟问题,提出DFAQ-LB算法:通过弹性队列容量调节模型实现动态负载预测与调度频率调整,结合多维节点健康评估模型(整合CPU、MIPS、内存、带宽及动态权重分配),提升资源利用率和任务完成效率。仿真显示其平均等待时间较ACO、PSO分别降低38.5%、53.2%,较CDLB、DDLBM算法更优。
余子源|杨鹏|叶丹莲|佘坤|谭亮|吴万静
四川师范大学计算机科学学院,成都,610101,中国
摘要
在云计算中,高效的负载均衡是确保高资源利用率、可扩展性和服务可靠性的关键挑战。然而,现有策略面临三个主要限制:(a) 静态算法无法适应动态和突发的工作负载,导致严重的资源不平衡;(b) 单指标评估(例如CPU利用率)无法捕捉异构云节点的多维特性;(c) 集中式调度受到全局信息获取延迟的影响,在动态条件下响应能力受限。为了解决这些问题,本文提出了一种基于动态反馈的自适应队列负载均衡(DFAQ-LB)算法。其核心思想是通过队列状态和系统指标的动态反馈实现自适应任务调度。具体来说,引入了两种机制:(a) 弹性队列容量调节模型,利用短期负载预测动态调整队列长度和调度频率;(b) 多维节点健康评估模型,结合CPU、MIPS、内存和带宽,并采用动态权重分配策略以提高实时决策的准确性。在CloudSim上的广泛模拟表明,DFAQ-LB的性能显著优于传统的静态和启发式方法。与ACO和PSO相比,DFAQ-LB分别将平均等待时间减少了38.5%和53.2%,任务完成时间减少了30.7%和35.2%;与CDLB和DDLB相比,平均等待时间减少了53.2%和75%,平均完成时间减少了28.3%和63.4%,任务完成时间减少了35.2%和40.7%。这些结果证实,DFAQ-LB有效缓解了任务拥塞,最小化了迁移开销,并实现了更高的适应性和可扩展性,为云环境中的动态负载均衡提供了一个强大而智能的解决方案。
引言
随着移动设备、智能终端和无线传感器的快速发展,云计算已成为信息存储和数据处理的关键技术范式。凭借其弹性可扩展性、高可扩展性、资源共享和按需服务能力,云计算在计算和存储资源管理中发挥着核心作用。目前,云计算已广泛应用于智能建筑[1]、医疗保健[2]、教育[3]和金融等多个领域,显著提高了资源利用效率和信息系统的经济效益,成为现代信息技术发展的重要基石。
然而,随着云平台资源规模的不断扩大和企业业务需求的日益多样化,云计算在处理效率和资源利用方面逐渐暴露出性能瓶颈,严重影响了服务可靠性和服务质量(QoS)。其挑战表现在:
•静态策略无法适应动态负载波动[4]:传统的静态负载均衡算法(如轮询和最小连接数)依赖于预设规则,无法实时响应负载变化。当用户请求数量突然增加时,由于固定阈值的存在,静态策略会导致任务积压,实际测量显示响应延迟显著增加。
•单指标评估[5]:现有算法通常依赖单一指标(如CPU利用率或内存使用率)来评估节点状态,忽略了多维资源之间的关联。目前尚无统一的多维健康评估模型。例如,在GPU密集型任务中,高CPU利用率并不一定意味着过载(如深度学习推理);仅依赖CPU调度可能导致GPU资源闲置。
•集中式调度信息有限:集中式架构(如主节点调度)依赖于全局状态同步,存在可扩展性和实时性瓶颈。在大型集群中,全局信息收集延迟,导致调度决策延迟,处理突发流量时效率降低。主节点的故障可能导致系统级雪崩,无法支持边缘计算等分布式场景中的本地快速决策。
在这种背景下,如何在动态环境中实现高效且可扩展的负载均衡已成为当前云计算研究中的关键热点和难点[6]。
负载均衡机制旨在合理分配云计算环境中的计算资源(如CPU、内存、带宽和存储),防止某些虚拟机(VM)因任务过载而性能下降,同时避免资源闲置造成的浪费。通过将工作负载分布在多个计算节点上,负载均衡可以有效提高资源利用率和系统吞吐量[7]。目前,研究人员提出了各种静态和动态负载均衡算法[8]。其中,静态方法严重依赖预设的任务特征和系统状态,难以应对用户请求量突然变化等高度动态的特性;动态算法基于系统的实时状态进行调度,具有更好的适应性和容错能力,逐渐成为研究的主流。
尽管近年来在动态调度[9]、[10]、[11]、[12]、[13]、响应式迁移等领域取得了显著进展,但在处理突发流量、资源异构性和通信开销控制方面仍存在挑战。现有的集中式策略(如加权轮询)和启发式算法在处理微突发流量和高频动态变化时,常常受到系统可扩展性和全局信息获取能力的限制。特别是在大规模云数据中心中,依赖全局状态信息的算法受到网络延迟和节点故障的影响,难以确保实时和有效的调度策略。
在这种背景下,将任务队列的实时行为特征(如队列占用率、任务离开间隔和拥塞趋势)整合到自适应负载均衡框架中尚未得到充分探索。目前将预测性负载反馈机制与本地节点队列状态相结合的研究仍不足,这阻碍了系统在过载前重新分配任务的能力。此外,现有的基于队列的负载均衡方法往往缺乏统一的框架,难以协同处理多维系统健康指标和动态调度权重的自适应调整。
为了解决上述问题,本文提出了一种基于动态反馈的自适应队列负载均衡(DFAQ-LB)算法。该算法主要包括两种创新机制:(a) 弹性队列容量调节模型:基于短期负载预测,动态调整节点的任务队列容量,以实现响应效率和资源利用率之间的平衡;(b) 多维节点健康评估机制:综合考虑CPU利用率和MIPS,基于内存使用率和带宽状态设计动态权重分配策略,以提高资源调度的准确性和响应性。
仿真实验结果表明,该算法在减少响应延迟、提高任务完成率和优化资源利用率方面优于现有的主流负载均衡算法,具有很好的实际应用价值。
本文的其余部分安排如下:第2节简要回顾了与云环境中的负载均衡相关的先前研究工作。第3节提出了基于动态反馈的自适应队列负载均衡算法。第4节展示了仿真环境和结果。第5节是本文的结论。
相关工作
相关工作
在云计算系统中,任务调度和资源分配是支持系统性能和服务质量的核心技术。它们的调度模型质量直接影响虚拟资源的管理效率、负载均衡的效果以及系统的安全性。因此,资源调度一直是云计算领域的研究热点和难点之一[6]。
基于动态反馈的自适应队列负载均衡算法
所提出的DFAQ-LB框架通过三种核心机制实现自适应负载均衡:首先,构建了一个弹性队列调节模型,动态调节任务缓冲和排队状态;其次,根据VM能力和拥塞指数计算多维动态指标,以表征实时节点健康状况;最后,任务调度算法根据这些指标在VM之间进行任务重新分配和迁移。这三个组件协同工作
实验
本文使用Cloudsim3.0进行仿真实验。首先介绍实验设置,包括软件和硬件环境、性能指标、仿真参数和实现方法。然后,将本文提出的DFAQ-LB方法与传统的静态方法和启发式算法以及参考文献[24]中提出的CDLB和DDLB算法进行了比较和分析,展示了DFAQ-LB方法的优点
讨论
尽管本研究通过仿真实验验证了所提出的负载均衡算法在核心性能指标上的优越性,但我们认识到其在实际云环境中的应用仍面临许多挑战。首先,算法的能效对于实现绿色云计算至关重要,未来的工作将探索低功耗调度策略;其次,多租户场景下的安全隔离和隐私保护机制也需要进一步研究
结论
本文提出了一种新的动态任务调度算法,结合了现有的调度算法和队列调节模型。目标是在云计算环境中实现多服务器之间的负载均衡。该方法提高了资源利用率,减少了由任务拥塞引起的处理延迟。本研究的主要贡献包括设计了一种混合调度机制,可以根据VM容量和拥塞情况动态调整任务分配
未引用的参考文献
缺少参考文献:图6、图7、图10、图11、图12、图13、表3、表4、表6、算法2
CRediT作者贡献声明
余子源:软件开发。杨鹏:软件开发。叶丹莲:软件开发。佘坤:指导。谭亮:资金获取。吴万静:撰写——审稿与编辑、撰写——初稿、可视化、验证、指导、软件开发、资源管理、项目管理、方法论研究、数据分析、数据整理。
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。