《Journal of Systems Architecture》:Designing resilient IoT and Edge Computing with federated tinyML
编辑推荐:
物联网与边缘计算网络安全增强方法研究,通过融合TinyML和联邦学习构建三层架构DRIFT,实现设备端实时威胁检测与隐私保护下的知识共享。采用物理测试床模拟攻击场景并验证模型,结合虚拟测试床评估跨异构网络环境下的性能,实验表明该方法在N-BaIoT数据集和真实流量中提升检测准确率并降低资源消耗。
保罗·莱欧(Paul Laiu)|李明彦(Mingyan Li)|杰弗里·A·尼科尔斯(Jeffrey A. Nichols)|迈克·胡特尔(Mike Huettel)|艾萨克·西克玛(Isaac Sikkema)|马希姆·马图尔(Mahim Mathur)
橡树岭国家实验室(Oak Ridge National Laboratory),美国田纳西州橡树岭市贝瑟尔谷路1号(1 Bethel Valley Rd., Oak Ridge, TN, USA)
摘要
物联网(IoT)和边缘计算(Edge Computing, EC)的快速发展为现代社会带来了诸多便利,但也极大地扩大了网络攻击的潜在面,尤其是这些技术越来越多地被集成到电网、医疗保健和智能家居等关键系统中。为了提升物联网/边缘计算的网络安全水平,我们利用人工智能(AI)和机器学习(ML),通过tinyML技术监测海量物联网数据以检测网络威胁,同时考虑到设备的资源限制,并采用联邦学习(Federated Learning, FL)在保持隐私的前提下实现跨系统检测知识的共享。基于我们结合tinyML和FL的三层架构,本文证明了该架构能够提高检测准确性、降低资源消耗,并实现轻量级、安全的物联网设备监控。这些结果通过公共的N-BaIoT数据集以及我们在测试平台上收集的多种攻击场景下的真实物联网网络流量数据得到了验证。此外,我们还引入了一种改进的FL方法,其中包括新颖的预处理阶段,如联邦特征选择和全局预处理器构建,以应对物联网/边缘计算数据的异构性问题。我们开发了一个物理物联网测试平台用于攻击模拟和数据收集,实现了一个基于tinyML的检测器以验证模型的有效性,并构建了一个虚拟测试平台,以便在不同网络环境中对FL模型进行可扩展的评估。
引言
物联网(IoT)和边缘计算(EC)设备的迅速普及改变了现代计算基础设施,推动了日常生活中的连接性、自动化和效率达到了前所未有的水平。然而,这种普及也带来了各种网络安全风险。据估计,到2030年将有400亿台物联网设备投入使用,其中超过一半的设备可能仍然容易受到网络攻击[1]。这些漏洞正被越来越复杂的、多阶段的攻击活动所利用,这些攻击通常针对的是数据中心和智能电网生态系统等互联系统,导致广泛的严重后果。
一个典型的例子是LapDogs网络间谍活动(2023-2025年)[2]。在这次行动中,受国家支持的攻击者劫持了美国和亚洲的1000多台SOHO路由器和物联网设备。被入侵的设备被转化为操作中继盒(Operational Relay Boxes, ORBs),从而实现了隐蔽的监控和网络间的横向移动。LapDogs事件表明,低价值的物联网终端可能成为深入关键系统的入口点,这进一步影响了包括政府、市政和企业网络在内的更广泛系统的安全性。
另一个备受关注的案例是Mirai僵尸网络及其变种,它们在2016年发起了大规模的分布式拒绝服务(DDoS)攻击。这些攻击从被入侵的物联网设备发起,暂时使互联网的大部分区域瘫痪,威胁到了关键基础设施和公共安全[3]。由于Mirai的源代码被公开,其变种不断出现,利用相同的传播机制利用新的漏洞[4]。
在物联网/边缘计算层面检测此类攻击仍然是一个巨大的挑战。有效的检测必须在设备层面进行,以确保实时响应并保护本地网络通信的隐私。例如,N-BaIoT数据集[5]提供了在正常条件和僵尸网络攻击(如Mirai和Bashlite家族)下的网络流量记录。使用主成分分析(PCA)进行分析后,发现每种设备都有独特的流量模式,这些模式由通信行为、制造商设计和功能角色的差异所驱动[6]。这种多样性限制了集中式威胁检测的能力,突显了需要本地化、智能化的检测机制。然而,目前大多数物联网设备缺乏有效识别和应对高级威胁(尤其是零日漏洞)所需的认知能力。此外,物联网环境的异构性产生了大量跨多种硬件和软件平台的多模态数据[7]。这些复杂性凸显了人工智能和机器学习(AI/ML)技术在物联网和边缘计算设备层面实现更加适应性、智能化和上下文感知的网络安全解决方案的潜力。
鉴于日益严重的安全问题,诸如2020年《物联网网络安全改进法案》(Public Law No: 116–207, H.R. 1668)等立法框架要求国家标准与技术研究院(NIST)和管理预算办公室(OMB)等机构为物联网系统建立基本的安全标准。随着物联网和边缘计算技术继续被嵌入到关键基础设施中——从智能电网和分布式能源资源(DERs)到联网家庭——它们引入了新的、不断演变的网络攻击面,需要先进且具有弹性的安全架构。
我们的研究旨在通过开发能够实时检测和响应威胁的认知网络安全机制来解决这些新兴挑战。通过利用基于AI/ML的方法,我们希望赋予物联网设备自主的安全能力。利用tinyML,这些设备可以处理本地数据,识别复杂的威胁模式,并在动态的智能环境中适应性地应对已知和未知的攻击。为了进一步增强这种智能性,同时保护数据隐私并最小化通信开销,我们探索了联邦学习(FL)作为关键推动技术。FL允许分布式物联网设备协作训练共享模型,而无需暴露原始数据,从而维护用户隐私和网络效率[8]。这种去中心化的方法不仅支持低延迟的威胁检测,还通过从异构环境中学习不同的攻击模式来增强全球韧性,同时确保遵守数据保护法规。
在我们之前的工作中[9],我们提出并验证了一个结合tinyML和联邦学习(FL)的三层架构,用于物联网僵尸网络检测。该架构被称为DRIFT(设计弹性物联网/边缘计算与联邦tinyML,证明了部署在物联网设备上的量化、特征减少的tinyML模型以及具有异常值抵抗能力的缩放器可以保持检测准确性。此外,利用交叉特征集的FL实现了知识共享,并比单独的本地模型取得了更好的性能。
在前期工作的基础上,本研究通过架构和方法上的改进进一步推进了认知网络安全框架,具体内容如下。
- •
改进的FL方法:我们在FL工作流程中引入了一个新的预处理阶段,解决了分布式物联网网络流量数据异构性问题这一常被忽视的问题。预处理阶段包括:(1)联邦特征选择,每个边缘计算设备从其自己的数据集中选择重要特征,然后使用所有本地选择特征的交集作为全局特征集;(2)联邦特征规范化,将关于本地数据的粗略统计信息发送到云服务器,服务器汇总这些信息以设计全局预处理器,同时保护各个边缘计算设备的数据隐私。实验验证了这一预处理流程,并展示了FL模型性能的提升。
- •
物理测试平台和检测器实现:我们开发了一个物理物联网测试实验室,用于收集真实网络流量、模拟攻击场景并测试基于FL的物联网安全检测能力。测试实验室被划分为“家庭网络”、“攻击网络”和“监控网络”,使用管理交换机进行连接,其中“家庭网络”中的物联网设备通过WiFi路由器与云服务提供商通信。通过端口镜像收集流量数据。攻击模拟通过路由限制来控制恶意软件在实验室内的传播。实验室生成的新攻击数据使我们能够创建额外的异构性场景来评估DRIFT的性能。我们还在支持WiFi的ESP32微控制器上实现了基于tinyML的入侵检测器。
- •
虚拟测试平台:我们还创建了一个虚拟物联网测试平台,以模拟不同的物联网网络环境,补充我们的物理测试平台。它还支持FL模型的可扩展评估。从物理测试平台记录的流量被重新播放到大规模的虚拟环境中,模拟真实的、多样的网络行为。虚拟测试平台包括资源受限的Linux虚拟机,以模拟物联网设备的限制,并能够在从小型家庭网络到大型企业级物联网网络的各种网络配置中进行模型评估。这种方法在评估不同条件下的检测方法时提供了灵活性。
本文的其余部分安排如下:第2节概述了当前的研究现状。第3节描述了三层DRIFT架构及其数据、学习和推理工作流程。第4节、第5节和第6节分别介绍了硬件平台、虚拟测试平台和DRIFT架构的数值验证。第7节提供了总结和未来的研究方向。
部分摘录
TinyML
TinyML使得在超低功耗设备上进行机器学习成为了一个非常活跃的研究领域[10],[11]。在物联网设备的背景下,其主要目标是解决微控制器单元(MCUs)的内存和计算限制问题,同时保持可接受的模型准确性[12]。尽管tinyML已应用于医疗保健、农业、交通和监控等多个领域[13],但在网络威胁检测方面的应用
DRIFT架构
通过将tinyML与联邦学习(FL)的协作能力相结合,我们开发了一个三层认知安全架构DRIFT,以增强物联网网络的智能性和韧性[9]。DRIFT旨在实现分布式生态系统中的智能检测和自适应防御机制,从而提高物联网支持环境中的整体网络安全水平。如图1所示,DRIFT在三个基础设施抽象层上运行:
硬件平台
物理测试实验室一直是项目设计的一部分,用于为FL开发提供真实数据。为了支持训练数据的需求并测试我们的模型,我们建立了一个物理测试环境,在该环境中,物联网设备能够完全与云主机通信,同时使用Mirai等物联网攻击工具进行的挑衅被隔离,防止其扩散。从这个环境中,我们收集了各种攻击的数据集来训练和测试我们的FL框架。
虚拟测试平台
除了创建物理测试平台来生成网络流量和测试我们的检测能力外,我们还希望创建一个虚拟测试平台,以便在网络中模拟不同的物联网设备。虚拟测试平台允许我们在网络中配置不同的设备,还可以增加各个网络的规模,并创建多个不同的网络来测试我们的FL模型。
实验
本节报告了在DRIFT架构上进行的网络流量分类的实验配置和结果。第6.1节提供了测试问题配置。第6.2节报告了实验结果,并分析了DRIFT中各个组件的影响。具体来说,第6.2.1节展示了FL从分布式网络流量数据中学习tinyML模型的优势,并比较了特征选择方法的效果;第6.2.2节研究了
结论
为了支持和验证DRIFT架构在物联网/边缘计算环境中的智能入侵检测设计,我们开发了物理和虚拟测试平台。这些平台使我们能够收集真实的物联网设备网络流量数据、模拟多种网络攻击,并在不同网络环境中进行可扩展性实验。特别是,使用我们物理测试平台在多种攻击场景下的流量数据,我们能够
CRediT作者贡献声明
保罗·莱欧(Paul Laiu):撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。李明彦(Mingyan Li):撰写——审阅与编辑、撰写——初稿、可视化、验证、监督、软件、项目管理、方法论、调查、资金获取、形式分析、概念化。杰弗里·A·尼科尔斯(Jeffrey A. Nichols):撰写——审阅与编辑、撰写——初稿、验证
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本研究由橡树岭国家实验室的实验室指导研发(LDRD)计划支持,该计划属于人工智能计划的一部分,由UT-Battelle, LLC管理,为美国能源部执行,合同编号为DE-AC05-00OR22725