《Computer Communications》：SAFA-MMFL: A human cognition inspired unified framework of task oriented semantic communication for wireless edge devices
编辑推荐：
多模态联邦学习框架结合分式自编码器和梯度扰动，解决异构设备语义特征错位及模型反演攻击问题，实验表明准确率提升30%，反演攻击成功率降低60%。
Miao Liu|Haibin Hou|Jiexuan Sha|Sahil Garg
南京邮电大学通信与信息工程学院，中国南京，210003
摘要
结合联邦学习（FL），面向任务的语义通信（SC）作为一种有前景的解决方案，旨在减少边缘设备的带宽消耗。然而，它仍然面临关键挑战：在异构设备上不同模态之间的语义特征不对齐，以及共享模型梯度容易受到逆向攻击的威胁。受人类两种认知模式的启发，本文提出了一种基于多模态联邦学习（MMFL）的、适用于资源受限边缘网络的统一框架。同时，采用分割自编码器来提取与任务相关的信息，并适应不同的压缩方法。为进一步解决特征不对齐和逆向攻击问题，提出了一个两阶段的分割自编码器与特征对齐（SAFA）方案。在第一阶段，边缘客户端通过分割编码器提取本地语义特征，并通过教师-学生式的知识蒸馏步骤最小化跨客户端特征的分布差异；在第二阶段，边缘客户端将带有加性高斯噪声的本地梯度上传到云服务器，以防止模型逆向攻击。随后，对对齐后的特征进行全局解码，并通过监督学习分类器进行处理。最后，基于混合国家标准与技术研究院（MNIST）数据集和自由口语数字数据集（FSDD）进行了经典音频-图像分类任务的模拟实验。与之前的FL方案相比，所提出的SAFA-MMFL框架不仅在模态不完整的边缘客户端上将任务准确率提高了30%，还在模型分割和梯度扰动的帮助下，将模型逆向攻击的失败概率提高了60%。
部分内容摘要
背景与动机
随着无线通信技术向第六代移动通信系统的演进[1]，语义通信作为一种关键技术受到了广泛关注，因为它通过仅传输与任务相关的语义而非原始数据来降低通信成本[2]、[3]。基于收发器之间的共享背景知识，发送端使用深度学习（DL）进行语义压缩，接收端进行重构
多模态语义通信
SC作为一种新型范式，最近受到了关注，它超越了香农的经典理论，优先传输与任务相关的语义内容而非原始比特[3]、[25]。其核心思想是编码并传输对接收者任务有意义的信息，从而显著降低通信成本而不影响任务准确性[20]。早期研究主要集中在单模态场景，例如用于语义文本传输的DeepSC或视觉语义
场景描述
在本文中，我们考虑了一个基于边缘DL的代表性面向任务的SC场景。如图1所示，在多用户SC系统中，每个智能客户端可能拥有一种或多种数据模态，这取决于它们的边缘感知能力。一些客户端同时配备图像和音频传感器（即两种模态），而其他客户端则只有一种模态——如图像、音频或其他类型。每个客户端都致力于提高其无线通信的准确性
实验设置与结果
为了全面评估SAFA-MMFL框架在表示对齐、任务性能和隐私保护方面的表现，我们在三种代表性场景下进行了实验：跨域同质分类、跨域异质分类和模型逆向攻击。这些实验评估了该方法在不同模态配置和数据分布下的泛化能力、稳定性和鲁棒性。
结论
受人类两种认知模式的启发，本文提出了一种基于MMFL、分割自编码器和梯度扰动的统一框架，用于解决语义异质性和隐私风险等关键问题。特别是设计了一种名为SAFA的新颖训练方案，该方案分为两个阶段
CRediT作者贡献声明
Miao Liu：撰写——初稿、方法论、资金获取、形式分析、概念化。Haibin Hou：软件开发、资源管理、调查、数据整理。Jiexuan Sha：验证、监督、项目管理。Sahil Garg：撰写——审稿与编辑、可视化。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
