QS-FedNeRF：用于边缘智能的量化传输与设备选择联合神经辐射场

联邦神经网络辐射场学习框架存在数据冗余和频繁模型交换问题，本文提出量化传输与设备选择的QS-FedNeRF方案，通过基于Bhattacharyya距离的数据相似性聚类选择设备，并将模型参数量化为12位浮点数，在真实平台验证下训练时间减少9%。

　　

李新民|刘一阳|张旭豪|吴冠霖|方圆

中国成都，成都大学计算机科学学院，610100

摘要

联邦神经辐射场学习（FedNeRF）框架被视为一种避免视图合成数据泄露的新范式，在该框架中，边缘设备仅将训练网络参数上传到服务器。然而，由于冗余数据以及所有设备与中央服务器之间频繁的NeRF模型交换，训练时间和学习时间都在增加。因此，我们提出了一种新的量化传输和设备选择NeRF方案，称为QS-FedNeRF。服务器根据数据相似性和层次聚类方法选择边缘设备，以减少冗余数据训练，同时每个设备的NeRF模型参数在比特级别上独立进行量化。在包含多个分布式边缘设备和中央服务器的真实世界FedNeRF平台上验证了QS-FedNeRF方案的有效性。使用不同的数据集（Counter、Bonsai和Kitchen）来评估所提方案的性能。与现有方法（NeRF、FedNeRF、FedNeRF-SVD）的性能比较表明，所提出的QS-FedNeRF方案至少将训练时间减少了9%。与其他量化位数相比，12位量化的QS-FedNeRF在减少量化误差和传输时间方面表现最佳。

引言

随着人工智能（AI）技术的快速发展，传统的视图合成算法已转向基于神经网络的渲染技术，以生成逼真图像，例如图像重建和虚拟现实（VR）应用[1]。最近，作为强大渲染模型的神经辐射场（NeRF）在三维（3D）建模方面受到了广泛关注[2]。NeRF在已知相机姿态的场景的有限图像观测集上进行训练，可以从之前未见过的视角合成大量逼真图像，从而促进了照片编辑[3]、3D人体头像建模[4]和大规模3D表示的发展。

大多数现有的NeRF方法采用集中式学习范式，这要求在NeRF训练之前计算所有训练图像[5]。然而，边缘设备的计算资源和通信能力总是有限的。大量原始训练图像数据的传输会导致通信开销增加，并引发分布式设备的隐私问题[6]。因此，设计跨边缘设备的分布式和并行NeRF模型训练对于减少通信开销和能耗至关重要。

为了控制第六代（6G）网络的边缘设备的能耗并保证数据安全，边缘AI可以收集、传输和利用数据以实现通信、计算、感知和智能[7]、[8]。无线联邦学习（FL）框架已被提出，可以在不传输边缘设备真实数据的情况下通过无线网络训练全局模型，从而解决隐私问题[9]。因此，部署边缘设备进行分布式和并行NeRF模型训练不仅可以处理分布式场景视图合成，还可以提高用户数据隐私和安全性，从而支持元宇宙、自动驾驶和智能机器人的各种应用[10]。通过传输NeRF模型参数来避免数据泄露的新型联邦神经辐射场学习（FedNeRF）方法可以利用多个边缘设备的NeRF模型训练到基站（BS）[11]。在每次迭代中，边缘设备首先使用观测到的多视图数据独立训练它们的本地模型，然后仅将模型参数传输到中央服务器。之后，服务器在收集来自设备的NeRF模型参数后聚合这些参数以获得更新的全局模型。最后，将聚合的模型传输回边缘设备。

由于冗余数据和频繁的NeRF模型交换限制了渲染性能，因此压缩NeRF模型和优化设备选择以提高FedNeRF框架中的训练和渲染效率至关重要。主要的压缩方法包括参数剪枝[12]、低秩分解[11]和量化[13]。剪枝方法通过从网络中移除不太重要的参数来减少模型的存储需求。然而，剪枝方法会丢失重要特征，导致性能下降，并且需要在剪枝后重新训练，从而增加复杂性和训练时间[14]。

低秩分解算法通过用低秩矩阵替换高秩矩阵来减少数据通信开销，从而减少NeRF模型中有效参数的数量[11]。同时，它也带来了复杂的高维矩阵乘法运算，需要在FedNeRF训练期间消耗更多计算资源。因此，我们提出了一种基于量化和设备选择的高效联邦辐射场学习算法（QS-FedNeRF），该算法在中央服务器和边缘设备之间的传输过程中有效地对NeRF网络参数进行比特级量化。

我们工作的主要贡献总结如下：

1)

我们提出了一种基于数据相似性的有效设备选择方法，通过计算Bhattacharyya距离来减少模型聚合的冗余数据。

2)

我们对NeRF模型参数进行量化和反量化，以便在比特级别独立更新模型，将高精度浮点数转换为低位数。

3)

我们构建了一个包含中央服务器和多个边缘设备的真实世界无线联邦辐射场学习平台，并在三个数据集上验证了所提出的QS-FedNeRF方案的有效性。所提出的QS-FedNeRF方案在不同设置下的性能优于现有方案。

相关文献片段

相关工作

NeRF[2]方法的出现为3D重建提供了一条创新路径，标志着高质量视图合成的范式转变。这项技术在工业界和学术界都受到了广泛关注。

联邦神经辐射场学习

我们利用联邦学习框架构建了真实的无线联邦学习NeRF实验平台，用于训练分布式NeRF模型，如图1所示。该平台包括一个高性能的中央服务器和K个边缘设备。服务器和边缘设备分别通过有线和无线连接连接到无线路由器，形成一个联邦学习训练集群。该集群的主要目的是提供真实世界的训练

FedNeRF框架中的设备选择和量化传输

在本节中，我们详细描述了所提出的联邦辐射场学习方案的两种算法：基于数据相似性的设备选择算法和量化传输算法。

实验

在本节中，我们在真实的无线设备上部署了带有量化传输和设备选择算法的QS-FedNeRF训练，并在联邦学习实验平台上进行了实验。我们概述了实验设置，并提供了关于数据集、评估指标和实现的详细信息。

结论

在本文中，我们构建了一个包含多个分布式边缘设备和中央服务器的真实世界无线联邦学习平台。提出了QS-FedNeRF方案，以减少训练时间和学习时间，其中有效的设备选择依赖于通过计算Bhattacharyya距离来确定数据相似性，NeRF模型参数在传输时量化为低位数以便独立更新模型。实验表明，所提出的

作者声明

李新民、刘一阳和张旭豪提出了本文的思想并起草了手稿。刘一阳和吴冠霖进行了实验。李新民、张旭豪和方圆修改了手稿并监督了这项工作。所有作者都阅读并批准了最终的手稿。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。