DH-MSVM：面向异构数据分布式学习的混合支持向量机优化算法

《Neural Networks》：DH-MSVM: A Hybrid Algorithm for Seeking Quality Support Vectors in Distributed Learning

本文提出一种分布式混合支持向量机算法（DH-SVM），通过全局预学习（Fisher Linear Discriminant, FLD）获取数据结构信息，指导局部SVM建模以提升支持向量质量，解决传统分布式支持向量机（DSVM）在异构数据中决策边界自适应能力不足的难题。进一步结合马尔可夫采样技术（DH-MSVM）降低计算开销，理论证明其泛化界为O(M?1/2)，实验验证其在真实数据集上的优越性能。

　　

Section snippets

Preliminaries

本节给出本工作中使用的一些定义和符号。

Distributed hybrid learning based on support vector machine

设T为给定分布式客户端数量，H为给定混合学习分块数，训练集D的大小记为M。算法1展示了DH-SVM的伪代码。

为提升对算法1的理解，我们给出备注2。

备注2

(i) DH-SVM可在预学习阶段学习全部数据，获取数据的全局结构信息，进而利用该信息指导空间划分并执行局部学习。

Estimation of generalization ability

本节从理论角度评估所提DH-MSVM的泛化性能。根据算法2，对于给定子集D，所得模型定义为：

sgn(???) = sgn[∑_i=1^Tw_i(∑_j=1^H1_Dij(x)g_ij)]。

对于分布式混合学习下的子分类器，我们使用支持向量机算法，表示为：

g_ij= arg min_g∈HK{E_Dij(g) + λ∥g∥_K²}，

其中λ为正则化参数，E_Dij(g) = (1/n)∑_q=1ⁿR(g, z_q), z_q∈ D_ij表示经验风险。

Experiments results

本节对所提DH-SVM与DH-MSVM进行数值实验。

Discussion and explanations

本节将讨论所提算法的相关参数与扩展性。

Conclusions

为解决分布式支持向量机在数据异构情况下难以寻找合适支持向量的问题，本工作提出一种基于支持向量机的分布式混合学习算法。该算法通过全局预学习为局部学习提供数据结构信息，助力模型寻找更高质量的支持向量，从而在异构数据中自适应调整决策边界。