加权多元正交系统与多元非参数回归估计量

《Journal of Multivariate Analysis》：Weighted multivariate orthogonal systems and nonparametric regression estimators

　　

本研究针对多元非参数回归（Multivariate Non?Parametric Regression, MNPR）问题的稳定求解，提出了一种基于随机正交投影的最小二乘估计量。该估计量构建于单变量加权Jacobi多项式的限制张量积基础之上。具体而言，设MNPR问题的维度为整数d?≥?1，在给定n个随机采样向量Xi服从d维Beta分布Beta(1/2,?1/2)的假设下，研究人员证明了一大类d元回归函数均可通过在该特殊加权Jacobi多项式系上的随机投影实现稳定逼近。与多数基于最小二乘的估计量不同，该方法无需额外部署正则化策略。此外，研究人员给出了估计量的L2误差及L2风险误差，并证明若回归函数属于Sobolev型空间，则该估计量可达到最优收敛速率。在采样分布未知的一般情形下，研究人员进一步提出了前述d元正交多项式基估计量的正则化版本。最后，通过合成数据集与真实数据集的数值模拟验证了所提多元非参数估计量的性能。

研究背景方面，多元非参数回归（MNPR）是高维数据建模的核心工具，广泛应用于统计学、机器学习与各类科学数据分析中。传统最小二乘类估计量在高维情形下常面临数值不稳定与过拟合问题，通常依赖复杂的正则化手段来抑制模型复杂度。针对这一局限，研究人员提出利用特殊构造的加权多元正交多项式系统，构建兼具稳定性与最优收敛性的新型估计量，相关成果发表于《Journal of Multivariate Analysis》。

关键技术方法上，研究人员首先引入限制张量积形式的单变量加权Jacobi多项式作为基函数，在采样点服从d维Beta(1/2,?1/2)分布的设定下，构造随机正交投影最小二乘估计量；随后推导其在L²意义下的误差界与风险上界，并基于Sobolev型空间的平滑性假设证明其达到最优收敛速率；在采样分布未知的情形下，进一步设计正则化版本估计量以提升通用性；最后利用合成数据与真实数据开展数值实验验证性能。

研究结果部分，首先，在加权Jacobi多项式基与Beta采样条件下，研究人员证明了估计量的稳定性，表明无需额外正则化即可获得良好数值表现。其次，理论分析给出估计量的L²误差与L²风险误差的显式上界，量化了其统计性质。第三，当回归函数属于Sobolev型空间时，估计量实现了与经典非参数回归理论一致的最优收敛速率。第四，针对采样分布未知的一般情形，正则化版本的估计量保持了理论稳定性与收敛性。第五，数值模拟结果显示，无论是合成数据集还是真实数据集，所提估计量在预测精度与稳定性方面均优于传统最小二乘类方法。

讨论与结论方面，研究表明，通过精心选择加权多元正交系统，可在不引入额外正则化的情况下解决高维非参数回归的稳定性问题，并在特定分布假设下达到最优收敛速率。该框架不仅拓展了正交多项式在非参数统计中的应用范围，也为高维回归建模提供了理论保障与实践路径。未来工作可进一步探索更广泛采样分布下的理论性质与计算优化策略。