针对超高维数据的无模型特征筛选方法：响应值的缺失并非随机发生

《Journal of Multivariate Analysis》：Model-free feature screening for ultrahigh dimensional data with responses missing not at random

本文针对高维数据中存在非可忽略缺失响应的问题，提出一种基于调整斯皮尔曼相关系数的特征筛选方法，结合工具变量解决识别问题，并采用非参数填补技术估计边际期望，在模型自由和鲁棒性方面具有优势，同时保证筛选可靠性。

　　
本文聚焦于高维数据中存在非 ignorable 缺失响应变量（MNAR）时的特征筛选问题，提出了一种基于调整斯皮尔曼秩相关系数的非参数方法。研究背景显示，现有特征筛选方法多假设数据完整或缺失符合随机机制（MAR），但在生物医学、社会科学等领域，由于患者脱落、问卷缺失等原因，响应变量常呈现MNAR特性。例如，在流行病学调查中，部分参与者可能因隐私顾虑拒绝提供敏感信息，导致数据缺失与真实值存在关联，这种情况下传统方法将失效。

核心方法创新体现在三个方面：首先，构建了融合边际斯皮尔曼秩相关与条件期望的非参数框架。该方法通过分阶段处理数据，既保留了斯皮尔曼相关系数对非线性关系的敏感性，又通过条件期望估计校正缺失带来的偏差。其次，采用工具变量解决MNAR场景下的模型不可识别性问题。研究引入外生变量集合Z，通过构建倾向得分函数模型，利用工具变量有效分离缺失机制与响应变量真实关系。最后，开发了基于经验分布函数的非参数校正算法，通过自适应带宽调整处理不同规模的数据集，有效控制计算复杂度。

在理论验证方面，研究建立了三个关键性质：1）在满足数据生成过程的特定条件（如工具变量有效性、缺失模式可识别等）下，该方法能保证筛选的确定性（Sure Screening Property），即所有真实相关特征必被保留，无关特征必被剔除；2）具有排名一致性（Ranking Consistency），正确排序的活性特征数量随样本量增长而稳定增加；3）通过双重校准机制控制假阳性率（FDR），在缺失比例高达30%的极端情况下仍能保持低于0.05的FDR水平。特别值得关注的是，研究在参数不可识别条件下，通过引入工具变量构建了更广义的倾向得分函数模型，解决了MNAR场景中模型设定偏误的固有难题。

实证研究部分展示了方法在真实数据中的优势。在心肌病微阵列数据集中（n=30，p=6319），传统方法如SIS和ISIS筛选效率低于60%，而本文方法在缺失比例20%-50%时仍能保持85%以上的活性基因识别率。ADNI-GO数据（n=100，p=5000）的验证显示，针对阿尔茨海默病的早期生物标志物筛查，本文方法成功识别出τ淀粉样蛋白沉积相关基因簇，其排名一致性指数（RCAI）达到0.92，显著优于现有MNAR适应方法。

方法鲁棒性方面，研究构建了多维验证体系：1）通过添加人工噪声（正态分布高斯噪声）模拟重尾分布，在偏度指数超过3时仍能保持90%以上的特征识别准确率；2）设计极端缺失模式（如20%观测数据中，50%响应变量缺失且缺失概率与真实值呈强相关），验证方法在MNAR程度达60%时的稳定性；3）对比实验表明，在缺失随机（MAR）场景下，方法仍能保持与现有SIRS等算法相当的性能，但计算复杂度降低约40%。

在算法实现层面，研究开发了独特的双阶段处理流程：第一阶段通过工具变量构建倾向得分函数，采用经验分布函数对缺失响应变量进行非参数校正；第二阶段基于修正的斯皮尔曼秩相关系数，建立特征重要性评估指标。特别设计的带宽自适应算法，可根据数据集的变异程度动态调整核密度估计的带宽，在心肌病数据中使计算效率提升35%，同时保持与固定带宽方法相当的统计功效。

研究对现有方法的局限性进行了深入剖析：传统基于相关系数的方法（如Pearson、Spearman）在存在MNAR时易产生系统性偏误，例如Li et al.的DC-SIS方法在缺失比例超过30%时FDR控制失效；现有工具变量法（如Tong et al.的IV-LASSO）在处理高维数据时存在过拟合风险，本文通过引入分层正则化策略有效缓解了这一问题。在理论推导部分，研究首次将工具变量框架与秩相关系数结合，建立了包含三个核心定理的证明体系：定理1确保倾向得分函数的可识别性，定理2证明条件期望估计的渐近正态性，定理3建立筛选性能的界内收敛性。

实际应用中，研究构建了模块化算法框架，包含以下关键组件：1）工具变量筛选模块，基于随机森林算法自动选择最优工具变量子集；2）非参数校正模块，采用核平滑技术估计缺失响应的条件分布；3）自适应阈值确定模块，通过贝叶斯信息准则（BIC）与交叉验证相结合确定特征筛选阈值。在ADNI-GO数据（包含786个基因和327个临床指标）的应用中，该方法成功将特征数量从初始的6319压缩至有效基因的12.3%（约776个），同时保持97%的活性特征召回率。

研究还特别关注了计算效率问题，针对高维数据（p?n）开发了分布式计算架构。通过将协变量矩阵分块处理，结合Spark框架的内存计算技术，使算法在5000个特征时的处理速度达到每秒2.3个特征单元。在心肌病数据（p=6319）的实测中，该方法将传统算法的O(n^2)复杂度降低到O(n log p)量级，使计算时间从72小时缩短至4.8小时。

在方法验证方面，研究设计了三类对比实验：1）MNAR vs MAR对比，在相同数据分布下，MNAR场景使传统方法特征识别准确率下降约45%；2）高维稀疏与非稀疏场景对比，当真实活性特征比例低于5%时，方法仍能保持85%以上的识别准确率；3）不同缺失机制对比，包括随机缺失（MCAR）、机制缺失（MAR）和认知缺失（MNAR）三种模式，验证方法在各类缺失机制下的适应性。

特别值得关注的是，研究提出的三重纠偏机制有效解决了MNAR场景中的三大难题：1）通过工具变量分离缺失机制与响应变量真实关系，避免传统直接删除缺失样本导致的模型设定偏误；2）基于经验分布函数的非参数校正，克服了参数模型假设不足的问题；3）双重阈值控制策略（全局阈值+局部自适应调整），在保证筛选完整性的同时有效抑制假阳性。在模拟研究中，当缺失比例达到50%且MNAR程度增强时，该方法仍能保持低于0.01的FDR水平。

应用案例部分，心肌病数据集的实证显示，传统方法遗漏了关键的钙离子通道调控基因（如Cav1.2），而本文方法通过非参数校正有效捕捉到这些生物标志物。在ADNI-GO数据中，方法成功识别出τ42淀粉样蛋白沉积的预测因子，其中PITX1基因的调整斯皮尔曼相关系数达到0.83，显著高于其他方法。在计算效率方面，针对6319维基因表达数据的处理，方法将内存占用从传统算法的32GB压缩至4.5GB，同时保持统计功效不下降。

研究最后指出未来发展方向：1）将方法扩展至多类别响应变量场景；2）开发面向纵向高维数据的自适应算法；3）探索在联邦学习框架下的分布式实现方案。这些改进将进一步提升方法在医疗大数据、环境监测等领域的应用价值。

总体而言，该研究填补了MNAR场景下高维特征筛选的理论空白，其方法创新体现在将工具变量理论与非参数统计相结合，解决了长期困扰学界的高维缺失数据建模难题。特别是提出的自适应带宽核密度估计和双重阈值控制机制，为处理不同强度MNAR问题提供了新的方法论框架，对生物医学研究、社会科学调查等领域具有重要实践价值。