编辑推荐：
本研究聚焦于机器学习（ML）驱动科学研究中普遍存在的过度乐观和发表偏倚问题，提出了基于参数化学习曲线的模型，成功纠正了因过拟合和发表偏倚导致的模型性能高估现象，为准确评估ML模型的真实性能提供了新方法，对推动ML技术在关键领域的应用具有重要意义
随着机器学习（ML）技术在众多学科领域的广泛应用，其在科学研究中的重要性日益凸显。然而，近年来的研究发现，ML模型的报告性能往往过于乐观，这种现象在样本量较小的研究中尤为明显。这种过度乐观不仅误导了研究方向，还对ML技术的实际应用造成了阻碍。为了解决这一问题，亚利桑那州立大学的研究人员开展了一项开创性的研究，提出了一个基于参数化学习曲线的模型，能够从过度乐观的报告结果中恢复出ML模型的真实性能。该研究不仅揭示了过度乐观的根源，还为科学界提供了一种新的工具，以更准确地评估ML模型的潜力和局限性。研究成果发表在《Patterns》杂志上，为ML技术在个性化医疗、气候建模和公共政策等关键领域的应用提供了重要的理论支持。
在研究过程中，研究人员首先通过分析大量已发表的ML驱动科学研究，发现了一个令人困惑的现象：样本量与报告准确率之间存在负相关关系，这与学习曲线理论相悖。学习曲线理论指出，随着样本量的增加，模型的准确率应该提高或保持稳定。然而，实际研究中却出现了样本量越大，报告准确率越低的情况。研究人员推测，这种现象可能是由过拟合和发表偏倚共同作用的结果。过拟合是指模型不仅学习了训练数据中的模式，还学习了数据中的噪声和特殊性，导致在新数据上表现不佳。而发表偏倚则是指只有那些准确率较高的模型结果更有可能被发表，这进一步加剧了报告结果的过度乐观。
为了纠正这种过度乐观，研究人员提出了一个基于参数化学习曲线的模型。该模型将ML模型的性能与样本量之间的关系表示为一个幂律方程，同时考虑了过拟合和发表偏倚的影响。通过引入高斯分布的随机变量来模拟模型性能的固有变化和过拟合的影响，研究人员成功地从过度乐观的报告结果中恢复了真实的性能曲线。这一模型不仅在理论上得到了验证，还在多个实验中展示了其有效性。
在实验部分，研究人员设计了三个关键实验来验证模型的性能。实验1直接从观察模型中采样，模拟了100个研究团队独立开发ML模型的过程，并成功地从报告的准确率中恢复了真实的学习曲线。实验2通过模拟实际的ML模型开发过程，包括特征选择和测试集过拟合，进一步验证了模型的鲁棒性。实验3则利用已发表的元分析数据，估计了ML模型在不同数字健康领域的预测能力。这些实验结果表明，研究人员提出的模型能够有效地从过度乐观的报告结果中恢复出真实的性能曲线，并为ML模型的实际应用提供了更准确的评估。
此外，研究人员还探讨了如何从过度乐观的报告结果中估计ML模型的真实性能。他们提出了一个基于截断回归的解决方案，通过最小化观察数据的统计特性与理论截断正态分布之间的差异，成功地估计了学习曲线的参数。这一方法不仅能够纠正因过拟合和发表偏倚导致的过度乐观，还为科学界提供了一种新的工具，以更准确地评估ML模型的潜力和局限性。
在研究结论部分，研究人员强调，尽管他们的方法能够纠正过度乐观的报告结果，但这一问题的根本解决还需要科学界共同努力，推动发表低准确率结果的改革，并在社会影响较大的模型中强制要求更大的样本量。通过量化当前实践的局限性，研究人员的方法不仅为ML技术在关键领域的应用提供了重要的理论支持，还为科学界提供了一种新的工具，以更准确地评估ML模型的潜力和局限性。
