硬样本挖掘：一种高效且鲁棒的模型训练新范式

《Neural Computation》：Hard Sample Mining: A New Paradigm of Efficient and Robust Model Training

深度学习在计算机视觉和自然语言处理等领域取得突破，但训练效率低下和数据分布偏差问题依然严峻。硬样本挖掘通过选择代表性样本提升模型鲁棒性，但其核心作用尚未系统研究。本文首次统一量化硬样本定义，建立方法分类体系，并明确未来研究方向，为高效可靠训练提供框架。

　　

摘要：

在过去的二十年里，深度学习（DL）在从计算机视觉（CV）到自然语言处理（NLP）的多个应用领域取得了前所未有的突破。然而，尽管计算资源和算法框架有了显著进步，但由于训练效率低下和数据分布偏差等问题，深度神经网络的训练仍然面临诸多挑战。近年来，困难样本挖掘（HSM）作为一种有前景的方法出现，通过选择具有代表性的样本来提高训练效率并增强模型的鲁棒性。尽管HSM正在重塑当前的人工智能研究，但其对于实现高效和鲁棒模型训练的关键作用尚未得到系统性的探索。本文通过对HSM方法进行全面调查，实现了以下目标：1）通过严格的样本复杂性量化标准建立困难样本的统一定义；2）提出HSM方法的系统分类并对其进行深入的技术分析；3）识别这一发展领域中的关键研究前沿。这项调查不仅巩固了HSM的基础，还为开发高效、鲁棒和可泛化的深度学习模型提供了路线图。

引言

如何高效且鲁棒地训练模型一直是人工智能领域的重要研究挑战，尤其是在深度学习（DL）中，因为模型训练所需的能量消耗持续增加，这引起了越来越多的关注[1]、[2]、[3]、[4]、[5]、[6]。例如，训练生成预训练Transformer 5（GPT-5）需要超过45吉瓦时的电力[1]。深度神经网络训练的高能耗源于两个趋势。首先是数据集的爆炸性增长。例如，ImageNet数据集包含超过1400万张用于图像分类和对象检测的图片。大量的训练样本使得深度神经网络能够覆盖更广泛的数据范围。然而，众所周知，并非所有训练样本都具有同等的重要性[7]、[8]、[9]、[10]、[11]。另一个趋势是模型规模的指数级增长，导致计算复杂性和内存消耗达到前所未有的水平[2]。例如，GPT-4拥有大约1.8万亿个参数，是GPT-3的十倍多[2]。为了在训练和推理过程中高效且鲁棒地开发、部署和运行强大的模型，可持续的人工智能技术正在不断进步[12]。

¹

https://www.windowscentral.com/artificial-intelligence/openai-chatgpt/gpt-5-is-powerful-but-hungry-1-5-million-us-households-energy

²

https://patmcguinness.substack.com/p/gpt-4-details-revealed