迈向无偏招聘：基于大型语言模型（LLM）的简历筛选中的对抗性对比调优方法

《Information and Software Technology》：Towards bias-free recruitment: Adversarial contrastive tuning for LLM-based resume screening

LLM-based简历筛选系统可能因预训练数据偏见导致歧视，现有去偏方法存在性能下降和单一属性适配的局限性。本文提出适配器参数微调框架，通过动态加载针对性别、种族等不同敏感属性的轻量级适配器，结合对抗训练分离偏见信号与资格信号，以及对比学习保持核心性能，在真实简历数据上验证了多维度公平性提升和性能损失小于3%的成效。

　　

吴凤宇|叶爱勇|蔡志涵|陈静

福建师范大学计算机与网络安全学院，中国福州350000

摘要

背景：

基于大型语言模型（LLM）的简历筛选系统在自动化候选人评估方面取得了显著进展，极大地提高了招聘效率。然而，这些系统有可能延续其预训练数据中存在的社会偏见，从而导致歧视性的就业结果。现有的去偏见方法往往面临性能下降和操作灵活性有限的问题。

目标：

我们的研究旨在解决现有去偏见方法在灵活性和性能方面的关键局限性。我们希望开发一个可适应的框架，能够在保留基于LLM的简历筛选系统核心性能的同时，减轻不同敏感属性的偏见。

方法：

我们提出了一种基于适配器调优的参数高效去偏见框架。该方法结合了对抗性训练来分离敏感属性偏见和候选人资格信号，并采用对比学习目标来保持LLM的核心功能。这种方法避免了对基础LLM架构的修改，从而确保了计算效率和灵活性。

结果：

在真实世界简历数据上的评估表明，与三种基线方法相比，该方法在两个公平性指标上表现更为优越，并且在不同敏感属性上均表现出持续的偏见减轻效果。同时，该方法在保持竞争性筛选性能的同时，仅导致了微小的准确性损失。

结论：

该框架通过模块化的适配器架构解决了算法偏见问题，能够在不进行全模型重新训练的情况下，针对特定敏感属性进行有针对性的去偏见处理。通过动态选择特定属性的适配器，该方法在保持原有筛选性能的同时显著降低了部署成本，为组织提供了在招聘系统中实施伦理AI的可扩展解决方案。

引言

目前，人工智能（AI）算法在招聘流程中的应用越来越广泛[1]、[2]、[3]，显著提高了组织的人才筛选和评估效率。基于AI的招聘工具可以快速分析候选人的教育背景、工作经验和技能，使组织能够从大量申请者中识别出最合适的人选[4]、[5]。然而，这种效率提升可能会以牺牲公平性为代价。Fabris等人最近的一项多学科研究表明[6]，如果不对算法招聘系统进行监管，它们可能会放大结构性不平等并歧视弱势群体。早期的AI招聘工具主要基于传统的自然语言处理（NLP）模型，如TF-IDF或传统的词向量模型[7]。这些方法通常依赖于手动构建的特征提取规则和浅层模型来分析简历内容，往往难以处理复杂的语言结构、隐含的语义关系和跨领域知识。例如，传统方法无法捕捉职位描述中的隐含技能要求或候选人工作经验中表达的软技能，也无法有效处理简历中的长距离语义依赖关系。大型语言模型（LLM）的快速发展在各个领域展示了巨大潜力。利用其强大的语义建模能力和动态的上下文理解能力，LLM可以在简历筛选中实现更高质量的匹配，使其成为传统NLP模型的有希望的替代品。

然而，这一令人兴奋的前景也伴随着重大风险。LLM通常是在大规模、未经筛选的语料库上预训练的，这些语料库反映了社会刻板印象。例如，BERT等模型的预训练数据集包含了大量的公共文本数据（如维基百科和BooksCorpus），其中经常包含与性别和种族等敏感属性相关的偏见[8]。数据驱动的LLM容易继承这些偏见并在下游任务中表现出来[9]。当应用于招聘任务时，这些偏见可能导致不公平的结果，例如偏爱与特权群体（如白人男性）相关的简历而忽视其他群体。这种歧视可能会排除高素质的候选人，对个人就业机会产生负面影响，并破坏组织的多样性和社会公平性[10]。因此，减轻LLM驱动的简历筛选系统中的偏见已成为一个关键的研究挑战。研究人员提出了几种去偏见方法[11]、[12]、[13]、[14]、[15]，这些方法在减少LLM偏见方面显示出显著效果。然而，这些方法往往会导致模型性能下降，并可能在下游简历筛选任务中重新引入偏见。此外，现有方法通常只关注单一敏感属性的去偏见，这限制了它们的可扩展性和适用性。训练LLM需要大量的计算资源，进一步增加了这些去偏见技术的广泛应用难度[16]。在现实世界的简历筛选场景中，用户可能需要根据职位要求处理不同的敏感属性。例如，在科学、技术、工程和数学（STEM）领域，性别刻板印象尤为明显，女性通常被认为在科学和数学能力上不如男性。这些刻板印象受到文化传统、教育环境和媒体的强化，影响了女性的职业选择和发展[17]。如果不解决简历筛选中的性别偏见，可能会不公平地排除女性候选人，加剧性别不平衡。同样，教育岗位需要反映多样化的种族和文化背景的团队。招聘中的种族偏见可能导致教育团队缺乏多样性，从而破坏教育的公平性和包容性[18]。现有的去偏见方法可能难以适应这些变化的需求，因为对性别偏见有效的技术可能不适合解决种族或文化偏见。

这些局限性凸显了一个关键问题：招聘系统对公平性和适应性有着特别高的要求。与其他许多NLP应用不同，候选人评估中的偏见结果可以直接改变个人的职业轨迹，并加剧劳动力市场中的结构性不平等。从组织的角度来看，不公平的筛选不仅可能排除合格的候选人，还会破坏劳动力多样性和公众对AI驱动决策的信任。同时，实际部署场景非常动态——根据职位或上下文的不同，不同的敏感属性可能会变得突出（例如，STEM领域的性别、教育领域的种族或领导职位的年龄）。然而，现有的去偏见方法往往僵化、资源密集或仅限于单一属性，这使得它们不适合实际招聘流程，因为不同职位的要求会随时间变化。

为了解决这个问题，我们提出了一种灵活的敏感属性去偏见方法，以提高LLM在简历筛选中的公平性能。该方法利用基于适配器的微调来减轻模型的偏见，通过在微调过程中进行对抗性训练来消除敏感属性对简历筛选的影响，并结合对比学习来提高简历筛选性能。该方法的核心思想是使用适配器网络——一个小的额外神经网络模块——来减轻现有LLM的偏见，而无需修改其核心参数。这种方法避免了大规模重新训练模型的需要，显著减少了计算资源和时间需求。此外，我们采用对抗性训练来实现去偏见，使该方法能够处理不同的敏感属性（如性别、年龄），而无需改变微调过程。对于每个敏感属性，我们训练一个专门的去偏见适配器。在简历筛选过程中，可以根据需要为LLM配备特定的适配器。在整个过程中，LLM的参数保持不变，保留了模型的预训练能力，并减轻了与去偏见相关的性能下降。具体来说，本文的主要贡献如下：

1. 我们提出了一种动态配置的多敏感属性去偏见框架。通过设计具有即插即用功能的模块化适配器网络，我们的框架能够根据不同的敏感属性按需减轻偏见。这种方法克服了传统单属性去偏见方法在简历筛选任务中的限制，提供了对多样化职位要求的灵活适应。

2. 我们开发了一种结合对抗性学习和对比目标的混合去偏见训练方法。通过对抗性敏感属性分类器和跨样本对比损失，我们的方法在增强简历表示学习的同时抑制了属性引起的偏见。这种双重机制解决了传统去偏见方法中普遍存在的性能下降问题。重要的是，我们的实现只需要训练轻量级的适配器模块，同时保持LLM主干网络的不变，确保了计算效率。

3. 我们通过真实世界简历数据的实证验证建立了一个多维度偏见评估系统。我们的流程包括：1. 编辑和预处理真实的简历数据集；2. 通过词嵌入相似性匹配设计职位特定的语义查询；3. 使用标准化的折扣比率和群体曝光差异指标进行全面的公平性评估。该框架能够全面评估简历筛选系统的公平性和性能。

相关研究

相关工作

关于LLM偏见的研究已成为人工智能领域的一个重要课题。随着LLM的广泛应用，提高LLM的公平性逐渐成为一个重要的研究方向。由于大多数现有LLM都是基于上下文化词嵌入进行建模的，因此为传统模型设计的公平性增强方法并不直接适用。许多研究人员专门为LLM提出了公平性增强方法，旨在解决相关问题

LLMs

LLM是具有自回归、自动编码或编码器-解码器架构的深度神经网络模型，通常在包含数亿到数万亿个标记的大规模语料库上进行训练。LLM包括一系列预训练模型，如GPT-3[22]、GPT-4[23]、BERT[24]和RoBERTa[25]。LLM采用预训练和微调的范式，通过在大规模语料库上进行预训练（通常称为“上游任务”）来获得通用的语言知识

简历数据

我们使用了一个包含简历和职位描述的语料库，表格1中展示了摘要，完整列表（表A.4）在附录中提供。简历通常包含大量个人信息，如姓名、地址和电话号码。由于法律限制，公司和组织在合法共享真实简历数据方面面临挑战。此外，大多数关于公平招聘的研究依赖于私有的数据集，这些数据集无法公开获取，因此难以获得简历数据

实验

本文的实验部分旨在评估基于LLM的简历筛选系统的公平性和筛选性能，主要关注在性别和种族等敏感属性上的筛选结果的公平性。我们设计了一个标准化的实验程序，在一个公开可用的简历数据集上对其进行测试，并结合多种公平性评估方法来评估LLM在真实招聘场景中的公平性。

实验内容

讨论与局限性

在本节中，我们将在现有偏见缓解研究的背景下讨论我们的实验结果。我们将我们的方法与之前的方法进行比较，解释其性能背后的原因，并强调其局限性，以明确其适用范围和未来工作的潜在方向。

结论

为了解决基于LLM的简历筛选中的职业歧视问题，我们提出了一种新的去偏见方法，该方法通过适配器参数微调和对抗性训练来针对不同的敏感属性进行优化，无需对整个模型进行大规模重新训练。该方法的核心原则是使用适配器网络——一个轻量级的神经网络模块——对LLM进行微调

CRediT作者贡献声明

吴凤宇：撰写——原始草稿、验证、软件、方法论、调查、形式分析、概念化。叶爱勇：撰写——审阅与编辑、监督、项目管理、调查、资金获取、概念化。蔡志涵：撰写——审阅与编辑、可视化、监督。陈静：调查、数据整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金 [61972096, 61771140, 61872088, 61872090]和福建省科技厅的校企合作项目（2022H60250）的支持。