DSF-Unet:一种双流融合去噪扩散框架,用于不平衡晶圆缺陷分类

《Expert Systems with Applications》:DSF-Unet: A Dual-Stream Fusion Denoising Diffusion Framework for Imbalanced Wafer Defect Classification

【字体: 时间:2026年02月10日 来源:Expert Systems with Applications 7.5

编辑推荐:

  硅片缺陷检测中提出双流融合U-Net去噪扩散框架DSF-Unet,结合Bi-Mamba长程依赖建模和Am-att自适应多尺度注意力机制生成平衡样本,改进CS-ResNet分类器实现高精度检测,有效缓解数据不平衡问题。

  
徐荣斌|徐志强|王继祥|谢颖|文丽杰|杨云
中国莆田大学计算机与大数据学院

摘要

晶圆缺陷识别对半导体制造至关重要。然而,其准确性往往受到缺陷类别之间严重不平衡的限制。为了解决这一挑战,我们提出了一个双流融合Unet去噪扩散框架(DSF-Unet),该框架为少数类别合成多样且高质量的晶圆样本。DSF-Unet基于Unet编码器-解码器架构,并引入了两个互补组件。双向Mamba(Bi-Mamba)模块通过状态空间动态建模长距离空间依赖性,而自适应多尺度注意力(Am-att)模块通过跨通道校准增强空间特征表示。通过同时捕获全局上下文信息和细粒度的局部缺陷模式,这两个模块能够生成平衡且具有代表性的合成样本,从而有效缓解数据不平衡问题。为了进一步提高性能,引入了改进的通道-空间残差网络(CS-ResNet)进行分类,该网络将双通道-空间注意力机制嵌入到ResNet架构中,以重新校准特征响应并突出显示与缺陷相关的区域。在两个基准数据集上的实验表明,DSF-Unet取得了优异的性能,在WM-811K数据集上的准确率达到95.12%,在Mixed-WM38数据集上达到98.25%。

引言

晶圆是芯片制造的核心材料,其表面图案的质量直接决定了后续芯片产品的可靠性和性能(Jiao, Yang, Wu, Li, & Xue (2025))。因此,准确分类晶圆表面缺陷对于推动现代半导体制造的智能化发展具有重要意义(Kim & Behdinan (2023))。随着晶圆生产的持续扩大,基于图像处理的自动化缺陷检测和分类技术已成为行业向智能制造转型的关键步骤(Shin, Kim, & Lee (2025b))。
近年来,深度学习作为图像和视觉识别领域备受关注的前沿技术而兴起,其快速发展对学术研究和工业应用产生了深远影响(Edozie, Shuaibu, John, & Sadiq (2025))。已经提出了许多先进的网络框架,例如Zhang等人提出的结合变形自编码器和视觉变换器的框架(Zhang et al. (2024)),以及Chen等人提出的基于多尺度特征融合和基于注意力的空间金字塔池化的晶圆图像检测方法(Chen, Huang, Wang, Hou, & Ma (2025))。Xu等人(Xu, Yu, & Hasan (2023)利用混合不确定性量化了深度卷积神经网络在晶圆图缺陷模式识别中的参数演化不确定性,提高了决策可靠性并显著提升了识别准确性。Kang等人(Kang, Shin, & Lee (2024)提出了一种无监督方法,通过评估形状、位置和大小相似性来识别新的晶圆箱图缺陷模式,超越了现有的监督方法在定义和诊断缺陷方面的能力。这些方法在晶圆缺陷检测方面取得了显著成果。
在实际工程场景中,理想的网络训练数据很少存在。因此,仅仅提高网络处理能力并不能从根本上克服数据限制,这些限制主要包括样本量不足、类别分布不平衡以及在不同操作条件下的显著变化。如图1(a)所示,在一个大型晶圆数据集WM-811K(Shin, Kim, Kim, & Lee (2025a)中,该数据集来自真实制造过程,包含正常晶圆和八种类型的缺陷晶圆。在超过80万张图像中,只有大约21%是手动标记的。在标记的数据中,正常晶圆占18%,而缺陷样本仅占3%,不同类型样本的数量存在显著差异(见图1(b))。
在晶圆缺陷检测中,数据分布往往高度不平衡,这严重影响了分类模型的准确性和泛化能力。传统的增强技术,如图像翻转、旋转、平移和过采样(de la Rosa, Gómez-Sirvent, Morales, Sánchez-Reolid, & Fernández-Caballero (2023); Zhang & Mahmoud (2025)),可以在一定程度上缓解样本稀缺问题,但无法引入新的判别特征,因此改进效果有限。为了解决这个问题,Siyamalan等人(Manivannan (2024)提出了一种结合伪标签的双头卷积神经网络,以在半监督环境下提升分类性能;而Thuan等人(Thuan (2025)使用自注意力卷积神经网络从单缺陷热图中合成混合缺陷样本,从而在未标记场景下提高检测准确性和鲁棒性。然而,这些方法在特征生成方面仍然存在局限性,无法完全弥补少数类别样本的稀缺问题。
为了进一步改善样本分布,生成模型和注意力机制已被广泛用于数据增强。Tsai等人(Tsai & Wang (2025)引入了一种全局到局部的生成对抗网络(G2LGAN),结合随机下采样来优化不平衡数据集。Li等人(Li et al. (2024)开发了一种辅助分类器增强的去噪扩散模型,以生成合成晶圆图,从而加强少数类别的学习。Fan等人(Fan & Chiu (2024)利用视觉变换器的多头注意力生成热图,增强了少数缺陷模式的识别能力。这些方法在一定程度上缓解了晶圆缺陷检测中的数据不平衡问题。然而,生成模型在生成过程中可能会丢失细微的缺陷细节。
基于上述分析,现有的晶圆样本增强和分类方法面临以下关键挑战:
  • 长尾分布和样本多样性有限:传统的数据增强方法生成的样本具有重复特征。因此,它们无法捕捉到罕见缺陷的多样性,导致分类器在高度不平衡的数据场景中过拟合,并显著限制了对少数缺陷类别的泛化能力。
  • 细粒度特征和空间上下文的整合不足:传统的生成模型通常会丢失低分辨率晶圆图像中与边缘相关的或小缺陷的详细特征,并且对复杂噪声敏感。这阻碍了细粒度特征与全局空间上下文的有效整合,从而限制了生成样本的全面表达能力。
  • 关键特征整合有限:现有的分类器主要关注空间特征,忽略了通道信息的深度整合。这限制了生成样本中复杂缺陷特征的精确提取,从而影响了分类性能和鲁棒性。
  • 在实际应用中,晶圆缺陷图表现出强烈的结构稀疏性和长距离空间依赖性,现有方法(如G2LGAN (Tsai & Wang (2025)和ACDDPM (Li et al. (2024))在严重数据不平衡的情况下无法充分捕捉这些特性。为了解决这个问题,我们提出了一个双流融合Unet去噪扩散框架(DSF-Unet)。该框架采用Mamba增强的Unet架构,利用多模态条件嵌入和双向状态空间模型(SSM)来处理不同缺陷密度的特征。核心组件是Attention-Mamba(Att-Mamba)模块,它通过双向Mamba(Bi-Mamba)和自适应多尺度注意力(Am-att)子模块动态捕获晶圆图像的全局和局部特征。Bi-Mamba有效建模长距离空间依赖性,而Am-att通过通道级自适应校准优化特征表示。通过双向交叉门控机制,这两个分支协同抑制冗余背景信息,同时增强稀疏缺陷响应,从而在不平衡条件下提高去噪质量和样本多样性。此外,改进的通道-空间残差网络(CS-ResNet)对生成的平衡数据集进行分类,显著提高了不同缺陷类型的识别准确性,特别是在复杂噪声条件下的鲁棒性。本文的贡献总结如下:
  • 本文提出了一种创新的双流融合Unet去噪扩散框架(DSF-Unet),该框架利用随机噪声生成高保真的合成晶圆样本。通过有效的去噪和数据增强,DSF-Unet有效缓解了分类器训练中的长尾偏差,确保了生成数据集的平衡性和鲁棒性。
  • 本文提出了一种自适应多尺度注意力机制(Am-att),它补充了双向Mamba(Bi-Mamba)模块的长距离依赖性建模。该机制动态捕获细粒度的局部特征和空间关系,并通过双向交叉门控策略将它们与全局上下文整合,实现了局部细节和整体表示之间的稳健平衡。
  • 本文提出了一种基于ResNet18架构的改进型CS-ResNet分类器,结合了双通道-空间注意力机制,精确突出空间和通道维度中的关键缺陷特征,显著提高了晶圆缺陷识别的分类准确性和鲁棒性。
  • 本文的结构如下:第2节概述了晶圆检测及相关扩散模型。第3节详细介绍了所提出方法的工作流程和理论算法。第4节介绍了数据集及相关实验分析。第5节总结了研究结果,并探讨了未来工作的潜在方向。

    部分摘录

    晶圆图缺陷模式识别

    近年来,深度学习越来越多地应用于晶圆图缺陷分类。Chu等人(Chu, Su, & Ho (2025)提出了一种对抗域适应方法,通过图像预处理和多判别器网络优化了基于卷积神经网络(CNN)的缺陷检测,提高了在不同生产环境下的鲁棒性和准确性。Sheng等人(Sheng, Yan, & Piao (2025)开发了一种具有自动数据增强和对比功能的轻量级编码器模型

    提出的框架

    本研究关注由于缺陷样本分布不平衡导致的晶圆缺陷识别性能下降的问题。为了解决这个问题,我们提出了一种基于双流融合Unet(DSF-Unet)的样本生成方法,有效增强了少数缺陷类别。然后,我们应用改进的通道-空间残差网络(CS-ResNet)对这种方法生成的平衡数据集进行分类,从而实现了准确的晶圆缺陷识别。

    实验

    为了评估我们提出的模型在多种任务、数据集和架构范式下的有效性,我们在本节进行了一系列实验。

    结论与未来工作

    可靠且准确的晶圆缺陷检测对于确保高质量的半导体制造至关重要。然而,晶圆检测中缺陷样本分布的不平衡严重削弱了识别性能并限制了整个过程的可靠性。我们提出了一种基于双流融合Unet的去噪扩散框架(DSF-Unet),结合改进的通道-空间残差网络(CS-ResNet),以增强少数缺陷类别的检测能力,从而实现准确分类

    CRediT作者贡献声明

    徐荣斌:方法论、写作——审稿与编辑。徐志强:方法论、验证。王继祥:调查。谢颖:方法论。文丽杰:调查。杨云:写作——审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号