当前位置：首页 > 智能制造 CIM/MES > 正文内容

用扩散模型做缺陷数据增强：小样本良率建模救星

[粉丝专享] 用扩散模型做缺陷数据增强：小样本良率建模救星

【摘要】缺陷分类模型在Fab落地最大的障碍是稀有缺陷样本极少。本文完整记录用扩散模型为晶圆缺陷图做数据增强的工程实践，包含训练超参、生成质量验收方法、分布漂移防护，以及在真实产线上把稀有类别召回率从0.41提升到0.78的全过程与踩坑记录。

分类：半导体AI融合 | 发布日期：2026-08-15 | 栏目：半导体智能制造实战

一、背景故事：一个只有37张图的缺陷类别

事情起于一次量产异常。某12英寸厂的铜互连层出现一种环状缺陷，在晶圆边缘区域形成一圈灰度略深的环带，工艺组内部叫它晕环。这类缺陷不算常见，但一旦出现往往批量性发生，直接影响电测良率约1.5到3个百分点。问题是，自动缺陷分类系统识别不出它，每次都归到「其他」类别，要等人工复判时才被发现，通常已经过了两三天，损失已经造成。

我们想训练一个能识别它的分类模型，结果一查数据库傻眼了：过去两年的缺陷图库里，被明确标注为晕环的样本只有37张。而同期颗粒类缺陷有4万多张，划伤有1万多张。这就是Fab里做AI最典型的困境：真正值钱的、需要被识别的缺陷，恰恰因为发生频率低而缺少样本，而数据量大的类别人工判读本来也不难。

传统的解决办法是几何增强，翻转、旋转、缩放、加噪。我们试过，把37张扩到2000张，模型在训练集上表现很好，一到真实产线就崩了，召回率只有0.40出头。原因很直白：几何变换没有引入任何新信息，模型学到的是那37张图的具体纹理，而不是晕环这一类缺陷的本质特征。

于是我们把目光转向生成式模型。2023年之后扩散模型在图像生成上的效果已经足够好，关键问题是：它生成出来的缺陷图，能不能真的帮到分类模型？会不会因为生成图与真实分布有偏差，反而把模型带偏？这篇文章记录的就是我们花了四个月把这条路走通的完整过程，包含所有关键参数、验收方法和踩过的坑。

二、技术原理：扩散模型为什么适合缺陷图生成

扩散模型的基本思想是学习一个逐步去噪的过程。训练时对真实图像逐步添加高斯噪声，经过T步后图像退化为纯噪声；模型的任务是学会预测每一步添加的噪声，从而在推理时能从纯噪声出发，一步步还原出符合训练数据分布的新图像。与生成对抗网络相比，扩散模型的训练目标是一个简单的回归损失，不存在判别器与生成器的博弈，因此训练过程稳定得多，这一点在小样本场景下尤其重要。

缺陷图有几个特点让扩散模型格外合适。第一，缺陷图的背景（晶圆表面的规则图案）高度结构化且重复性强，模型很容易学到这部分先验；第二，缺陷本身在图像中占比小、形态相对固定，属于在稳定背景上叠加局部扰动的问题，这正是扩散模型的强项；第三，我们需要的是有限多样性而非无限创意，生成图必须像真实缺陷而不能天马行空，扩散模型通过控制引导强度可以精确调节这个自由度。

本项目采用类别条件扩散，即在模型输入中加入缺陷类别嵌入，使其能够按指定类别生成。训练时采用无分类器引导的做法，以10%的概率随机丢弃类别条件，让模型同时学会有条件和无条件生成，推理时通过引导系数在两者之间插值。引导系数的选择很关键：值太小生成图类别特征不明显，值太大则会过度强化类别典型特征，生成出真实产线上根本不会出现的「教科书式」缺陷，反而降低模型泛化能力。

还有一个工程上必须理解的概念是分布覆盖。生成模型学到的是训练数据的分布，它不能凭空创造训练集中完全没有出现过的形态。这意味着如果那37张原始样本本身就有偏（比如全部来自同一台机台、同一个批次），生成出来的一万张图也会继承这个偏差。这是我们后面设置验收标准和配比上限的根本原因。

三、现状分析：Fab里三类主流增强手段的实际效果

在决定用扩散模型之前，我们系统评估了业界常用的三类方案，这里把对比结果分享出来。

第一类是几何与光度增强，包括旋转、镜像、随机裁切、亮度对比度扰动、加噪。优点是零成本、无风险、实现简单，几乎所有团队都在用。缺点是信息增量为零，在样本量低于100张时提升有限。我们的实测数据是：晕环类召回率从0.35提升到0.42，然后就到顶了。

第二类是基于物理仿真的合成，即用图形学方法在真实背景图上人工绘制缺陷。这条路我们在2024年做过，做了一个参数化的划伤生成器，可以控制划痕长度、宽度、走向和灰度衰减。效果比几何增强好一些，但工作量巨大，每一类缺陷都要单独开发生成器，而且合成图的边缘过渡过于生硬，模型很容易学到「合成图的破绽」而不是缺陷本身，在真实数据上迁移效果一般。

第三类就是生成式模型。早期我们试过生成对抗网络，在样本量只有几十张的情况下训练极不稳定，出现严重的模式崩塌，生成的一千张图里有八百张几乎一模一样。换成扩散模型后这个问题基本消失，这也是我们最终选定技术路线的直接原因。

图1：六类缺陷在增强前后的召回率对比。样本量最少的晕环类提升幅度最大，从40%提升到78%。

四、瓶颈问题：生成数据用不好会把模型带沟里

第一个瓶颈是分布漂移。生成模型不可避免地会对训练分布做某种程度的平滑，生成图往往集中在分布的高密度区域，而真实产线的困难样本恰恰位于分布边缘。如果不加控制地把大量生成图塞进训练集，模型会在「典型缺陷」上表现优异，但对边缘形态的识别能力反而下降。我们第一版模型就吃了这个亏：验证集F1从0.59提升到0.81，产线实测召回率却只有0.63，差距来源正是边缘样本。

第二个瓶颈是标注一致性。生成图的类别标签来自生成时的条件输入，但模型并不保证百分之百按条件生成。我们抽检发现，引导系数为2.5时约有百分之四到六的生成图形态更接近另一个类别。这些错标样本对小样本类别的伤害极大，因为它们在该类总量中占比不低。

第三个瓶颈是评估指标失真。业界常用FID衡量生成质量，但FID是在ImageNet预训练特征空间计算的，而晶圆SEM图与自然图像的统计特性差异巨大，FID在这里的判别力明显下降。我们遇到过FID只有22（看起来很好）但工艺工程师一眼看出全是假图的情况。光靠自动指标不够，必须引入人工验收。

第四个瓶颈是算力与周期的现实约束。训练一个可用的类别条件扩散模型，单卡RTX4090需要约36小时，如果每次工艺变更都要重训，这个周期在快速迭代的产线上是不可接受的。因此必须设计增量更新策略，而不是每次从头训练。

五、解决方案：一条可持续运行的数据增强流水线

5.1 数据准备与预处理

第一步是把原始SEM图统一裁切到256×256，裁切时以缺陷质心为中心，并保留一定的背景余量（我们取缺陷外接框的1.8倍），保证模型能学到缺陷与背景的相对关系。灰度归一化采用每张图独立的分位数拉伸（取2%和98%分位），这比全局归一化更稳健，因为不同机台的成像亮度存在系统性差异。所有预处理参数必须固化并版本化，后续推理阶段要完全一致。

第二步是做样本分层。把那37张原始晕环图按来源机台、发生批次、缺陷尺寸三个维度分层，确保后续的训练集和验证集划分不会把同一批次的图分到两边，否则验证结果会严重虚高。这一步是很多团队容易忽略的地方，我们第一次划分时随机切分，验证F1高达0.91，实际部署惨败，就是因为数据泄漏。

5.2 模型训练与超参配置

我们采用在大规模缺陷图上预训练、在目标类别上微调的两阶段策略。预训练阶段使用全部约6万张各类缺陷图（不区分类别），让模型先学会晶圆表面纹理的通用先验；微调阶段引入类别条件，只用各类别的真实样本进行训练。这个策略把稀有类别所需的训练时长从36小时压缩到约6小时，是工程可行性的关键。完整超参见下表，这些数值都是我们实测调出来的，可以直接复现。

表1：扩散模型训练与采样关键超参（本项目实测可复现配置）

5.3 三级验收与配比控制

生成之后不能直接用，必须过验收。我们设计了统计、物理、人工三级验收标准，任何一级不通过的批次整批退回重新生成。其中最有效的是第三级的人工盲测：把50张生成图和50张真实图混在一起，请有五年以上经验的缺陷判读员分辨真伪，如果他们的辨别准确率低于65%（接近随机猜测的50%加上合理波动），说明生成质量达标。

表2：生成样本三级验收标准（未通过不得进入训练集）

配比控制同样重要。我们做过一组消融实验，固定真实样本数量，逐步提高生成样本比例，观察验证集性能。结果显示生成样本占比在50%到65%区间时效果最好，超过70%后性能开始回落，超过85%时甚至低于不做增强的基线。因此我们把65%设为硬性上限写进流程文件。

六、实战案例：晕环缺陷分类模型的完整落地

项目从2025年11月启动。第一个月完成数据梳理，把散落在三个系统里的缺陷图统一到一个带完整元数据的数据集，这一步花的时间比预想多，主要耗在标注复核上：原本标为晕环的37张图经过工艺工程师复核，有5张实际是量测机台的照明不均伪影，予以剔除，真实可用样本只剩32张。这个发现本身就说明了标注质量对小样本任务的致命影响。

第二个月完成扩散模型训练。预训练用了两天，微调过程中遇到一次典型问题：训练到第3000步时生成图开始出现规则的网格状伪影，排查后发现是上采样层使用转置卷积造成的棋盘效应，改成最近邻插值加卷积后消失。这个坑在生成模型工程实践中很常见，值得提前注意。

第三个月生成并验收数据。我们分五个批次共生成4000张候选图，经过三级验收后保留1847张，通过率约46%。被剔除的主要原因依次是：缺陷形态偏离物理机理（38%）、出现多缺陷叠加（27%）、人工盲测被轻易识别（21%）、统计指标超限（14%）。通过率低于一半是正常的，不要为了凑数量降低标准。

第四个月训练分类模型并上线。分类模型采用ResNet-50骨干加类别平衡采样，训练集为32张真实图加上60张（按65%配比上限计算）生成图，同时保留全部其他类别的真实样本以维持整体判别能力。上线采用影子模式运行两周，即模型给出预测但不影响实际流程，由人工复判结果作为对照，两周后确认性能达标才正式切换。

图2：三种策略的收敛曲线。仅真实数据在第25轮后出现过拟合平台，扩散增强将F1上限推高约0.24。

七、实施效果：数据、经济性与后续演进

模型上线三个月后的实测数据：晕环类缺陷召回率从基线的0.41提升到0.78，误报率从0.19下降到0.11。六个稀有类别的宏平均F1从0.59提升到0.83。更重要的是发现时效：这类缺陷从发生到被识别的平均时长，从原来依赖人工复判的52小时缩短到自动识别后的4.5小时，这意味着工艺工程师可以在损失扩大之前介入。

经济性方面，项目一次性投入约为算法工程师2人月加一张消费级显卡，按内部成本核算不到8万元。收益侧，在上线后的三个月里，因及时发现晕环缺陷而避免的批次损失有两次，按每次约180片晶圆、单片成本折算，避免损失显著超过项目投入。此外人工复判工时每月减少约60小时，这部分是持续性收益。

需要坦白的局限有三点。第一，方法依赖于原始样本至少覆盖该缺陷的主要形态，如果连一张典型样本都没有，生成模型无能为力；第二，工艺发生重大变更（比如换了新的金属层结构）后，历史缺陷形态可能不再适用，需要重新采集并微调；第三，生成数据不能替代真实数据的持续积累，我们的策略是把生成增强作为过渡手段，同时坚持真实样本的日常收集，当某类别真实样本超过300张后，逐步降低生成样本占比直至归零。

后续演进方向我们看到三条路。一是引入可控生成，让工艺工程师能够指定缺陷的尺寸、位置和严重度来生成特定场景样本，用于压力测试分类模型的边界；二是把生成模型与晶圆图级别的空间分布模型结合，不仅生成单个缺陷图，还能生成完整的晶圆缺陷分布图用于根因分析训练；三是探索用更轻量的潜空间扩散降低算力需求，让每个工艺组都能在自己的工作站上完成微调，而不必排队等中心算力。

附录A：落地实施的四阶段排期与人力投入

很多团队看完方法论后最关心的问题是「要投多少人、多长时间」。以我们推进缺陷图像生成式数据增强的实际记录为例，整个过程分为四个阶段。第一阶段是现状盘点与基线固化，耗时2周，投入良率工程师与算法工程师1人天70%、数据工程师0.5人力，产出物是基线数据集与口径说明书，关键动作是把稀有缺陷类别的召回率与误报率的历史数据拉齐到同一口径，并明确采样频率、剔除规则和缺失值处理方式。这一步看似枯燥，但如果基线不准，后面所有的改善量化都会被质疑。

第二阶段是方案设计与小范围验证，耗时3周，投入良率工程师与算法工程师1人全职，缺陷检查（ADC）团队与工艺工程配合评审。验证范围限定在1到2台设备或1条产品线，目的是用最小代价确认扩散模型条件生成加人工验收在本厂数据上确实有效。验证阶段必须设定明确的通过标准，例如误报率、命中率、响应时长这类可量化指标，避免最后陷入「感觉还不错」的模糊结论。

第三阶段是全面推广与系统集成，耗时4到6周，需要IT或MES团队投入约15人天完成接口开发、权限配置和上线部署。推广阶段的最大风险不是技术，而是使用习惯：如果一线工程师觉得新流程增加了工作量，就会绕过它。我们的做法是把增强数据集与分类模型直接嵌入现有的日常工作界面，让使用者不需要额外打开新系统。

第四阶段是效果确认与固化，耗时4周，主要工作是持续跟踪指标、修订SOP、组织培训并把成果写入部门知识库。这一阶段容易被忽略，但决定了改善能否长期保持。我们要求每个项目在关闭前必须完成三件事：SOP更新并发布、责任人指定到具体岗位、监控看板上线并设置告警阈值，三者缺一不可。

附录B：五个高频踩坑点与规避方法

第一个坑是口径不统一。同样一个稀有缺陷类别的召回率与误报率，工艺、品质、生产三个部门可能有三套算法，开会时各说各的数据，两个小时都对不齐。规避方法是建立数据字典，为每个指标写明计算公式、数据来源表、统计周期和剔除规则，由品质部门统一发布，任何修改必须走版本管理。

第二个坑是样本量不足就下结论。缺陷图像生成式数据增强在初期往往只有几十条数据，此时任何统计量的置信区间都很宽，看到差异就宣布改善有效，很可能是随机波动。我们的内部规定是：涉及批准量产变更的结论，至少需要30个独立批次的数据支撑，并且要通过假设检验（一般用t检验或非参数的Mann-Whitney检验），p值小于0.05才认可。

第三个坑是只做了技术方案，没有配套的响应机制。系统能识别问题，但没人规定谁在多长时间内必须处理，结果告警堆积成噪音。必须把增强数据集与分类模型和OCAP（异常处理程序）绑定，明确一级响应5分钟、二级响应30分钟、三级响应4小时的分层要求，并纳入班组绩效考核。

第四个坑是忽视变更管理。任何参数、模型或规则的调整都要留痕，包含调整前的值、调整后的值、调整理由、审批人和生效时间。我们吃过亏：一位同事临时放宽了阈值忘了改回来，三周后才被发现，期间漏掉了两次真实异常。从那以后所有阈值都做成配置表并加了每周自动比对报告。

第五个坑是缺少退出机制。方案上线后如果发现效果不如预期，要有明确的回滚方案和判定标准，不能因为已经投入了资源就硬撑。我们要求每个方案在设计阶段就写清楚回滚条件、回滚步骤和回滚责任人，这既是风险控制，也让团队敢于尝试新方法。

八、配套资料与实战工具包

本文的训练脚本、超参配置文件、三级验收自动化脚本与配比消融实验数据已整理成完整工具包，包含数据预处理、模型训练、批量生成与验收统计的全流程代码，可在单张消费级显卡上复现。

点击上方「VIP资源」下载区，免费获取以下配套资料（持续更新MES/SPC/良率/AI实战资料）：

类别条件扩散模型训练脚本与完整超参配置（PyTorch版）

缺陷图预处理与分层划分脚本（含数据泄漏检查）

三级验收自动化脚本（FID计算、特征分布比对、盲测抽样）

生成样本配比消融实验数据与结论报告

缺陷分类模型训练与影子模式部署清单

────────────────────────────────────────