CGE-GAN：基于对比引导的进化生成对抗网络，具有动态自适应权重共享机制

《Neural Networks》：CGE-GAN: Contrastive-Guided Evolutionary Generative Adversarial Networks with Dynamic Adaptive Weight Sharing

本文提出对比引导的进化GAN（CGE-GAN），结合混合损失函数、动态权重共享和知识蒸馏，有效解决GAN训练不稳定、模式坍塌及架构搜索低效问题，在CIFAR-10和STL-10上实现高IS和低FID，显著提升生成质量与效率。

　　

卡希夫·伊克巴尔（Kashif Iqbal）| 薛宇（Xue Yu）| 阿蒂法·拉菲克（Atifa Rafique）| 穆罕默德·哈米德（Muhammad Hamid）| 库尔希德·奥朗则布（Khursheed Aurangzeb）

南京信息科技大学计算机学院，中国江苏省南京市宁柳路219号，210044

摘要

生成对抗网络（GANs）在图像合成方面取得了显著的成功，但仍面临一些主要挑战，包括模式崩溃、训练不稳定和架构搜索效率低下。现有的进化型GANs在一定程度上解决了这些问题，但缺乏与真实数据的语义对齐、有效的权重重用以及模型代际之间的知识传递。为了克服这些限制，我们提出了对比引导的进化GANs（CGE-GAN）——一种统一的方法，引入了一种新的混合Wasserstein-对比损失函数，该函数在保持对抗性的同时，促使生成器在语义上与真实数据对齐。此外，我们还加入了动态自适应权重共享（DAWS）以实现高效训练，并通过基于知识蒸馏的交叉机制来保留跨代特征。CGE-GAN在CIFAR-10和STL-10数据集上的表现优异，其Inception Score（IS）分别为8.99和10.46，Fréchet inception距离（FID）分别为9.74和21.86。与强基线模型相比，CGE-GAN将FID降低了多达1.74个点，同时保持了高语义多样性和收敛效率，仅使用了0.36个GPU日的计算资源。这些结果突显了对比驱动进化方法在生成稳定且高保真输出方面的有效性。

引言

生成对抗网络（GANs）已成为生成建模中的流行框架，在图像合成、视频生成和跨领域生成任务中取得了突破性进展（Brophy等人，2023年；Gui等人，2021年）。尽管GANs具有令人印象深刻的能力，但它们仍然难以训练，经常出现模式崩溃、训练不稳定和梯度消失等问题（Barsha等人，2025年），尤其是在处理高维或复杂数据分布时。这些问题主要源于对抗优化过程，其中生成器和判别器可能会失衡，导致样本质量下降。

为了解决这些限制，人们提出了多种改进方法。一种关键方法是修改损失函数，例如Wasserstein损失，它替代了原始的Jensen-Shannon（JS）散度，提供了更稳定的梯度反馈；还有Hinge损失，通过基于边界的优化提高了训练稳定性（Arjovsky等人，2017年；Mao等人，2017年）。正则化技术（包括梯度惩罚）和训练启发式方法（如渐进式增长）进一步增强了GAN在不同任务和数据集上的稳定性（Roth等人，2017年；Souza等人，2023年）。然而，这些改进通常针对个别组件，并没有提供解决根本挑战的统一方案。

作为回应，进化计算（Bi等人，2022年；Wang等人，2019年）和神经架构搜索（NAS）（Gong等人，2019年；Man等人，2025年；Xue等人，2023a）已成为自动化和优化深度学习架构的强大工具。最近的创新，如替代建模、基于梯度的变异、老化机制和权重共享，显著提高了GAN训练的鲁棒性和效率。NSGANetV2（Lu等人，2020年）展示了替代辅助的多目标进化优化在CIFAR-10和ImageNet等数据集上的有效性，这一策略概念上也可应用于GAN优化；EAMGAN（Man等人，2025年）利用老化机制防止过早收敛。同样，EWSGAN（Xue等人，2023b）在超网中使用权重共享来降低训练成本，同时保持竞争力。这些方法突显了将NAS与进化计算结合用于生成建模的巨大潜力。在数据增强领域，CTGAN被用于提高入侵检测系统的性能并解决过拟合问题（Agarwal等人，2024年）。为了处理缺失数据，GAN与结构深度网络嵌入结合使用，用于智能交通系统中重建全网络流量状态（Wang等人，2023年）。

同时，对比学习作为一种自监督表示学习的强大范式越来越受到关注，它通过鼓励嵌入空间中相似实例的对齐来促进学习（Liu等人，2021b）。当应用于GAN时，对比目标不仅可以指导生成器欺骗判别器，还可以产生与真实数据在语义上接近的样本，从而有效增强多样性和结构一致性（Shi等人，2025年；Wu等人，2023年）。然而，将对比损失函数纳入进化GANs的研究还很少，这在生成模型优化中留下了一个重要空白。

与此同时，知识蒸馏在生成建模中显示出巨大潜力，它允许成功的架构将其学习到的知识传递给新模型，从而加快收敛速度并提高泛化能力（Liu等人，2022年；Xue等人，2025a）。为了增强网络结构推断，提出了SI-LSGAN框架，该框架将结构先验知识整合到对抗训练中，提高了准确性（Liu等人，2023年）。这种能力在进化GAN中尤为重要，因为每一代模型都必须在前一代发现的基础上进行构建，以避免冗余和停滞。

受这些发展的启发，我们提出了对比引导的进化GANs（CGE-GAN）——一种将对比学习与进化GAN训练相结合的新方法。CGE-GAN利用混合Wasserstein对比损失（HWCL）作为驱动信号，塑造生成器的学习轨迹和架构搜索过程。通过将对比反馈纳入优化循环，HWCL促进了真实分布和生成分布之间的细粒度对齐，引导生成器架构向产生更稳定训练动态和语义连贯输出的配置演变。结合梯度惩罚正则化、动态自适应权重共享和知识传递，CGE-GAN形成了一个高效、稳定和多样化的生成建模统一策略。

本文的主要贡献包括：

•

采用了一种新的损失函数，使生成样本在嵌入空间中与真实数据对齐，提高了样本多样性并减少了模式崩溃。

•

本研究提出了一种结合变异、交叉和对比反馈的进化架构搜索策略，优化了生成器的进化过程并加速了收敛速度。

•

本研究通过预训练权重实现了高效的知识传递，加快了收敛速度，并结合动态自适应权重共享，提高了参数的重用性和模型的适应性。

这些组件共同构成了一个连贯的进化GAN框架，在CIFAR-10和STL-10等具有挑战性的基准数据集上实现了稳定、多样且高质量的生成性能，而传统GAN和E-GAN在这些数据集上往往表现不佳。

与之前仅利用对比损失来提高表示一致性的对比增强GANs（Shi等人，2025年；Tang等人，2025年；Wu等人，2023年）不同，CGE-GAN将对比反馈直接纳入进化选择机制。在这个框架中，混合Wasserstein-对比损失不仅影响样本级别的训练，还影响基因型的适应性，从而指导架构搜索中的变异和交叉。这种对比监督的进化整合在E-GAN类型方法（Wang等人，2019年；Xue等人，2023b；Ying等人，2022年）或可微分NAS基GANs（Gao等人，2020年；Tian等人，2021年）中尚未被探索。

本文的其余部分安排如下：第2节介绍了相关工作；第3节详细介绍了提出的CGEGAN方法；第4节涵盖了实验设置和结果；第5节给出了结论和未来工作方向。

相关研究

相关研究

GANs激发了一系列旨在提高其稳定性、多样性和可扩展性的研究。尽管取得了各种进展，但在复杂数据领域，训练不稳定、模式崩溃和架构优化效率低下等关键问题仍然存在（Barsha等人，2025年；Gui等人，2021年）。为了解决这些问题，先前的研究探索了多种途径，包括损失函数重构、架构进化、对比学习和知识传递等

提出的方法

本节介绍了提出的CGE-GAN，它将进化架构搜索、对比学习和生成建模整合到一个统一框架中。核心设计解决了GAN的关键挑战，包括训练不稳定、模式崩溃和架构进化效率低下等问题。这些问题通过对比驱动的损失设计、动态自适应权重共享、使用预训练权重的代际知识传递以及梯度惩罚等手段得到解决

实验设置

为了验证CGE-GAN的有效性，我们在标准基准数据集上进行了全面实验。我们的评估重点关注三个关键方面：GANs的优化性能、计算效率和训练稳定性。以下部分详细描述了我们的实验设置，包括数据集规格和预处理、模型架构和配置、训练程序以及评估指标。

结论与未来工作

在本文中，我们介绍了CGE-GAN，这是一种对比引导的进化GAN方法，旨在解决生成建模中不稳定性、模式崩溃和架构搜索效率低下等持续存在的问题。我们的贡献包括一种新的HWCL，它增强了语义对齐；一种动态自适应权重共享机制，用于高效参数重用；以及知识传递，以改善收敛速度。我们的渐进式代际学习遗传策略用于探索新的

未引用图表

图5

CRediT作者贡献声明

卡希夫·伊克巴尔（Kashif Iqbal）：撰写——原始草稿、软件实现、方法论设计、数据分析、概念化。薛宇（Xue Yu）：撰写——审阅与编辑、验证、资源协调、项目管理。阿蒂法·拉菲克（Atifa Rafique）：撰写——审阅与编辑、可视化处理、资源协调、数据分析。穆罕默德·哈米德（Muhammad Hamid）：撰写——审阅与编辑。库尔希德·奥朗则布（Khursheed Aurangzeb）：撰写——审阅与编辑、验证。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了中国国家自然科学基金（62376127、61876089、61876185、61902281、61403206）、江苏省自然科学基金（BK20141005）和江苏省高等教育机构自然科学基金（14KJB520025）的支持，同时还得到了沙特阿拉伯利雅得国王沙特大学的研究人员支持项目（RSPD2025R947）的资助。

卡希夫·伊克巴尔获得了伊斯兰堡Comsats大学的电气工程硕士学位。他目前是南京信息科技大学计算机科学学院的博士研究生，研究兴趣包括深度学习、进化计算和生成对抗网络。