《Engineering Applications of Artificial Intelligence》：Telecom fraud detection model based on spatiotemporal feature extraction and deep frozen classification
编辑推荐：
电信欺诈检测中存在数据质量差、时空动态关联捕捉不足、高维噪声数据处理能力弱及特定类别建模不足等问题。本文提出融合时空数据填补、混合注意力引导特征选择与优化分类的集成模型，通过MDAI-GAIN网络利用多层注意力机制实现时空依赖建模与数据补全，结合Boruta与GBDT的混合方法提升特征筛选效果，并构建Inception-Resnet与BITCN融合的深度分类模型强化特征提取与分类能力。实验表明该方法在真实数据集上显著优于基线模型，有效解决复杂场景下的欺诈检测难题。
Xuning Liu|Qi Li|Ce Zhai|Liying Duan|Hongqiang Hu
石家庄大学未来信息技术学院，中国石家庄，050035
摘要
电信欺诈检测方法仍面临几个关键挑战，包括数据质量差、无法捕捉动态的时空相关特征、处理高维和噪声数据的困难以及对特定类别的建模不足。为了解决这些问题，本文提出了一种检测模型，该模型整合了时空数据插补、时空特征选择和优化的深度分类技术，旨在提高电信欺诈的检测性能。为了提高数据质量，我们设计了一个基于多重深度注意力集成机制的生成对抗性插补网络。该框架通过深度自头注意力和深度交叉注意力机制捕捉时空依赖性，从而实现缺失数据的插补。为了提高特征选择的效率，提出了一种混合注意力引导的特征选择方法，该方法结合了Boruta的影子特征、梯度提升决策树的重要性评估以及时空和通道注意力，以筛选出重要特征。为了提升分类性能，构建了一个基于混合注意力和多重特征提取组合的集成深度分类模型。该模型整合了Inception-Resnet、双向时间卷积网络和混合注意力机制，以增强特征提取和区分能力，从而提高分类性能。在两个真实世界的电信欺诈数据集上的实验表明，所提出的模型显著优于基线方法，研究结果为复杂场景下的电信欺诈检测提供了有效的解决方案。
引言
随着通信技术的深入发展和互联互通，电信欺诈逐渐表现出跨区域扩展、智能化升级和产业化运营的特点，这对人们构成了严重威胁。犯罪手段已经扩展到数十种类型，包括在线约会欺诈和虚假投资诱导（Hu等人，2023a）。由于此类犯罪是基于通信网络的时空属性进行的，因此有效利用时空数据的价值并构建智能检测模型已成为电信欺诈预防的核心问题。
到目前为止，电信欺诈检测方面已经取得了显著进展（Ren等人，2023）。在研究的早期阶段，一些研究者将其视为异常序列识别任务，重点分析异构的多变量数据集。检测过程依赖于规则引擎和浅层机器学习算法。研究者发现，欺诈者和普通用户在通话行为的时间演化模式上存在显著差异（Guo等人，2018）。通过使用动态时间特征构建强大的用户表示，这些检测方法的性能优于依赖传统静态特征或基本图模型的方法。然而，它们仍然存在明显局限性：首先，它们难以有效捕捉时空数据的动态相关特征；其次，它们处理高维、稀疏和噪声时空数据的能力不足，容易导致由于数据质量差而产生的检测偏差。
深度学习为时空建模提供了一种新的方法。长短期记忆（LSTM）通过输入门、遗忘门和输出门解决了循环神经网络（RNN）的梯度消失问题，从而能够有效捕捉长期序列模式。门控循环单元（GRU）通过更新门和重置门简化了LSTM的结构，平衡了计算效率和长距离依赖性提取。卷积神经网络（CNN）在捕捉空间级特征方面表现出色，而变换器（Transformers）通过自注意力打破了长序列建模的瓶颈。CNN在空间特征提取方面具有优势。这些技术在欺诈预防领域取得了阶段性进展。考虑到电信网络的拓扑属性，基于图论的研究近年来取得了丰硕成果，相继提出了MLCG-FD（Ren等人，2024）、LSG-FD（Wu等人，2024）、BTG（Hu等人，2022）和GNN（Hu等人，2024）以及知识图谱（Cheng等人，2024）等模型。实际应用验证了图神经网络（GNN）能够通过聚合相邻节点的上下文信息来细化核心节点的特征表示，从而大幅提高检测任务的准确性。
尽管如此，现有研究仍面临三个主要挑战：首先，数据质量瓶颈——实际数据包含噪声成分和缺失数据点，这直接影响模型训练和检测准确性；其次，动态特征描述不足——主流模型主要依赖静态特征，难以描绘时间演化和动态交互，因此无法识别隐藏的犯罪手段，如欺诈团伙之间的周期性合作；第三，缺乏针对特定类别的挖掘和可解释性——传统的统一建模难以探索不同欺诈类型之间的行为差异，且大多数模型采用黑盒架构，难以解释决策依据，这无法满足实际场景的需求。为了解决上述问题，本研究开发了一个集成模型，将时空数据补全、特征选择和优化分类结合到一个统一框架中，实现了欺诈检测中多个核心任务的有机协同。具体解决方案如下：针对电信欺诈的数据质量问题，设计了一个多深度注意力集成引导的生成对抗性插补网络（MDAI-GAIN）模型。该模型通过深度自头注意力（DSA）和深度交叉注意力（DCA）机制对时空特征进行建模，构建了一个协作模型以捕捉多维依赖性，通过层次增强和跨层交互优化特征，并依靠提示机制完成数据生成和缺失值插补。为了解决从电信欺诈数据中提取动态特征不足的问题，提出了一种由通道-时空注意力（CSTA）机制引导的特征选择模型。该模型使用影子特征和梯度提升决策树（GBDT）迭代评估特征重要性，将Boruta框架应用于GBDT，并引入混合注意力机制来适应性加权关键特征。为了解决电信欺诈检测中的类别特异性和可解释性问题，提出了一种结合通道注意力机制（CAM）、空间注意力机制（SAM）和冻结注意力机制（FAM）的集成深度分类模型。该模型使用Inception-Resnet模块并行捕获细粒度和宏观特征，以减轻梯度损失，通过双向时间卷积网络（BITCN）优化特征融合，并通过结合CSA和FA加强了对关键特征的关注，从而提高分类性能。贡献如下：
(1)我们设计了一个由多种注意力机制引导的生成对抗性网络插补模型，可以捕捉多级特征，并提高数据完整性。
(2)我们提出了一种混合注意力引导的特征选择模型，结合了时空和通道注意力，以提高特征选择的质量。
(3)我们构建了一个融合深度分类模型，整合了多尺度卷积特征提取和集成混合注意力分类，增强了欺诈类型之间的差异表达，并提高了模型的实用性和可解释性。
(4)在两个公共电信欺诈数据集上的广泛实验验证了所提出框架的有效性。实验结果还表明，我们的框架显著优于传统的基线技术，在电信欺诈识别方面达到了最先进的性能。
后续内容安排如下：第2节回顾了数据插补、特征选择和模型融合领域的文献；第3节详细介绍了整体模型架构和核心模块的设计；第4节通过公共数据集的实验验证了模型性能；第5节总结了研究成果和创新方向。
章节片段
数据插补
目前数据处理领域的数据插补方法分为五类：基于邻居的、基于统计的、基于因子分解的、基于期望最大化的和基于深度学习的。近年来，基于深度学习的插补方法由于其独特的缺失值处理机制、强大的非线性建模能力和适应性而表现出色。因此，以下将重点阐述这一方法
方法论
本节详细介绍了所提出的电信欺诈检测模型的架构和核心模块，包括数据插补、特征选择和深度分类。每个模块都旨在解决时空数据处理的关键挑战，确保高准确性和鲁棒性。为了直观展示所提出的电信欺诈检测模型的端到端架构，下图说明了三个核心模块之间的协作关系——明确了
数据集描述
在本章的实验中，使用了两个用于电信欺诈检测的公共数据集——四川数据集和北京邮电大学数据集——来验证模型性能，原始数据经过了筛选和预处理程序。四川数据集来源于原始通话详细记录（CDR）数据，涵盖了四川省的23个城市，时间跨度为2019年8月至2020年3月，该数据集中的所有样本分为两类：欺诈者和非欺诈者
结论
为了解决现有电信欺诈检测方法在数据质量和分类准确性方面的不足，我们引入了一个专门的检测模型，将时空缺失数据插补和分类机制优化结合到一个统一架构中。我们设计了时空数据插补模型MDAI-GAIN。该模型结合了多深度注意力集成模块来捕捉时空依赖性，并引入了提示向量来加强
CRediT作者贡献声明
Xuning Liu：撰写——原始草稿、方法论、调查、资金获取、概念化、撰写——审阅与编辑。Qi Li：监督。Ce Zhai：撰写——审阅与编辑。Liying Duan：可视化、监督。Hongqiang Hu：方法论、撰写——原始草稿、撰写——审阅与编辑。
写作过程中生成式AI和AI辅助技术的声明
在开发这项工作的过程中，作者使用了人工智能工具来提高手稿的语言质量和可读性。使用这些工具后，作者对内容进行了详细审查，并在必要时进行了编辑。作者对发表文章中的所有内容负全责。
资金来源
本项工作得到了中央领先地方科技发展基金项目（246Z0107G）和河北省教育厅科研项目（编号：QN2025037）的支持。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：HU Hongqiang报告称获得了石家庄大学的财务支持。报告了与该机构的关系：拥有待审专利。如果有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。
