《IEEE Access》：A Novel Hybrid Approach for Identification of Discriminative Features in Phishing Emails
编辑推荐：
本研究针对钓鱼邮件动态攻击下传统检测系统效能不足的问题，提出一种结合探索性数据分析（EDA）与随机森林（RF）特征重要性的混合方法，用于识别跨数据集的判别性特征。实验发现145个特征中仅28个（19%）具判别力，基于此训练的CNN模型准确率达99.9%，显著提升检测效率并降低特征冗余，为构建轻量化高精度钓鱼邮件检测系统提供关键技术支撑。
在数字化浪潮席卷全球的今天，钓鱼邮件已成为网络安全领域最阴险的威胁之一。攻击者通过精心伪装的电子邮件，诱骗用户点击恶意链接或下载病毒附件，导致个人隐私泄露、企业数据崩塌，甚至造成数以亿计的经济损失。据统计，2023年全球累计发生近500万起钓鱼攻击，仅2025年第一季度就录得超100万起案例，其中94%的组织曾遭受过此类攻击。更令人担忧的是，随着人工智能技术的普及，钓鱼攻击变得愈发狡猾，传统基于规则或单一特征的检测系统如同用旧地图导航新大陆，难以应对快速演变的攻击手法。
面对这一挑战，机器学习技术被视为破局的关键。它能从海量数据中自动学习攻击模式，实现动态防御。然而，一个核心难题始终悬而未决：在钓鱼邮件的众多特征中，究竟哪些才是真正具有判别力的“信号”，而非干扰视听的“噪音”？以往研究多聚焦于URL结构或域名属性，却忽略了邮件内容、头部信息等关键维度。这种“盲人摸象”式的研究局限，使得检测模型常陷入特征冗余、计算复杂、泛化能力弱的困境。
为攻克这一瓶颈，来自坦桑尼亚尼尔森·曼德拉非洲科学技术学院的Ramadhani K. Mbura、Agrey Kato Benedicto和Ramadhani Sinde（IEEE会员）在《IEEE Access》上发表了一项创新研究。他们提出一种混合方法，将探索性数据分析（EDA）与随机森林（RF）特征重要性评估相结合，系统性地识别钓鱼邮件中的判别性特征。研究团队公开声明，其工作得到了坦桑尼亚联合共和国政府通过沿海地区专员办公室的资助。
研究团队采用了两套公开数据集（dataset_1和dataset_2），分别包含9,932封邮件和11,430个URL，特征覆盖URL结构、邮件内容及域名属性三大类别。通过Python 3.12在Google Colab平台上，他们首先对数据进行预处理，包括处理缺失值、标准化标签及清理文本（如去除HTML标签和特殊字符）。随后，对dataset_1进行特征工程，从原始邮件主题和正文中提取了58个数值特征（如正文非字母数字比率、URL数量、关键词出现频次等），并结合TF-IDF（词频-逆文档频率）生成了2500个文本嵌入特征。
关键技术方法包括：
- 1.
探索性数据分析（EDA）：通过单变量分析（如特征分布直方图）、双变量分析（如特征与目标变量的相关性热图）和多变量分析（如散点图可视化特征交互），揭示钓鱼邮件与正常邮件的统计差异。例如，发现钓鱼邮件通常具有更高的非字母字符比率和更多的嵌入URL。
- 2.
随机森林（RF）特征重要性评估：基于Gini不纯度减少量计算特征重要性得分，筛选出对分类贡献最大的特征。
- 3.
特征验证：使用RF、XGBoost（XGB）和混合Kim's Text CNN（一种结合文本嵌入与数值特征的卷积神经网络）模型，对比全特征集（58个）与判别特征子集（12个）的性能，以准确率、召回率、F1分数和ROC-AUC（接收者操作特征-曲线下面积）等指标评估效果。
特征分布与相关性分析
研究发现，钓鱼邮件在结构上呈现显著异常。例如，其正文非字母数字比率（如符号使用频率）远高于正常邮件，暗示攻击者常通过特殊字符混淆过滤系统。同时，钓鱼邮件更频繁使用“点击这里”“支付”等诱导性关键词，而正常邮件词汇更丰富、结构更规范。
如图4所示，钓鱼URL的主机名长度分布严重右偏，表明长主机名是恶意链接的典型标志。此外，钓鱼邮件中IP地址使用频率更高（图6），且URL长度与点号数量呈正相关（图8），进一步验证了复杂URL结构的风险性。
判别特征识别结果
通过EDA与RF重要性评分融合，研究从145个特征中筛选出28个核心判别特征（占19%），其中URL类占39.3%（如URL长度、点号数量）、内容类占50%（如关键词频次、唯一词比率）、域名类占10.7%（如IP地址使用）。这些特征中，URL数量、正文非字母数字比率、“取消订阅”关键词等与钓鱼标签强相关（相关系数>0.4），而“团队”等词汇则与正常邮件关联更密切。
模型性能验证
使用12个判别特征训练后，所有模型性能显著提升：RF准确率从95%升至97.6%，XGB从95.1%升至97.4%，而混合CNN表现尤为突出，准确率达99.9%，召回率99.9%，ROC-AUC为1.000（完美分类）。同时，误报（False Negative）数量大幅降低，CNN仅漏检1封钓鱼邮件（图12），证明判别特征集能有效捕捉复杂攻击模式。
结论与意义
本研究通过混合EDA与RF方法，首次系统识别出钓鱼邮件的核心判别特征，解决了传统研究特征冗余率高（81%特征无效）、模型泛化能力弱的问题。结果表明，仅需少量高价值特征即可构建高效检测系统，如CNN模型在轻量化特征集下实现近乎完美的分类性能。这一发现为开发实时、低耗的钓鱼邮件过滤工具提供了理论依据，尤其适用于资源受限的邮件网关或移动端安全应用。
研究还指出，未来工作可扩展至多语言数据集、对抗性攻击测试，并引入SHAP（Shapley Additive Explanations）等可解释性工具增强模型透明度。通过将判别特征集成至安全信息与事件管理（SIEM）平台，有望实现更智能的威胁预警，最终提升全球网络安全的整体韧性。
