一种轻量级CNN-Transformer混合架构结合通道注意力用于实时危险声音事件检测

《Frontiers in Artificial Intelligence》：A lightweight CNN–transformer hybrid architecture with channel attention for real-time hazardous acoustic event detection

　　

摘要
引言：危险声音事件检测（hazardous acoustic event detection, HAED）对于智能监控、应急响应系统和公共安全监测应用至关重要。准确、实时地识别爆炸、警报、尖叫和武器相关声音等危险声音事件，可以显著提升情境感知能力，并加速安全关键环境中的应急响应。
方法：本研究提出一种基于卷积特征提取和通道注意力机制的轻量级深度学习架构，用于危险声音分类。所提出的框架采用对数梅尔声谱图（log-mel spectrogram）表示作为输入，并结合了经挤压-激励通道注意力模块（squeeze-and-excitation channel attention module, SE）增强的TinyCNN骨干网络，以在保持计算效率的同时改进判别性频谱特征学习。研究人员构建了一个自定义的平衡数据集，包含八类危险声音类别：哭泣、狗叫、紧急警报、爆炸、火灾、玻璃破碎、尖叫和武器相关声音，每类一千个音频样本。模型采用准确率（accuracy）、精确率（precision）、召回率（recall）和F1分数（F1-score）进行评估。
结果：实验结果表明，所提出的架构在保持适用于边缘部署场景的实时推理能力的同时，实现了强大的多类分类性能。定量评估证实了该轻量级框架在危险声音事件检测中的有效性。额外的消融研究表明，通道注意力机制和基于频谱的数据增强策略的集成显著提升了模型的鲁棒性、特征判别性和泛化性能。
讨论：研究结果表明，所提出的轻量级通道注意力增强架构为智能监控和公共安全系统中的实时危险声音检测提供了一种高效可靠的解决方案。计算效率与稳健分类性能的结合，凸显了该框架在资源受限和基于边缘的环境中部署的适用性。

论文解读文章

**研究背景与问题**
智能感知技术与普适计算的快速发展，使得自动实时识别危险声音事件（如爆炸、尖叫、警报、武器相关声音）的需求日益迫切。环境声音分析在城市监控、智能家居、应急响应和工业监测等安全关键领域至关重要。传统方法依赖人工观察或基于阈值的信号处理，可扩展性差且鲁棒性低。近年来，深度学习尤其是卷积神经网络（CNN）在音频特征自动提取中取得显著进展，但纯CNN结构难以建模音频序列中的长程时间依赖；Transformer架构通过自注意力机制能捕获全局上下文，却伴随高计算开销，难以在实时或边缘设备上部署。因此，现有研究在同时实现高分类性能、低计算复杂度和实时部署能力方面存在空白。本研究旨在提出一种轻量级CNN–Transformer混合架构，结合通道注意力机制，专门用于实时危险声音检测，以平衡准确率与效率。

**研究人员开展的研究及结论**
研究人员提出了一种轻量级的危险声音分类框架，以对数梅尔声谱图（log-mel spectrogram）为输入，采用经挤压-激励（squeeze-and-excitation, SE）通道注意力增强的TinyCNN骨干进行频谱特征提取，随后通过轻量Transformer编码器（Lite Transformer）建模时间依赖，最后利用注意力统计池化（attentive statistics pooling, ASP）生成固定维度嵌入并完成分类。为训练与评估，研究人员构建了一个包含八类危险声音（哭泣、狗叫、紧急警报、爆炸、火灾、玻璃破碎、尖叫、武器）的平衡数据集，每类1000个样本，共8000个音频片段。模型在自建数据集上达到93.2%的准确率和0.86的F1分数，在标准CPU上推理延迟仅14.8毫秒（约67帧/秒），参数仅1.35M，计算量0.42 GFLOPs。消融实验证实SE模块和SpecAugment数据增强分别提升性能，且Transformer编码器的去除导致召回率和F1分数下降，表明时间建模的必要性。在公共基准数据集ESC-50和UrbanSound8K上的额外测试显示，模型以显著更低计算开销取得接近最先进方法的准确率（均超过92%）。该研究发表在《Frontiers in Artificial Intelligence》。

**主要关键技术方法**
1. **对数梅尔声谱图特征提取**：对音频信号计算短时傅里叶变换（STFT），经梅尔滤波器组压缩频谱维度，取对数得到时频表示。
2. **TinyCNN-SE骨干网络**：使用深度可分离卷积（depthwise-separable convolution）降低参数量，并在每个卷积块内嵌入挤压-激励（SE）通道注意力模块，通过全局平均池化和轻量门控网络自适应重标定特征通道，突出判别性频带。
3. **轻量Transformer编码器（Lite Transformer）**：采用预归一化（Pre-Norm）结构的多头自注意力层和两层MLP前馈子层，以紧凑扩展比保持效率，对时序令牌序列建模长程依赖（如周期性警报、瞬态脉冲的演变）。
4. **注意力统计池化（ASP）**：学习时间注意力权重，对可变长度令牌序列加权计算均值和标准差，拼接为固定维嵌入，使关键短时事件（如爆炸）主导决策。
5. **SpecAugment数据增强**：训练中对频谱随机遮盖连续时间和频率区域，提升模型对背景噪声和部分遮挡的鲁棒性。
数据集来源：自建平衡数据集，样本来自公开音频库（如环境声音库）与真实录音，经人工筛选和标注确保类别一致性与质量。

**研究结果**

**4.1 实验结果**
通过训练与验证曲线的精度、召回率、F1分数等指标展示模型稳定收敛，验证集准确率接近0.92，F1分数约0.75。每类性能热图显示：玻璃破碎类精确率最高（0.99），但召回率较低（0.66）；火灾类表现最均衡（召回0.87，F1 0.84）；爆炸类所有指标均约0.66，因其瞬态强能量且频谱易与其他脉冲类混淆。与现有方法对比表明，所提模型在8类危声音分类中达到93.2%准确率与0.86 F1分数，同时支持实时推理。

**4.2 实时性能评估**
模型包含约1.35M参数，0.42 GFLOPs，在标准CPU（Intel Core i7）上平均推理时间14.8毫秒（67帧/秒）。相较于基线TinyCNN，引入SE模块与Transformer仅增加约8–10%计算开销，但显著提升分类性能，证实了效率–准确率的良好权衡。

**4.3 消融研究**
逐步测试各组件贡献：基线TinyCNN准确率0.900，F1 0.720；仅加SE模块后准确率升至0.920，F1 0.750；仅用SpecAugment后准确率0.915，F1 0.740；两者联合使用达最优（准确率0.930，F1 0.770），表明二者互补。对Transformer的消融：移除Transformer后召回率和F1分数明显下降，证明轻量Transformer对捕获长时时间模式（如周期性警报）至关重要。

**讨论与结论**
讨论部分指出，模型在具有显著频谱特征的类别（如玻璃破碎、哭泣）上精确率优异，但在瞬态事件（如爆炸、武器）上召回率较低，原因是此类信号短暂且频谱易重叠，未来可引入多尺度特征提取或针对瞬态事件的损失函数。模型整体稳定性高，验证集与训练集指标接近，未过拟合。通过与现有方法对比，强调所提架构在计算开销与检测性能之间的优势，特别适合资源受限的边缘监控场景。
研究结论：本研究提出一个基于通道注意力增强的TinyCNN轻量级深度学习框架，结合对数梅尔声谱图表示，用于危险声音事件检测。该设计平衡了分类准确率与计算效率，实现对哭泣、狗叫、紧急警报、爆炸、火灾、玻璃破碎、尖叫和武器相关声音八类危险信号的可靠实时检测。定量评估表明模型取得高整体性能（准确率93.2%，F1 0.86）；消融验证了SE通道注意力与SpecAugment数据增强的积极贡献；与最新方法对比，模型以更低的计算复杂度维持了竞争性性能及实时推理能力。这些特性使其适用于公共安全系统、智能监控等安全关键环境中的实际部署。