《Diversity》：SFWA-TweetyNet: Cross-Regional Acoustic Analysis of Red-Winged Blackbird Vocalizations via Automated Syllable Annotation
Zhicheng Zhu,
Ziqian Wang,
Danju Lv,
Yan Zhang,
Yueyun Yu,
Ting Zhou and
Haifeng Xu
编辑推荐：
本文聚焦鸟类生物声学核心难题——音节级自动标注的精细化和现有声学指数对音节内细微结构差异捕获能力的不足。研究提出了新型深度学习网络SFWA-TweetyNet，实现了对红翅黑鹂鸣声的高精度自动标注（验证准确率0.978）；并创新性地提出了音节频率加权声学复杂度指数(FW-ACI)，为在复杂声景中分析跨区域、跨季节的声学差异提供了一个基于深度学习的、可解释的精细分析框架，并构建了高质量的跨区域音节级数据集，为后续生态与行为研究提供了重要数据基础。
本文研究了一种名为SFWA-TweetyNet的深度学习方法，并将其应用于对红翅黑鹂鸣唱的自动音节标注任务中，以应对传统方法在跨区域声学数据分析中面临的挑战。文章还提出了基于音节的频率加权声学复杂度指数(FW-ACI)，旨在从音节层面精细刻画声学特征的区域和季节性差异，从而建立一个整合深度学习与生态声景分析的精细声学分析框架。
1. 引言
鸟类的鸣声是生态监测、物种识别和行为研究的重要信息载体。鸣唱通常由一系列音节（最小的有意义声学单元）构成，这些音节具有强烈的物种特异性、稳定的时间节律，并对环境变化敏感，是构建生态监测系统和研究跨区域声学变化的关键数据来源。然而，随着声学数据量的激增，对鸟鸣进行准确、自动化的音节级标注成为一项迫切需求。传统的标注方法依赖人工或半自动处理，耗时且适应性有限。早期的自动化方法（如模板匹配、动态时间规整等）在自然声景、重叠声源和跨区域声学变异下存在局限性。尽管深度学习方法TweetyNet在多种鸟类上取得了良好表现，但其在捕捉红翅黑鹂这类音节类型多、频率分布广的物种的细微结构差异时仍显不足，对关键频率成分的敏感性不够。
同时，在生态声学领域，声学指数（AI）被广泛用于快速生态评估。其中，声学复杂度指数（ACI）通过量化声音强度的短时波动，成为检测鸣声动态、物候节律和声景扰动的重要指标。然而，传统的ACI对所有频率通道一视同仁，无法捕捉特定频段对音节识别的差异化贡献，尤其忽略了对红翅黑鹂音节更具判别性的关键频率区域，限制了其在音节层面捕捉跨区域或个体间细微结构差异的能力。
为解决自动音节标注困难和现有声学指数在音节层面捕捉精细频率结构差异能力不足这两个核心问题，本研究旨在：1）设计和验证SFWA-TweetyNet深度学习网络，提高音节标注的准确性和泛化能力；2）提出基于音节的FW-ACI，探索其在音节层面表征跨区域、跨季节声学差异的有效性；3）构建适用于精细声学分析的高质量跨区域音节级数据集。
2. 材料与方法
2.1. 研究物种与数据集
研究物种为红翅黑鹂，一种迁徙性雀形目鸟类，隶属于拟鹂科，被认为是中型拟鹂。其生态适应性强，具有明确的鸣声行为，是研究鸟类鸣声地理变异的合适模型物种。音频数据来自公开数据库Xeno-Canto，覆盖了北美、墨西哥、加拿大等多个地理区域的红翅黑鹂录音。原始数据经过标准化处理，包括格式转换、背景噪声抑制、采样率统一、转换为单声道，并被分割为固定时长的音频片段，最终形成了一个包含430个有效10秒音频样本的人工标注数据集，用于模型训练和验证。
2.2. 音节标注与定义
使用Praat软件基于TextGrid区间标注进行音节分割和标注，边界通过波形图和声谱图的结合视图手动验证和校正。音节被定义为红翅黑鹂产生的最小结构和时间上连贯的发声单元。基于持续时间、频率范围、调制模式和频谱形状的差异，共识别和标注了29种红翅黑鹂音节类型。
2.3. 自学习频率加权注意力TweetyNet (SFWA-TweetyNet)
为提升模型在跨域条件下对红翅黑鹂自动音节标注的准确性，本研究在原有TweetyNet架构基础上引入了自学习频率加权注意力机制。针对红翅黑鹂音节类型多、结构差异大、频率分布范围广的特点，SFWA-TweetyNet在卷积特征提取器和双向长短时记忆网络（Bi-LSTM）之间加入了一个频率注意力层。该层直接针对频率维度进行操作，为每个频率点分配独立可学习的权重，并通过Softmax函数归一化为概率分布，然后沿频率维度与卷积特征图进行逐元素相乘。这种机制使模型能够根据每一帧的实际频谱能量分布，动态地强调信息丰富的频带，抑制无关或噪声主导的区域，从而增强模型对不同音节类型和声学环境的鲁棒性。
2.4. 音节频率加权声学复杂度指数 (FW-ACI)
为更精确地表征红翅黑鹂音节的频率特征，并增强跨域声学分析的灵敏度，本研究提出了FW-ACI。传统ACI量化了相邻时间帧之间的能量绝对变化，但平等对待所有频率通道。FW-ACI引入了频率依赖的加权策略，以强调对音节识别更具信息量的频段，从而提高在复杂声景和跨区域、跨季节条件下音节级声学分析的灵敏度和可解释性。
具体而言，以一个音节段由n帧组成为例，设If(k)为第k帧中第f个频带的线性强度。在每个频带内，相邻帧之间的能量差可表示为：df,k= |If(k) - If(k+1)|, k=1,2,...,n-1, f=1,2,...,20。该频带在片段内的总变化量定义为：Df= ∑k=1n-1df,k。音节内的总能量为：Sf= ∑k=1nIf(k)。FW-ACI通过将每个频带内的变化量乘以其对应的权重，并对所有频带求和得到，表达式为：FW-ACI = (∑f=1qwfDf) / (∑f=1qwfSf+ ε)。其中wf为第f个频带的权重，ε为一个防止除零错误的小常数。该指数通过加权放大了对音节识别关键的频率成分的贡献，从而能更敏感地反映由环境变异引起的特定频率成分差异。
3. 研究结果与讨论（注：由于提供的文档内容截至于“2.4. FW-ACI”的公式部分，未包含后续的“3. 结果”与“4. 讨论”等章节。因此，以下总结将严格基于已有文档内容，不涉及未提供的具体实验结果和讨论细节。）
基于上述方法，本研究的主要技术贡献在于提出了SFWA-TweetyNet模型和FW-ACI指数。SFWA-TweetyNet通过引入频率注意力机制，针对红翅黑鹂复杂的声学特征改进了现有TweetyNet模型，理论上应能提升模型在捕捉细微频率结构差异和应对跨区域声学变异方面的能力，从而实现更准确的自动音节标注。FW-ACI则从声学指数层面进行了创新，通过频率加权策略，旨在克服传统ACI在音节级分析中的不足，提供一个能更精细刻画音节内部频率动态变化、对生态声学差异更敏感的新指标。
4. 结论与展望
（注：同上，文档未提供结论部分。基于引言中所述的研究目标，可推断本研究的预期成果是）建立了一个集成深度学习与生态声景分析的、基于音节的精细声学分析框架。该框架的核心是通过SFWA-TweetyNet实现高质量的自动音节标注，并利用FW-ACI对标注后的音节进行深入的跨区域、跨季节声学特征比较。研究构建的高质量跨区域红翅黑鹂音节级数据集，为未来的自动鸟鸣标注、跨域声景分析以及鸟类生态和行为研究提供了重要的基础数据资源。这项工作主要旨在展示所提出的模型和分析框架，为未来的跨区域和跨季节分析提供方法论参考，而非得出确定的生态学结论。
