《Remote Sensing in Ecology and Conservation》:Big Bird: A global dataset of birds in drone imagery annotated to species level
编辑推荐:
本文开源了目前规模最大、标注最精细的无人机鸟类图像数据集Big Bird,涵盖7大洲101个物种的49,990只个体,并基于Faster R-CNN模型实现了鸟类检测平均精度(mAP)0.91±0.25和物种-年龄-性别分类mAP 0.65±0.33。研究表明模型处理效率较人工提升85倍,性能主要受训练-测试集地理相似性(Estimate=1.3248, P=0.00021)、类间相似度等因子影响,为广域生态监测提供了关键技术支撑。
Abstract
无人机已成为鸟类调查的重要工具,但图像中鸟类的人工识别成本高昂。尽管计算机视觉技术能自动化此过程,现有研究多局限于单一生态环境且缺乏物种级关键属性识别。为此,本研究整合现有研究及野外调查数据,构建了多样化的无人机鸟类图像数据集,标注每只鸟的位置、物种、姿态(静止、飞行等)、年龄(雏鸟、亚成体、成体)及性别(雄性、雌性、单态性)。通过训练鸟类检测与识别模型,其处理速度较人工提升85倍,检测平均精度(mAP)达0.91±0.25,物种-年龄-性别分类mAP为0.65±0.33。性能主要受训练-测试图像相似性、类间相似度、训练实例数量和鸟类像素面积等因素影响。该数据集是迄今标注最精确且生物-环境-数字多样性最丰富的无人机鸟类数据集,为广域生态监测研究奠定基础。
Introduction
当前鸟类灭绝速率已堪比历史五次大灭绝事件。有效监测是保护行动的核心,但生境不可达性与广阔性常阻碍传统调查。无人机技术通过突破空间限制,已在难以抵达区域、大型集群、广阔生境及敏感物种监测中展现优势。然而,无人机图像中鸟类人工识别成本(如Kellenberger等报道5人20天仅标注21,066只鸟)成为瓶颈。计算机视觉虽能大幅提升效率(如4小时完成同等工作量),但现有模型多局限于特定生境或分辨率,缺乏跨场景泛化能力。Weinstein等虽整合15国数据验证广域模型的潜力,但未实现物种级精细识别。本研究通过国际合作构建涵盖生物(物种、姿态、年龄、性别)、环境(生境、光照)与数字(图像属性)多维多样性的数据集,并训练检测-分类一体化模型,评估其性能边界与影响因素。
Method
数据采集结合系统化野外调查(2020-2024年澳大利亚东南部,主要使用DJI Mavic 2 Pro)和既有研究贡献,通过Scopus数据库筛选225项研究,联系198位作者,最终33位贡献者提供23,865张图像(含系统采集8,963张)。标注使用Labelme工具,对4,824张图像的49,990只鸟进行边界框/多边形标注,记录分类学信息、姿态、年龄、性别及遮挡状态,并提取EXIF中的环境与数字参数。数据预处理包括统一地面采样距离(GSD)至5 mm/pixel(基于McEvoy等研究确定的物种区分分辨率阈值),图像分割为800×800像素面板,按地理位置(GPS精确至3位小数)划分训练-测试集以避免空间交叉。模型采用PyTorch框架下的Faster R-CNN(ResNet-101骨干网络),基于ImageNet1K预训练,使用随机增强策略,在NVIDIA 3090 GPU上训练2天16小时(早停法触发)。性能评估采用COCO指标,计算交并比(IoU)0.5下的精度(Precision)、召回率(Recall)及平均精度(AP),并通过广义线性模型分析性能预测因子。
Results
数据集包含101个物种的126个物种-年龄-性别组合,以澳大利亚鹈鹕(5,108只)、纹颊企鹅(5,083只)和智利火烈鸟(3,741只)为主,但小型陆鸟代表性不足。模型在测试集上检测AP为0.91±0.25,分类mAP为0.65±0.33,不同类群性能差异显著(如黑颈鹳成体AP=1.00,而白脸鹭成体AP=0.07)。性能显著受测试-训练集地理重叠度(GPS精确至2位小数时Estimate=1.3248, P=0.00021)、相似类群数量(Estimate=-0.0742, P=0.0033)、鸟类像素数(Estimate=0.0002, P=0.0462)及训练实例数(Estimate=0.0034, P=0.1019)影响。模型处理速度达272 m2/s,较人工(3.2 m2/s)提升85倍。
Discussion
本研究提供的开源数据集(DOI: 10.48610/27809f1)在生物-环境-数字多样性上超越既往工作(如Weinstein数据集缺乏物种标注)。高性能检测与中等分类精度表明广域环境下细粒度识别仍具挑战,但模型效率优势显著。地理相似性对性能的强预测性提示未来需加强跨区域数据收集以提升泛化能力。建议后续研究探索层级分类模型、类群合并策略、背景数据平衡及生成式数据增强(如基于多边形标注的实例裁剪粘贴)。同时,需推动模型嵌入易用平台以降低技术门槛,并拓展多光谱/热成像数据提升隐蔽物种探测能力。本研究为无人机生态监测提供了数据基础、技术参照及性能优化方向,助力生物多样性保护的技术革新。