《Methods in Ecology and Evolution》：High-throughput information extraction of printed specimen labels from large-scale digitization of entomological collections using a semi-automated pipeline
编辑推荐：
本综述介绍了ELIE（昆虫标本标签信息提取）这一模块化半自动化流水线，它整合计算机视觉（包括卷积神经网络CNN）、光学字符识别OCR和聚类算法，旨在解决昆虫标本大规模数字化过程中标签元数据提取的瓶颈问题。该工作流通过标签检测与分类（印刷体vs.手写体）、OCR文本提取及文本聚类去重三个核心阶段，实现对印刷体标签高达98%的准确提取和聚类，检测准确率达94%，并将人工转录工作量减少高达87%。ELIE显著提升了数字化工作流的效率，同时保持了高数据完整性，为生态学、系统学和保护生物学研究解锁了大量生物多样性数据。
引言
昆虫是地球上物种最丰富的类群，已描述物种超过100万，可能仍有高达80%的多样性未被描述。它们扮演着关键的生态角色，但面临栖息地丧失、农业活动和气候变化的日益严重威胁。三个多世纪的昆虫采集积累了全球超过5亿号标本，这些馆藏是系统分类学的基础，保存着连接分类学描述与实物凭证的模式标本，同时也是大量未描述物种的宝库。此外，它们还支持物种分布与丰度、生态网络、随时间推移的形态变化、基因组变异以及气候变化生物影响等研究。
数字化昆虫馆藏能够解锁跨时空尺度研究昆虫的数据。对于保护发展中国家材料、保障其生物遗产以及促进全球研究、保护和教育尤为重要。目前已出现广泛的数字化计划，包括特定类群或区域的项目，以及由主要自然历史博物馆发起的大规模数字化活动。
在昆虫标本馆藏中，针插标本下方的标签包含了大部分标本信息，超过85%的元数据存在于这些标签或物理账簿上。它们记录了采集地点、日期、分类鉴定等基本数据，以及与解剖玻片或DNA样本等相关材料的链接。尽管已提出多种成像方法加速标签数字化，但昆虫标签的元数据提取仍主要依赖人工转录，占用了高达90%的数字化时间，过程缓慢、劳动密集且成本高昂。尽管光学字符识别工具可用，但其准确性不一致限制了采用。
材料与方法
ELIE流水线基于核心策略构建：将印刷体与手写体标签分离，使得印刷体标签能够使用OCR模块进行差异化处理，同时将手写体标签导向特定的HTR；基于文本相似性对OCR输出进行聚类，有效识别和去重重复出现的标签。该流水线执行七个主要步骤：从多标签图像中检测和裁剪单标签图像；移除空标签；将标签分类为“手写”或“印刷”；对印刷体标签进行预处理包括方向校正；使用OCR处理印刷体标签，手写体标签则路由至HTR系统或人工转录；通过基于自然语言处理的后处理精炼OCR结果；对重复信息进行去重聚类。
研究收集了14,707张昆虫标签图像用于训练、验证和测试流水线模块。标签检测模块使用来自AntWeb、MfN_Bees&Bytes、MfN_PYRALPHIL和MfN_Picturae的多标签图像进行训练。手写/印刷分类器、标本标识符分类器和旋转分类器则使用来自MfN_Picturae的单标签图像进行训练。三个独立测试数据集用于评估流水线在未见过的图像上的性能。
所有分析均在本地Apple MacBook上执行，无需GPU加速或云资源。标签检测模块使用预训练的Faster R-CNN ResNet-50模型。三个卷积分类器在TensorFlow Keras中实现，使用相同的70:20:10数据分割比例、批量大小、优化器和数据增强策略。空标签检测采用基于像素强度的规则方法。文本提取使用Tesseract和Google Cloud Vision API两种OCR系统。OCR后处理使用NLTK库进行基于规则的清理。通过聚类采样方法获取代表性真实数据集以评估OCR性能。最后，使用ELIE-clustering包基于文本内容对转录本进行聚类分析。
结果
在各自训练数据集的10%留出测试集上评估模块性能。标签检测模块处理278张测试图像，达到94%的准确率，大多数预测边界框与标注框的重叠度超过0.8。空标签检测模块在2584张图像上达到完美精度。手写/印刷分类器表现强劲，手写标签召回率略高于印刷标签。标本标识符分类器在所有指标上均达到1.00。标签旋转模块处理148张测试图像，准确率达到97.3%。
在三个独立未见数据集上评估OCR文本提取和标签聚类。在MfN_LEP_SEASIA数据集上，Google Vision API对手写标签的平均字符错误率和单词错误率远高于印刷标签，证实了对手写体和印刷体标签进行差异化处理的必要性。在所有数据集上，Google Vision API在印刷体标签上的表现 consistently 优于Tesseract OCR。
聚类性能因数据集而异。MfN_LEP_SEASIA和USNM_COL_CAM在0.9的相似度阈值下产生紧凑、分离良好的簇，而MCZ_ENT_BOSTON由于文本变异性较低，聚类效果较弱。在最佳相似度阈值0.9下，聚类准确率在不同数据集间有所变化。手动转录过程记录的中位转录时间为每标签0.78分钟，为评估ELIE流水线效率提供了基准。
讨论
ELIE通过自动处理冗余标签并将具有挑战性的案例留待人工审查，有效处理大规模数字化项目中的图像。将手写体和印刷体标签分离是关键设计选择，以减轻因笔迹变异性和训练数据有限导致的HTR性能限制。在测试数据集中，印刷体标签占主导地位，反映了对较近期标本的偏向。HTR仍然是遗留馆藏数字化的主要限制因素，未来ELIE开发将优先集成领域适应的HTR模型。
图像和标签质量显著影响ELIE流水线内的OCR准确性。高分辨率、高对比度图像可获得最佳识别效果。非ASCII符号、低对比度、复杂字体和模糊文本会导致高错误率。在所有印刷体数据集上，Google Cloud Vision API consistently 优于Tesseract OCR。集成额外的OCR服务可进一步增强性能。
ELIE流水线的模块化设计支持根据数据集复杂性进行灵活部署。其模块化设计还支持未来的可扩展性，包括集成HTR、命名实体识别和大型语言模型，用于自动下游分类和上下文推理。集成QR码读取工具可以高效读取标本标识符。
通过将人工转录限制在每个印刷标签簇中两个最不相似的标签，自动提取标签的比例在不同测试数据集间从25%到87%不等。基于平均手动转录时间，ELIE在这些测试数据集上减少了估计10至203小时的人工工作量。当外推到10万个印刷标签时，潜在的时间节省更为显著。
结论
ELIE提供了一个模块化、半自动化的框架，用于提取和处理昆虫标本标签数据。通过结合CNN进行标签检测和分类，以及针对印刷体文本的优化OCR，该流水线实现了高精度，同时显著减少了人工转录工作量。自动化提取和聚类可将人工转录需求降低高达87%，加速昆虫标本馆藏的数字化。ELIE的灵活架构支持未来扩展，其设计原则可转移到其他领域，为现代化馆藏数字化和增强全球对文化与科学数据的访问提供了一条可扩展的路径。
