利用深度学习增强型前视视觉系统以及动态相机姿态校正技术，实时估算水稻联合收割机中的作物高度和切割宽度

《Computers and Electronics in Agriculture》：Real-time estimation of crop height and cutting width in rice combine harvesters using a deep learning–enhanced forward-looking vision system with dynamic camera attitude correction

作物高度与切割宽度实时测量方法研究 通过融合深度相机与改进型YOLOv11-SCC模型，结合动态相机姿态校正算法，实现联合收割机前方的作物高度和切割宽度高精度测量。实验表明，动态校正使高度测量RMSE降低43%，MAPE降低47%；切割宽度MAE降低28%，验证了系统在复杂田间环境下的可靠性和实时性优势。

　　

梁振伟|刘佳|余胜杰

江苏大学农业工程学院，镇江212013，中国

摘要

作物高度和切割宽度直接影响联合收割机的喂料速率，然而其测量通常受到独立传感设备、固定相机姿态假设以及数据集规模小的限制，从而导致系统复杂性增加和鲁棒性降低。本研究开发了一种基于深度学习的展望型视觉系统，该系统使用深度相机捕捉联合收割机前方的同步深度和颜色图像。对于作物高度的估计，通过图像对齐、颜色空间转换、全局阈值分割、感兴趣区域划分和深度缩放等技术融合深度和颜色数据。对于切割宽度的估计，使用来自三种联合收割机和五种水稻品种的图像来训练一个增强了Swin Transformer、Context Aggregation和CSP PConv复合模块的YOLO11-SCC模型以检测收割边界。提出了一种动态相机姿态校正算法来补偿俯仰和滚转变化。验证结果表明，动态校正将作物高度的RMSE（均方根误差）降低了43%，MAPE（平均绝对百分比误差）降低了47%，并将切割宽度的最大误差降低了24%，MAE降低了28%。该系统的作物高度RMSE为0.59–1.78厘米，MAPE为0.56–1.57%，切割宽度的MAE为2.04–4.20厘米，最大误差为2.19–7.61厘米。在另外三种品种上的田间测试也证实了系统的稳定性能，作物高度RMSE为1.41–1.79厘米，MAPE为1.28–1.51%，切割宽度的MAE为2.18–2.71厘米，最大误差为4.23–5.32厘米。所提出的方法能够可靠地实时捕获作物高度和切割宽度，为联合收割机操作中的喂料速率预测和智能控制提供了实用的基础。

引言

喂料速率是影响水稻联合收割机收割性能的主要因素之一（梁振伟和和田，2023年）。现有的表征喂料速率的方法主要基于测量车辆的前进速度（孙等人，2025年）、驱动轴的扭矩或转速（孙等人，2022年；杰和周，2001年）、喂料室，或者监测谷物进入粮仓时的流量（王等人，2025a年）。因此，喂料速率控制器只能对已经进入收割头、喂料室或脱粒单元的收割作物的状况变化做出反应，导致操作性能不稳定，并偶尔发生堵塞故障（陈等人，2025年）。此外，控制收割头高度的传感器仅在切割器已经接触作物时才能检测到地面不平的区域，没有时间预判作物生物量的突然变化，这意味着可能会发生堵塞（王等人，2025b年）。因此，这些系统需要加入安全裕度，这导致机器容量利用率不足。作物高度和切割宽度是影响喂料速率的关键因素，开发一种非接触式的、具有前瞻性的监测系统来同时测量这两个参数，可以在不直接接触作物的情况下提前预测喂料速率，从而主动调整操作参数并提高整体性能。测量作物高度和切割宽度的典型方法如下：

（1）切割宽度测量方法： ① 使用机器视觉技术： 基于颜色的方法：最初由饭田等人（2010年）和奥利斯与斯坦茨（1996年）提出，这些方法通过检测每行像素的突然颜色变化来识别切割边缘（雷等人，2010年；丁等人，2011年）。基于纹理的方法：通过分析作物的纹理特征来根据不同的纹理特征分割切割边缘（德班等人，2000年；王和杨，2020年；陈等人，2021年）。基于立体视觉的方法：这些方法利用切割边缘之间的高度或颜色差异（张等人，2022年；罗等人，2022年）。 ② 使用激光测距仪： 激光测距仪使用主动激光检测光束对切割区域和未切割区域进行快速线扫描。这种方法产生阶跃变化信号，通过模式识别转换为轮廓特征信号，实现收割边界的在线检测（范等人，2016年；魏等人，2017年；赵等人，2016年）。 ③ 使用超声波传感器： 超声波传感器通过向作物边缘发射高频声波并检测反射波来测量切割宽度（普特里等人，2022年）。尽管机器视觉技术具有灵活性和实时性等优点（拉德克利夫等人，2018年），但复杂的现场条件（如阳光、作物颜色和地面颜色）会显著阻碍图像获取并使后续处理复杂化。通过颜色和纹理信息提取边界特征需要高质量图像，但基于纹理的方法不适合收割的动态特性。立体视觉方法在相机分辨率和计算能力方面存在局限性，导致重建和实时应用性能较差。相比之下，激光技术受现场照明和目标与背景颜色相似性的影响较小。然而，它处理点云的计算负载较高，且通常成本更高（扎雷伊等人，2024年；黄等人，2024年）。对于超声波测量，作物密度会影响超声波的反射，从而导致更大的误差。

（2）作物高度测量方法： ① 机器视觉： 使用高分辨率相机捕捉作物图像，经过颜色空间转换和阈值处理后检测边缘，并利用图像中的已知地面参考点或标记来估计比例和视角（金等人，2021年；王等人，2023年）。 ② 激光扫描： 使用光检测和测距（LiDAR）传感器，该传感器发射激光脉冲并测量脉冲击中作物表面后返回所需的时间。利用这个时间延迟来计算距离（范等人，2014年；安胡等人，2016年；郭等人，2018年；孙等人，2022年；哈达迪等人，2025年）。 ③ 无人机（UAV）遥感： 无人机在作物田上飞行，通过计算数字表面模型与数字地形模型之间的差异来确定作物高度（牛等人，2024年）。现有的机器视觉方法受到光照、遮挡和作物颜色等因素的影响，导致精度有限，且依赖于已知的参考点来确定比例和视角。虽然有激光扫描和无人机传感等技术，但它们需要额外的设备，增加了成本。此外，LiDAR和UAV系统中的3D场景重建通常涉及更高的计算负载（胡等人，2018年）。

从上述分析可以看出，许多研究人员在检测作物高度和切割宽度方面取得了显著进展。然而，现有研究仍面临几个限制： ① 传感设备的分离： 当前的研究通常依赖于独立的设备来测量作物高度和切割宽度，这增加了系统集成的复杂性并提高了总体成本。随着传感器技术的进步，深度相机现在能够同时捕捉联合收割机前方的深度和颜色信息。这种能力使得可以同时测量水稻作物的高度和切割宽度，简化了数据采集。 ② 固定的相机姿态角度： 大多数现有研究假设相机姿态角度是固定的（罗等人，2022年；孙等人，2024年；王等人，2021年），然而，在田间操作中，地形不规则、土壤沉降和机器振动会导致相机姿态角度的连续波动。这些变化动态地改变了水稻冠层的投影视野（FOV），从而引入了系统偏差，并可能在作物高度和切割宽度估计中产生较大的测量误差。 ③ 训练数据的多样性有限： 许多现有模型是在单一水稻品种和一种类型的联合收割机图像上训练的。鉴于水稻品种和收割设备之间的固有差异，这种狭窄的数据集限制了这些模型的鲁棒性和泛化能力。扩大数据集以包括多种品种和机械类型是必要的，以确保在各种田间条件下都能可靠地运行。

准确、实时地测量联合收割机前方的作物高度和切割宽度对于预测喂料速率和优化收割效率至关重要。然而，现有方法受到LiDAR高昂成本、2D成像有限的感知能力以及固定或未校正的相机姿态导致的不稳定性的限制。此外，大多数当前研究依赖于独立的设备来测量作物高度和切割宽度，这增加了系统集成的复杂性并提高了总体成本。为了解决这些限制，本研究假设将深度和颜色成像与动态相机姿态校正和基于深度学习的边界检测相结合，可以在不同的田间条件下同时可靠地估计作物高度和切割宽度。因此，本研究的目的是开发并验证一种能够实时测量作物高度和切割宽度的展望型视觉系统，为水稻联合收割机的预测性喂料速率控制和智能操作提供基础。控制系统可以及时动态调整操作参数，确保协调性能，防止堵塞并减少谷物损失。

章节片段

视觉系统和坐标系的建立

本研究使用图像处理方法测量作物高度和切割宽度。使用的是Intel RealSense D435i深度相机（英特尔公司，美国圣克拉拉），其成像范围为69° × 42°，用于获取联合收割机前方的水稻作物信息。深度图像和RGB图像的分辨别为1280 × 720像素和1280 × 720像素（见图1(a)），记录速率为30 fps。世界坐标系的原点定义为垂直方向

切割宽度检测的消融研究和模型比较

如表2所示的切割边缘检测的消融结果，当单独引入Swin Transformer模块（模型1）时，模型的mAP@0.5和mAP@0.5:0.95分别提高了0.72%和2.34%，而IoU提高了0.92%。这种改进归因于Swin Transformer的基于窗口的自注意力机制，该机制能够更有效地建模长距离依赖关系并增强全局语义理解。尽管其结构复杂，但

结论

本研究开发了一种基于深度学习的展望型视觉系统，用于实时估计水稻联合收割机中的作物高度和切割宽度。通过集成深度成像、先进的图像融合、基于深度学习的边界检测算法和动态相机姿态校正，该系统在多种田间条件下实现了高精度和稳定性。建议将相机安装在中心轴的适当高度，以提高精度

CRediT作者贡献声明

梁振伟：可视化、监督、方法论、研究、资金获取、正式分析、概念化。 刘佳：撰写——原始草案、验证、软件、资源、方法论、研究。 余胜杰：可视化、验证、软件、方法论、正式分析、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本研究得到了中国国家自然科学基金（52275251）；江苏省青兰项目（2023年）；现代农业装备与技术重点实验室（江苏大学）、中国教育部（MAET202108）以及江苏省高等教育机构优先学术发展计划（PAPD-2023-87）的资助。