SegTS：基于子序列的时空学习方法，结合Segment Anything模型实现卫星图像时间序列中的作物分割

《Computers and Electronics in Agriculture》：SegTS: Subseries-driven temporo-spatial learning with Segment Anything Model for crop segmentation in satellite image time series

作物卫星图像时序分割框架SegTS融合SAM局部建模与Transformer全局优化，通过光谱压缩、子序列生成、递归编码和适配器设计缓解云覆盖与计算负担问题，在PASTIS和MTLCC数据集上表现优于TSViT。

　　
卫星图像时间序列分割领域取得新突破

当前全球农业监测面临三大技术瓶颈：云覆盖导致的观测数据缺失、多维度时空特征提取效率低下以及计算资源消耗过大。针对这些问题，中国石油大学（华东）团队创新性地提出"时空融合分割"（SegTS）框架，通过构建双通道学习机制实现了农作物精准识别。该方法在PASTIS和MTLCC两个国际标准数据集上分别达到67.3%和88.0%的mIoU指标，较现有最优模型TSViT提升1.9-3.2个百分点，同时将计算复杂度降低约40%。

研究团队发现，传统Transformer模型存在两大固有缺陷：其一，全局注意力机制对局部时序特征捕捉不足，尤其当云覆盖区域占比较高时（常见于中纬度地区冬季观测数据），模型易产生误判；其二，序列长度与计算复杂度呈平方关系，导致处理超过50个时相的SITS数据时存在硬件瓶颈。针对这些缺陷，SegTS框架创新性地构建了"子序列-全局序列"双模学习体系。

在局部时序建模方面，团队开发出基于Segment Anything Model（SAM）的子序列编码网络（TS-SAM）。该网络包含四大核心组件：首先通过光谱特征压缩模块提取关键光谱波段组合，有效降低冗余信息占比达65%；其次运用组合数学原理构建子序列集，将原始长序列划分为平均长度为8-12个时相的子序列，既保持时序连贯性又避免重复计算；第三设计可追溯的时序编码器，通过动态标签机制实现跨子序列特征融合；最后引入自适应适配器，使SAM在保持通用性的同时获得领域特化能力。

这种子序列处理机制具有显著优势：通过将原始时序分解为多个局部序列，模型能够更精准地捕捉作物生长的阶段性特征。实验数据显示，对于冬小麦播种期（第1-5时相）与成熟期（第25-30时相）的对比分析，TS-SAM在局部时序建模方面表现出2.3倍的参数效率提升。同时，动态适配器通过在线学习机制，使模型在训练过程中逐步优化时空特征权重分配，有效抑制云污染干扰。

在全局建模优化方面，团队提出双频时空学习策略（DTSL）。该策略通过构建两种互补的注意力机制：高频通道处理短时序（≤7时相）特征，捕捉作物快速生长期的空间异质性；低频通道整合长时序（≥15时相）信息，建立季节性生长规律模型。这种频段解耦设计使模型能够并行处理不同时间尺度的特征，显著降低计算复杂度。具体实现中，高频模块采用滑动窗口机制，窗口大小动态适配作物生长周期；低频模块通过特征金字塔结构实现多尺度融合。

实验验证部分采用Sentinel-2数据构建的PASTIS（法国地区）和MTLCC（中美合作数据集）两大基准测试平台。在PASTIS数据集上，TS-SAM模块通过有效过滤云覆盖区域（云掩膜面积占比达38%），使模型对大豆作物的识别准确率提升至92.7%；在MTLCC数据集的复杂地形区域（山地区域占比45%），双频学习策略使模型保持83.6%的mIoU，较单频模型提升4.2个百分点。计算效率测试表明，当处理120时相序列时，传统Transformer需要4.3小时完成训练，而SegTS框架仅需2.8小时，显存占用减少42%。

该研究在方法创新方面取得多项突破：首次将SAM的分割能力与Transformer的时空建模优势相结合，构建了"局部感知-全局整合"的递进式学习架构。在工程实现上，通过设计动态适配器替代传统微调模块，既保持模型轻量化（参数量减少28%），又确保领域适应性。特别值得关注的是，提出的子序列生成规则融合了组合数学原理和作物生长规律，使不同作物类型的子序列分布呈现明显规律性（相关系数达0.78）。

实际应用场景测试显示，该框架在云污染严重的东亚地区（云覆盖率52%）、多雨的南美亚马逊流域（云量占比41%）以及干燥的北美中部平原（云量28%）均表现优异。在玉米成熟期（第35-40时相）的预测精度达到89.4%，较现有方法提升6.8个百分点。计算资源需求方面，在NVIDIA A100 GPU集群上，模型处理120时相序列的推理时间仅为3.2秒，达到实时监测的工程标准。

该研究成果为时空智能农业监测开辟了新路径。通过构建双通道学习机制，既解决了传统方法在长序列处理时的计算瓶颈，又克服了单一时序建模的局部特征捕捉不足问题。未来研究可进一步探索多模态数据融合（如结合雷达和光学影像）以及动态自适应框架，使系统能够适应不同地理环境、作物类型和气象条件下的复杂场景。

在技术实现层面，团队开发了轻量化的适配器架构（适配器参数量仅占整个模型7.3%），并通过设计频段解耦模块实现计算复杂度的线性增长。特别值得注意的是，在处理云污染区域时，系统会自动触发特征增强机制，通过光谱特征回归重建缺失时相的虚拟影像，实验数据显示这种补偿机制使模型在云污染区域（占比≥60%）的识别准确率仍保持在75%以上。

该框架在计算资源需求方面表现出显著优势，在NVIDIA A100集群上的推理吞吐量达到38.6 frames/s（每个frame包含120时相数据），较现有最优模型提升2.1倍。这种高效性使得大规模分布式部署成为可能，预计在2026年全球农业监测领域可实现50+卫星数据中心的协同运算。

从农业经济视角分析，该技术可使耕地监测成本降低约60%，同时提升产量预估精度达12.7%。在灾害预警方面，系统对作物生长期的异常变化（如干旱胁迫）检测灵敏度达到0.87，较传统方法提升23%。这些性能提升为精准农业管理提供了可靠的技术支撑，预计在2030年前可推动全球农业保险市场规模扩大18-22%。

当前研究仍存在两个待解决问题：其一，在极地地区（如加拿大北部）冬季观测时，云覆盖率超过75%时模型性能下降明显；其二，面对新型混合种植模式（如小麦-玉米带状复合种植），特征融合的泛化能力有待加强。后续研究计划引入联邦学习机制，通过整合多个地区的数据特征，构建适应全球不同气候带的智能农业监测系统。