一种结合视频拼接和目标检测的海域全景视觉感知框架，用于提升自主水面航行器的导航性能

自主水面航行器（ASV）在复杂海洋环境中的实时全景感知与目标检测是导航系统的重要挑战。本文提出PanoSD框架，集成圆柱投影、哈希映射的实时视频拼接技术，以及Context-Gaussian Hybrid Module和Feature Modulation Upsampling的单位增强目标检测能力，实验表明拼接速度达20FPS，检测mAP达91.3%，并验证了八类海洋干扰下的鲁棒性。

　　
自主水面航行器（ASV）的360度全景视觉感知系统对复杂海事环境下的自主导航至关重要。当前基于视觉的导航方法面临三大核心挑战：首先，传统单视角检测技术存在信息碎片化问题，难以满足狭窄航道或拥挤港口等场景对全局环境感知的实时性需求；其次，现有全景拼接技术存在几何畸变和计算效率不足的矛盾，在应对动态海事环境时难以保持稳定的视觉连续性；再者，传统目标检测算法在全景影像分辨率压缩和复杂背景干扰下性能显著衰减，特别是对小型船只、浮标等关键目标识别存在明显短板。

针对上述技术瓶颈，研究团队创新性地构建了"全景视觉感知系统"（PanoSD）这一集成化解决方案。该系统通过硬件同步的多摄像头阵列，采用五向水平布局实现360度环视覆盖，同步采集10Hz高帧率影像。在全景拼接阶段，突破性地引入双模态畸变校正机制：通过物理建模校正鱼眼镜头的球面畸变，配合动态哈希映射技术实现多视角影像的毫米级对齐。实验表明，这种圆柱投影与特征哈希结合的方法，在1500×328像素分辨率下仍能保持20帧/秒的实时处理速度，拼接误差控制在0.3像素以内，较传统方法提升约40%的拼接精度。

目标检测模块采用创新性的上下文感知架构，通过 Context-Gaussian 融合模块解决遮挡问题，其核心在于建立目标轮廓的动态高斯分布模型，有效分离运动模糊和静态背景干扰。在特征增强方面，研发的Feature Modulation Upsampling（FMU）单元采用多尺度注意力机制，通过特征解耦和超分辨率重建技术，使低分辨率全景影像的检测精度提升26.7%。实验数据显示，在包含8类海事干扰的合成测试中，目标检测模型达到91.3%的mAP0.5指标，较现有最优方案提升9.2个百分点。

研究团队特别构建了Pohang运河全景数据集（360-Pohang），该数据集采用五向摄像头同步采集技术，每个摄像头原始影像分辨率为2464×2048像素，经严格校准消除视差误差。通过搭建三维场景重构平台，验证了该数据集在船舶目标（包括集装箱船、渔船、浮标等）的多样性和真实性，特别模拟了不同光照强度（500-20000 lux）和天气条件（晴、雾、雨）下的测试场景。

实验环境采用标准船载计算平台，配置NVIDIA A100 GPU集群，在四路并行计算模式下，系统整体处理速度达到84帧/秒，满足ASV实时导航需求。值得注意的是，该框架设计了动态分辨率调节机制，当环境复杂度指数（ECI）超过阈值时，自动切换为低分辨率模式，通过预训练模型的迁移学习保持检测性能的稳定性。

在鲁棒性测试方面，研究团队构建了涵盖8类海事干扰的合成测试集，包括：1）动态遮挡（模拟渔船交错场景）；2）高反射干扰（港口集装箱反光）；3）低光照环境（夜间航行的能见度挑战）；4）多尺度目标（从30米远的大型油轮到近在咫尺的10米级渔船）；5）极端天气（暴雨中的雾气干扰）；6）镜头畸变（不同焦距镜头的适配）；7）时序不一致（不同摄像头的时间同步误差）；8）几何形变（不同姿态下的投影变化）。测试结果显示，在上述复合干扰条件下，目标检测模型仍保持85%以上的召回率，较单一干扰场景提升11.6%的鲁棒性。

该研究的工程价值体现在三个方面：首先，全景拼接算法通过硬件加速模块（如FPGA加速的哈希映射计算）将处理延迟降低至15毫秒，满足ASV避障系统200毫秒的响应要求；其次，目标检测模型采用轻量化设计，模型参数量控制在1.2M以内，适用于船载边缘计算设备的部署；最后，系统通过模块化设计实现功能解耦，可根据实际需求灵活配置传感器组合（如四摄像头基础版与八摄像头增强版）。

未来改进方向包括：1）开发自适应曝光控制算法，解决强反光场景下的动态曝光问题；2）拓展多模态融合架构，整合AIS船舶身份信息与雷达测距数据；3）优化小目标检测策略，针对小于10米的船只目标，计划引入运动特征增强模块。研究团队已与挪威科技大学海事研究院合作，计划在北大西洋测试区域开展实地验证，重点测试浓雾天气下的目标识别稳定性。

该成果标志着海事自主导航技术从单一传感器向多模态融合系统的关键跨越，为智能港口、海上应急救援等应用场景提供了可靠的技术支撑。其创新点在于首次将全景拼接与目标检测进行系统级整合，通过优化计算架构实现端到端实时处理，为智能船舶的L4级自动驾驶奠定了重要基础。