Spec2Llama：一种基于光谱感知的预测方法，适用于多种时间序列分析场景

《Expert Systems with Applications》：Spec2Llama: A Spectral-Aware Forecasting Approach for Versatile Time Series Analysis

时间序列预测面临冻结主干、单频建模、解码器通用、多变量支持不足等问题。Spec2Llama通过频谱桥接实现多尺度频率建模，混合专家解码器适配不同预测周期，基于预训练Lag-Llama模型进行LoRA微调，支持S/M/MS多范式预测，在8个跨领域基准上达到传统方法与LLM方法水平，参数量仅343万。

　　
时间序列预测作为工业级数据驱动的核心环节，在能源管理、交通优化、环境监测等领域的应用价值日益凸显。当前主流的LLM（大语言模型）基方法虽展现出潜力，但在实际部署中仍面临四重结构性矛盾：首先，预训练模型的冻结架构导致难以适配时序数据特有的多尺度周期性特征；其次，传统时域嵌入方法无法有效捕捉能量系统的谐波共振、气象数据的分形波动等高频次频谱信息；再者，通用型解码器在短中期高频细节与长期趋势性预测间存在适配困境；最后，现有架构在多变量协同预测和异构数据维度处理方面存在天然局限。本文提出的Spec2Llama框架通过四大核心创新，成功突破这些技术瓶颈。

在模型架构层面，研究团队创造性地构建了"谱-语言"双通道融合机制。通过引入趋势-季节分解层，将原始时序数据解构为具有物理意义的长期趋势分量和短周期波动分量，这种解耦方式突破了传统傅里叶变换的单一频带处理局限。其核心突破在于将频谱分析深度嵌入LLM推理流程：采用可学习的FFT滤波器组实现不同频段特征的精准提取，通过动态权重调整模块自适应平衡小时级、日级、周级等多时间尺度特征的重要性。这种多频带融合机制不仅解决了传统方法忽略低频长期趋势的问题，更通过引入相位同步机制，有效捕捉了气象数据中的分形波动特征。

在模型适应性方面，研究团队开发了具有领域特性的混合专家解码器。该架构通过预训练时序模型的分时特征表达，动态路由机制为不同预测周期分配专属的专家模块：短中期预测器侧重高频细节特征提取，而长期预测器则强化趋势分量与跨变量关联建模。这种分层处理机制使得模型在72小时预测任务中，既能保持小时级波动特征的分辨率，又能准确追踪季节性趋势演变。特别值得关注的是其参数效率设计，仅通过28.5%的LoRA微调量（约98万参数）就实现了在复杂时序模式下的迁移学习能力。

实验验证部分展现了该架构的卓越泛化能力。研究团队在8个跨领域数据集（涵盖电力变压器温度预测、交通流量建模、空气质量监测、可再生能源预测等场景）上进行了大规模对比测试，累计完成160组随机种子实验。关键发现包括：在电力系统ETTh2数据集的720小时超长期预测任务中，Spec2Llama的MSE误差比传统Transformer模型降低23.6%，较现有LLM基方法提升18.4%；在交通流量预测（PEMS数据集）中，多变量协同预测误差较单变量模型降低41.2%，且推理速度提升3.7倍；在气象数据（Weather数据集）中，其多频谱融合机制成功捕捉到季节转换过程中的相位偏移现象，使72小时预测精度提升29.8%。

该研究的理论贡献体现在三个维度：首先，建立了频谱特征与Transformer架构的数学映射桥梁，通过可学习频带权重机制实现了频谱特征的动态聚焦；其次，提出混合专家的动态路由策略，解决了长短期预测任务中单一解码器的性能瓶颈；最后，构建了可扩展的多模式预测框架，通过输入输出维度灵活配置，支持从单一传感器数据到862维多源异构数据的无缝切换。这些创新共同构成了时间序列预测领域的新型范式。

技术实现上，研究团队重点优化了三个关键模块：1）谱桥模块采用级联结构，先通过改进的STL分解算法分离趋势与周期成分，再经带通滤波器组提取多频段特征，最后通过注意力重映射实现频谱特征到语言模型token空间的转换；2）混合专家架构采用分层路由机制，通过前馈网络计算各预测头部的任务适配度，动态分配输入特征权重；3）轻量化微调策略通过选择性LoRA参数注入，在保持预训练模型核心特征的同时实现领域适应。

实验设计充分体现了工程严谨性：除常规的MAE、RMSE等指标外，特别引入了多周期特征保持度（MFCH）评估算法对高频细节的保留能力，以及跨变量关联强度（CVAS）指标衡量多源数据融合效果。在长预测任务（H=720）中，Spec2Llama展现出显著的稳定性优势，其误差曲线呈现平缓下降趋势，而对比模型在预测中期（H=336）后出现明显性能衰减。这种特性与电力系统负荷曲线、气象系统相空间重构的内在规律高度吻合。

实际应用验证表明，该架构在三个典型场景中表现出色：在电网负荷预测中，成功捕捉到寒潮天气下的负荷突变模式，预测误差降低至2.8%；交通枢纽预测系统通过多源数据融合，使高峰期流量预测准确率提升至92.3%；环境监测预警系统在PM2.5浓度预测中，将短期波动预测误差控制在0.7%以内。这些案例验证了架构在真实工业场景中的落地潜力。

未来研究方向主要集中在三个方面：首先，探索频谱特征与语言模型的深层交互机制，开发自监督的频谱增强预训练方法；其次，优化混合专家架构的动态路由算法，实现跨任务知识迁移；最后，研究轻量化部署策略，将模型推理效率提升至传统方法的1/5。这些延伸方向将为构建更强大的时序预测系统提供理论支撑。

该研究的技术突破在于首次将频谱分析深度整合到LLM时序推理的全流程。通过构建"物理先验+数据驱动"的双引擎架构，既保留了预训练模型在时序模式识别上的优势，又通过频谱特征注入机制弥补了语言模型对多尺度周期性特征的建模缺陷。这种创新不仅降低了模型复杂度（总参数量仅343万），更在计算效率上实现质的飞跃，推理速度较同类方法提升4.2倍。这些成果为工业级部署LLM基时序预测系统提供了可复用的技术路径，标志着该领域从概念验证向工程化落地的重要转折。