自动选择最适合时间序列预测的神经网络架构

《Nature Communications》：Automatic selection of the best neural architecture for time series forecasting

　　

摘要

时间序列预测在医疗保健、能源和气候建模等领域至关重要。尽管LSTM、GRU、Transformer和状态空间模型（SSM）等模型已被广泛使用，但选择最佳架构仍存在不确定性。我们提出了一个自动化框架，该框架通过结合LSTM、GRU、注意力机制和SSM模块来系统地设计混合架构。我们的方法采用多目标优化来探索模块的组合和排序方式，从而生成能够在用户定义的目标之间实现平衡的帕累托最优架构。偏好函数会根据具体应用选择最合适的模型。此外，我们还引入了两种基于采样的迭代算法来探索帕累托前沿，这些算法将总训练成本降低了近八倍。在四个实际基准测试中，我们的框架表明简单模型在速度方面表现优异，而在平衡准确性和复杂性方面，混合模型更具优势。我们的研究结果挑战了存在一种普遍适用的神经架构这一观点，强调了在时间序列预测中数据驱动和目标驱动的设计方法的重要性。