编辑推荐：
时间序列模型M-LTC结合记忆神经元和学习神经元，通过吸引子动态存储长程关系和快速动力学适应短期变化，采用RK4和DOPRI5方法确保数值稳定性，在分类和回归任务中优于传统RNN、LSTM及神经ODE模型。
M. Srinivas | Abhijeet Kumar | R.B.V. Subramaanyam
印度计算机科学与工程系
摘要
本文提出了一种新型的循环神经网络，称为“记忆增强型液体时间常数网络”（Memory-Enhanced Liquid Time-Constant Network，简称M-LTC）。传统的时间序列模型在处理短期序列和长期序列组合时效率较低。基于液体时间常数（Liquid Time-Constant，简称LTC）网络的思想，我们的模型包含了一个由记忆神经元和学习神经元组成的双状态系统，每个状态都由受生物学启发的微分方程控制。记忆神经元利用具有周期性非线性的吸引子动态来存储和记住长期关系，而学习神经元则利用更快的动态来模拟短期特征。我们使用四阶龙格-库塔（Runge–Kutta 4th order，简称RK4）和五阶多曼德-普林斯（Dormand–Prince 5th order，简称DOPRI5）方法来评估隐藏状态和记忆状态，以确保数值模式的稳定性以及时间模式的正确积分。这为当今的时间建模问题提供了一个生物学上合理且计算效率高的解决方案。
引言
为了对现实世界中的序列数据（如传感器流、人类活动或天气趋势）进行建模，需要能够同时观察到短期变化和长期关系。传统模型在这方面存在困难，尤其是在数据存在噪声、采样不均匀或行为非线性的情况下。时间序列学习被广泛应用于健康诊断、自动化系统、智能环境和金融预测等领域。最大的挑战之一是构建准确且高效的模型来描述事物随时间的变化。循环神经网络（Recurrent Neural Networks，简称RNN）及其门控版本（如长短期记忆网络LSTMs和门控循环单元GRUs）在学习序列模式方面表现优异。然而，这些模型的局限性在于它们是离散时间的，对梯度消失敏感，并且具有固定的时间步长转换。此外，这些模型在处理时间间隔变化或时间连续变化的数据时效果不佳。
受生物学启发的神经常微分方程（neural ODEs）和液体时间常数（LTC）网络最近取得了进展，它们能够将隐藏状态建模为连续时间微分方程的解。这是一个有前景的选择。特别是LTC网络能够根据输入的复杂性动态调整神经元的行为，从而实现更富有创造性的时间学习。但由于它们没有专门的记忆组件，因此无法长时间存储大量信息。
为了解决这一难题，我们提出了一种新的设计——记忆增强型液体时间常数网络（Memory-Enhanced Liquid Time-Constant Network，简称M-LTC）。该网络在LTC基础上加入了基于生物学的记忆机制，使其性能得到提升。在我们的模型中，有两种类型的神经元：记忆神经元和学习神经元。记忆神经元通过进入吸引子状态来存储长期上下文，而学习神经元则对新输入的变化作出反应。我们使用五阶多曼德-普林斯（DOPRI5）方法来精确描述记忆动态的刚性方程，并使用四阶龙格-库塔（RK4）方法来快速更新学习神经元，以实现快速适应。
M-LTC通过这种混合设计实现了自适应的时间抽象和稳定的长期记忆保留功能。我们在多个标准数据集上测试了该模型的性能，发现其在分类和回归任务中的表现优于传统的RNN、LSTM和基于神经常微分方程的模型。这些改进使得M-LTC成为处理更复杂时间序列建模的灵活且科学合理的结构。
相关研究
相关工作
传统的时间序列建模依赖于统计技术，如自回归积分移动平均（Autoregressive Integrated Moving Average，简称ARIMA）及其季节性变体（SARIMA）。这些模型具有可解释的公式，并适用于线性和平稳数据。然而，它们无法处理复杂的非线性现象，在高维或噪声环境中表现不佳。
为了解决这些问题，基于神经网络的方法（如RNN、LSTM和GRU）已被广泛研究。
提出的方法
在这项研究中，我们提出了一种受生物学启发的循环神经架构——记忆增强型液体时间常数网络（Memory-Enhanced Liquid Time-Constant Network，简称M-LTC），通过整合基于吸引子动态的新记忆机制，提升了传统液体时间常数（LTC）网络的功能。与传统依赖固定离散更新规则的RNN单元不同，该网络
数据集描述
所提出的模型已在5个数据集上进行了实验。每个数据集的序列被分割成重叠的子序列，每个子序列包含32个时间步长。在训练之前，输入特征根据训练集的统计信息被标准化为均值为零、方差为单位值。目标标签也进行了调整，以便与标准的分类损失函数兼容。对于每个实验，我们
结果与讨论
与基线模型（如LSTM、CT-RNN、N-ODE和LTC）相比，所提出的记忆增强型液体时间常数网络（M-LTC）在多个时间序列任务中表现出更优的性能。表4总结了M-LTC在平衡长期记忆保留和短期适应性方面的优势。（见表1。）
在分类任务中，M-LTC在占用率（Occupancy）方面的准确率最高
结论
所提出的记忆增强型液体时间常数网络（M-LTC）通过结合受生物学启发的记忆动态和连续时间学习，有效建模了复杂的时间序列数据。通过整合基于吸引子的记忆神经元和自适应时间常数，该模型在多个分类和回归基准测试中取得了优异的性能。其在平衡长期记忆保留和短期适应性方面的能力使其成为实时应用的理想候选者。
作者贡献声明
M. Srinivas：撰写——审稿与编辑、验证、监督、项目管理、方法论研究、数据分析、概念化。Abhijeet Kumar：撰写——初稿撰写、可视化展示、验证、监督、软件开发、资源管理、方法论研究、数据分析、数据整理、概念化。R.B.V. Subramaanyam：撰写——审稿与编辑、可视化展示、验证、监督、资源管理、项目管理、方法论研究、数据分析、概念化。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
Abhijeet Kumar感谢瓦朗加尔国立技术学院计算机科学系的支持，使本研究得以顺利进行。
