一种基于信号处理和调谐回归高斯过程的集成系统，利用灰狼优化算法进行比特币价格预测 作者：Salim Lahmiri 和 Stelios Bekiros

《Mathematics》：An Integrative System Based on Signal Processing and Tuned Regression Gaussian Process by Grey Wolf Optimization Algorithm for Bitcoin Price Forecasting Salim Lahmiri and Stelios Bekiros

　　摘要 我们提出了多种混合预测系统来预测比特币的次日价格。具体而言，我们结合了基于信号处理技术的分解方法，包括最大重叠离散小波变换（MODWT）、经验小波变换（EWT）、经验模态分解（EMD）和变分模态分解（VMD），从原始价格序列中提取特征。然后，将这些提取的特征输入到机器学习模型中进行训练和预测。我们实现了五种机器学习模型，包括回归高斯过程（RGP）、支持向量回归（SVR）、k最近邻算法（kNN）、回归树（RT）和前馈神经网络（FFNN）。使用灰狼优化（GWO）算法对机器学习模型的超参数进行优化。采用均方根误差（RMSE）来评估和比较20种混合预测系统的性能。模拟结果表明，RGP-GWO-VMD混合预测系统取得了最低的预测误差。此外，RGP-GWO在所有机器学习系统中的平均预测误差也是最低的。进一步研究表明，在信号分解方法中，EWT通常能够获得最低的预测误差。因此，我们展示了20种混合预测系统中预测比特币价格的最佳结果，这些结果可以作为未来工作的基线，并为交易者、投资者和投资组合管理者提供指导。

1. 引言
加密货币是一种在计算机网络中交易的数字货币，不受政府或任何中央机构的监管。如今，交易加密货币吸引了众多投资者和学者，因为它们提供了高水平的透明度和高回报，但同时也伴随着高风险和高波动性。比特币被广泛认为是最著名和交易量最大的加密货币之一。因此，投资者和交易者将注意力转向了加密货币的交易，尤其是比特币。在这方面，预测比特币价格对于投资者和交易者至关重要，主要是为了更好地管理投资组合，特别是在短期内通过活跃交易获得高利润。然而，由于比特币的价格波动性很大，准确预测其价格具有挑战性。因此，近年来学者们提出了各种模型来预测比特币价格。例如，Atsalakis等人[1]使用了一个混合神经模糊控制器来预测比特币每日价格的变化方向，并得出结论，该模型的性能优于自适应神经模糊系统（ANFIS）和标准人工神经网络。Lahmiri和Bekiros[2]发现，长短期记忆神经网络（LSTM）的可预测性显著高于广义回归神经网络（GRNN）。Mallqui和Fernandes[3]提出了一个基于循环神经网络（RNN）和决策树分类器组合的预测系统，并发现他们的系统在预测比特币价格方向方面获得了最佳结果，优于LSTM和循环神经网络（RNN）。此外，支持向量机（SVM）算法在预测比特币价格方面也取得了最佳效果，优于标准人工神经网络和RNN。Lahmiri和Bekiros[4]实现并比较了支持向量回归（SVR）、高斯泊松回归（GRP）、回归树（RT）、k最近邻（kNN）、前馈神经网络（FFNN）、贝叶斯正则化神经网络（BRNN）和径向基函数网络（RBFNN）的性能。通过贝叶斯优化方法确定了SVR、GRP和kNN的最优参数。他们发现BRNN的准确性优于其他预测模型。Guo等人[5]将小波变换（WT）与因果多头注意力卷积网络相结合，发现他们的模型在价格预测性能上优于自回归积分滑动平均（ARIMA）、带有额外解释变量的ARIMA（ARIMAX）、卷积神经网络（CNN）、多层感知器（MLP）、LSTM、序列到序列（Seq2Seq）网络、贝叶斯神经网络（BNN）和状态频率记忆（SFM）循环神经网络。Koo和Kim[6]发现LSTM在预测价格走势方向方面具有最高的准确性，其次是RNN和标准MLP。此外，研究表明，用于消除异常值和非异常值之间差异的平坦化分布策略（FDS）显著提高了LSTM、RNN和MLP的准确性。Lahmiri和Bekiros[7]研究了标准数值训练算法（包括具有Powell-Beale重启的共轭梯度法、弹性算法和Levenberg–Marquardt算法）对深度前馈神经网络（DFFNN）准确性的影响，并得出结论，使用Levenberg–Marquardt算法训练的DFFNN在预测比特币日内价格方面优于使用Powell-Beale重启算法和弹性算法训练的DFFNN。Rajabi等人[8]得出结论，可学习窗口大小-MLP（LWS-MLP）优于SVR、ARIMA、随机森林（RF）、LSTM、MLP和WaveNet。Rathore等人[9]发现，使用开放量、高量、低量和市场资本化作为输入的Facebook Prophet模型表现优于Naive模型。Hajek等人[10]得出结论，使用情绪指数训练的装袋支持向量回归（BSVR）优于ARIMA、前馈神经网络、随机森林（RF）、径向基函数神经网络（RBFNN）、堆叠人工神经网络（SANN）和双向长短期记忆（Bi-LSTM）。Zou和Herremans[11]提出了一个混合多模态模型，该模型结合了使用价格数据训练的支持向量机（SVM）和基于文本的CNN。他们得出结论，他们的模型可以用于构建具有降低风险的盈利交易策略。Cheng等人[12]发现，与季节性自回归积分滑动平均（SARIMA）和Facebook Prophet相比，LSTM有显著的改进。Abul Basher等人[13]得出结论，RF在预测比特币价格方向方面的准确性高于logit模型。上述研究的一个共同局限性是缺乏直接整合信号处理算法来提取比特币数据中的内在信息，并调整机器学习以提高预测框架的准确性。相反，它们依赖于历史观察或外生变量来训练机器学习系统。这种传统的预测过程可能会引入噪声数据，这不利于提高准确性。此外，其他研究使用了在包含不同和多种信号及图像的非常大的数据集上预训练的深度学习模型。这样的预训练深度学习模型不一定适合分析和预测比特币数据。另外，以往的研究没有考虑优化机器学习模型以提高其有效性。

鉴于比特币价格动态的复杂性和预测这种高度波动性价格的固有不确定性，本文提出了新颖的混合预测系统，旨在预测比特币的次日价格。具体来说，本研究提出了将信号处理技术和机器学习相结合的方法来预测比特币的未来价格。首先，使用信号分解方法分解原始价格时间序列，以充分利用数据中的信息。其次，使用基于分解的信息训练机器学习模型来预测比特币的次日价格，并采用灰狼优化（GWO）[14]算法来优化每个机器学习模型的超参数，从而提高其性能。最后，根据均方根误差（RMSE）评估每个混合预测系统的性能。信号分解方法包括最大重叠离散小波变换（MODWT）[15]、经验小波变换（EWT）[16]、经验模态分解（EMD）[17]和变分模态分解（VMD）[18]。机器学习模型包括高斯过程回归（GPR）[19]、支持向量回归（SVR）[20]、k最近邻算法（kNN）[21]、回归树（RT）[22]和前馈神经网络（FFNN）[23]。我们依赖信号处理/分解方法，因为它们基本上是多分辨率技术，用于将原始信号分解为内在成分，以便在时频空间中表示。这些成分提供了对原始信号振荡的有意义描述。此外，机器学习已成为时间序列预测中的革命性工具。它包括各种算法，使计算机能够从数据中学习模式并进行预测，而无需任何先验假设。对于混合系统的调整，选择了灰狼优化（GWO）算法。实际上，GWO是一种受自然界灰狼狩猎行为启发的群体智能优化算法。它很简单，因为它只使用一个操作符来确定问题解决方案（狼）的位置[14]。图1显示了混合预测系统的流程图。图1. 基于信号处理技术进行价格分解、机器学习进行学习和测试以及灰狼优化（GWO）调整机器学习模型参数的预测系统流程图。本文的主要贡献如下：
- 我们实现了多种信号分解算法，以突出原始数据的多分辨率成分。
- 我们实现了多种机器学习模型用于预测目的。
- 我们设计了20种集成信号分解和机器学习模型的预测系统。
- 我们采用了基于GWO算法的启发式优化来调整所有集成预测系统。

据我们所知，这是第一次设计并实现了一整套混合预测系统来预测比特币的次日价格。本文的结构如下：第2节介绍了信号处理技术、机器学习模型和灰狼优化算法。第3节介绍了数据以及每个混合预测系统的仿真结果。最后，第4节总结了本文。

2. 方法
为了提取比特币价格数据的内在特征，我们实现了多种信号处理算法，包括MODWT、EWT、EMD和VMD。由于这些算法具有分析信号的能力，它们被应用于各种工程应用中。例如，MODWT在各种应用中取得了成功，包括预测锅蒸发[24]、太阳辐射[25]、灌溉流量[26]和波高[27]。EMD在多种任务中表现出色，包括预测旅游需求[28]、二氧化碳浓度[29]、水质[30]和石油产量[31]。EWT在不同问题中有效，包括预测波高[32]、风速[33]、波能[34]和轮毂轴承系统故障[35]。VMD在许多问题中得到应用，包括预测船舶运动姿态[36]、抽水蓄能水力单元[37]、低温滚动轴承故障[38]和风速[39]。此外，还有研究采用GWO算法来微调机器学习系统，因为它被发现在调整MLP[40,41]、支持向量机[42]、AdaBoost、Bagging和反向传播神经网络[43]的超参数方面很有用。接下来将描述变分模态分解、高斯过程回归和灰狼优化算法。

2.1. 变分模态分解（VMD）
变分模态分解（VMD）[18]是一种自适应信号处理技术，用于将原始信号分解为变分模态函数（VMFs），其中每个VMF都集中在分解过程中估计的特定频率sk上。确定组分信号的中心频率和带宽需要寻找K个模态函数，使得所有分解后的VMFs的总带宽最小化，并且它们的总和等于原始信号。使用希尔伯特变换可以确定任何给定时间点上每个VMF的幅度和频率，该变换产生了一个单边谱。每个VMF的带宽计算步骤如下：(a) 对每个VMF应用希尔伯特变换以获得其谱；(b) 将每个VMF的谱分布移动到相应的频率基带；(c) 使用维纳滤波器确定信号带宽。分解算法表示为一个受限优化问题：
(1) 受限于：
(2)
其中sk是中心频率，dk(t)是信号的第k个模态。在这项工作中，模态的数量设置为五个。

2.2. 回归高斯过程
回归高斯过程（RGP）[19]是一种非参数模型，用于建模数据中的不确定性。隐函数f(x)假设遵循高斯分布，如下所示：
(3)
其中m(x)是均值；kf(x,x′)表示核函数。在这项工作中选择了平方指数函数：
(4)
其中是核函数的方差，l是长度。然后，隐函数f(x)可以表示为：
(5)
其中ξn～N(0, )是高斯噪声。

2.3.灰狼优化（Grey Wolf Optimization，GWO）[14]是一种基于群体智能的进化式元启发式优化算法，旨在模拟灰狼的狩猎行为和社会领导力。为了复制这种领导层次结构，GWO算法包括了四种类型的灰狼：α、β、δ和ω。在灰狼群体中，α被视为最适应的解决方案，β和δ分别代表第二和第三适应的解决方案，而ω则排在它们之后。具体而言，狩猎行动通常由α和β领导，δ狼则可以间歇性地参与狩猎。GWO算法包含三个主要步骤：包围、狩猎和攻击猎物。

灰狼会包围猎物，它们的位置由以下公式确定：
(6)
(7)
其中t表示迭代次数；(8)和(9)中的a、b是从2线性递减到0的数值，c和d是[0, 1]区间内的随机向量。灰狼的狩猎行为是通过以下方式更新猎物位置的：
(10)
(11)
(12)

最后，根据α、β和δ的预测位置，每次迭代后都会更新解决方案：
(13)
(14)
(15)
(16)

在本研究中，GWO被用来优化预测系统的参数和核函数。

对于每种预测系统，GWO算法都有不同的应用：
- 对于RGP（Regressive Growth Process），它用于优化核函数的长度。
- 对于SVR（Support Vector Regression），它用于优化径向基函数核的空间分布参数。
- 对于RT（Radial Basis Regression），它用于确定最优的分割（划分）数量。
- 对于kNN（K-Nearest Neighbors），GWO用于确定最优的距离度量和邻居数量。
- 对于FFNN（Fractional Fourier Neural Network），它用于确定隐藏层的数量、隐藏层中的神经元数量以及激活函数的类型（例如Sigmoid、Hyperbolic、Relu或Soft Plus）。

2.4. 性能评估
为了评估性能，使用了三种常见的性能指标：均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）。
- RMSE计算的是预测值与实际值之间的误差大小，其单位与目标变量相同。
- MAE提供了一个直观的预测准确性度量方式。
- MAPE有助于从相对误差的角度解释性能。

RMSE计算n次观测中预测值与实际值之间平方差的平均值的三次根。
- MAE计算预测值与实际值之间绝对差的平均值，不考虑误差的方向。
- MAPE计算预测值与实际值之间的平均百分比差异。

性能指标越低，预测系统的准确性越高。

3. 结果
我们使用了来自Yahoo Finance的2018年3月27日至2023年3月27日比特币的美元日价格数据。图2显示了比特币的价格走势。可以观察到比特币价格数据是非平稳且包含噪声的。我们使用了前80%的数据进行模型训练，剩余20%的数据用于测试。如前所述，使用标准均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）来评估每个预测系统的性能。在此，RMSE和MAE的单位是美元。

表1展示了每种结合信号处理技术与机器学习的预测方法所获得的RMSE。结果表明，使用VMD得到的IMFs和GWO算法优化的RGP-VMD-GWO模型获得了最低的预测误差（例如0.0003）。相比之下，使用EMD得到的IMFs和GWO算法优化的kNN-EMD-GWO模型产生了最高的预测误差（例如RMSE = 27,983）。表2还提供了每种预测方法获得的MAE，其中RGP-GWO-VMD模型的MAE最低（例如0.1980），而FFNN-GWO-EMD模型的MAE最高（例如31,256.6425）。表3显示了每种集成预测方法的MAPE，其中RGP-GWO-VMD模型的MAPE最低（0.0006），而kNN-GWO-VMD模型的MAPE最高（36,839）。从表1、表2和表3中我们可以得出结论：根据所有性能指标，RGP-GWO-VMD是最佳的比特币价格预测系统；而在RMSE和MAPE方面，kNN-GWO-EMD性能最差；在MAE方面，FFNN-GWO-EMD性能最差。

此外，我们还进行了Diebold-Mariano（DM）检验，以在5%的统计显著性水平上验证每个基线集成预测系统与RGP-GWO-VMD之间的预测准确性是否相同。结果表明，所有比较对的检验概率值（p值）都低于5%，因此RGP-GWO-VMD的预测结果与其他集成预测系统始终不同。

4. 总结
研究结果表明，RGP-GWO-VMD是最佳的比特币价格预测系统。同时，我们计算了每种预测方法的平均RMSE，发现RGP-GWO的平均RMSE最低（2.59），其次是SVR-GWO（2.8）、RT-GWO（15.31）、ANN-GWO（28.00）和kNN-GWO（20,142.63）。此外，我们还计算了每种信号处理方法的平均RMSE，发现MODWT的平均RMSE最低（1795.7887），其次是VMD（3845.0194）、EWT（4903.3795）和EMD（5608.8752）。

随着加密货币的兴起，因为它们相比于传统股票提供了更高的投资回报[44,45,46,47,48,49,50]，对其预测的研究也越来越受到关注。在本研究中，我们提出了新的集成预测系统来预测比特币的次日价格。我们设计了基于信号处理算法（如MODWT、EWT、EMD和VMD）和机器学习系统（如RGP、SVR、kNN、RT和FFNN）的新型集成预测系统，并采用了灰狼优化算法来寻找最佳的超参数组合，以进一步提升集成预测系统的性能并减少过拟合的风险。总共实现了二十种集成系统并进行测试。

实验结果表明，基于RMSE、MAE和MAPE三个性能指标，RGP-GWO-VMD混合预测系统是最佳的。此外，根据Diebold-Mariano检验，我们发现RGP-GWO-VMD的预测结果与其他集成预测系统始终不同。这可能是由于RGP在模拟比特币生成过程中的不确定性方面表现优异。结合Wiener滤波和Hilbert变换以及对分解过程施加带宽限制，VMD能够更好地表示原始序列中的复杂时间模式（如趋势、噪声和季节性）。此外，GWO的集成进一步优化了RGP的长度尺度参数，从而降低了预测的不确定性。MODWT多分辨率算法在所有机器学习系统中获得了最低的平均预测误差。然而，如果排除表现最差的kNN-GWO，计算每种信号处理方法在所有机器学习系统中的平均RMSE时，MODWT算法的RMSE最高（18.6109）。EWT、EMD和VMD的RMSE分别为7.22445、15.3440和7.5242。这意味着当使用MODWT时，表现最差的kNN-GWO的性能得到了提升，因为MODWT提供了更好的时频定位特性，可以被kNN-GWO利用。

总之，实证结果表明所提出的集成预测系统RGP-GWO-VMD取得了显著的性能。我们的研究有助于了解基于信号处理、机器学习和灰狼优化算法的集成预测系统的最佳设计。未来的工作将考虑将这项研究扩展到其他加密货币、股票和商品上。