剔除数据噪声的股票价格预测方法

一 本文概要

股票市场预测对于投资者、金融分析师和经济学家具有重要意义。准确的市场趋势预测可以帮助投资者做出明智的投资决策，最大化利润或最小化损失。此外，股票市场预测对于风险管理和资产配置也至关重要。然而，股票市场预测是一个具有挑战性的任务，因为股票价格受到多种复杂因素的影响。

目前存在的方法包括传统的时间序列分析、机器学习算法和深度学习技术，但它们都有一些局限性。传统的时间序列方法无法捕捉股票数据的非线性和复杂性，机器学习模型需要大量的特征工程且对非线性关系的捕捉能力有限，即使是当前先进的深度学习模型，在处理时间序列数据、捕捉长期趋势和处理高噪声数据方面仍有不足。

为了克服这些局限性并提高预测准确性，本文提出了一种新的股票市场预测方法。主要贡献包括以下三个方面：

1. ACEFormer模型：这是一个端到端的注意力机制模型，结合了股票市场信息和个股信息，以更全面地捕捉市场动态。
2. 改进的EMD算法：提出了ACEEMD算法，基于经验模态分解（EMD），用于减少股票数据中的短期噪声，并保留关键的转折点。
3. 时间感知机制：引入了一种时间感知机制，增强模型对时间序列数据中位置信息的捕捉能力。

二 背景知识

股票市场的特性

股票市场是一个动态的、复杂的经济系统，它反映了市场参与者对未来经济状况的预期和信心。股票价格的波动不仅受到公司业绩、行业趋势、宏观经济政策等因素的影响，还受到投资者情绪、市场心理等非理性因素的影响。这些因素共同作用，使得股票价格呈现出高度的非线性、随机性和不可预测性。

股票市场预测的挑战

股票市场预测面临的最大挑战之一是其内在的不确定性。股票价格的波动往往伴随着大量的噪声，这些噪声可能掩盖了市场的真实趋势。此外，股票市场还受到外部冲击的影响，如政治事件、自然灾害等，这些事件往往难以预测，但对市场影响巨大。

现有预测方法

为了应对这些挑战，研究者们开发了多种股票市场预测方法。早期的方法主要基于统计学和计量经济学，如移动平均线、回归分析等。这些方法在一定程度上可以捕捉市场趋势，但对非线性关系的处理能力有限。随着机器学习技术的发展，基于数据驱动的方法开始在股票市场预测中发挥作用。支持向量机（SVM）、随机森林（RF）和神经网络（NN）等机器学习算法被用来构建预测模型。这些算法能够处理复杂的非线性关系，但它们通常需要大量的特征工程，并且对模型参数的选择非常敏感。

近年来，深度学习技术在股票市场预测中显示出巨大的潜力。循环神经网络（RNN）和长短期记忆网络（LSTM）等模型能够处理时间序列数据，并捕捉时间依赖性。然而，这些模型在处理长序列数据和捕捉长期趋势方面仍存在挑战。注意力机制的提出为时间序列预测提供了新的视角。Transformer模型通过自注意力机制有效地捕捉了序列数据中的长距离依赖关系。在股票市场预测中，注意力机制可以帮助模型识别和聚焦于关键的时间点和特征。

三 本文方法

如上图1所示，本文提出的ACEFormer模型是一个端到端的结构，专门设计用于股票市场趋势预测。该模型结合了注意力机制、改进的经验模态分解（EMD）算法和时间感知机制，以提高对股票市场非线性和高噪声特性的预测准确性。ACEFormer模型的架构包括以下几个主要模块：

预处理模块

预处理模块使用ACEEMD算法对输入数据进行预处理，以便于模型更好地提取股票数据的趋势规则。假设S = {s1,s2,…,sn}表示用于模型训练的股票数据输入，其中si包括股票本身的价格和交易量，以及第i天的两个整体股市指数。由于要预测的数据是未知的，将其替换为全零。令[0:p]表示p个连续零的序列，其中p是要预测的天数。模型的输入数据为D = S||[0:p]。记f和g为函数，∗表示卷积操作，PE(·)表示位置编码。我们定义预处理模块的输出为D，表示为：

ACEEMD算法可以改善股票数据拟合原始曲线的效果，通过减轻端点效应和保留异常值，对交易产生重要影响。ACEEMD算法的流程如下：

1. 输入数据是股票数据，表示为x(t)。
2. 使用m个高斯噪声n[i]，其中m是可调参数，默认为5。
3. 通过将高斯噪声与输入数据相加，获得两组结果，分别为pei和pmi。它们的区别在于添加的高斯噪声符号相反。
4. 使用生成函数AM(pei, pmi)对数据进行去噪，这也是ACEEMD算法的核心。它通过应用立方插值采样来处理pei和pmi。
5. 第一阶IMF分量IMF1表示输入数据中可消除的噪声分量。
6. 通过对pei和pmi的中间信号进行加权平均得到第i个一阶IMF分量，权重为α=0.5，默认情况下。

ACEEMD算法通过减轻端点效应和保留异常值，改善了拟合效果，使得曲线更准确地反映股票的真实趋势。使用输入数据的端点和极值点构建立方插值采样的输入数据点，定义序列的中点以捕捉短期趋势，并扩展采样点以保留更多信息。通过去噪和提取信号的主要部分，得到的去噪数据有助于预测股票走势和判断交易时机。

蒸馏模块

该模块利用概率自注意力机制提取主要特征，并使用卷积和池化技术降低特征数据的维度。同时，时间感知机制用于提取位置特征，增加全局位置权重。

注意力模块

时间感知机制是通过线性回归构建的一种机制。它在神经网络中的蒸馏模块中起着重要的作用。该机制通过引入一个与最大池化结果大小相同的矩阵来调整输出特征，并最小化信息损失。
时间感知机制使用权重矩阵Wt和偏置矩阵bt对输入矩阵进行线性变换，得到时间感知矩阵T。这个矩阵与概率注意力模块接收到的数据相同，可以从具有完整特征的输入数据中提取特征。时间感知机制通过线性回归调整蒸馏模块的输出特征，从而提高了特征的表达能力，并减少了信息损失。这个机制在神经网络中的应用有助于提高模型的性能和准确性。

全连接模块

使用线性回归层产生最终的预测值。

四 实验分析

4.1 数据集和预处理

作者选取了美国股市的两个公开数据集：NASDAQ100和SPY500。这些数据集包含了超过十年的股票市场信息，包括股票价格和交易量。将历史数据划分为训练集（2012年1月3日至2021年6月25日）、验证集（2021年6月28日至2021年9月7日）和测试集（2021年9月7日至2022年1月28日）。

4.2 模型训练和设置

为了避免随机初始化参数对预测结果的影响，作者采用了多次训练的策略。对于每个模型，作者独立训练了五个模型结果，选择在验证集上表现最好的模型，然后用这个模型在测试集上进行预测。

4.3 评估指标

本文使用了以下四个指标来评估预测性能：

• 准确度（Accuracy, Acc）：预测正确的比例。
• 马修斯相关系数（Matthews Correlation Coefficient, MCC）：衡量分类器性能的指标，考虑了真正例、假正例、真负例和假负例。
• 投资回报率（Investment Return Ratio, IRR）：基于预测结果的投资策略可能获得的回报率。
• 夏普比率（Sharpe Ratio, SR）：投资回报与风险的比率。

4.4 实验结果分析
下面图表展示了详细的实验结果。
表 1列出了不同模型在NASDAQ100和SPY500数据集上的性能比较，包括Acc、MCC、IRR和SR指标，表明ACEFormer模型在所有评估指标上均优于其他模型，包括Informer、TimesNet、DLinear和Non-stationary Transformer。
图 6展示了不同模型在测试集上的预测曲线。这些曲线直观地显示了各个模型对股票未来趋势的预测能力。曲线越接近实际股票价格的走势，表示模型的预测性能越好。
图 7通过对比展示了ACEEMD算法的效果。可以看出ACEEMD算法保留股票数据趋势的能力，即使在去除噪声后，依然能够保持数据的波动趋势。

五 总结展望

为了解决预测股票走势中的非线性和高度波动的难题，本文提出了一种名为ACEFormer的股票趋势预测解决方案，可以实现更准确的预测结果。ACEFormer引入了一个名为ACEEMD的去噪算法，它比现有方法更有效地去除股票数据中的噪声。通过使用蒸馏模块和时间感知机制，ACEFormer从去噪后的股票数据中提取出关键特征，并生成更精确的预测结果。