为什么LSTM股价预测模型会失效？

一. 什么是LSTM？

LSTM（长短期记忆神经网络）是一种特殊的循环神经网络（RNN），用于处理和建模具有时间依赖性的序列数据。与传统的RNN相比，LSTM引入了一种称为”门控机制”的结构，有效地解决了传统RNN在长序列训练中容易出现的梯度消失和梯度爆炸问题。LSTM的关键思想是通过门控机制控制信息的流动，使网络能够更好地捕捉和记忆长期依赖关系，从而适用于处理时间序列数据，如语音识别、文本生成、机器翻译等任务。通过引入LSTM结构，模型能够更好地处理长期依赖关系，避免了传统RNN中信息衰减或失去的问题，提高了模型对序列数据的建模能力。因此，LSTM在自然语言处理、语音识别、时间序列预测等领域取得了广泛的应用和成功。

二. 看似有效的LSTM模型

下面我们在真实的市场数据上使用LSTM训练模型，并评估模型的表现。数据集包含了从1950年1月3日至2019年1月4日的美国股市数据，以标准普尔500指数的每日收盘价为代表。总共有17,364个观察值。为了进行模型训练和评估，将数据按照以下比例进行划分：60%用于训练，20%用于验证，20%用于测试。
根据上图显示，LSTM模型的预测值与实际股价非常接近，以至于我们很难区分它们。这表明LSTM在预测未来股价方面表现得很好。为了更直观地了解其性能，我们提供了一张表格，展示了LSTM在预测第二天股价方面的准确性统计数据。这些数据进一步证实了我们在图表中观察到的结果。较低的均方根误差（RMSE）值和良好的R²值表明LSTM在预测所考虑的时间序列中下一个值的表现可能非常出色。
下图显示了 2018 年 8 月 13 日至 2019 年 1 月 4 日期间 100 个实际价格与预测价格对比的样本。
分析上图让我们得出了不同的结论。虽然总的来说，LSTM 在预测第二天的值方面似乎很有效，但实际上，对第二天的预测与前一天的实际值非常接近。下图可以进一步看出这一点，该图显示实际价格与预测价格相比滞后 1 天。
这些结果表明 LSTM 无法预测股市第二天的价值。事实上，模型可以做出的最佳猜测是与当前价格几乎相同的值。

三. LSTM模型为什么无效

股票市场中存在一种观点，即股票价格的变化是随机的，并且彼此之间独立，这被称为随机游走理论。根据随机游走理论，股票价格采取随机且无法预测的路径，因此所有试图一致预测股票价格的方法都是徒劳的。这意味着先前的股票价格、趋势或信息都不能用来准确预测未来的走势。然而，需要注意的是，并非所有人都完全认同随机游走理论。

现在让我们来了解一下什么是随机游走。随机游走不是指随机数序列，而是通过对前一个数字进行随机修改得到的数字序列。举个例子，给定一个初始值，我们可以随机选择将其加上-1或1。然后，我们采用这个新值，并在接下来的时间步骤中重复同样的随机过程。我们可以进行任意数量的时间步骤。这就是所谓的”随机游走”。

将这个概念与之前描述的随机游走理论联系起来，我们可以通过模拟一个虚构的股票来说明。根据随机游走理论，股票价格的变化具有相同的分布，并且彼此之间独立。为了简化问题，我们假设我们的虚构股票每天的价格变化在-2.5%到2.5%之间，符合正态分布的随机波动。简单来说，某一天的股票价格将是与之前价格相比的随机正负百分比变化，而这些变化通常分布在-2.5%到2.5%之间。我们将从 100 元开始初始值，并运行一个 Python 脚本，该脚本将模拟并绘制该假想股票的 1000 个时间步长。
正如我们所看到的，我们的假想股票可能看起来非常熟悉，因为它具有相当真实的行为。这是另一个例子：
这些是随机游走。如果我们要计算这些生成的随机游走之一的百分比变化并将其绘制为直方图，我们可以观察到以下情况：
正如预期的那样，百分比变化呈正态分布，平均值为 0，介于 -2.5% 和 2.5% 之间。为了进一步探索，我们将以一些现实世界的股票数据为例进行一些实验。以下是 IBM 股票去年的收盘价：
它看起来已经很像随机游走了。让我们计算每天的百分比变化并将它们排列成直方图：
根据随机游走理论，股票价格的日常变化几乎完全服从均值为0的正态分布，在大约-10%到10%之间。这意味着股票价格可以被视为随机游走。尽管并非所有股票都完全符合这种理想情况，但通常只需进行一些数据转换即可得出类似的结论。随机游走理论并不要求分布特别漂亮，关键是每天的价格变化具有相同的分布。

随机游走理论有强有力的证据支持，认为过去的价格和趋势对未来的价格没有影响，因为它们都是完全随机的。实际上，在尝试预测股票价格时，常常听到这样的说法：

“明天股价的最佳预测就是今天的价格。”

四. LSTM模型失效的原因

如果我们忽视随机游走理论，假设存在某种能够一致预测股票价格的模型，即使如此，LSTM仍然不适用。这是因为股票市场建模肯定比简单的先前价格之间的关系复杂得多。股票市场走势受到各种现实世界变量的影响，如公司业绩、新产品推出或召回、员工裁员，甚至首席执行官的推文等，这些因素都可以对股票价格和未来走势产生巨大影响。
对所有可用信息都对股票价格产生影响的观点是有效市场假说的一种形式。有效市场假说有三个版本：

• 弱式有效：表示当前股价反映了过去价格的所有信息，任何形式的技术分析都不能帮助投资者作出交易决策。
• 半强式有效：表示由于所有公开信息都用于计算当前股票价格，投资者无法通过技术或基本面分析在市场中获得超额回报。
• 强式有效：表示所有信息，包括私人信息，都完全计入当前股票价格，没有任何类型的信息可以给投资者带来市场优势。

通常情况下，当LSTM在某些股票数据上进行训练时，它试图仅仅找到股票价格中先前值的顺序依赖关系。这是一个粗略的假设，因为根本没有足够的信息来准确构建任何类型的股票市场模型，即使这种模型存在。股票市场是一个极其复杂、复杂的系统，依赖于整个世界，假设先前的股价是未来股价的主要影响因素是荒谬的。

总的来说，上述LSTM模型失败的主要原因不是因为LSTM不适合股价预测，而是由于作为输入的历史价格数据不能够有效的预测未来的价格，这时，对LSTM模型来说”明天股价的最佳预测就是今天的价格”。