CTTS: 融合CNN和Transformer以提升股票趋势预测准确度

一 本文摘要

股票价格往往很难预测，因为我们很难准确建模数据点之间的短期和长期时间关系。卷积神经网络（CNN）擅长找出用于建模短期关系的局部模式。然而，由于其有限的观察范围，CNN无法捕捉到长期关系。相比之下，Transformer可以学习全局上下文和长期关系。本文提出了一种结合CNN和Transformer的方法，来同时建模时间序列中的短期和长期关系，并预测未来股票价格是上涨、下跌还是保持不变。实验证明，这种方法在预测S&P 500成分股的盘中股价变动方面，相对于基准方法预测准确率提高了3%到14%不等。

二 背景知识

时间序列预测是一项具有挑战性的任务，尤其在金融行业中。它涉及对历史数据进行统计分析，以理解其中的复杂线性和非线性关系，并预测未来的趋势。在金融行业中，常见的预测应用包括预测市场上交易的公司股票的买入/卖出情况或价格的正/负变动。

传统的时间序列预测方法包括移动平均法、指数平滑法、自回归移动平均模型（ARMA）、自回归积分移动平均模型（ARIMA）和季节性模型。移动平均法通过历史数据的平均值进行预测，而指数平滑法则考虑了近期数据的权重。ARMA模型结合了自回归和移动平均，而ARIMA模型在此基础上增加了对非平稳序列的差分处理。对于具有明显季节性变化的数据，可以使用季节性模型进行预测。然而，这些传统方法在处理复杂的非线性关系和长期依赖性方面有一定的限制。随着深度学习的发展，越来越多的研究关注于使用神经网络和深度学习模型进行时间序列预测。

深度学习模型中的循环神经网络（RNN）和长短期记忆（LSTM）网络被广泛应用于时间序列预测任务。RNN模型通过循环结构在网络内部传递信息，可以有效地处理序列数据的依赖关系。LSTM网络则通过门控机制，能够更好地处理长期依赖性，避免了传统模型中的梯度消失或梯度爆炸问题。除了RNN和LSTM，卷积神经网络（CNN）也被应用于时间序列预测。CNN在处理图像等数据时表现出色，但在时间序列预测中主要用于处理局部模式和短期依赖性。另一个重要的深度学习模型是Transformer，它在自然语言处理领域取得了重大突破。变形器模型利用自注意力机制来建模序列中的依赖关系，能够处理长期依赖性，并且具有并行计算的优势。

这些深度学习模型的出现使得时间序列预测能够更好地处理复杂的非线性关系、长期依赖性和高维度特征。通过适当的模型结构设计和训练方法，深度学习模型在许多领域的时间序列预测任务中取得了显著的性能提升。

三 本文方法

如上图所示，本文提出的方法称为基于CNN和Transformer的时间序列建模（CTTS）。CTTS方法分为以下4个步骤：

1. 首先，我们对输入的每个时间序列进行标准化，采用标准的最小-最大缩放方法将数值范围缩放到[0, 1]之间。

2. 然后，我们将这些带有位置嵌入的”tokens”输入到Transformer模型中。Transformer模型通过自注意力机制学习了这些”tokens”之间的长期依赖关系。
3. 最后，Transformer模型输出了时间序列的潜在嵌入向量。这个向量进一步通过一个多层感知器（MLP）进行处理，其中使用了Softmax激活函数，以生成符号分类的输出。输出的形式是每个类别（上涨、下跌、平稳）的概率，其中所有类别的概率之和为1。

CTTS方法通过CNN和Transformer模型结合，能够同时捕捉时间序列的短期模式和长期依赖关系，从而提高时间序列预测的准确性和泛化能力。

四 实验分析

实验数据

实验数据采用标准普尔500指数成分股的日内股价数据。这些数据以1分钟间隔采样，覆盖了2019年的52周（每周有5个交易日）。对于每只股票，每周采样了7个时间序列。前三个季度的数据（第1到39周）用于训练和验证，其中80%的数据用于训练，剩下的20%用于验证。

基准方法

实验部分将本文提出的CTTS方法与其他四种基准方法进行了比较，使用预测准确度来评估这些方法的性能。这四种方法分别是：
1）DeepAR：一种基于自回归递归神经网络的时间序列预测方法。
2）自回归移动平均（ARIMA）：一种经典的时间序列预测方法。
3）指数移动平均（EMA）：一种简单的时间序列预测方法。
4）简单的常数类别预测方法：一种将时间序列分类为固定类别的简单预测方法。

实验结果

根据上表结果，可以看出CTTS在2分类和3分类预测中均优于对比基准方法，预测准确率提高了3%到14%不等。这进一步证明了将CNN和Transformer结合在时间序列预测中的优势。

五 总结展望

本文提出的CTTS方法通过将CNN和Transformer相结合，展示了在时间序列中建模短期和长期依赖关系的强大能力，通过准确预测股票价格的涨跌趋势，该方法可以为交易员提供有价值的信息。未来，可以进一步探索并利用CTTS方法在股票交易决策中的应用，例如基于预测的涨跌趋势进行买入、卖出或持有的决策。这为进一步研究和开发基于深度学习的时间序列预测方法提供了有益的启示。