MASTER：综合市场信息和股票内外聚合进行有效的股票价格预测[附代码实现]

一 本文简介

股票价格预测一直是一个非常具有挑战性的问题，因为股票市场的波动性很高。近年来，研究人员致力于建立复杂的股票相关性模型，以实现更准确的联合股票价格预测。过去的研究使用了一种通用的神经网络架构，该架构从每支股票的历史数据中学习时间模式，并将这些时间模式结合起来以建立股票之间的相关性。然而，这些方法只考虑了所有股票特征的时间对齐的相关性，存在两个限制。首先，股票之间的相关性通常是瞬时的，不仅仅是在同一时间点上。其次，股票特征的有效性会随着市场变化而动态改变，这会影响到股票的历史模式以及它们之间的相关性。

为了解决这些限制，本文提出了一种名为MASTER（MArkert-Guided Stock TransformER）的模型。MASTER模型通过交替地聚合股票内部和股票间的信息，来有效地建模瞬时和跨时间的股票相关性。此外，MASTER模型还利用市场信息来自动选择最有效的特征。实验证明，相比之前的方法，MASTER模型在股票价格预测方面表现更优秀。而且通过可视化捕捉到的真实股票相关性，该模型为我们提供了有价值的见解。

二 背景知识

股票价格预测是通过分析股票市场的历史数据来预测未来股票价格的技术。股票市场受到多种因素的影响，包括经济因素、资本流动、投资者情绪和事件等。过去的研究主要依赖于预先定义的概念、关系或规则来建立静态的相关图，例如将同一行业的股票相互连接起来。虽然这些方法提供了对股票之间关系的一些了解，但它们没有考虑股票的实时相关性。在实际情况中，同一行业的不同股票可能在某一天出现相反的价格变动。此外，预先定义的关系可能无法适应新的股票，因为市场是一个不断发展的市场，经常会发生公司上市、退市或主要业务变化等事件。

现有的方法通常通过两个步骤来预测股票价格。首先，使用顺序编码器对股票的历史数据进行总结，得到股票的表示。然后，通过图编码器或注意机制来聚合相关股票的信息，得到最终的股票表示。然而，这种方法存在一些限制。首先，它模糊了股票序列的具体时间细节，导致在建模实际股票相关性时存在缺点。股票相关性是动态的，可能存在于不对齐的时间步骤中。其次，现有方法对于大量的股票数据需求很大，但实际上观察到的股票数据是有限的，这导致模型很难进行优化。

三 本文工作

股票预测的目标是通过分析股票市场来预测股票价格的变化。我们收集了每只股票在每个时间点的指标数据，形成了特征向量。与其预测股票的绝对价值，我们关注的是预测股票价格的变化趋势。为了达到这个目标，我们使用了一个叫做回报率的指标，它表示了未来一段时间内相对收盘价的变化比例。为了将不同股票之间的价格变化进行比较，我们对回报率进行了归一化处理。由于股票投资的目标是选择最具盈利潜力的股票，我们将归一化后的回报率编码为一个排名标签。

本文提出了一种名为MASTER（MArkert-Guided Stock TransformER）的模型。它包括了五个步骤：

1. 市场引导门控机制：使用一个向量来表示当前市场的状态，并利用一个门控机制来调整特征向量的权重，以实现对市场引导下的特征选择。
2. 股票内部聚合：在每只股票的时间序列中，在每个时间点上，将其他时间点的信息进行聚合，生成一个局部嵌入。这个嵌入保留了股票的时间细节，并收集了沿时间轴的重要信号。
3. 股票间聚合：在每个时间点上，我们使用注意机制计算股票之间的相关性，并将其他股票的局部嵌入进行聚合。聚合的信息包含了当前时间点相关股票的信息，同时也保留了每只股票的个性化信息。
4. 时间聚合：对于每只股票，我们将所有历史时间点的嵌入进行查询，生成一个全面的股票嵌入。
5. 预测：最后，我们将全面的股票嵌入送入预测层进行标签预测，以预测未来的股票价格变化。

通过上述步骤，MASTER可以更好地理解股票市场中的相关性，并进行准确的股票价格预测。算法整体的架构如图1所示。

市场引导门控机制

MASTER将两个方面的信息结合在一起，形成一个向量以充分描述当前市场状态。第一个方面是市场指数价格，它是一组股票的价格按照市值加权平均得到的。第二个方面是市场指数交易量，它反映了投资者的参与程度。市场状态不仅考虑了当前时刻的市场指数价格和交易量，还考虑了过去一段时间内的历史数据，通过计算平均值和标准差来展示价格和交易量的波动情况。通过这种方法，MASTER可以更好地理解市场的状态，并基于市场情况对股票价格进行预测。

门控机制是一种技术，它可以根据当前的市场状态来调整特征的重要性。具体来说，MASTER为每个特征维度生成一个缩放系数，用于放大或缩小特征的幅度。这样可以突出或减弱特征对后续模块的影响。门控机制是通过模型训练学习得到的，优化过程考虑了每个特征对预测性能的贡献，因此可以反映特征的有效性。首先将市场状态表示向量转换为与特征维度相同的向量。然后使用Softmax操作对该向量进行处理，得到一个分布。

这个分布决定了每个特征在预测中的重要程度。较大的分布值会放大特征的影响，较小的分布值会减弱特征的影响。通过这种门控机制，MASTER可以根据当前市场状态自动调整特征的重要性。例如，如果在波动市场中移动平均因子很有用，那么当市场再次变得波动时，该因子将被强调。这样，MASTER可以更好地适应市场的变化，提高预测的准确性。

股票内部聚合

在MASTER模型中，采用股票内部聚合和股票间聚合的方式来处理复杂的注意力范围。尽管整个市场具有多样的个股行为，但特定股票的模式往往相对连续。因此，首先进行股票内部聚合，因为它具有较小的注意力范围和较简单的分布。在股票内部聚合中，每个时间步的特征会与其他时间步的信息进行聚合，形成一个局部嵌入。与其他方法不同，MASTER会保留了一系列局部嵌入，通过股票内部聚合逐步获得顺序中的重要信号，并保留了局部细节。

具体操作如下：

1. 首先，将经过重新缩放的特征向量送入特征编码器，将其转换为嵌入空间的向量。然后，通过一个双向顺序编码器获得每个时间步的局部输出。
2. 受到Transformer模型在建模序列模式方面的成功启发，我们使用了一个单层Transformer编码器。在该编码器中，将每个时间步的特征向量视为一个标记，并添加一个固定的位置编码，以表示时间上的顺序。
3. 接下来，将每个时间步的特征嵌入与股票序列中的所有时间步进行关联。为此，引入了多头注意力机制，使用多个头并行执行不同的聚合计算。然后，使用前馈神经网络来融合从多头注意力机制中获得的信息。

通过这种股票内部聚合的方式，MASTER可以保留局部细节，并从其他时间步中获得重要信号的编码。这有助于更好地理解和预测股票的行为。

股票间聚合

股票间聚合是从相关的股票中聚合信息。与现有方法不同的是，我们不再将整体股票相关性简化为一个值，而是建立了一系列瞬时股票相关性，与每个时间步相对应。为了解决现有方法中预定义关系与实时股票运动的不匹配问题，我们提出了一种通过注意力机制挖掘非对称和动态股票间相关性的方法。我们通过模型训练过程自动优化相关性的质量，衡量其对提高预测性能的贡献。

具体操作如下：

1. 在每个时间步，我们收集所有股票的局部嵌入，并使用多头注意力机制来处理它们。通过将嵌入输入到多头注意力机制中，我们生成查询（Q）、键（K）和值（V）。
2. 然后，将它们与局部嵌入进行加权聚合，得到一个新的嵌入向量。通过残差连接和前馈神经网络，我们将这个新的嵌入向量编码为包含瞬时相关股票信息和个股自身信息的时序嵌入。

MASTER模型能够建模股票之间的跨时间相关性。具体地，股票v的局部细节首先通过内部聚合传递给同一时间步的其他股票，然后通过时间步的股票间聚合传递给目标股票u，从而建立了任意两只股票之间的相关性。这种股票间聚合的方法能够更好地捕捉股票之间的时序相关性，有助于我们理解和预测股票的行为。

时间聚合

MASTER的时间聚合方法与现有方法不同，它在建模股票相关性之后为每只股票生成了一系列的时间嵌入。每个时间嵌入都包含了与目标股票瞬时相关的其他股票的信息。

为了将这些时间嵌入汇总并得到一个全面的股票表示，我们通过一个时间注意力层沿着时间轴进行处理。在这个过程中，我们将最新的时间嵌入作为查询向量，并使用一个转换矩阵来计算每个时间步的注意力分数。通过这种方式，我们能够捕捉到股票之间随时间变化的关系，并将这些信息整合到一个综合的股票表示中。这有助于我们更好地理解和预测股票的行为。

预测和训练

将经过处理的股票表示输入到一个预测器中，用于进行回归，也就是预测股票的标签值。我们使用一个简单的线性层作为预测器，并使用均方误差（MSE）损失来衡量预测的准确性。在每个训练批次中，我们同时优化所有股票的模型，以适应特定的预测日期。训练集中的每个预测日期对应一个批次。通过计算预测值与实际标签之间的损失函数来进行模型训练。优化目标是通过不断调整模型参数来最小化损失函数，从而提高预测的准确性。

四 实验分析

4.1 实验设置

数据集：使用CSI300和CSI800股票集来评估框架的性能，包含2008年到2022年的每日信息。将其中一部分数据用作训练集、验证集和测试集。

基准模型：与几种股票价格预测基线进行比较，包括XGBoost、LSTM、GRU、TCN、Transformer、GAT和DTML。

评估指标：使用排名指标和基于组合的指标对模型性能进行评估，包括信息系数、排名信息系数、基于信息比率的IC、基于信息比率的RankIC、超额年化收益和信息比率。

4.2 实验结果

表1中报告了总体性能。MASTER在8个排名指标中有6个取得了最佳结果，并且在基于组合的指标中始终表现优于所有基准模型。具体来说，与平均意义上的第二好结果相比，MASTER在排名指标上提高了13%，在基于组合的指标上提高了47%。排名指标使用整个数据集计算，而基于组合的指标主要考虑前30个表现最好的股票。实验结果表明，MASTER具有对整个股票集的良好预测能力，同时不会牺牲重要股票的准确性。这些显著的改进说明了股票相关性建模的重要性，因此每支股票也可以受益于其他瞬时相关股票的历史信号。

为了验证专门设计的股票Transformer架构的有效性，进行了四个实验设置。第一个实验是(MA)STER，即没有门控的股票Transformer。第二个实验是(MA)STER-Bi，其中我们用双向LSTM替换了单层Transformer编码器，以证明我们提出的架构的有效性与强序列编码器无关。第三个实验是Naive，直接在τ × |S|个令牌之间进行信息聚合。第四个实验是Clustering，其中我们使用局部敏感哈希将令牌按相似性划分为10个桶，并在每个组内执行聚合。表2的实验结果表明，MASTER的Transformer架构在CSI300数据集上表现出了很好的效果，交替执行股票内部聚合和股票间聚合。

图4显示了对于门控机制中温度β的影响研究，实验结果显示，较小的β会增强特征选择的效果，而较大的β会关闭门控效应。在CSI300数据集上，由于该数据集相对较容易，大多数特征都非常有效，所以较大的β可以放松特征选择；而在复杂的CSI800数据集上，需要更强的特征选择干预，所以最佳性能对应的β较小。

图5展示了回顾窗口中不同时间步骤的股票间注意力图。选择了三只代表性的目标股票，并随机选择了100只股票作为源股票进行可视化。注意力图中高亮显示的部分分散而不呈现整齐的条纹，这意味着相关性是瞬时的而不是长期存在的。此外，股票间的相关性是稀疏的，只有少数股票与目标股票有强烈的相关性。

图6显示了股票对之间的相关性，展示了相关性的变化趋势。可以看到，不同时间步骤之间的相关性是不稳定的，有时会出现强相关性，有时则几乎没有相关性。这进一步证明了MASTER的能力，可以捕捉到股票间动态的相关性。

五 总结展望

本文提出了一种名为MASTER的新方法，用于股票价格预测。这种方法考虑了真实的股票相关性，并利用市场信息指导特征选择。MASTER包括几个步骤，如市场引导门控、股票内部聚合、股票间聚合、时间聚合和预测。实验结果显示MASTER相对于所有基准模型平均提高了13%的排名指标和47%的基于组合的指标。通过注意力图的可视化，我们还能看到实际的瞬时和跨时间股票相关性。这项研究为我们提供了更深入研究股票相关性的视角，并展示了市场信息的有效应用。