通过分层卷积学习动态关系并降低噪声，用于长期序列预测

一 本文概要

深度学习算法，特别是基于Transformer的模型，通过捕捉长期依赖关系和历史信息，已经取得了显著的性能。然而大多数现有工作忽略了序列中变量之间的动态交互和演化噪声。为了解决这些问题，本文提出了一个分层记忆网络（HMNet），引入了一个分层卷积结构来从不同尺度提取序列信息。此外，本文提出了一个动态变量交互模块来学习变化的相关性，以及一个自适应去噪模块来搜索和利用类似模式以减轻噪声。这些模块可以从细粒度到粗粒度的角度与分层结构合作。在五个基准测试上的实验表明，HMNet在均方误差（MSE）上比现有最先进模型提高了10.6%，在平均绝对误差（MAE）上提高了5.7%。

二 背景知识

多变量长期序列预测在许多领域扮演着至关重要的角色，包括但不限于能源管理、交通流量预测、金融市场分析等。准确的长期预测可以帮助企业和政府机构做出更明智的决策，优化资源分配，提高效率和盈利能力。传统的时间序列预测方法主要包括：

• ARIMA模型：自回归积分滑动平均模型，适用于非季节性的数据序列。
• VAR模型：向量自回归模型，用于处理多个时间序列之间的线性关系。
• 高斯过程模型：一种基于概率的非参数模型，能够提供预测的不确定性估计。

这些方法在处理短期预测或某些特定类型的数据时效果不错，但在面对长期序列预测任务时，它们往往无法捕捉到足够的长期依赖关系，导致预测精度不足。
随着深度学习技术的发展，越来越多的深度学习模型被应用于时间序列预测，特别是基于以下模型：

• DeepAR：一种基于自回归循环网络的概率预测模型。
• TCN（Temporal Convolutional Network）：一种时间卷积网络，能够捕捉时间序列数据中的局部模式。
• Transformer模型：在时间序列预测中，Transformer能够捕捉长距离依赖关系，但其计算成本较高，并且对于某些任务可能过于复杂。

深度学习模型能够通过非线性变换捕捉复杂的数据模式，但它们在处理长期依赖关系时仍面临挑战。在实际应用中，时间序列数据中的变量间关系往往是动态变化的，而现有模型通常假设这些关系是静态的。此外，数据中的噪声会影响模型的性能，尤其是当模型试图学习动态相关性时。因此，需要一种能够适应动态关系并有效去噪的模型。现有方法在处理长期序列预测时存在一些共同的局限性：

• 缺乏对多尺度信息的有效捕捉。
• 忽视了变量间动态交互的影响。
• 对噪声的鲁棒性不足。

这些局限性促使研究者开发新的模型，以更有效地解决长期序列预测中的挑战。HMNet正是在这样的背景下应运而生，旨在通过创新的结构和机制克服现有方法的不足。

三 本文方法

3.1 HMNet框架贡献

本文提出了一个名为分层记忆网络（HMNet）的框架，使用简单但有效的卷积结构动态学习相关性并去噪，用于LTSF。HMNet首先分别嵌入变量，然后采用多级记忆卷积块（MC-Blocks）探索变量之间的动态时间相关性，并通过数据集中的类似模式进行去噪。与分层架构合作，提取多分辨率表示，HMNet从多个角度捕获相关性并执行去噪。本文的主要贡献如下：

1. 本文提出了一种新颖的基于卷积的分层架构，用于从序列中提取多分辨率表示。
2. 本文设计了一个动态变量交互，以探索不同尺度上变量之间的相关性。
3. 本文分层识别和利用序列中的类似模式，以灵活减轻演化噪声。
4. 本文在五个基准数据集上进行了广泛的实验，证明了所提出的HMNet在MSE上比现有方法提高了10.6%，在MAE上提高了5.7%。此外，HMNet在存在噪声时表现出强大的性能。

3.2 HMNet模型组成和原理

HMNet是一种为长期序列预测设计的深度学习模型，它利用分层卷积结构和动态交互机制来提取时间序列数据中的多尺度信息，并有效地捕捉变量间的动态相关性和去噪。HMNet模型由以下几个关键组成部分构成：

变量特定嵌入（Variable-Specific Embedding）

目的：为了捕捉每个变量的独特特征，避免在共享向量空间中丢失特定信息。
方法：对每个变量进行单独的线性投影，将其转换为潜在表示，以保留其独特性。

记忆卷积块（Memorizing Convolution Block, MC-Block）

MC-Block是HMNet的核心组件，负责提取动态相关性和执行去噪。

动态变量交互（Dynamic Variable Interaction）
目的：学习变量间的动态相关性，这些相关性随时间变化。
方法：通过参数矩阵计算变量间的相关性，并通过自适应参数调整特征表示的权重，以融合不同时间步长间的信息。

卷积单元（Convolution Unit）
目的：通过卷积操作提取局部时间序列特征。
方法：将序列分块，使用一维卷积对每个块进行处理，合并来自多个时间步的信息。

自适应去噪（Adaptive Denoising）
目的：减轻时间序列中的噪声，提高预测精度。
方法：
使用固定大小的内存存储模式表示。
通过先进先出（FIFO）机制平衡性能和效率。
检索与当前特征最相似的模式，计算相似性系数，以优先考虑最相关的模式。
利用这些相似模式的信息来更新和平滑当前的特征表示，实现去噪。

预测器（Predictor）

目的：整合不同层次的表示，进行最终的预测。
方法：将每个层次的表示通过一个全连接层（MLP）进行整合，并输出预测序列。

HMNet工作原理

1. 输入处理：将时间序列数据输入模型，每个变量通过变量特定嵌入进行单独编码。
2. 多尺度特征提取：利用分层的MC-Blocks从不同尺度提取特征。每个MC-Block在特定尺度上工作，并将提取的特征传递给更高层次的MC-Block。
3. 动态变量交互：在每个MC-Block内部，动态变量交互模块根据当前变量间的相关性调整特征表示。
4. 卷积操作：卷积单元对序列进行局部特征提取，合并多步信息。
5. 自适应去噪：去噪模块利用内存中的相似模式，通过计算相似性系数来更新特征表示，实现去噪。
6. 特征整合与预测：预测器接收来自所有层次的去噪后的特征表示，通过全连接层进行整合，输出最终的预测序列。

HMNet通过这种分层和动态的学习方式，能够有效地捕捉时间序列数据中的复杂模式，并在存在噪声的情况下提供鲁棒的预测。

四 实验分析

本文在五个基准数据集上对HMNet进行了评估，包括电力负荷、电力消耗、交易、交通和天气数据集。实验设置包括固定的输入长度和不同预测长度。HMNet在均方误差（MSE）和平均绝对误差（MAE）两个指标上均优于现有方法。特别是在交通数据集上，HMNet在MSE上取得了超过16%的显著提升。

五 总结展望

本文提出的分层记忆网络（HMNet）通过其创新的分层卷积结构和自适应去噪机制，在多变量长期序列预测任务中取得了突破性的性能提升，显著优于现有最先进模型，并展现出良好的鲁棒性。未来工作将致力于进一步量化和处理噪声、优化模型的泛化能力和计算效率，以及提高模型的可解释性，以期在更广泛的应用场景中提供更准确和高效的预测支持。