时间序列分析中的平稳性

论文 | Meta contrastive label correction for financial time series

一为什么时间序列的平稳性很重要？

时间序列（x₁，…，xₑ）被假定为在连续等间隔的时间点上取得的一系列实数值，从时间 t=1 到时间 t=e。在深入研究平稳性的形式定义和相关概念之前，我们值得考虑为什么平稳性的概念在时间序列分析及其各种应用中变得重要。
从最直观的意义上讲，平稳性意味着生成时间序列的过程的统计特性在时间上不会发生变化。这并不意味着序列本身不会随时间变化，而是指它的变化方式本身不会随时间变化。代数上的等价物可能是一个线性函数，而不是一个常数函数；线性函数的值随着 𝒙 的增长而变化，但其变化方式保持恒定，即具有恒定的斜率；这个斜率代表了变化的速率。

为什么这很重要？首先，因为平稳过程更容易分析。尽管尚未对生成时间序列数据的过程进行正式定义（它们被称为随机过程），但已经清楚平稳过程是可能的现实模型的一个子类。这个子类更容易建模和研究。上述非正式定义还暗示了这样的过程应该是可预测的，因为它们的变化方式是可预测的。

由于这些特性，平稳性已成为时间序列分析中许多实践和工具的常见假设。其中包括趋势估计、预测和因果推断等。因此，平稳性的重要性的最后一个原因是它在时间序列分析中的普遍性，这使得理解、检测和建模平稳性对于应用许多重要的时间序列分析工具和程序是必要的。事实上，在许多涉及时间序列的情况下，您会发现您必须能够确定数据是否由平稳过程生成，并可能对其进行转换，使其具有由这样的过程生成的样本的特性。

二随机过程的形式定义

在介绍更正式的平稳性概念之前，需要先了解一些预备性的定义。

时间序列

通常，时间序列（x₁，…，xₑ）被假定为在连续等间隔的时间点上取得的一系列实数值，从时间 t=1 到时间 t=e。

滞后

对于某个特定的时间点 r，观测值 xᵣ₋ᵢ（向前 i 个周期）被称为 xᵣ 的第 i 个滞后。由另一个时间序列 X 向后移动 i 个时间步骤生成的时间序列 Y 有时也被称为 X 的第 i 个滞后，或者是 X 的 i 滞后。这种转换被称为向后移位运算符，通常表示为 B(∙)，和滞后运算符，通常表示为 L(∙)；因此，L(Xᵣ)=Xᵣ₋₁。运算符的幂定义为 Lⁱ(Xᵣ)=Xᵣ₋ᵢ。

在时间序列数据分析中的一种常见方法是将观测到的时间序列视为随机过程的一部分实现。在定义随机过程之前，需要了解两个预备性定义。

概率空间

概率空间是一个三元组 (Ω, F, P)，其中
(i) Ω 是一个非空集合，称为样本空间。
(ii) F 是 Ω 的一个 σ-代数，即对于 Ω 的可数并和补运算封闭的子集族。
(iii) P 是定义在 F 的所有成员上的概率测度。

随机变量

在 (Ω, F, P) 上的实数随机变量或实随机变量是一个函数 x:Ω→ℝ，使得任意区间 (-∞,a] 的逆像属于 F；即可测函数。

随机过程

实随机过程是一族实随机变量 𝑿={xᵢ(ω); i∈T}，都定义在同一个概率空间 (Ω, F, P) 上。集合 T 被称为该过程的索引集。如果 T⊂ℤ，则该过程称为离散随机过程。如果 T 是 ℝ 的一个区间，则该过程称为连续随机过程。

有限维分布

对于有限整数集合 T={t₁, …,tn}，𝑿={Xᵢ(ω); i∈T} 的联合分布函数定义如下：

公式 1：联合分布函数

对于随机过程 𝑿，有限维分布通常也表示为：

随机过程的有限维分布被定义为所有这样的联合分布函数的集合，其中 T 是任意大小为 n 的有限整数集。对于离散过程，有限维分布集合可表示为：

公式 2：离散随机过程的有限维分布

直观地说，这表示将过程投影到有限维向量空间（在这种情况下是有限的时间点集合）。

三平稳性相关的定义和概念

在建立基本的随机过程定义基础上，我们现在可以介绍平稳性的概念。

直观上，平稳性意味着随机过程的统计特性随时间不变。然而，经济计量学文献中多年来提出了几种不同的平稳性概念。在深入研究这些定义之前，需要明确一个重要的区别，即任何类型的平稳性都是随机过程的属性，而不是其任何有限或无限实现（即数值的时间序列）的属性。

强平稳性

强平稳性要求随机过程的有限维分布在时间上具有平移不变性。这意味着随机过程的有限子序列的分布在时间索引轴上平移时保持不变。例如，所有独立同分布的随机过程都是平稳的。

形式上，对于离散随机过程 𝑿={xᵢ ; i∈ℤ}，如果对于 T⊂ℤ，n∈ℕ 和任意 τ∈ℤ，满足以下条件，则它是平稳的。这是最常见的平稳性定义，通常简称为平稳性。有时也称为严格平稳性或强平稳性。

注意：这个定义不假设随机过程构成的随机变量存在或有限矩！

弱平稳性

弱平稳性只要求随机过程的一阶矩（均值）和交叉矩（自协方差）具有平移不变性。这意味着过程在所有时间点上具有相同的均值，并且在任意两个时间点 t 和 t−k 处的值之间的协方差仅取决于 k，即两个时间点之间的差异，而不取决于时间轴上的位置。

形式上，对于过程 {xᵢ ; i∈ℤ}，如果满足以下条件，则它是弱平稳的：

xᵢ 的一阶矩（均值）是常数；即 ∀t，E[xᵢ]=𝜇
xᵢ 的二阶矩（方差）在所有 t 处有限；即 ∀t，E[xᵢ²]<∞（这当然也意味着 E[(xᵢ-𝜇)²]<∞，即方差在所有 t 处有限）
交叉矩（自协方差）仅依赖于差值 u-v；即 ∀u,v,a，cov(xᵤ, xᵥ)=cov(xᵤ₊ₐ, xᵥ₊ₐ)

第三个条件意味着每个滞后𝜏∈ℕ都与一个恒定的协方差值相关联。
注意，这直接意味着过程的方差也是恒定的，因为我们得到对于所有 t∈ℕ
这描绘了弱平稳过程的特点，即具有恒定的均值和方差。它们的特性与图2中的对应过程形成了鲜明对比。

需要注意的是，强平稳性并不蕴含弱平稳性，反之亦然（参见此处的例子）！一个例外是高斯过程，对于高斯过程，弱平稳性确实蕴含强平稳性。强平稳性不能蕴含弱平稳性的原因是，强平稳性并不意味着过程一定具有有限的二阶矩；例如，具有标准柯西分布的独立同分布（IID）过程是严格平稳的，但没有有限的二阶矩。事实上，具有有限二阶矩是强平稳过程弱平稳性的充分必要条件。

白噪声过程

白噪声过程是一个具有零均值、常数且有限方差的序列不相关随机过程。具体而言，如果过程{xᵢ ; i∈ℤ}满足以下条件，则为白噪声过程：

xᵢ的期望值始终为零；即对于所有t，E[xᵢ]=0。
xᵢ的二阶矩对于所有t都是有限的；即对于所有t，E[(xᵢ-𝜇)²]<∞。
当u≠v时，交叉矩E[xᵤ xᵥ]等于零；即对于所有u、v，u≠v，cov(xᵤ, xᵥ)=0。

需要注意的是，这意味着每个白噪声过程都是一个弱平稳过程。如果此外每个变量xᵢ都遵循具有零均值和相同方差σ²的正态分布，则该过程被称为高斯白噪声过程。

N阶平稳性

N阶平稳性的定义非常接近强平稳性的定义，N阶平稳性要求对于所有n小于或等于N的任意n个随机过程样本，它们的分布在时间上具有平移不变性。因此，需要满足相同的条件：

对于T⊂ℤ，n∈{1,…,N}，以及任意τ∈ℤ，满足方程4的N阶平稳性条件。

显然，对于某个特定阶数N的平稳性并不意味着任何更高阶数的平稳性（但反之是成立的）。

需要注意的是，对于N=2，N阶平稳性与弱平稳性并不等价，尽管后者有时被称为二阶平稳性。与强平稳性一样，对于任意两个样本的分布，二阶平稳性设定的条件并不能保证𝑿具有有限的矩。同样地，具有有限二阶矩是二阶平稳过程也是弱平稳过程的充分必要条件。

一阶平稳性

术语”一阶平稳性”有时用于描述具有随时间不变的均值，但其他矩（如方差）可以随时间变化的序列。

需要再次注意的是，对于N=1，这个定义与N阶平稳性并不相等，因为后者要求对于过程𝑿={xᵢ ; i∈ℤ}，xᵢ都是同分布的。例如，如果xᵢ~𝓝(𝜇,f(i))，其中f(i)对于偶数i等于1，对于奇数i等于2，那么该过程在时间上具有恒定的均值，但xᵢ不是同分布的。因此，这样的过程符合一阶平稳性的特定定义，但不符合N=1的N阶平稳性的定义。

循环平稳性

如果任意一组样本的联合分布在时间移位mP（其中m∈ℤ，P∈ℕ是过程的周期）下保持不变，那么随机过程就具有循环平稳性。

循环平稳性在信号处理中很重要。

趋势平稳性

如果可以去除潜在趋势（仅与时间有关的函数），得到一个平稳过程，那么随机过程就具有趋势平稳性。这意味着该过程可以表示为yᵢ=f(i)+εᵢ，其中f(i)是任意函数f:ℝ→ℝ，εᵢ是一个均值为零的平稳随机过程。

在出现冲击（系列值的显著且快速的一次性变化）的情况下，趋势平稳性的过程会回归均值；也就是说，随着时间的推移，该系列将再次趋于增长（或缩小）的均值，而这个均值不受冲击的影响。

联合平稳性

对于一对随机过程𝑿和𝒀，可以直观地扩展上述所有类型的平稳性。例如，对于一对随机过程𝑿和𝒀，联合强平稳性由与强平稳性相同的条件定义，只是施加在两个过程的联合累积分布函数上。弱平稳性和N阶平稳性可以以类似的方式扩展（后者扩展到M-N阶联合平稳性）。

局部平稳随机过程

局部平稳（LS）过程是一类重要的非平稳过程。一个直观定义是，它们的统计特性随时间缓慢变化。另外，[ahlhaus将其定义为在每个时间点上局部接近于平稳过程，但其特征（协方差、参数等）在时间的演化过程中以一种不确定的方式逐渐变化。

局部平稳过程的重要性在于它们在一定程度上填补了参数非平稳过程和非参数过程这一更广泛的非平稳过程家族之间的差距，因为它们接受了严密的处理和与参数过程相似的一套分析工具。

平稳性概念的分类

下面的分类图（尽管不完全）可以帮助我们理解我们刚刚讨论的不同平稳性概念之间的关系：

参数非平稳性概念

到目前为止，所介绍的平稳性定义都是非参数的，即它们不假设数据生成过程的模型，因此适用于任何随机过程。然而，差分平稳性和单位根过程的相关概念需要对随机过程建模进行简要介绍。

随机建模的主题在于时间序列数据研究中常见的一项任务，即对未来值进行预测。为了进行预测，需要对数据生成过程（DGP）进行一些假设，即生成数据的机制。这些假设通常采用过程的显式模型的形式，并且在对随机过程进行其他任务的建模时经常使用，例如异常检测或因果推断。我们将介绍最常见的三种模型。

自回归（AR）模型

使用AR模型对时间序列进行建模时，假设它是其过去值的线性函数加上随机噪声/误差的结果：

这是一种基于记忆的模型，每个值与前面的p个值相关；具有p阶滞后的AR模型表示为AR(p)。系数𝜙ᵢ是衡量这些前值对值x[t]的影响的权重，c是常数截距，εᵢ是单变量白噪声过程（通常假设为高斯过程）。

向量自回归（VAR）模型将单变量的AR模型推广到多变量情况；现在向量x[t]的每个元素（长度为k）可以建模为过去p个向量的所有元素的线性函数：

其中c是k个常数的向量（截距），Aᵢ是时间不变的k×k矩阵，e={eᵢ ; i∈ℤ}是具有k个变量的多元白噪声过程。

移动平均（MA）模型

使用移动平均模型对时间序列进行建模，表示为MA(q)，假设它是由εᵢ（单变量白噪声过程）生成的最近q+1个随机冲击的线性函数：

自回归移动平均（ARMA）模型

使用ARMA(p,q)模型对时间序列进行建模，假设它是由最近p个值和εᵢ（单变量白噪声过程）生成的最近q+1个随机冲击的线性函数：

ARMA模型可以以多种方式推广，例如处理非线性或外生变量，推广到多变量情况（VARMA）或处理（特定类型的）非平稳数据（ARIMA）。

差分平稳过程

在对常见随机过程模型有了基本了解之后，我们现在可以讨论差分平稳过程和单位根的相关概念。这个概念基于一个假设，即所讨论的随机过程可以被写成一个p阶自回归过程，表示为AR(p)：

其中εᵢ通常是不相关的白噪声过程（对于所有时间t）。我们可以将同样的过程写成：

左边括号内的部分被称为过程的特征方程。我们可以考虑这个方程的根：

如果m=1是方程的根，那么这个随机过程被称为差分平稳过程，或者称为整合过程。这意味着通过对它应用一种称为差分的特定类型的变换，可以将该过程转化为弱平稳过程。