时间序列模型归纳总结复习

随机时间序列分析的几个基本概念

一、随机过程(Stochastic Process)

定义 设（Ω,F,P）是概率空间，T是给定的参数集，如果对于任意t∈T，都有一定义在（Ω,F ,P）上的随机变量X(t,ω)与之对应，则称随机变量族{X(t,ω),t∈T}为随机过程。简记为{X(t,),t∈T}或{Xt,t∈T }或XT

离散参数的随机过程也称为随机序列或（随机）时间序列。

上述定义可简单理解成：

随机过程是一簇随机变量{Xt,t∈T}，其中T表示时间t的变动范围，对每个固定的时刻t而言，Xt是一普通的随机变量，这些随机变量的全体就构成一个随机过程。

当t={0,±1,±2,…}时，即时刻t只取整数时，随机过程{Xt,t∈T}可写成如下形式，{Xt,t=0,±1,±2,…}。此类随机过程Xt是离散时间t的随机函数，称它为随机序列或时间序列。

对于一个连续时间的随机过程的等间隔采样序列，即{Xt,t=0,±1,±2,…}就是一个离散随机序列。

二、时间序列的概率分布和数值特征

1、时间序列的概率分布

一个时间序列便是一个无限维的随机向量。一个无限维随机向量X=(…,X-1,X0,X1,…)/的概率分布应当用一个无限维概率分布描述。根据柯尔莫哥夫定理，一个时间序列的概率分布可以用它有限维分布簇来描述。

时间序列所有的一维分布是：…，F-1(·)，F0(·)，F1(·),…

所有二维分布是：Fij(·，·)， i，j=0,±1,±2,…,(i≠j)

一个时间序列的所有有限维分布簇的全体，称为该序列的有限维分布簇。

2、时间序列的均值函数

一个时间序列的均值函数是指：

其中EXt表示在t固定时对随机变量Xt的求均值，它只一维分布簇中的分布函数Ft(·)有关。

3、时间序列的协方差函数与自相关函数

与随机变量之间的协方差相似，时间序列的协方差函数定义为：

其中Ft,s(X,Y)为（Xt，Xs）的二维联合分布。

类似可以定义时间序列的自相关函数，即：

时间序列的自协方差函数有以下性质：

（1） 对称性：

（2） 非负定性：对任意正整数m和任意m个整数k1, k2,。。。 km，方阵

为对称非负定矩阵。

时间序列的自相关函数同样也具有上述性质且有ρ(t,t)=1。

三、平稳随机过程

平稳时间序列是时间序列分析中一类重要而特殊的随机序列，时间序列分析的主要内容是关于平稳时间序列的统计分析。

（一）两种不同的平稳性定义：

1、 严平稳：如果对于时间t的任意n个值和任意实数，随机过程的n维分布满足关系式：

则称为严平稳过程。

2、宽平稳：若随机过程的均值（一阶矩）和协方差存在，且满足

（1）

（2）

则称为宽平稳随机过程。通常说的平稳是指宽平稳。

二者的联系：

（Ⅰ）严宽：因为宽平稳要求期望和协方差存在，而严平稳要求概率分布存在，而不能断言一、二阶矩存在。

（Ⅱ）宽严，这是不言而喻的。

（Ⅲ）严平稳+二阶矩存在宽平稳。但反过来一般不成立。

（Ⅳ）对于正态过程来说，有：严平稳宽平稳

（二）平稳时间序列自协方差函数和自相关函数

为了叙述方便，常假定平稳时间序列的均值为零，即。

用以下记号表示平稳序列的自协方差函数，即

相应地，的自相关函数用以下记号

平稳序列的自协方差函数列和自相关函数列具有以下性质：

（1） 对称性：；

（2） 非负定性：对于任意正整数m，

，

为非负定对称方阵；

（3） 。

（三）平稳序列的样本统计量

（1） 样本均值

时间序列无法获得多重实现，多数时间序列仅包含一次实现，对于一个平稳序列用时间均值代替总体均值。即

上式的估计是无偏的。

（2） 样本自协方差函数

第一式是有偏估计，第二式是无偏估计，但有效性不如第一式。

其它概率性质和偏自相关函数的定义将在以后章节介绍。

四、几类特殊的随机过程（序列）：

1、纯随机过程：随机过程如果是由一个不相关的随机变量的序列构成的，则称其为纯随机过程。

2、白噪声序列（White noise）：如果时间序列满足以下性质：

（1）

（2）

式中，当t≠s时，。称此序列为白噪声序列，简称白噪声。

白噪声是一种最简单的平稳序列。

（3）独立同分布序列：如果时间序列中的随机变量Xt,t=0,±1,±2,…,为相互独立的随机变量，而且Xt具有相同的分布，称这样的时间序列为独立同分布序列。

独立同分布序列是一种最简单的严平稳序列。

一般说，白噪声序列与独立同分布序列是不同的两种序列，当白噪声序列为正态序列时，它也是独立同分布序列，此时称之为正态白噪声序列。

（4）独立增量随机过程：对于任意正整数n，任意，随机变量相互独立。简单地讲，就是任意两相邻时刻上的随机变量之差（增量）是相互独立的。

（5）二阶矩过程：若随机过程对每个的均值和方差存在，则称之为二阶矩过程。

（6）正态过程：若的有限维分布都是正态分布，则称为正态随机过程。

主要介绍三种单变量模型：自回归（AR）模型、移动平均（MA）模型和自回归移动平均（ARMA）模型。

第一节 自回归模型

一、一阶自回归模型AR(1)

如果时间序列独立，就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系。这样的资料所揭示甲统计规律就是事物独立地随机变动，系统无记忆能力。如果情况不是这样，资料之间有一定的依存性。

后一时刻的行为主要与前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知Xt-1；Xt主要与Xt-1相关。用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。描述这种关系的数学模型就是一阶自回归模型。即

记作AR（1）。其中Xt 零均值平稳序列，αt 为随机扰动。

1、 一阶自回归模型的特点

Xt对Xt-1有线性相关关系

αt为独立正态同分布序列

2、 AR（1）与普通一元线性回归的关系

主要区别：

（1） 普通线性回归模型需要一组确定性变量值和相应的观测值；ＡＲ（１）模型只需要一组随机变量的观测值。

（2） 普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系；而AR（1）表示的是一个随机变量对其自身过去值的依存关系。

（3） 普通线性回归是在静态的条件下研究的；AR（1）是在动态的条件下研究的。

（4） 二者的假定不同。

（5） 普通回归模型实质是一种条件回归，而AR（1）是无条件回归。

主要联系：

固定时刻t-1，且观察值Xt-1已知时，AR（1）就是一个普通的一元线性回归。

二、 AR（1）模型的特例－随机游动

1、 随机游动模型

２、模型的特性

（1） 系统具有极强的一期记忆性，系统在t-1和t时刻的响应，除随机扰动外，完全一致，差异完全是由扰动引起的。

（2） 在时刻t-1时，系统的一步超前预测就是系统在t-1时的响应Xt-1，即。

（3） 系统行为是一系列独立随机变量的和，即

三、一般自回归模型AR(n)

其中：为白噪声，。

第二节 移动平均模型

一、 一阶移动平均模型MA（1）

如果系统的响应Xt仅与其前一时刻进入系统的扰动αt存在一定的相关关系，则有MA（1）模型：

其中：为白噪声。

MA（1）模型的基本假设为：（1）系统的响应Xt仅与其前一时刻进入系统的扰动αt有一定的依存关系；（2）为白噪声。

二、 一般移动模型

MA（m）模型的形式：

其中：（1）Xt仅与，，… ，有关，而与（j=m+1,m+2,…）无关；（2）为白噪声。

第三节 自回归移动平均(ARMA)模型

一、 ARMA（2，1）模型

1、ARMA（2，1）模型的形式：

其中：与、和有相关关系，白噪声。

2、ARMA（2，1）模型的结构：

ARMA（2，1）模型是由一个AR（2）和一个MA（1）两部分构成。

3、ARMA（2，1）与AR（1）的区别

从模型形式看，ARMA（2，1）比AR（1）的项数多；从模型的动态性看，ARMA（2，1）比AR（1）具有更长的记忆；从计算所需的资料看，ARMA（2，1）需要用t期以前的，，…，这需要从初期开始递归地计算出来，通常取零；从参数估计来看，ARMA（2，1）比AR（1）困难。

二、 ARMA（n，n-1）模型

ARMA（n，n-1）模型的基本假设为：独立于（j=n,n+1,…）,从而独立于（j=n+1,n+2,…）.

三、ARMA(n，n-1)模型的合理性

为什么我们以ARMA(n，n-1)模型为一般形式来建立时序模型呢?难道一个ARMA(n，n-1)模型总可以描述一个时间序列吗?对于平稳系统来说，这是毫无疑问的。之所以以ARMA(n，n-1)为基本模型是因为下述理由：

第一，AR、MA、ARMA(n，m)模型都是ARMA(n，n-1)模型的特殊情形。

第二，理论依据：用Hilbert空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMA(n，n-1)模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于n阶自回归，MA模型的阶数应该是n-1。

第三，从连续系统的离散化过程来看，ARMA(n，n—1)也是合理的。在一个n阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMA(n，n-1)。

【章节实验】利用Eviews软件生成AR序列、MA序列和ARMA序列。

第三章 ARMA模型的特性

本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。

第一节 线性差分方程

一、 后移(Backshift)算子:

1. 定义：后移算子B定义为，从而。

2. 后移算子的性质：

(1) 常数的后移算子为常数：

(2) 分配律：

(3) 结合律：

(4) 后移算子B的逆为前移算子

(5) 对于，无限求和得

前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分别表示为：

其中：

二、 线性差分方程

可将写成

这里

差分方程通解为：

这里，C (t)是齐次方程解，I (t)是特解。

三、 齐次方程解的计算

无重根 考虑齐次差分方程

其中

假定G1，G2，…，Gn是互不相同，则在时刻t的通解：

其中Ai为常数（可由初始条件确定）。

重根 设有d个相等的根，可验证通解为

对一般情形，当的因式分解为

齐次方程解便是

因此，齐次方程解是由衰减指数项Gt、多项式tj、衰减正弦项Dtsin(2πf0t+F)，以及这些函数的组合混合生成的。

上述过程中计算并不方便，通常通过解方程得到其根为：。由于的根与的根互为倒数，因此。

非齐次方程的特解通常情况下不容易得到，没有一个“万能钥匙”，需要具体问题具体分析，只能对一些具有特殊形式非齐次项的方程进行讨论。此处丛略。

第二节 格林函数(Green’s function)和平稳性(Stationarity)

一、 格林函数(Green’s function)

1、 定义：设零均值平稳序列能够表示为

（1）

则称上式为平稳序列的传递形式，式中的加权系数称为格林（Green）函数，其中。

2、 格林函数的含义：

格林函数是描述系统记忆扰动程度的函数。

式（1）可以记为

（2）

其中。

式（1）表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统“”的作用而生成，是j个单位时间以前加入系统的干扰项对现实响应的权，亦即系统对的“记忆”。

二、 AR（1）系统的格林函数

由AR（1）模型

即：

则AR(1)模型的格林函数。如若，则随着j的增大而缓慢减小，表明系统的记忆较强；相反，若，则随着j的增大而急剧减小，表明系统的记忆较弱.

例：下面是参数分别为0.9、0.1和-0.9的AR（1）系统对扰动的记忆情况（三个序列由同一正态白噪声序列模拟生成）：

比较前后三个不同参数的图，可以看出：

（1） 取正值时，响应波动较平坦。

（2） 取负值时，响应波动较大。

（3） 越大，系统响应回到均衡位置的速度越慢，时间越长。

由于其中，因此AR（1）模型可用一个无限阶MA来逼近，这说明AR模型是一种长效记忆模型。

三、AR系统的平稳性

1、由平稳性的定义求AR(1)系统的平稳性条件

将AR（1）模型两边平方再取数学期望，得到

如果序列是平稳的，则有，由上式可得

由于是非负的，所以，从而，这就是AR（1）模型的平稳性条件。

利用滞后算子B，AR（1）模型可以写为

式中，那么平稳性条件就等价于的根在单位圆外（或的根落在单位圆内）。

上述平稳条件可以推广到AR（n）模型，即

其中：的平稳性条件为：的根在单位圆外（或的根在单位圆内）。

2、由格林函数求AR(1)模型的平稳性条件

对于AR(1)系统来说，其平稳性条件也可以由格林函数得出。如果系统受扰后，该扰动的作用渐渐减小，直至趋于零，即系统响应随着时间的增长回到均衡位置，那么，该系统就是平稳的。相对于格林函数来说，就是随着j→∞，扰动的权数，由于＝故必有j→∞，，显然，

这就是AR(1)系统平稳性条件。反过来，若，则称AR(1)为渐近稳定的，也必是平稳的。

时， =1; 当=1时, =(-1)j 当=-1时

这时，虽然响应不回到其均衡位置，但仍是有界的，这时系统为临界稳定的，系统可能存在某种趋势或季节性。

当时，j→∞，→∞，任意小的扰动只要给定足够的时间，就会使系统响应正负趋于无穷，永远不会回到其均衡位置，这时系统便是不稳定的，当然是非平稳的。

例：求AR（2）模型的平稳域

解：特征方程的根

，

，

根据AR模型的平稳性的条件

由于是实数，必同为实数或共轭复数，由于，因此

故AR（2）模型的平稳域为

四、格林函数与Wold分解(Wold’s Decomposition)

所谓Wold分解也叫正交分解，其核心就是把一个平稳过程分解成不相关的随机变量的和。由于这一思想是由Wold引入(1938年)到时序分析中的，故叫做Wold分解。他认为可以用线性空间来解释ARMA模型的解。

在n维线性空间Ln中，n个线性无关的向量称为空间的一组基。设可由线性表示：

其中由向量和唯一确定，称为向量关于基的坐标。

如果用线性空间的观点来看AR(1)模型的解

由于是相互独立的，可看作线性空间的基(或无限维坐标轴)，显然可由线性表示，其系数就是对于的坐标，就是的正交向量的和。因而上式也叫做Wold分解式，其系数叫Wold系数。

格林函数和Wold系数是同一客体从不同角度观察的结果，二者是完全一致的。Wold系数是线性空间解释，格林函数是系统解释。

五、ARMA模型格林函数的通用解法

ARMA(n,m)模型

且

则

令

则化为

比较等式两边B的同次幂的系数，可得

由上式，格林函数可从开始依次递推算出。

思考：MA(m)模型的格林函数为

例：ARMA（2，1）系统的格林函数

ARMA（2，1）模型可以看作是一个二阶差分方程，设该方程的解是

将上式代入模型中：

利用比较系数法，B的同次幂必相等，于是：

B的指数：

上式可以写成：

即：

上式为一关于齐次差分方程的形式，其通解为

其中：和是特征方程的根；和是任意常数，其值由初始条件确定。这里的初始条件是：

则ARMA（2，1）系统的格林函数为：

ARMA（2，1）模型的格林函数也可以通过下面的过程求得。

根据Wold分解，平稳ARMA（2，1）模型

可以写成

即：

AR（2）为ARMA（2，1）模型的特殊形式，同样具有上述关系。

例：ARMA（n，n-1）系统的格林函数

与上面方法相同，ARMA（n，n-1）系统的格林函数的隐式的递推式为：

其中 由下列式子导出

即

其最终解为：

其中：

例：ARMA（2，1）系统的平稳性条件

ARMA（2，1）的平稳性条件要求：。

由得：，即的根在单位圆内。

由于ARMA（2，1）的特征方程和AR（2）和形式一样（或者说和其移动平均项系数无关），因此其平稳域与AR（2）系统的平稳域相同，都是：

思考：MA模型的平稳性条件。

第三节 逆函数和可逆性（Invertibility）

所谓可逆性(Invertibility)是指移动平均模型可以用AR模型表示。

一、 逆函数的定义

设是零均值平稳序列，如果白噪声序列能够表示为

则称上式为平稳序列的逆转形式，式中的加权系数称为逆函数。

二、ARMA模型的逆函数

1、ARMA（n,m）模型逆函数通用解法

对于ARMA（n,m）模型的逆函数求解模型格林函数求解方法相同。

令 ，

则平稳序列的逆转形式可表示为

由ARMA(n,m)模型可得

仍由先前定义的和，则上式可化为

比较上式两边B的同次幂的系数，得到

即

由此可从开始推算出。

2、AR模型的逆函数

对于AR（1）模型 有

则其逆函数

类似对于AR（n）模型有

其逆函数为：

3、MA模型的逆函数

对于MA（1）模型，则

，，，

即

比较上式两边B的同次幂的系数得

从而有

也可以用以下方法求MA（1）模型的逆函数

由得

即

可见

与AR（1）讨论相类似，上面推导所隐含的可逆性条件为

对于MA（m）模型的可逆性讨论与AR（n）模型平稳性的讨论是类似的，即：

MA（m）模型的可逆性条件为其特征方程的特征根满足

下面所讲的逆函数与格林函数的关系也作为求逆函数的一种选择。

三、和之间的关系

对于AR（1）模型和MA（1）模型， 注意到

格林函数 逆函数

AR（1）：

MA（1）

可以看出，AR（1）的和MA（1）的形式一致，只是符号相反，参数互换。此对偶性对其它模型仍然存在，如：

ARMA（2，1）的格林函数为

ARMA（1，2）的逆函数为

综上可知，在格林函数的表达式中，用代替，代替，代替，即可得到相对应的逆函数。

四、关于ARMA模型平稳性与可逆性的说明

通过上面的讨论可知，AR模型不存在可逆性性条件，MA模型不存在平稳性条件。因此，对于ARMA模型的平稳性条件是针对其AR系数而言，可逆性条件是针对其MA系数而言。

只有同时满足平稳性可可逆性条件，ARMA模型才是有意义的。

第四节 自协方差函数

一、理论自协方差函数和自相关函数

对于ARMA系统来说，设序列的均值为零，则自协方差函数

自相关函数

二、样本自相关函数的计算

在拟合模型之前，我们所有的只是序列的一个有限样本数据，无法求得理论自相关函数，只能求样本的自协方差函数和自相关函数。样本自协方差有两种形式：

则相应的自相关函数为

在通常的情况下，我们常采用第一种的计算方法。

三、AR模型的自协方差函数和自相关函数

（1） AR（1）模型的自协方差函数和自相关函数

AR（1）模型为：

假设为零均值序列。将上式两端乘以，并取期望，得

当k=0时，有：

即：

当 k=1时，有

即：

当k=2时，有

依此类推，便有一般式：

将代入，有，

相应的自相关函数为，即

(2)、AR（n）模型的自协方差函数和自相关函数

自相关函数

两边同乘以 得到

取期望，得：

上式两边除以 ，可得差分方程：

我们注意到，上式类似于过程 自身所满足的差分方程。

假定将上式记为

这里，

记

则差分方程通解：

这里，，，…，是特征方程：

=0

的根。

为了保证平稳性，则要求。在实际应用中，如果假定根是互异的，会出现两种情况：

1． Gi是实根，这时在通解 ρk 中AiGik 随k增大等比例地衰减到零，我们常称之为指数衰减。

2． Gi和Gj是一对共轭复根，导致在通解出现：

使得自相关函数呈衰减的正弦振荡，衰减系数，频率f满足：

方差：当k=0时，

上式两边除以，并有，故方差可以写成

四、MA模型的自协方差函数和自相关函数

（1）MA（1）模型的自协方差函数和自相关函数：

将MA（1）模型

两端同乘以取期望，得

当k=0时，有

当k=1时，有

当k=2时，有

可见，对于MA（1）模型来说

（2）MA（m）模型的自协方差函数和自相关函数

自相关函数

因此该过程的方差是

且

由此得出自相关函数是

对于MA(m)过程，当滞后超出过程的阶数m时自相关函数为零。换言之，滑动平均过程的自相关函数具有超出m步滞后的截尾性。（上述性质用来在B-J建模过程中，识别MA模型）

五、偏自相关函数

对于一个k阶AR模型，有：

由此得到Yule-Walker 方程，记为：

或

Pkφk=ρk

当已知时，由该方程组可以解出，，……，。遗憾的是，用该方程组求解时，需要知道自回归过程的阶数。因此，我们可以对连续的k值求解Yule-Walker方程。

对k=1，2，3，… 依次求解方程，得

……

上述序列为AR模型的偏自相关函数。

如果自回归过程的阶数为n，则对于k>n应该有kk=0。

（1） 偏自相关性是条件相关，是在给定的条件下，和的条件相关。换名话说，偏自相关函数是对和之间未被所解释的相关的度量。

（2） 由最小二乘原理易得，是作为关于线性回归的回归系数。

（3） 由（2）可得，对于AR（n）模型，当k>n时， =0。（此性质用来在B-J建模过程中，识别AR特征）

（4） 对于任何平稳过程，都可以由Yule-Walker 方程定义偏自相关函数，当然也都是作为自相关函数的函数。

六、自回归和滑动平均过程之间的对偶性

自回归和有限滑动平均过程之间存在对偶关系的特征：

1． 在一个n阶平稳自回归模型中，at可表示为既往X的有限加权和，换言之，Xt可表为既往a的无限加权和：

同样，在一个m阶滑动平均模型中，Xt可表示为既往a的有限加权和，换言之，at可表为既往X的无限加权和：

2． 有限的MA过程具有在某点之外全为零的自相关函数，但由于它等价于一个无限阶的AR过程，因此其偏自相关函数无限伸延，且被衰减指数和（或）衰减正弦波所控制。与此相反，AR过程具有在某点之外全为零的偏自相关函数，但是它的自相关函数无限伸延，且有衰减指数和（或）衰减正弦波混合生成。

3． 对于一个有限m阶自回归过程，其参数不必满足任何条件就能保证可逆性，然而，为满足平稳性，φ(B)=0的根必须都在单位圆外。与此相反，MA过程的参数不需要满足任何条件就能保证平稳性，然而，为满足可逆性，θ(B)=0的根必须都在单位圆外。

4． 滑动平均过程的谱与对应的自回归过程的谱存在互逆关系。

七、本章小结

零均值时间序列统计分析结果

自相关系数拖着长长的尾巴，就是拖尾，AC（自相关autocorr）值是慢慢减少的。而偏相关系数是突然收敛到临界值水平范围内的，这就是截尾，PAC（偏相关parcorr）突然变的很小。

AR模型：自相关系数拖尾，偏自相关系数截尾；
MA模型：自相关系数截尾，偏自相关函数拖尾；
ARMA模型：自相关函数和偏自相关函数均拖尾。

[ACF, Lags, Bounds] = autocorr(y)

[ACF, Lags, Bounds] = parcorr(y)

【本章思考题】叙述AR、MA和ARMA模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。

【实验内容】1、观察前面生成的几个自回归序列的波动变化不同之处；

2、观察生成的AR模型和MA模型自相关函数和偏自相关函数的不同之处。

平稳时间序列模型的建立

本章讨论平稳时间序列的建模问题，也就是从观测到的有限样本数据出发，通过模型的识别、模型的定阶、参数估计和诊断校验等步骤，建立起适合的序列模型。学习重点为模型的识别和模型的检验。

第一节 模型识别

1、 识别依据

模型识别主要是依据SACF和SPACF的拖尾性与截尾性来完成。常见的一些ARMA类型的SACF和SPACF的统计特征在下表中列出，可供建模时，进行对照选择。

表 ARIMA过程与其自相关函数偏自相关函数特征

2、 拖尾性与截尾性的判定

理论上，对于MA(q)过程，其自相关函数在q步之后全部为零，实际上并非如此，因为为样本数据的估计值。同样地，偏自相关函数也存在类似的问题。

判定在m步之后截尾的做法是：

实际判断时，以频率代概率。

判定在n步之后截尾的做法是：

实际判断时，以频率代概率。

拖尾：即被负指数控制收敛于零。

3、 实例

【例4-1】现有磨轮资料250个，试判断该数据的零均值及平稳性。

1．时间序列趋势图

2．零均值化后的图形

3．ACF与PACF图形

ACF

PACF

第二节 模型定阶

1、 残差方差图法

基本思想：以AR模型为例。对于时间序列，如果其合理（真正的）阶数为p，当我们用一个小于p的值为阶数去拟合它，所得到的剩余平方和必然偏大，将比真正模型的大。原因在于它把模型中原本有的一些高阶项给省略了，而这些项的存在对减小残差的方差是有明显贡献的。反之，如果我们用一个大于p的值作为阶数去拟合它（过度拟合），虽然剩余平方和减少，但已不明显，这时可能还会增大。因此，我们可以用一系列阶数逐渐递增的模型对进行拟合，每次都求出，作出阶数n和残差方差的图形，进行判断。

这种方法直观简单，但没有量的准则，具有主观性。

2、 自相关函数（ACF）和偏自相关函数（PACF）定阶法

它们不仅可以用来识别模型，而且还可以用来确定模型的阶。

3、 F检验定阶法

基本思想：首先用ARMA(n,m)对进行过度拟合，再令为零，用F检验判定阶数降低之后的模型ARMA(n-1,m-1)与ARMA(n,m)之间是否存在显著性差异。如果有显著性差异，阶数能够升高；如果没有差异，阶数可以降低。

4、 最佳准则函数定阶法

最佳准则函数法，是构造一个准则函数，该函数既要考虑用某一模型对原始数据拟合的接近程度（残差的大小），同时又要考虑模型中所含待定参数的个数。建模时，根据函数的取值确定模型优劣，使准则函数值达到最小的模型是最佳模型。

准则函数法是日本学者赤池弘次(Akaike)最先提出。主要有FPE准则，AIC准则，BIC准则，SC准则。

1． FPE准则

基本思想：根据模型的预报误差来判断自回归模型的阶数是否恰当，合理的阶数应该能够使得模型的最终预报误差最小。

基本理论：对于模型，时间序列的一步预报误差的方差为：，而是的无偏估计，于是

（1）

（1）中第一个因子，随着阶数的增加而增加；第二个因子随着阶数的增加而减少。因此它实质上就是一个最佳准则函数。该最佳准则函数还可写成：

基本操作：按照从低阶到高阶的方式建立AR模型，并计算出相应的FPE的值，从中选择最小的FPE对应的n作为模型的阶，即。

2． AIC准则（Akaike Information Criterion）

基本思想：建立模型时，根据准则函数取值来判断模型的优劣，使准则函数达到极小的是最佳模型，该准则是在模型极大似然估计的基础上建立起来的。

基本理论：最小信息准则AIC函数的一般形式：

（2）

在（2）式中“模型极大似然度”一般用似然函数表示，设样本长度N充分大时，ARMA模型得到近似极大似然估计的对数似然函数为：

（3）

由于（3）中第二项与模型及参数个数无关，可以舍弃。于是得到采用ARMA（n,m）模型拟合的AIC准则函数：

（4）

使得AIC信息量取值最小的n和m，即是模型理想的阶。由（4）可以看出AIC信息量由两部分构成：前一部分体现模型的拟合好坏，后一部分表明模型参数的多少。显然我们希望模型拟合得越精确真好，但过高的精度要求又会导致参数的增多及模型的复杂，可能反而影响模型的拟合效果，因此，实质上，它就是对拟合精度和参数个数二者加以适当权重。可以想象，当模型中参数个数K由少至多增加时，拟合误差改进显著，（4）中第一项起主要作用，AIC明显下降；随着模型阶数增加，模型拟合残差改进甚微，AIC上升。AIC的最小值处对应着最佳模型的阶数。

3． BIC准则

AIC准则为时间序列模型定阶带来了许多方便，但AIC准则也有不足之处。从理论上已证明了AIC准则不能给出模型阶数的相容估计，即当样本趋于无穷大时，由AIC准则选择的模型阶数不能收敛到其真值（通常比真值高）。Akaike于1976年提出了BIC准则弥补了AIC准则的不足。

定义：，其中K是模型的自由参数个数，对于ARMA(n,m)模型，。

从理论上已证明，BIC准则确定的模型阶数是真实阶数的相容估计。

若，则是要选择的最佳阶数。

注：①与的关系见图，用AIC准则往往比用BIC准则确定的阶数高。

②我们还可以定义其它类型的准则函数，如

（5）

其中C是选定的常数。定义不同的准则函数是为了对拟合残差与参数个数之间进行不同的权衡，以体现使用者对于二者重要性的不同侧重。当然，对于同一数据序列使用不同准则挑选的最优模型不同，其渐近性质也不同。

③在实际问题中，相应于不同阶数的准则函数值往往不是理想的下凸函数，而是总的趋势符合下凸函数变化规律，同时有随机起伏，有时可能出现准则函数下降到某值后，没有明显的增长趋势，而是随机的起伏摆动。遇到这种情形，如果适当地增大（5）中常数系数C的值，可以使准则函数在后一段有明显的增长趋势。

5、 实例

【例4-2】沿用例4-1中的数据，进行模型的定阶。

第三节 参数估计

1、 矩估计

1．自回归模型的参数估计：采用YULE-WALK方程

（1）

2．移动平均模型的参数估计：

（2）

（1）直接解法

（2）线性迭代法

（3）牛顿-拉普森算法

3．自回归移动平均模型的参数估计：

将模型分成两个部分，先对AR部分应用YULE-WALK方程，计算得到剩余序列，对剩余序列应用MA模型的参数估计方法。

2、 最小二乘估计（LS）

1．线性最小二乘估计

2．非线性最小二乘估计：高斯-牛顿法；最速下降法；

3、 极大似然估计（ML）

对于时间序列模型，一般采用极大似然法估计参数。对于一组相互独立的随机变量xt,（t = 1, 2, …, T），当得到一个样本 (x1, x2, …, xT) 时，似然函数可表示为

L ( | x1, x2, …, xT) = f (x1| ) f (x2| ) … f (xT | ) = | ) (1)

其中 =（1, 2, …, k）是一组未知参数。对数似然函数是

log L = f (xt | ),

通过选择 使上式达到最大，从而求的极大似然估计值。具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零，即

= 0,

:

= 0, （k个方程联立）

一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大似然估计量 (MLE) 具有一致性和渐近有效性。

现在讨论怎样对时间序列模型的参数进行极大似然估计。

对于非平稳过程yt ，假定经过d次差分之后可以表达为一个平稳、可逆的自回归移动平均过程xt ，

(L) d yt = (L) xt = (L) ut. (2)

对于yt 假定可以观测到T + d个观测值，即y- d+1, …, y0, y1, …, yT ，则经过d次差分之后， xt 的样本容量为T。 以 {x1, …, xT }为样本估计ARMA (p, q) 模型参数 (1, …, p, 1, …, q )。 对随机过程{xt}的参数估计就如对回归模型的参数估计一样，目的是使xt与其拟合值的残差平方和

=.

最小。把 (2) 式改写为

ut = . (3)

若用，和分别表示对i, i和ut的估计，则使下式最小。

= S (, …, , , …,) (4)

假定ut N (0, u2), t = 1, … T，且不存在自相关，则条件对数似然函数为

log L = -T logu - (5)

之所以称之为条件对数似然函数是因为依赖于过去的不可知观测值x0, x-1, …, x- p+1和u0, u-1, …, u- q +1。比如

u1 = x1 - 1 x0 - 2 x-1 - … - p x-p+1 - 1u0 - …- qu- q+1. (6)

对（5）式求极大即等同于对求极小。对求极小时需要先确定x0, x–1, …, x-p+1和u0, u-1, …, u- q +1的值。此问题的一般处理方法是取这些变量等于他们的无条件期望值。u0, u-1, …, u- q +1的无条件期望值为零。若模型（2）中不含有漂移项，则x0, x-1, …, x- p +1的无条件期望值也为零。当样本容量T与滞后长度p, q值相比充分大，且1, …, p的值不接近1时，这种近似非常理想。

若 (2) 式中不含有移动平均项，对于自回归参数来说 (3) 式是一个线性函数。可以用OLS法估计参数。如果 (2) 式中含有移动平均项，那么对于移动平均参数来说， (3) 式是一个非线性函数。对 (3) 式必须采用非线性估计方法。

首先假定模型为纯自回归形式，

(L) xt = ut (7)

或

xt = 1 xt-1 + … + p xt-p + ut . (8)

这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。

当模型中含有移动平均成分时

ut = -1(L) (L) xt (9)

对于参数来说，模型是非线性的。对于非线性模型，通常由三种估计方法。

⑴直接搜索法。通过改变参数的取值，反复计算残差平方和的值。然后从中选择最小的那个值所对应的参数值作为对参数的估计值。这种方法只有在参数个数较少时才是可行的。当参数个数较多时，计算量将非常大。例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算 (20) 4 = 160000次。

⑵直接优化法。求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程

= 0, i =1, …, p + q (10)

其中（1, …, p+q）=（1, …, p, 1, …, q）。因为 p + q 个方程中都含有 p + q 个参数，所以必须联立求解。由于计算上的困难，这种方法很少直接采用。

⑶线性迭代法。对任何非线性函数通常都可以按泰勒级数展开。

f (x) = f (x0) + f ‘(x0) (x – x0) + … = f (x0) - f ‘(x0) x0 + f ‘(x0) x + …

首先为参数选一组初始值（1, 0 , …, p+q, 0）（下标零表示初始值。怎样确定初始值并不重要。）， 然后将xt = f (xt-1, …, xt-p) 按泰勒级数在（1, 0 , …, p+q, 0）点展开。

xt = f (xt-1, …, xt-p, 1, 0 , …, p+q, 0 ) +

+ + … . (11)

其中偏导数的下标写为零表示偏导数在 1 = 1, 0 , …, p+q = p+q, 0时的值。取上式右侧的前两项对原非线性函数xt 进行近似。去掉右侧第三项及以后各项得

xt - f (xt-1, …, xt-p, 1, 0 , …, p+q, 0 ) + = + ut. (12)

上式为线性回归方程形式。左侧为已知量，右侧含有一组未知量i , i = 1, …, p + q。利用OLS法对上式进行估计。设所得估计值用（1, 1 , …, p+q, 1）表示。以此作为第二组估计值，对非线性函数再一次线性化，从而得到一个新的线性方程。

xt - f (xt-1, …, xt-p, 1, 1 , …, p+q, 1 ) + = + ut. (13)

对上式再次应用OLS法估计参数，并把 (1, 2, …, p+q, 2) 作为待估参数的第三组估计值。重复上述过程，直至满足如下要求为止。

< , i = 1, …, p + q, (14)

其中i表示参数序号，j表示迭代次数。 是预先给定的精度标准。

如果最后一次的参数估计值用 (1, k , …, p+q, k ) 表示，并且 (1, k , …, p+q, k ) 接近真值 (1 , …, p+q ) ，则必有，

所以有

xt = f (xt-1, …, xt-p, 1, k , …, p+q, k ) +

(1, k , …, p+q, k ) 是对 (1, …, p+q ) 的最终估计。这种迭代计算一般都是通过计算机完成。

评价线性模型的一些统计量例F, t等都不能直接用于评价非线性模型。原因是尽管ut是正态分布的且均值为零，但残差

= xt - = xt - f (xt-1, …, xt-p, 1, k , …, p+q, k ) (15)

不服从正态分布，则 不服从 2 分布，参数估计量不服从正态分布。所以不能使用

F和t检验。然而对迭代中的最后一步可以进行F, t检验。 如果估计量= i, k , （i = 1, …, p + q），接近真值i，那么F, t检验将会对非线性模型有很满意的解释作用。

结论：在三种估计方法中，其中矩估计的计算量最小，但精度较差，只适宜作粗估计；最小二乘估计与极大似然估计精度较好，但计算量都较大，前者利用非线性回归迭代求解，后者的计算更复杂。因此在实践中使用最多的是最小二乘估计。

§6 诊断与检验

完成模型的识别与参数估计后，应对估计结果进行诊断与检验，以求发现所选用的模型是否合适。若不合适，应该知道下一步作何种修改。

这一阶段主要检验拟合的模型是否合适。一是检验模型参数的估计值是否具有显著性；二是检验残差序列的随机性。参数估计值的显著性检验是通过t检验完成的，而模型拟合的优劣以及残差序列随机性的判别可按下列方法进行：

1、 散点图法（SCATTER PLOT）

作对和对的散点图，进行独立性分析；

2、 相关系数法（CORRELATION）

估计相关系数法：计算和对的相关函数及的自相关函数；

3、 F检验法（F-TEST）

F检验法：把的独立性检验问题转化成模型拟合是否充分的问题，从而可以利用前面所介绍的F-统计量进行有关的检验问题；

4、 卡方检验法（F-TEST）

是用Box-Pierce (1970) 提出的Q统计量进行检验完成的。

将的自相关函数记为，自协方差函数记为，则

（1）

（2）

可以证明，当N很大时， 并且这k个量近似为相互独立的正态分布，于是检验序列的独立性问题转化为检验

（3）

式中，，

假设，则在原假设成立的条件下，有

（4）

若拟合的模型合适，统计量

Q = N （5）

近似服从 2( K - p - q) 分布，其中N表示样本容量，rk 表示用残差序列计算的自相关系数值，K表示自相关系数的个数，p 表示模型自回归部分的最大滞后值，q表示移动平均部分的最大滞后值。

这时的零假设（H0）是“残差序列是白噪声过程”。用残差序列计算Q统计量的值。显然若拟合的模型不合适，残差序列中必含有其他成份，Q 值将很大，反之Q值将很小。判别规则是：

若Q < 2 ( K - p - q) ，则接受H0。

若Q > 2 ( K - p - q) ，则拒绝H0。

其中 表示检验水平。

残差序列的独立正态性还可以用下列原则来检验：

按照原则应该有

即检验这个的绝对值是否有95.5%个小于2，若有，则独立；否则，可判定不独立。

5、 实例

【例4-3】某市1985-1994年各月工业生产总值。以1985-1993年数据建模，1994年数据留作检验模型的预测效果。

第一步：零均值化与平稳化

第二步：模型识别

大致可以将模型识别为AR类。

第三步：模型定阶

AR（1）或AR（2）

第四步：参数估计

第五步：诊断检验

【例4-4】某车站1993-1997年各的列车运行数量共60个数据，试建立其时间序列模型。

第一步：零均值化与平稳化

水平序列显然是不平稳的，对水平序列作一阶差分，得到差分序列是平稳的，并且也是零均值的。

，

第二步：模型识别

SPACF呈现出拖尾性，SACF呈现出截尾性，大致可以将模型识别为MA类。

第三步：模型定阶

可以验证SACF呈现出3阶截尾性，因而可以初步识别为MA(3)。

第四步：参数估计

第五步：诊断检验

【本章思考题】1．对于零均值化的处理方式；

2．如何进行模型的识别与定阶，最佳准则函数的构造考虑了哪两点；

3．模型的适应性检验包括哪些内容；

4．时间序列模型建立的过程；

【作 业】P125：3、5

平稳时间序列预测

本章论述平稳时间序列的预测，学习的重点是条件期望预测。

1． 序言

预测就是根据现在与过去序列的样本取值，对未来某一时刻的随机变量进行估计。

问题的提出

可能的预测：（1）预测表达式是时间序列过去取值的线性组合；（2）具有最小的预测方差。

1． 问题的求解

对于作一平稳的时间序列模型，我们都可以将它转化成移动平均过程：

由于是相互正交的，因而形成平面M的一组正交基。预测函数

（2）式意味着可由线性表出，因此可由正交基线性表出：

因而，求解的问题就转化为求解。而是在平面M上的正投影相对于平面M的一组正交基的坐标，比较容易求解。解之得：

注：由于该预测使得与的均方误差最小，因而将其称为最小均方误差预测。

综上所述，的最小均方误差预测

预测误差

预测误差为：

方差为：

由（7）式可以看出步线性最小方差预测误差的方差和预测步长有关，而与预测的时间起点t无关，这一点也体现了预测的平稳性质。同时预测的步长越长，预测误差的方差也越大，即预测的准确性越差。

表 各种预测方法及其特点

2． 实际中预测值的计算

前面从理论得到时间序列的步最小方差预测包含无穷项求和，而实际中我们只可能有有限的数据，因此，只能用充分多项的有穷和近似，即

因为格林函数是指数衰减的，T的取值只要使小于允许的值即可。

（8）中的格林函数可递推计算；随机扰动项也可递推计算。

第二节 条件期望预测

条件期望预测的实质：它是根据差分方程形式来进行预测，该算法直接从所建立的模型出发能够求出步线性最小方差预测的值。

1． 条件期望

所谓条件期望，是指在一定条件下的期望值。例如，在已知的条件下，的期望值称为的条件期望，记为：或。它具有如下的性质：

性质1：

性质2：

性质3：

性质1表明：条件期望满足线性运算法则；性质2表明：现在或过去观察值的条件期望是其本身，未来取值的条件期望是其预测值；性质3表明：现在或过去的残差的条件期望是它的估计值，未来残差的条件期望则为零。

2． 用模型的逆转形式进行预测

任一ARMA模型可用逆转形式来表示，即将xt表示为过去观测值的线性组合再加一个随机扰动：

3． 用差分方程形式进行预测

AR（1），MA（1）的预测详见教材P130。

下面以ARMA (1, 1) 模型为例具体介绍预测方法。其他形式时间序列模型的预测方法与此类似。

设对时间序列样本{xt}, t = 1, 2, …, T，所拟合的模型是

上式中at需要通过递推计算。

······

即当 l>1时，预测值满足模型自回归部分差分方程

利用做为初始值，解此差分方程得预测值为

ARMA(m,n)模型的预测

①一步预测(l=1)

②二步预测(l=2)

③步预测

当时

当时

其中对于,。

滑动平均部分全部消失，预测值满足自回归部分的差分方程。

结论：对一般的ARMA(n,m)模型，自回归部分决定了预测函数的形式，而滑动平均部分用于确定预测函数中的系数。

ARMA(n,m)模型的预测区间

由于，所以的分布完全由所决定

按照原则，得到l步预测的68.3%和95.5%的预测区间分别为：

和

在实际计算过程中，理论上的用

预测的稳定性

格林函数与预测值满足同样的关系式，由第三章的内容可知格林函数描述了系统的记忆性，而预测所依赖的正是这种记忆性，因而预测值的变化趋势与格林函数的变化是一致的，预测的稳定性依赖于格林函数的稳定性或系统的稳定性。

4． 实例

【例4-5】利用例4-1所建立的模型进行预测，详见教材P133、P134。

解：（1）实际计算，见教材P135；

（2）软件中的预测

预测和模拟

（一）在估计的单方程基础上进行预测；

（二）合并成多方程模型进行预测（solve）；

（三）几种指数平滑预测法。

1．单个估计方程的预测有两种方法：其一，Dynamic法，利用滞后左手变量以前的预测值计算当前样本区间的预测；其二，Static法，使用的是实际值而不是预测值。

NOTE：两种方法在多步预测的第一步给出相同的结果，当方程中不含滞后被解释变量和ARMA项时，二者相同。

2．预测的标准差和置信区间。预测误差来源于：方程的新息（残差）未知；系数的不确定性。

3．预测精度与预测评价

预测研究的一个重要任务是为各具物色的不同预测对象寻找合适的预测方法，使得预测结果具有更高的可靠性和精确度。

预测精度的一般含义是指预测模型拟合的好坏程度，即由预测模型所产生的模拟值与历史实际值拟合程度的优劣。对于时间序列预测，研究者可以利用历史数据的一部分建立模型。然后预测其余的历史数据，以便更直观地研究预测精度。但对于预测用户而言，预测未来的精度是重要的，至于该预测模型过去的预测精度如何则没有什么意义。

在对话框中选择了Forecast Evaluation，并且被预测变量在预测期内有实际值，那么得到一个评价预测的统计结果。这个结果包括：均方根预测误差、平均绝对预测误差、平均相对预测误差和Theil不等系数及其分解。指标表达形式如下：

①平方和误差：；

②平均绝对误差：；

③均方根误差：；

④平均绝对百分比误差：；

⑤均方百分比误差：；

⑥Theil不等系数：

4．预测图

第三节 实时修正预测

1． 问题的提出

任何模型的建立都是依据当时的条件，即现有的信息量决定了模型的表达形式。随着时间的推移，不断地有新信息产生，原有的模型可能不能反应现实的情况，要想真实再现时间序列的变化趋势，有必要重新建立时间序列模型。然而，前面的学习发现，时间序列模型的建立过程比较复杂，有没有一种新办法能够解决无须重新建立模型就能够准确地刻划新形式下时间序列的变化趋势。回答是肯定的，实时修正预测就是在原先预测结果的基础之上，加进一些新的信息，就能得到与重新建立模型进行预测等价的效果。

2． 具体做法

对于一个ARMA过程，由

（5）

得：

（6）

（7）

（6）式反应了在时刻，对未来进行步预测，为在新息产生条件下的预测结果；（7）式反应了在时刻，对未来进行步预测，为没有考虑新息时的预测结果；同时由（6）式和（7）式，我们还可以得到如下结论：

（8）

式中，为一步预测误差。（8）式表明：新的预测值是在旧的预测值基础上加一个修正项，而这一修正项比例于旧的一步预测误差，比例系数随预测超前步数而变化。

3． 实例

【例4-6】对例4-5，假如我们已知道观测值，试计算和。

解：可列表计算

表 实时修正预测计算过程

第四节 指数平滑预测——ARMA模型特例

1．问题的提出

由前面的讨论，我们已经知道，预测值实际上是过去的观察值及部分预测值的一种平滑，特别是超前一步预测值是，的一种平滑，那么指标平滑预测与ARMA模型预测之间到底存在着什么样的联系。

2．指数平滑预测

设有时间序列，对其未来发展变化趋势作预测。

①最朴素的动态思想认为现象的未来行为和现在的行为有关，因而用现在值作为下一期的预测；

②序列的预测值用平均值来代替；

③在取所有资料的平均数不尽合理时，利用了“移动平均数”；

④作同等的权重不合适，指数平滑法

作为权数，，

（9）

由于（9）中不再是加权平均数，因而用作为权数，这时有预测公式为：

（10）

（10）为著名的指数加权移动平均数（EWMA），它有两个极为重要的公式：

（11）

（12）

（11）式表明下期的预测值是本期实际与本期预测的加权平均数；（12）式使用的倍数的预测误差对模型加以修正。

3．指数平滑与ARMA模型的关系

结论：指数平滑预测与ARMA（1，1）模型在时的特殊情况下的预测等价。

【本章思考题】1．最小均方误预测的基本原理是什么？

2．条件期望的性质是什么？

3．如何进行条件期望预测？

4．指数平滑预测和ARMA模型的关系。

【作 业】P142：3、5

§8 应用案例

【例4-7】ARMA模型及其应用，资料来源于徐静：ARMA模型及其应用，《立信会计高等专科学校学报》，2001年第3期。

时间序列模型归纳总结复习