下图为原始序列、趋势、拟合（包括趋势与季节项）：

下图为去掉了趋势后的序列、季节项、取掉了趋势与季节项后的随机项：

1.1.1.3 用时间的线性回归作为趋势项估计, 季度平均作为季节项

可以设趋势为\(T_t = a + bt\)， 用一元线性回归程序估计趋势并预测。 下图绘制了原始数据、估计的趋势、拟合值（包括趋势与季节项）：

下图为去掉了趋势后的序列、季节项、取掉了趋势与季节项后的随机项：

1.1.1.4 二次曲线趋势

可以用\(T_t = a + b t + c t^2\)作为趋势模型， 用多元线性回归程序估计模型并预测。

下图绘制了原始数据、估计的趋势、拟合值（包括趋势与季节项）：

下图为去掉了趋势后的序列、季节项、取掉了趋势与季节项后的随机项：

1.1.1.5 用线性回归同时估计趋势与季节项

可以设趋势加季节项为 \(T_t + S_t = bt + c_1 I_1 + c_2 I_2 + c_3 I_3 + c_4 I_4\)， 其中\(I_1, I_2, I_3, I_4\)是各个季度的示性函数。 用线性回归程序估计趋势和季节项并预测。 下图绘制了原始数据、估计的趋势、拟合值（包括趋势与季节项）：

1.1.1.6 加权移动平均趋势

均线法是常用的估计趋势的方法。 这里用非等权的5点滑动平均方法估计趋势， 权重为\(1/8, 1/4, 1/4, 1/4, 1/8\)。

下图绘制了原始数据、估计的趋势、拟合值（包括趋势与季节项）：

下图为去掉了趋势后的序列、季节项、取掉了趋势与季节项后的随机项：

又比如，考虑著名的美国泛美航空公司1949-1960 的国际航班订票数的月度数据（单位：千人），12年144个月的数据。

1.1.3 stl()函数

滑动平均是平滑(smoothing)的一种， 中心对称的滑动平均会丢失序列开始和结束部分的若干点。 R的stats包提供了函数stl()， 该函数基于loess局部加权回归估计季节项， 可以减少异常点的影响， 属于稳健回归。 用同月份（季度）的数值估计平滑的季节变动， 减去季节项后再用平滑方法估计趋势。 参见[R.B.Cleveland1990]。

滑动平均和loess局部加权回归都不能表示成公式模型。 平滑的另一说法是“滤波”。

1.1.4 StructTS()函数

R的stats包的StructTS()函数用状态空间模型表示时间序列分解， 用最大似然方法估计各个成分。 结果列表中的fitted有三列level, slope, sea。

序列(实线)与拟合值(绿色虚线)：

随机过程的概念: 指标集\(\mathcal{T}\)。 \(\{X_t: t \in \mathcal{T} \}\)称为随机过程。

时间序列: \(\mathcal{T}\)为全体整数或正整数时，随机过程称为随机序列； 把整数下标看成时间则称随机序列为时间序列。

连续时随机过程、连续时时间序列: \(\mathcal{T}\)为全体实数或全体非负实数时称随机过程为连续时随机过程。 下标看成时间时称为连续时的时间序列。

离散采样: 连续时的时间序列记录下来就变成了离散时间。

平稳性: 去除趋势项和季节项后的随机部分经常具有平稳性。

序列分解中趋势和季节部分可以用非随机函数描述，但也可以用随机模型。 随机项通常是平稳的。 表现：水平没有明显变化；方差没有明显变化；相关性结构不随时间变化。

独立序列不能预报；平稳序列可以用历史值预报。

1.2.1 平稳序列及其自协方差函数

定义1.1 (平稳序列) 如果时间序列 \(\{X_t\} =\{X_t: t\in \mathbb N \}\) 满足

自协方差函数性质:

(1) 对称性: \(\gamma_k = \gamma_{-k}, \forall k \in \mathbb Z\).

(2) 非负定性: \Gamma_n = (\gamma_{k-j})_{k,j=1}^n = \left( \begin{array}{llll} \gamma_{0}\ &\gamma_1 \ &\cdots&\gamma_{n-1}\\ \gamma_{1}\ &\gamma_{0} \ &\cdots&\gamma_{n-2}\\ ..& ..& \cdots &.. \\ \gamma_{n-1}\ &\gamma_{n-2} \ &\cdots&\gamma_{0}\\ \end{array} \right) \text{非负定}(\forall n \in \mathbb N_+) (3) 有界性： \(|\gamma_k| \leq \gamma_0\), \(\forall k \in \mathbb Z\)。

任何满足上述三个性质的实数列都被称为非负定序列. 所以平稳序列的自协方差函数是非负定序列. 可以证明, 每个非负定序列都可以是一个平稳序列的自协方差函数.

\(\Gamma_n\)的元素通项： \[\begin{aligned} \Gamma_n = \left( \gamma_{|i-j|} \right)_{\substack{i=1,2,\dots,n}{j=1,2,\dots,n}} \end{aligned}\] \[\begin{aligned} \boldsymbol X = \left( \begin{array}{c} X_1 \\ X_2 \\ \vdots \\ X_n \end{array} \right) \end{aligned}\] 则\(\Gamma_n = \text{Var}(\boldsymbol X)\)。

关于随机向量\({\boldsymbol X}\)与矩阵\(A\), \(B\)，有 \[\begin{aligned} E(A + B {\boldsymbol X}) =& A + B E(\boldsymbol X ) \\ \text{Var}(A + B {\boldsymbol X}) =& B \text{Var}(\boldsymbol X) B^T \end{aligned}\] 且\(\boldsymbol X\)的协方差阵\(\text{Var}(\boldsymbol X)\)总是非负定的。

非负定性及随机变量的线性相关:

因为\(\Gamma_n\)是协方差阵，所以非负定。 设\(\boldsymbol\alpha = (a_1, \ldots, a_n)^T\), 则 \[\begin{aligned} \boldsymbol\alpha^T \Gamma_n \boldsymbol\alpha =& \text{Var}(\boldsymbol\alpha^T \boldsymbol X \boldsymbol\alpha) \\ =& \text{Var}\left( \sum_{i=1}^n a_i X_i \right) \geq 0 \end{aligned}\]

\(\Gamma_n\)退化(不满秩)当且仅当存在\(\boldsymbol\alpha \neq 0\)使得 \text{Var}\left( \sum_{i=1}^n a_i X_i \right) = 0 这时称随机变量\(X_1, \ldots, X_n\)是线性相关的。 即\(X_1, \ldots, X_n\)的非零线性组合是退化随机变量。 如果\(X_1, \ldots, X_n\)线性相关， 则\(m \geq n\)时\(X_1, \ldots, X_m\) 线性相关。

Schwarz不等式:

例1.1 (平稳序列的线性变换) 设\(\{X_t\}\)为平稳序列，期望\(\mu\)，自协方差函数\(\gamma(t)\)。

令\(Y_t = a + bX_t, t \in \mathbb Z\)。 则\(E Y_t = a + b \mu\), \(\text{Cov}(Y_s, Y_{s+t}) = b^2 \text{Cov}(X_t, X_{t+s}) = b^2 \gamma(t)\). 可见\(\{Y_t\}\)平稳。

定义1.2 (自相关系数) 设平稳序列\(\{X_t\}\)的标准化序列是\(\{Y_t\}\). \(\{Y_t\}\)的自协方差函数 \rho_k = \gamma_k/\gamma_0, \ \ k\in \mathbb Z, 称为平稳序列\(\{X_t\}\)的自相关系数(ACF, auto-correlation function)， 或自相关函数.

例1.2 (调和平稳序列) 设 \(a, b\)是常数,随机变量\(U\) 在 \((-\pi,\pi)\)内均匀分布, 则 X_t=b\cos(at+U), \ \ t\in \mathbb Z 是平稳序列，称为调和平稳列.

\[\begin{aligned} E X_t &= \frac{1}{2\pi}\int_{-\pi}^{\pi }b \cos(at+u) \ du =0, \\ E(X_t X_s) &= \frac{1}{2\pi}\int_{-\pi}^{\pi }b^2 \cos(at+u) \cos(as+u) \ du \\ &= \frac12 b^2\cos((t-s)a), \end{aligned}\] 这个平稳序列的观测样本和自协方差函数 \(\gamma_k=0.5b^2 \cos(ak)\) 都是以 \(a\)为角频率, 以 \(2\pi/a\)为周期的函数.

这个例子告诉我们,平稳序列也可以有很强的周期性. \(\{X_t\}\)的一次实现是一个周期函数，不表现出随机性。

○○○○○○

1.2.2 白噪声

定义1.3 (白噪声) 设\(\{\varepsilon_t\}\) 是一个平稳序列. 如果对任何 \(s,t\in \mathbb N\)， \[\begin{aligned} E \varepsilon_t =& \mu, \\ \text{Cov}(\varepsilon_t, \varepsilon_s) =& \sigma^2 \delta_{t-s} = \begin{cases} \sigma^2, \ &t=s, \\ 0, & t\neq s, \end{cases} \end{aligned}\] 则称 \(\{\varepsilon_t\}\)是一个白噪声, 记做 \(\text{WN}(\mu,\sigma^2)\).

设 \(\{\varepsilon_t\}\)是白噪声, 当 \(\{\varepsilon_t\}\) 是独立序列时, 称 \(\{\varepsilon_t\}\) 是独立白噪声。

当 \(\mu=0\) 时, 称 \(\{\varepsilon_t\}\) 为零均值白噪声。 白噪声的另一种定义要求零均值， 本书中用到的白噪声一般都是零均值的。

当 \(\mu=0, \sigma^2=1\) 时, 称 \(\{\varepsilon_t\}\) 为标准白噪声。

当 \(\varepsilon_t\)服从正态分布时, 称\(\{\varepsilon_t\}\)是正态白噪声或高斯白噪声。 正态白噪声总是独立白噪声。

利用Kronecker函数\(\delta_t\), 白噪声满足条件 \(\text{Cov}(\varepsilon_t, \varepsilon_s) = \sigma^2 \delta_{t-s}\).

例1.3 (Poisson白噪声) 这是服从Poisson独立白噪声的例子。

如果连续时的随机过程\(\{N(t): t\in [0,\infty)\}\)满足 (1) \(N(0)=0\), 且对任何\(s \geq 0, t>0\) 和非负整数\(k\), P(N(t+s)-N(s)=k)=\frac{(\lambda t)^k}{k!}\exp[-\lambda t], (\lambda > 0,) (2) \(\{N(t)\}\) 有独立增量性: 对任何 \(n> 1\) 和 \(0 \leq t_0<t_1<\cdots<t_n\), 随机变量 \(N(t_j)-N(t_{j-1}), \ \ j=1,2,\cdots,n\) 相互独立,

则称 \(\{N(t)\}\) 是一个强度\(\lambda\)的Poisson 过程. \(E N(t) = \lambda t\), \(\text{Var}(N(t)) = \lambda t\).

模拟的Poisson白噪声：

○○○○○○

例1.4 (布朗运动) 这是一种典型的随机过程。

如果连续时的随机过程\(\{B(t): t\in [0,\infty)\}\)满足

则称\(\{B(t)\}\)是一个标准布朗运动.

模拟的标准正态白噪声：

○○○○○○

例1.5 (随机相位) 设\(U_1,U_2,\cdots\) iid U(\(0, 2\pi\)). X_t=b\cos(at+U_t), \ \ t\in \mathbb Z, 其中\(a, b\)为常数。 则\(X_t\) 为独立序列； \(E X_t = 0\), \(\text{Var}( X_t) = 0.5 b^2\)， 即\(X_t\)是独立白噪声。

模拟的随机相位白噪声：

○○○○○○

1.2.3 正交平稳序列

随机变量\(X,Y\)不相关：\(\text{Cov}(X,Y) = 0\)； 正交：\(E (X Y) = 0\).

对零均值随机变量正交与不相关等价。 对平稳列\(\{X_t\}\)和\(\{Y_t\}\)，

定理1.1 对平稳列\(\{X_t\}\), \(\{Y_t\}\), 设自协方差函数分别为\(\gamma_X(t)\), \(\gamma_Y(t)\), 期望分别为\(\mu_X\), \(\mu_Y\)。 Z_t = X_t + Y_t, t \in \mathbb Z

定理1.2 设\(\{ \gamma_k, k \in \mathbb Z\}\)是非负定列， 必存在平稳列\(\{ X_t \}\)使得\(\{ X_t \}\)的自协方差函数为\(\{ \gamma_k \}\)。