---
# System prepended metadata

title: 時間序列week3

---

# 時間序列week3

## Stationarity - Intuition and Definition
### Stochastic process
隨機過程是把很多的隨機變數聚集並加上時間維度，隨機過程是隨機變數的集合(家族)，一般通常可分為離散、連續時間的隨機過程。
註：隨機變數既不隨機也不是變數，它的本質是一個函數。

#### 離散時間隨機過程
一個離散時間隨機過程是隨機變數{Xt}的集合，其中n的範圍落在給定的整數集合隨機過程的實現中(t為離散的時間指標)。

#### 連續時間隨機過程
一個連續時間隨機過程是隨機變數{X(t)}的集合，其中t的範圍落在給定的區間之中(t為連續的時間指標)。

---
![](https://i.imgur.com/6Ccsshp.png)
由SRS得到的資料其實並不具有時序軌跡(左圖)，但若是以random walk的概念創造下一步的資料(考量上一步、加入隨機數)能夠產出多組不一樣的時間序列資料。

每一個時點的平均值、變異數會有差異
![](https://i.imgur.com/7umNIKq.png)

但SRS的就會都相同
![](https://i.imgur.com/YYeNuQa.png)

### Strict Stationary
1. 隨機過程 Xt 若下列條件成立：
給定任意 n 個時間集合 {t1,...,tn} 與時間平移量 Δt ，其對應的 Xt1+Δt,...,Xtn+Δt 之聯合機率分布(joint probabilities)與其時間平移量Δt無關。亦即
    > 對任意 n 維集合 B，
    > P((Xt1+Δt,...,Xtn+Δt)∈B)
    > 與 Δt 無關。
2. 或是一隨機過程Xt，若其對任意正有限整數n，都為n-th order strict stationary，稱此隨機過程為 strict stationary。

註：stationary概念上表示對抗時間平移的能力。

### Weak Stationarity
隨機過程 Xt 若下列條件成立：
1. 其 mean function,  E[Xt]  與時間  t  無關 (i.e.,  E[Xt]  為 constant)
2. 其 auto-correlation function,  E[(Xt1)(Xt2)]  只與  t1−t2  有關。亦即E[(Xt1)(Xt2)]=RX(t1−t2)中  RX(⋅)表Xt的autocorrelation function
註：Weak Stationarity 只對E[Xt]與E[(Xt1)(Xt2)]有要求(不需要要求對任意函數"g(x)")

![](https://i.imgur.com/YjKRNEB.png)
![](https://i.imgur.com/cHNe5Dk.png)

## Stationarity: Properties and Examples
### White Noise
* **Stationarity**
![](https://i.imgur.com/IpVFmMw.png)

### Random Walks
* **Not Stationarity**
![](https://i.imgur.com/R62uIeD.png)

### Moving Average Processes, 𝑀𝐴(𝑞)
* **Stationarity**
the lag spacing k, the support of MA process q
![](https://i.imgur.com/QZqpeyS.png)
![](https://i.imgur.com/NPnb5LB.png)


## Series and series representation

## 單元重點：
- infinite series
- convergence
- geometric series

## Sequence and series：

* ![](https://i.imgur.com/u20Ydwt.png)

- 收斂條件：
![](https://i.imgur.com/4V6m7Ik.png)

------
## Partial sums:
![](https://i.imgur.com/Fv9h9so.png)

- 收斂條件：
![](https://i.imgur.com/29sU3Mb.png)

- 絕對收斂：
![](https://i.imgur.com/0A3VwBh.png)

------
## Geometric series
- Geometric sequence
![](https://i.imgur.com/ByUS3xe.png)

- Geometric series
![](https://i.imgur.com/nszlNkx.png)

- 若 a = 1, r = x
![](https://i.imgur.com/MpMH5Mc.png)

------
## Backward shift operator
### 單元重點：
- Backward shift operator 定義
- 運用 backward shift operator 於 MA(q) 及 AR(p)


## Definition
![](https://i.imgur.com/skqqWrJ.png)

------
## MA(q) process (with a drift)
![](https://i.imgur.com/oFNTLC6.png)
![](https://i.imgur.com/Hx1v8ef.png)
![](https://i.imgur.com/XNxIE0Q.png)

------
## AR( p) process
![](https://i.imgur.com/aHqSn75.png)
![](https://i.imgur.com/juduDQn.png)
![](https://i.imgur.com/rHcxQBs.png)

## Intrtroduction to Invertibility
### 單元重點：
- 了解 invertibility of a stochastic process 的定義


## ACF are same
1. Model 1
![](https://i.imgur.com/ItOogHe.png)

- Theoretical Auto Covariance Function of Model 1
![](https://i.imgur.com/m3zu5Gj.png)

- Auto Covariance Function and ACF of Model1
![](https://i.imgur.com/sbQMtLb.png)

## ACF
![](https://i.imgur.com/Gs3qXrT.png)

## Model 2
![](https://i.imgur.com/l0ajwbV.png)
![](https://i.imgur.com/BfREjlq.png)

## Inverting using Backward shift operator
![](https://i.imgur.com/g4LiLBX.png)
![](https://i.imgur.com/IG9axx6.png)
![](https://i.imgur.com/71gTfZx.png)

## Invertibility - Definition
![](https://i.imgur.com/QSsgVZg.png)

# Invertibility condition for MA(q)
![](https://i.imgur.com/h0qTZI1.png)

# Stationarity condition for AR(p)
![](https://i.imgur.com/eOekKET.png)


# Invertibility and stationarity conditions
![](https://i.imgur.com/Ow8jDLI.png)

# Mean-square convergence
* we say Xn converge to a random variable X in the mean-square sense
![](https://i.imgur.com/NJVFDdh.png)




























