# Queueing Theory - 2.2 The Poisson Process

contributed by <[`kaeteyaruyo`](https://github.com/kaeteyaruyo)>

###### tags: `Queueing Theory`

* [**泊松過程 (Poisson Process)**](https://zh.wikipedia.org/wiki/%E6%B3%8A%E6%9D%BE%E8%BF%87%E7%A8%8B) 是一種很常用來模擬 (modeling) 排隊系統的抵達狀況的隨機過程。直觀上這個系統可以被想成是在描述「有一群事件會在時間上**隨機抵達**（而他的抵達狀況如何）」
* 一個**隨機過程 (stochastic process)** $\{N(t), t \geq 0\}$ 指的是一群隨機變數的集合，這些變數可以透過時間來索引
* 這邊的時間指的是連續時間，但隨機過程也可以用離散時間來定義
* 如果有一個隨機過程的 $N(t)$，他的值都是非負整數，而且只會隨著時間越來越大 (nondecreasing)， 那我們稱這樣的隨機過程叫作**計數過程 (counting process)**
* 計數過程基本上可以用來代表「到時間點 $t$ 為止累加起來總共發生了多少次事件」

:::info
**Definition 2.3** A Poisson process with rate $\lambda > 0$ is a counting process $N(t)$ with the following properties:
1. $N(0) = 0$.
2. $Pr\{\text{1 event between } t \text{ and } t + \Delta t \} = \lambda\Delta t + o(\Delta t)$.
3. $Pr\{\text{2 or more events between } t \text{ and } t + \Delta t\} = o(\Delta t)$.
4. The numbers of events in nonoverlapping intervals are statistically independent; that is, the process has independent increments.
:::

* 上方描述中提到的 $o(\Delta t)$ 是一個特別的函數，可以用以下兩種形式來描述
* $\lim\limits_{\Delta t \to 0}\frac{o(\Delta t)}{\Delta t} = 0$：$o(\Delta t)$ 不太容易隨著時間變化而改變（對時間變化的敏感度低）
* $o(\Delta t) + o(\Delta t) = o(\Delta t)$：因為隨時間變化的變化程度太小了，所以不管累加幾次，值都不會有變化
* 於是上面這些定義的白話文就是
1. 時間點是 0 的時候，沒有半個事件發生
2. 在 $\Delta t$ 時間內恰好只發生一個事件的機率，跟 $\Delta t$ 和抵達率 $\lambda$ 非常相關。在 $\Delta t$ 取值非常短的情況下，該機率幾乎正比於 $\Delta t$ 的長度
3. 在 $\Delta t$ 取值非常短的情況下，要一次發生兩個以上的事件這樣的機率是非常低的（也就是說，幾乎不可能會同時發生兩個事件）
4. 只要觀測的時間區間沒有重疊，那麼在各自區間內會發生幾個事件，其機率是互相獨立的（而這樣的性質叫作 independent increments）
* 有了 Definition 2.3 我們也只是知道泊松過程有什麼特性而已，但這並沒有直接量化這個隨機過程的 $N(t)$ 的機率分佈（我們還是不知道這些隨機變數的數值要怎麼算）。為了算 $N(t)$ 的機率分佈，我們要先定義泊松隨機變數

:::info
**Definition 2.4** A Poisson random variable is a discrete random variable with probability mass function $$P_n = e^{-A}\frac{A^n}{n!} \quad (n = 0,1,2,...),$$ where $A > 0$ is a constant.
:::
* $E[X] = A$
* $Var[X] = A$
* $n$ 是指事件發生的次數

:::success
**Theorem 2.6** Let $N(t)$ be a Poisson process with rate $\lambda > 0$. The number of events occurring by time $t$ is a Poisson random variable with mean $\lambda t$. That is, $$p_n(t) = \frac{(\lambda t)^n}{n!}e^{-\lambda t} \quad (n = 0,1,2,...),$$ where $p_n(t) \equiv Pr\{ N(t) = n \}$.
:::

* 白話文：在一個抵達率是 $\lambda$ 的泊松過程中，在時間點 $t$ 以前發生的事件數剛好會是平均值為 $\lambda t$ 的泊松隨機變數。 $p_n(t)$ 就是時間點 $t$ 以前發生 $n$ 個事件的機率值
* 證明
* 一開始我們並不知道 $p_n(t)$ 長怎樣，我們希望透過泊松過程的這些性質去拼湊出 $p_n(t)$ 的長相，然後期待他最後會長得像泊松隨機變數
* 首先利用到第 4 點，我們知道一個泊松過程當中，不重疊的時間區間內發生幾個事件的機率是互相獨立的。如果說在時間區間 $t + \Delta t$ 之內總共發生了 $n$ 次事件，那麼把該時間區段拆分成 $[0, t)$ 到 $[t, \Delta t)$ 這兩段，這 $n$ 個事件分別落在前後兩段的個數有可能是 (n, 0), (n - 1, 1), (n - 2, 2), ... (0, n) 個。因此，我們可以寫出下式
$$
\begin{equation}
\begin{split}
p_n(t + \Delta t) &= Pr\{n \text{ arrivals in } t, 0 \text{ arrivals in } \Delta t\} + \\
& Pr\{(n-1) \text{ arrivals in } t, 1 \text{ arrivals in } \Delta t\} + ... + \\
& Pr\{0 \text{ arrivals in } t, n \text{ arrivals in } \Delta t\}
\end{split}
\end{equation}
$$
* 由於前後兩段發生數個事件的機率互相獨立，所以可以直接把這兩個機率相乘，就是兩件事情同時發生的機率
$$
\begin{equation}
\begin{split}
p_n(t + \Delta t) &= p_n(t) \cdot [1 - (\lambda\Delta t + o(\Delta t)) - o(\Delta t)] + \\
& p_{n-1}(t) \cdot [\lambda\Delta t + o(\Delta t)] + ... + \\
& p_0(t) \cdot o(\Delta t)
\end{split}
\end{equation}
$$
* 上面這條式子可以根據 $n$ 值分成兩種情況：如果 $n = 0$，那就只會有第一項，後面都不見了；如果 $n \geq 1$，才會有後面的項次出現。因此，可以把這條式子寫成下面這樣（式子中如果有 $o(\Delta t)$ 連加，我們都把他縮成只有一個）
$$
p_n(t + \Delta t) =
\begin{cases}
p_n(t) \cdot [1 - \lambda\Delta t - o(\Delta t)] + p_{n-1}(t) \cdot [\lambda\Delta t + o(\Delta t)] + \{...\}o(\Delta t), \quad n \geq 1 \\
p_n(t) \cdot [1 - \lambda\Delta t - o(\Delta t)], \quad n = 0
\end{cases}
$$
* 接著計算這個數值對時間的一次微分（因為我們等一下透過微分方程來求 $p_n(t)$）。根據定義，一次微分就是函數值在微小時間內的變化量對時間變化量的比值，所以我們要先將上式減去 $p_n(t)$，然後再除以 $\Delta t$ 取極限
$$
\begin{cases}
p_n(t + \Delta t) - p_n(t) = -\lambda\Delta tp_n(t) + \lambda\Delta tp_{n-1}(t) + \{...\}o(\Delta t), \quad n \geq 1 \\
p_0(t + \Delta t) - p_0(t) = -\lambda\Delta tp_0(t) - p_0(t)o(\Delta t), \quad n = 0
\end{cases}
$$
$$
\begin{cases}
\lim\limits_{\Delta t \to 0}\frac{p_n(t + \Delta t) - p_n(t)}{\Delta t} = -\lambda p_n(t) + \lambda p_{n-1}(t) + \{...\}\lim\limits_{\Delta t \to 0}\frac{o(\Delta t)}{\Delta t}, \quad n \geq 1 \\
\lim\limits_{\Delta t \to 0}\frac{P_0(t + \Delta t) - p_0(t)}{\Delta t} = -\lambda p_0(t) - p_0(t)\lim\limits_{\Delta t \to 0}\frac{o(\Delta t)}{\Delta t}, \quad n = 0
\end{cases}
$$
* 上式中 $\lim\limits_{\Delta t \to 0}\frac{o(\Delta t)}{\Delta t}$ 趨近於 0，而且前面乘上的東西都不會發散（都是機率值，必定小於等於 1），因此最後一項可以直接消失。因此可以列出下列微分方程
$$
\begin{cases}
\frac{dp_n(t)}{dt} = -\lambda p_n(t) + \lambda p_{n-1}(t), \quad n \geq 1 \\
\frac{dp_0(t)}{dt} = -\lambda p_0(t), \quad n = 0
\end{cases} \\
\text{Boundary conditions}
\begin{cases}
p_n(0) = 0, \quad n \neq 0 \\
p_0(0) = 1
\end{cases}
$$
* 這個微分方程符合[一階線性常微分方程式](https://zh.wikipedia.org/wiki/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B) $\frac{dy(x)}{dx} + p(x)y(x) = r(x)$ 的格式，可以代入他的公式解 $y(x) = ce^{-h}+e^{-h}\int e^hr(x)dx,\text{ where } h = \int p(x)dx$ 來求解
* $p_0(t) = ce^{-\lambda t} + e^{-\lambda t}\int e^{\lambda t} \cdot 0 dt = c' e^{-\lambda t} \overset{\text{Boundary condition}} \Longrightarrow c' = 1, \; \therefore p_0(t) = e^{-\lambda t}$

* $p_1(t) = ce^{-\lambda t} + e^{-\lambda t}\int e^{\lambda t} \cdot \lambda p_0(t) dt = ce^{-\lambda t} + e^{-\lambda t}\int e^{\lambda t} \cdot \lambda e^{-\lambda t} dt \\ = ce^{-\lambda t} + \lambda te^{-\lambda t} = (c + \lambda t) e^{-\lambda t} \\ \overset{\text{Boundary condition}} \Longrightarrow c = 0, \; \therefore p_1(t) = \lambda te^{-\lambda t}$

* [（經過數學歸納法的一番證明）](https://hackmd.io/KzHnNESwRKW-Hn5wg3X_ng?view#Problem-22)

* $p_n(t) = \frac{(\lambda t)^n}{n!}e^{-\lambda t}$

:::success
**Theorem 2.7** A Poisson process has **staionary increments**. That is, for $t > s$, $N(t) - N(s)$ is identically distributed as $N(t + h) - N(s + h)$, for any $h > 0$.
:::

* 數學描述：$Pr\{N(t) - N(s) \leq x\} = Pr\{N(t + h) - N(s + h) \leq x\}$
* 白話文：一樣長的時間內，發生事件次數的分佈狀況都會是一樣的
* （證不出來氣死 ˋˊ）
* Theorem 2.6 量化了泊松過程中發生事件次數的機率分佈，也就是說，在任意一段長度是 $t$ 的時間區間中，事件發生的次數都會是一個參數為 $\lambda t$ 的泊松隨機變數。而 Theorem 2.7 則是量化了任意兩個連續發生的事件之間的時間長度的機率分佈（也就是 interarrival time 的機率分佈），也就是說，interarrival time 的機率分佈會是參數為 $\lambda$ 指數分佈。這兩個 Theorem 非常重要，因為他們串起了泊松過程和指數分佈之間的關聯

:::success
**Theorem 2.8** Let $N(t)$ be a Poisson process with rate $\lambda$. Then the times between successive events are independent and exponentially distributed with rate $\lambda$ (i.e., with mean $\frac{1}{\lambda}$).
:::

* 白話文：已知有一個參數為 $\lambda$ 的泊松過程，則該過程中任意的連續兩個事件的 interarrival time 的分佈一定都是參數為 $\lambda$ 的指數分佈
* 證明
* 令 $T$ 為一個隨機變數，代表 interarrival time
* 令 $a(T)$ 和 $A(T)$ 為 $T$ 的 PDF 和 CDF
* $Pr\{T \geq t\} = Pr\{\text{no arrivals in time t}\} = p_0(t) = e^{-\lambda t}$
* $A(t) = 1 - Pr\{T \geq t\} = 1 - e^{-\lambda t}$
* 假設你記得指數分佈的 CDF 就長上面這樣，證明就算完成了
* 假設不記得，就把 CDF 微分一次變成 PDF。要去證明某個隨機變數是符合哪個特定的機率分佈，只要能證明兩者的 PDF 都長得一樣就可以了
* $a(t) = \frac{dA(t)}{dt} = \lambda e^{-\lambda t}$，這就是指數分佈的 PDF

:::success
**Theorem 2.?** If the interarrival times are independent and have the same exponential distribution, then the arrival rate follows the Poisson distribution.
:::

* 白話文：已知一群事件的 interarrival times互相獨立並且呈現一樣的指數分佈，則這些事件的發生過程一定是泊松過程（上面那條的逆敘述）
* 證明
* 令 $P_n(t) \equiv Pr\{N(t) \leq n\}$，也就是「$t$ 時間內至多發生 $n$ 次事件」的機率
* 反過來說，第 $n + 1$ 個事件一定在 $t$ 之後才發生，也就是說，將前 $n + 1$ 個 interarrival times 加總起來，長度必須要超過 $t$
* 「前 $n + 1$ 個 interarrival times 加總」會呈現 Erlang-type (n+1) 的分佈，對 Erlang-type-(n+1) 的 PDF 做積分得到 CDF， 就是上述的機率值
* Erlang-type n 的分佈是 $$\frac{\lambda (\lambda x)^{n-1}e^{-\lambda x}}{(n-1)!}$$
* 用到了[代換積分法](https://zh.wikipedia.org/wiki/%E6%8D%A2%E5%85%83%E7%A7%AF%E5%88%86%E6%B3%95)來改變積分的下限 $$\int_{\alpha}^{\beta}f(g)(g')dx = \int_{g(\alpha)}^{g(\beta)}f(g)dg, \quad \big(g = g(x)\big)$$
* 用到了[二項式定理](https://zh.wikipedia.org/zh-tw/%E4%BA%8C%E9%A1%B9%E5%BC%8F%E5%AE%9A%E7%90%86)來展開 $(u+t)^n$ $$(u+t)^n = \sum_{i=0}^{n} \frac{n!}{(n-i)!i!}u^{n-i}t^i$$
* 用到 [$\Gamma$ 函數](https://zh.wikipedia.org/wiki/%CE%93%E5%87%BD%E6%95%B0)來化簡積分項， $\Gamma$ 函數的定義為 $$\Gamma(n) = \int_0^{\infty} x^{n-1}e^{-x}dx = (n-1)!$$
$$
\begin{equation}
\begin{split}
P_n(t) & = Pr\{\text{the sum of (n + 1) interarrival times} > t\} \\
& = \int_{t}^{\infty} \frac{\lambda(\lambda x)^ne^{-\lambda x}}{n!} \,dx = \int_{t}^{\infty} \frac{\lambda^{n+1}x^ne^{-\lambda x}}{n!} \,dx \\
& = \int_{0}^{\infty} \frac{\lambda^{n+1}(u+t)^ne^{-\lambda (u+t)}}{n!} \,du\text{, }(x = u + t, du = dx) \\
& = \int_{0}^{\infty} \frac{\lambda^{n+1}e^{-\lambda u}e^{-\lambda t}}{n!}\sum_{i=0}^{n} \frac{n!}{(n-i)!i!}u^{n-i}t^i \,du \\
& = \sum_{i=0}^{n} \frac{\lambda^{n+1}e^{-\lambda t}t^i}{(n-i)!i!} \int_{0}^{\infty} e^{-\lambda u}u^{n-i} \,du \\
& = \sum_{i=0}^{n} \frac{(\lambda t)^ie^{-\lambda t}}{(n-i)!i!} \int_{0}^{\infty} e^{-\lambda u}(\lambda u)^{n-i} \,d(\lambda u)\text{, }(d(\lambda u) = \lambda du) \\
& = \sum_{i=0}^{n} \frac{(\lambda t)^ie^{-\lambda t}}{(n-i)!i!} (n-i)! \\
& = \sum_{i=0}^{n} \frac{(\lambda t)^ie^{-\lambda t}}{i!} \\
\end{split}
\end{equation}
$$
* $P_n(t) \equiv Pr\{N(t) \leq n\} = \sum_{i=0}^{n} \frac{(\lambda t)^ie^{-\lambda t}}{i!}$
* $p_n(t) \equiv Pr\{N(t) = n\} = P_n(t) - P_{n-1}(t) = \frac{(\lambda t)^ne^{-\lambda t}}{n!}$，也就是取上面的最後一項
* 在 $t$ 時間內恰好發生 $n$ 次事件的機率分佈跟泊松分佈相同，故得證
* 這種 Poisson-exponential arrival process 有時候也會被認為是「完全隨機的 (completely random)」。或許有些人聽到這種說法會覺得這代表泊松過程是一種雜亂無序的過程，但其實這句話只是想描述這種「interarrival time 呈現指數分佈」的性質而已。之所以會這樣講，是因為泊松過程有以下性質

:::success
**Theorem 2.9** Let $N(t)$ be a Poisson process. Given that $k$ events have occurred in a time interval $[0, T]$, the times $\tau_1 < \tau_2 < ... < \tau_k$ at which the events occurred are distributed as the [order statistics](https://en.wikipedia.org/wiki/Order_statistic) of $k$ independent [uniform random variables](https://zh.wikipedia.org/wiki/%E9%80%A3%E7%BA%8C%E5%9E%8B%E5%9D%87%E5%8B%BB%E5%88%86%E5%B8%83) on $[0, T]$.
:::
* 白話文
* 在一個泊松過程中，觀察到 $[0, T]$ 的這個時間段落內，總共有 $k$ 個事件發生
* 其中 **「第 $n$ 個」「事件發生的時間點」** 是 $\tau_n$，但並**不保證「第 $n$ 個事件」「發生的時間點」一定在 $\tau_n$**
> 上圖中的 $e_n$ 代表第 $n$ 個事件，可以看到，第 $n$ 個事件不一定要發生在 $\tau_n$。 Order statistics of $k$ variables 的意思就是說，我們只在意**這 $k$ 個時間點**依大小順序排列好的時間值，不在意第幾個事件要發生在哪一個時間點。
* 把這 $k$ 個時間點用 $k$ 個隨機變數來代表，那麼這 $k$ 個隨機變數的機率分佈就會跟「 $k$ 個在 $[0,T]$ 上呈平均分佈的隨機變數的 order statistics」的機率分佈是一樣的
* （工三小...）
* 簡單來說，就是這些事件抵達的時間點在 $[0,T]$ 區間內是均勻分佈的（時間點 $t$ 發生在哪一個小小段時間內，機率都一樣）
* 證明
* 令 $f_{\tau}(\vec{t}|k)$ 為「已知在 $[0, T]$ 時間區間內有 $k$ 個事件發生，而這 $k$ 個事件『發生的時間點』分別是在 $t_1, t_2, ..., t_k$」這個條件機率的**機率密度函數**
* 其中 $\tau = [\tau_1, \tau_2, ..., \tau_k]$, $\vec{t} = [t_1, t_2, ..., t_k]$
* $f_{\tau}(\vec{t}|k)$ 乘上在各個 $t_k$ 的維度上微小的變化量之後，就會得到條件機率的**機率值**本人了（？？？？？）
* 「這 $k$ 個事件『發生的時間點』分別是在 $t_1, t_2, ..., t_k$」就相當於是「對於所有 $n \in \{1,2,...,k\}$, $\tau_n$ 介於 $[t_n, t_n + dt_n]$ 這個小小的，長度只有 $dt_n$ 的時間區段內」，也就是說，每一個 $dt$ 長的時間段內都只有一個事件發生
* 上面這件事的前提是「已知在 $[0, T]$ 時間區間內有 $k$ 個事件發生」，反過來說，在那 $k$ 個 $dt$ 長的時間區段以外的任何時間區段內都沒有半個事件發生
* 代入泊松過程中「長度為 $t$ 的時間內發生 $k$ 個事件的機率」，可以推出以下算式
$$
\begin{align}
f_{\tau}(\vec{t}|k)dt &\equiv f(t_1, t_2, ..., t_k | k\text{ arrivals in }[0, T])dt_1 \; dt_2 \; ... \; dt_k \\
& \approx Pr\{t_1 \leq \tau_1 \leq t_1 + dt_1, ..., t_k \leq \tau_k \leq t_k + dt_k | k \text{ arrivals in } [0,T]\} \\
&= \frac{Pr\{t_1 \leq \tau_1 \leq t_1 + dt_1, ..., t_k \leq \tau_k \leq t_k + dt_k, k \text{ arrivals in } [0,T]\}}{Pr\{k \text{ arrivals in } [0,T]\}} \\
&= \frac{\lambda dt_1 e^{-\lambda dt_1} \cdot \lambda dt_2 e^{-\lambda dt_2} ... \lambda dt_k e^{-\lambda dt_k} \cdot e^{-\lambda (T - dt_1 - dt_2 - ... - dt_k)}}{\frac{(\lambda T)^k}{k!}e^{-\lambda T}} \\
&= \frac{dt_1 e^{-\lambda dt_1} \cdot dt_2 e^{-\lambda dt_2} ... dt_k e^{-\lambda dt_k} \cdot e^{-\lambda (T - dt_1 - dt_2 - ... - dt_k)}}{\frac{T^k}{k!}e^{-\lambda T}} \\
&= \frac{e^{-\lambda T}}{\frac{T^k}{k!}e^{-\lambda T}} \cdot dt_1 \; dt_2 \; ... \; dt_k = \frac{k!}{T^k} dt
\end{align}
$$
* 所以我們可以得知 $$f_{\tau}(\vec{t}|k) = \frac{k!}{T^k}$$
* 另一種直觀的想法：每個 $\tau_n$ 都是平均分佈，因此落在 $[0,T]$ 內的機率值都是 $\frac{1}{T}$。總共有 $k$ 個 $\tau_n$ 而且他們互相獨立，所以 $k$ 個都掉在 $[0,T]$ 裡面的機率就是 $\frac{1}{T^k}$。但因為這 $k$ 個 $\tau_n$ 個別要對到哪個事件都可以，總共有 $k!$ 種排列可能，所以這個機率要再乘上排列可能的數目，因此就是 $\frac{k!}{T^k}$
:::warning
* 為什麼是 $dt$ 不是 $d\vec{t}$？
* 為什麼機率密度函數乘上參數的微小變化量就會是機率值？為什麼是用乘的，而不是[取積分](https://zh.wikipedia.org/wiki/%E6%A9%9F%E7%8E%87%E5%AF%86%E5%BA%A6%E5%87%BD%E6%95%B8)？
* 為什麼各個維度的微小變化量是用連乘的方式乘起來？跟全微分有關係嗎？$dt = dt_1 \; dt_2 \; ... \; dt_k$?
:::
* 最後我們想來看看如何把一個泊松過程拆分成多個子過程，又要怎麼把多個泊松過程合併成一個大的過程（如下圖所示）。在假定某些變數互相獨立的情況下，把一個泊松過程拆分成很多個子過程，會發現每個子過程也都是泊松過程；同樣的道理，把很多個泊松過程合併起來後，會發現合併出來的大過程也會是一個泊松過程
> Figure 2.1 Splitting and superposition of Poisson processes.

:::success
**Theorem 2.10** (Splitting) Let $N(t)$ be a Poisson process with rate $\lambda$. Suppose that each event is labeled a type-$i$ event with probability $p_i$ independent of all else. Let $N_i(t)$ be the number of type-$i$ events by time $t$. Then $N_i(t)$ is a Poisson process with rate $\lambda p_i, i = 1,...,n$. Furthermore, $N_i(t)$ and $N_j(t)$ are independent, for all $i \neq j$.
:::

* 證明（在只分兩類的狀況下）
* 考慮一個泊松變數 $X(t)$ 代表發生的事件總數，且 $X(t) = X_1(t) + X_2(t)$。也就是說，原本大的泊松過程中所有的事件被拆分成 label 1 的一類跟 label 2 的一類
* 我們想知道「label 1 被分到了 $k$ 個事件，label 2 被分到了 $m$ 個事件」的機率，他可以改寫成「在已知總共有 $n$ 個事件發生的前提下，label 1 被分到了 $k$ 個事件，label 2 被分到了 $m$ 個事件」乘上「總共有 $n$ 個事件發生」的機率，在 $n = [0,\infty)$ 的情況下都成立
$$
\begin{align}
& Pr\{X_1(t) = k, X_2(t) = m\} \\
&= \sum_{n=0}^{\infty}Pr\{X_1(t) = k, X_2(t) = m | X(t) = n\}Pr\{X(t) = n\}
\end{align}
$$
* [條件機率](https://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87)的定義：$P(A|B) = \frac{P(A \cap B)}{P(B)}$
* $A$ = 「label 1 被分到了 $k$ 個事件，label 2 被分到了 $m$ 個事件」
* $B$ = 「總共有 $n$ 個事件發生」
* 透過加總 $n$ 在任意數字的情況來確保條件發生的機率是 $1$，所以 $A \cap B$ 時 $B$ 才可以不用寫
* 由於是完整的拆分，兩種類別的事件數加起來一定會是原本大的過程中發生的事件總數，也就是說， $n$ 一定要等於 $k+m$ 。所以在 $n \neq k+m$ 的情況下的機率通通都是零。所以上式當中有值的項就只剩下 $n = k+m$ 的那項，式子中的所有 $n$ 因此都可以用 $k+m$ 取代
$$
\begin{align}
& Pr\{X_1(t) = k, X_2(t) = m\} \\
&= Pr\{X_1(t) = k, X_2(t) = m | X(t) = k + m \}Pr\{X(t) = k + m\} \\
&= Pr\{X_1(t) = k, X_2(t) = m | X(t) = k + m\} \cdot \frac{(\lambda t)^{k+m}}{(k+m)!}e^{-\lambda t} \\
&= C_k^{k+m}p^k(1-p)^m \cdot \frac{(\lambda t)^{k+m}}{(k+m)!}e^{-\lambda t} \\
&= \frac{(k+m)!}{k!m!}p^k(1-p)^m \cdot \frac{(\lambda t)^{k+m}}{(k+m)!}e^{-\lambda t}\\
&= \frac{(\lambda pt)^k}{k!}e^{-\lambda pt} \cdot \frac{[\lambda(1-p)t]^m}{m!}e^{-\lambda(1-p)t}
\end{align}
$$
* 上面兩個相乘的項，前面那項就是參數為 $\lambda p$ 的泊松過程在 $t$ 時間內來了 $k$ 個事件的機率，後面那項就是參數為 $\lambda (1 - p)$ 的泊松過程在 $t$ 時間內來了 $m$ 個事件的機率
* 只看其中一類的機率分佈，他依然會是一個泊松分佈
$$
\begin{align}
Pr\{X_1(t) = k\} &= \sum_{m=0}^{\infty}Pr\{X_1(t) = k, X_2(t) = m\} \\
&= \frac{(\lambda pt)^k}{k!} e^{-\lambda pt} \cdot e^{-\lambda (1-p)t} \sum_{m=0}^{\infty}\frac{[\lambda (1-p)t]^m}{m!} \\
&= \frac{(\lambda pt)^k}{k!} e^{-\lambda pt} \cdot e^{-\lambda (1-p)t} e^{\lambda (1-p)t} \\
&= \frac{(\lambda pt)^k}{k!} e^{-\lambda pt}
\end{align}
$$
* 用到 $e^x$ 的泰勒展開式
$$
e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!}
$$

:::success
**Theorem 2.11** (Superposition) Let $N_1(t), N_2(t), ..., N_n(t)$ be independent Poisson processes with rate $\lambda_1, \lambda_2, ..., \lambda_n$, respectively. Then $N(t) \equiv N_1(t) + ... + N_n(t)$ is a Poisson process with rate $\lambda = \lambda_1 + ... +\lambda_n$.
:::

* 證明（在只分兩類的狀況下）
* 用到二項式定理
$$
\begin{align}
P_n(t) &= Pr\{X(t) = X_1(t) + X_2(t) = n\} \\
&= \sum_{k = 0}^n Pr\{X_1(t) = k\} \cdot Pr\{X_2(t) = n - k\} \\
&= \sum_{k = 0}^n \frac{(\lambda_1 t)^k}{k!}e^{-\lambda_1 t} \cdot \frac{(\lambda_2 t)^{(n-k)}}{(n-k)!}e^{-\lambda_2 t} \\
&= \sum_{k = 0}^n \frac{(\lambda_1 t)^k(\lambda_2 t)^{(n-k)}}{k!(n-k)!}e^{-(\lambda_1 + \lambda_2)t} \\
&= \frac{1}{n!} \sum_{k = 0}^n \frac{n!}{k!(n-k)!}(\lambda_1 t)^k(\lambda_2 t)^{(n-k)}e^{-(\lambda_1 + \lambda_2)t} \\
&= \frac{[(\lambda_1 + \lambda_2)t]^n}{n!}e^{-(\lambda_1 + \lambda_2)t}
\end{align}
$$

## 2.2.1 Generalization of the Poisson Process

* 一個泊松過程的 arrival rate 不一定要是定值，也可以是一個跟時間有關的函數，在這種情況下，這種泊松過程被叫作**非齊次的泊松過程 (Nonhomogeneous Poisson process, NHPP)**
* 原本定義中的 $\lambda$ 都要被換成函數的形式，也就是 $\lambda \rightarrow \lambda(t)$

:::info
**Definition 2.5** A nonhomogeneous (or nonstationary) Poisson process is a Poisson process (Definition 2.3) in which assumption 2 is replaced by the following:
$$Pr\{\text{1 arrival between } t \text{ and } t + \Delta t\} = \lambda(t)\Delta t + o(\Delta t)$$
:::

* NHPP 依然保有 independent increments 和 orderliness 的性質，但是沒有 stationarity increments 的性質了。因為現在某段時間內會出現多少事件，已經不只跟時間區段的長度有關，也會跟這段時間區間在哪裡有關了
* 要注意的是， $\lambda(t)$ 的意思是「預期的抵達率」，實際上該時間區間內到底來了幾個事件是隨機的。接下來的定理會證明出，在 $(s, t]$ 時間區間內抵達的事件數量，其機率分佈同樣遵守泊松分佈，就跟標準的泊松過程是一樣的，只不過該泊松分佈的參數會跟 $\lambda(t)$ 有關。

:::success
**Theorem 2.12** For a nonhomogeneous Poisson process $N(t)$ with mean event rate $\lambda(t)$, the number of events in a time interval $(s, t]$ is a Poisson random variable with mean $m(t) − m(s)$, where $$m(t) \equiv \int_0^t \lambda(u)du.$$
:::
* 其中 $m(t)$ 有時候被叫作**平均值函數 (mean value function)** （因為他被用來算下面這個泊松分佈的 $E[X]$，也就是平均值）。他的物理意義是「到時間點 $t$ 為止發生過的事件總數」
* 有了 Theorem 2.12， 我們可以推得 NHPP 在 $(s, t]$ 時間區間內抵達的事件數量的機率分佈為
$$
Pr\{N(t) - N(s) = n\} = e^{-[m(t) - m(s)]}\frac{[m(t) - m(s)]^n}{n!}, \quad (n \geq 0)
$$
* 證明看[這裡](https://hackmd.io/KzHnNESwRKW-Hn5wg3X_ng?view#Theorem-212)