---
title: 指數分佈和Gamma分佈|第八週
tags: 機率
---

# 指數分佈 Exponential distribution

今天，~~我有冰淇淋~~
我想知道，直到發生某件事情，我所需等待的時間是某個特定值，的機率。
我們不在意到底是甚麼事，總之就是一件事，但是那件事要服從 Poisson 分佈。
於是我們建立一個隨機變數來說明這件事：

$$
P(W =w),w\ge 0
$$

$w$ 就是我所需等待的特定時間；所以上面的機率翻譯下來就是：

:::info
直到該事情發生，我需要等待 $w$ 時間的機率
:::

通常要找到一個連續型隨機變數，某個特定的機率，都是對 CDF 在該點微分得到的，所以我們將上面修改成 CDF：

$$
P(W \le w)
$$

這個 CDF 翻譯下來就是：

:::info
直到該事情發生，我需要等待**小於等於** $w$ 時間的機率
:::

## CDF

那這個 CDF 要怎麼算？時間小於等於 $w$ 的機率，代表我小於的機率要算，等於的機率也要算，非常的難算，我們並不知道怎麼算。

但是我們可以使用傳統藝能，反著算：

$$
P(W \le w)=1-P(W > w)
$$

那...弄反之後的 $P(W > w)$ 我們會算嗎？我們好像也不會🫠

但是如果把機率翻譯翻譯，會得到：

:::info
直到該事情發生，我需要等待大於 $w$ 時間的機率
:::

這句話，其意義等同於：

:::success
在時間小於等於 $w$ 之內，**沒有任何事情發生的機率**
:::

這段敘述有沒有非常熟悉，還有那個關鍵敘述「在某段時間之內」。

沒錯，這正好就是我們卜瓦松在算的東西；所以如果給定卜瓦松，單位間距的$\lambda$值，而我們現在想要算的間距長度是$w$，所以該區間卜瓦松的參數就是 $w\lambda$；然後我們要求的是發生次數為 0 的機率。

$$
P(W > w)=P(X=0)=\frac{(w\lambda)^{0}e^{-w\lambda}}{0!}=e^{-w\lambda}
$$

把這個合併回去，就得到我們要的 CDF 了。

$$
P(W \le w)=1-e^{-w\lambda}
$$

::: warning
所以，W 這個隨機變數所說的那個發生的事件，他要服從卜瓦松分佈，才可以進行後面的推導
:::

## PDF

CDF 再對 w 微分，就可以得到 PDF

$$
P(W = w)=\lambda e^{-w\lambda}
$$

### 表示法 $\lambda$ 和 $\beta$

- $\lambda >0$，叫做變化率參數 rate parameter
- $\beta = \frac{1}{\lambda} >0$ 叫做規模參數 scale parameter

所以上面還有另外一種表示法

- CDF : $1-e^{\frac{-w}{\beta}}$
- PDF : $\frac{1}{\beta} e^{\frac{-w}{\beta}}$

但是要注意這裡的表示法會跟底下 Gamma 的不一樣

- 泊松的 $\lambda$ 是一段時間內平均會發生幾次 $\frac{次數}{區間}$
- 指數分佈的 $\beta$ 是平均要等多久才發生一次 $\frac{區間}{次數}$

指數分佈，在某些情況不合理，像是燈泡要多久才會壞掉，會出現新品跟二手貨的用到壞掉時間一樣；
因為當初泊松在假設的時候，兩個不重疊子區間機率是獨立的，但是事實上在那些例子中，也包括現實很多情景中，機率並不獨立。

也因此這種分佈不適合用在這類情境上。

## MGF

複習一下 MGF 的公式

$$
E[e^{tX}]=\int_{-\infty}^{\infty}e^{tx}f_{X}(x)dx
$$

但是可以注意到，這裡 x 是會大於 0 的，畢竟總不可能你等的時間是負的...

$$
E[e^{tX}]=\int_{0}^{\infty}e^{tx}\lambda e^{-x\lambda}dx=\int_{0}^{\infty}\lambda e^{x(t-\lambda)}dx=\frac{\lambda}{t-\lambda}e^{x(t-\lambda)}|^{\infty}_{0}
$$

這時候要想起我們的 t 是一個很接近 0 的數，並且是介於一個正負區間內 $-h<t<h$

所以如果上面指數部分的 $(t-\lambda)$，結果小於等於 0 的話，上面的積分就存在：

$$
M(t)=\frac{\lambda}{t-\lambda}(0-1)=\frac{\lambda}{\lambda-t}
$$

有了這個，使用傳統藝能計算期望值和變異數

$$
M'(t)=\frac{\lambda}{(\lambda-t)^{2}},M''(t)=\frac{2\lambda}{(\lambda-t)^{3}}\\
E[X]=M'(0)=\frac{1}{\lambda}\\
Var[X]=M''(0)-(M'(0))^{2}=\frac{2}{\lambda^{2}}-\frac{1}{\lambda^{2}}=\frac{1}{\lambda^{2}}\\
$$

## 分位距

可從 CDF 公式導出；設 F 是想要知道的位距

$$
1-e^{-x\lambda} = \frac{F}{100} \Rightarrow \frac{100-F}{100}=e^{-x\lambda}\\
\Rightarrow ln(\frac{100-F}{100})=-x\lambda, \Rightarrow x = -\frac{ln(\frac{100-F}{100})}{\lambda}\\
\Rightarrow x = -\theta ln(\frac{100-F}{100})
$$

所以可以知道

- 中位數：$-\frac{ln(\frac{50}{100})}{\lambda}=\frac{ln(2)}{\lambda}$
- 第三四分位距 : $-\frac{ln(\frac{25}{100})}{\lambda}=\frac{ln(4)}{\lambda}$
- 第一四分位距 : $-\frac{ln(\frac{75}{100})}{\lambda}=\frac{ln(\frac{4}{3})}{\lambda}$

## 遺忘性 / 記憶性 forgetfulness / no memory

由於指數分布的推導過程的前提是藉由 Poission 分佈，也就是代表事件之間的機率是獨立的，因此拿來模擬某些情況的時候，會出現二手貨壞掉的機率跟全新或壞掉的機率一樣，所以要拿來模擬的時候要注意。

---

# Gamma distribution

Gamma 分佈跟指數分佈是同樣的道理，但是從發生 1 次變成發生 $k$ 次，因此在轉換 $P(W > w)$ 的地方就不太一樣。

:::success
這個對應關係就好像
- Bernoulli 對應 Binomial
- Geometric 對應 NegBinomial
:::

$$
P(W > w)
$$

這個機率在這裡翻譯下來會是：

:::info
直到該事情發生 $k$ 次，我需要等待大於 $w$ 時間的機率
:::

這句話，其意義等同於：

:::info
在時間小於等於 $w$ 之內，事情發生的次數小於 $k$ 次
:::

於是再使用我們的卜瓦松

$$
P(W > w)=P(X < k)=\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}e^{-w\lambda}}{n!}
$$

於是我們將這坨貼回去就得到 Gamma 分佈的 CDF

$$
P(W \le w)=1-\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}e^{-w\lambda}}{n!}\\
=1-e^{-w\lambda}\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}}{n!}
$$

:::info
其中的 k 通常表示為 $\alpha$，這就是 gamma 分佈的重要參數
:::

## PDF

一樣，CDF 對 w 微分的話會得到 PDF

$$
(-e^{-w\lambda}\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}}{n!})'=\lambda e^{-w\lambda}\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}}{n!}+-e^{-w\lambda}\sum^{k-1}_{n=0}\frac{n\lambda (w\lambda)^{n-1}}{n!}\\
=\lambda e^{-w\lambda}\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}}{n!}-\lambda e^{-w\lambda}\sum^{k-1}_{n=0}\frac{n(w\lambda)^{n-1}}{n!}\\
=\lambda e^{-w\lambda}\sum^{k-1}_{n=0}\frac{(w\lambda)^{n}}{n!}-\frac{(w\lambda)^{n-1}}{(n-1)!}=\lambda e^{-w\lambda}\frac{(w\lambda)^{k-1}}{(k-1)!}\\
$$

於是上面最後的結果就是我們 Gamma function 的 PDF：

$$
P(W=w)=\lambda e^{-\lambda w}\frac{(\lambda w)^{k-1}}{(k-1)!}
$$

而會叫做 Gamma 的原因是底下的那個階乘，回顧起 Gamma 函數：

$$
\Gamma(n)=(n-1)!
$$

然後如果將 $\lambda = \frac{1}{\theta}, \alpha = k$ 的關係帶入會得到

$$
P(W=w)=\frac{1}{\Gamma(\alpha)\theta ^{\alpha}}w^{\alpha -1}e^{-\frac{w}{\theta}}
$$

### 表示法

有兩種等價的表示法

- Rate parameter : $\alpha$
- Inverse Scale parameter : $\beta$

注意這裡的 $\beta$ 跟上面指數分佈的不一樣

- Rate parameter : $k$
- Scale parameter : $\theta$

其中：
$$
\theta = \frac{1}{\lambda} = \frac{1}{\beta}
$$

然後 $\alpha$ 跟 $k$ 似乎可以混用

## MGF

推導過程目前省略

$$
M(t)=\frac{1}{(1-\frac{t}{\lambda})^{\alpha}}=\frac{1}{(1-\theta t)^{\alpha}}
$$

## 期望值、變異數

$$
\mu = \alpha\theta\\
\sigma^{2}=\alpha\theta^{2}
$$

---

# 比較一下

## CDF

### Exponential

$$
P(W \le w)=1-e^{-\lambda w}
$$

### Gamma

$$
P(W \le w)=1-e^{-\lambda w}\sum^{k-1}_{n=0}\frac{(\lambda w)^{n}}{n!}
$$

## PDF

### Exponential

$$
P(W = w)=\lambda e^{-\lambda w}
$$

### Gamma

$$
P(W=w)=\lambda e^{-\lambda w}\frac{(\lambda w)^{k-1}}{(k-1)!}
$$

## MGF

### Exponential

$$
M(t)=\frac{\lambda}{\lambda-t}=\frac{1}{1-\frac{t}{\lambda}}
$$

### Gamma

$$
M(t)=\frac{1}{(1-\frac{t}{\lambda})^{\alpha}}=\frac{1}{(1-\theta t)^{\alpha}}
$$

## 期望值、變異數

### Exponential

$$
\mu = \frac{1}{\lambda}\\
\sigma^{2}=\frac{1}{\lambda^{2}}\\
$$

### Gamma

$$
\mu = \alpha\theta\\
\sigma^{2}=\alpha\theta^{2}
$$