---
# System prepended metadata
title: A.2.2 Joint Distribution and Density Functions
tags: [ML]
---
# A.2.2 Joint Distribution and Density Functions
在某些特定的實驗裡面，我們可能會對兩個或兩個以上的 random variables 之間的關聯感興趣，這時候我們會用到的是 joint probability distribution ==$F(x,y)$==。
假設我們有兩個 random variable $X$, $Y$，他們的 joint probability distribution 滿足：
針對一個由多個 random variables 所成的集合，我們取某個 subset，這個 subset 中的 random variables 的 probability distribution 總和，就稱作 marginal distribution。
> $\rightarrow$ marginal distribution 會告訴我們++不考慮在 subset 之外的其他變數++，那些在 subset 裡的變數的許多不同的機率值。
而透過把 subset 裡各個 random variable 的 probability distribution 加總，來得到 marginal distribution 的這個過程，就稱作 marginalizing。
在只有兩個 random variable $X$, $Y$ 的情況下，marginal distribution 的定義如下：
> $X$ 的 marginal distribution，也就是不考慮 $Y$ 的情況下，$X$ 的 probability distribution。
>
>> 在這個例子裡，我們所有的 random variables 所成的集合是 $\{
X,Y\}$，而我們要求 marginal distribution 所取的 subset 就是 $\{X\}$。
>
> 根據 $A.8$ 的定義，也就是第一個等號的 $X$ 會 $\le$ 某個 $x$ 的機率。
>
> 並且，既然不考慮 $Y$，也就可以把 $Y$ 的限制想成 $Y\le\infty$，也就是第三個等號。
>
> 最後，從第三個等號後的「$X$ 會 $\le x$ 且 $Y$ 會 $\le\infty$」的機率，根據 $A.12$ 的定義，也就是最後一個等號的 joint probability distribution $F(x,\infty)$。
計算的方式和 probability distribution 一樣分成兩種 cases，同樣如果是 discrete 就用 $\sum$ 加總，如果是 continuous 就用積分：
> $A.14$ 裡我們可以看到 $\sum$ 會 loop 過所有的可能的 $j$ 值，加總所有 $y_j$ 的可能情況和 $x$ 同時發生的機率，也就是不管 $y_j$ 的值，所有 $X=x$ 的可能性。
舉例來說，假設我們有一對 dependent 的 random variables $X,Y$，它們的 joint distributions 為下表的淺色部分，marginal distribution 則是最後一行和最後一列的深色部分：
> 例如第一列第一行的 $\frac{4}{32}$ 就是 $P(x_1,y_1)$，其餘同理。
>
> 如果我們要求 $P(X=x_1)$，也就是不在乎 $y_j$ 的值的情況下把 $X=x_1$ 的 probability distribution 加總，因此：
>
> $P_X(x_1)=P(x_1,y_1)+P(x_1,y_2)+P(x_1,y_3) = \frac{4}{32}+\frac{3}{32}+\frac{9}{32} = \frac{16}{32}$
>> 也就是我們把淺色的第一行相加，得到的結果就是這行下方的深色部分，這也是為什麼叫 "marginal" distribution 的原因。
- 上述例子和一些說明參考自 [wiki: Marginal distribution](https://en.wikipedia.org/wiki/Marginal_distribution)
最後，如果 $X$ 和 $Y$ independent，他們的 marginal probability 就會滿足下方式子：
