確率の定義と算法

tags: probability-theory

確率とは

確率とは、事象が起こる確らしさを表す数字である。

確率の公理

1. 任意の事象の確率は、
   $0$以上
   $1$以下である。
2. 標本空間の確率は、
   $1$である。
3. 任意の複数の事象が互いに素(あるいは疎)な時、それらの和事象の確率は、個々の事象の確率の和に等しい。

数式で表すと、次の通り。

1. $A\in \mathcal{A}$に対して
   $0\le \mathrm{Pr}\left[A\right]\le 1$
2. $\mathrm{Pr}\left[\mathcal{X}\right]=1$

3つ目は2通りある。

3. 事象
   $A_1,A_2,\dots ,A_n\in \mathcal{A}$がすべての
   $i\ne j$について
   $A_i\cup A_j=\mathrm{\varnothing }$を満たすとき、
   $\mathrm{Pr}\left[\bigcup _{k=1}^n{A}_k\right]=\sum _{k=1}^n\mathrm{Pr}\left[A_k\right]$

または

3. 事象
   $A_1,A_2,\dots \in \mathcal{A}$がすべての
   $i\ne j$について
   $A_i\cup A_j=\mathrm{\varnothing }$を満たすとき、
   $\mathrm{Pr}\left[\bigcup _{k=1}^{\mathrm{\infty }}{A}_k\right]=\sum _{k=1}^{\mathrm{\infty }}\mathrm{Pr}\left[A_k\right]$

両者の違いは、加法族の有限加法性と可算加法性の違いに由来する。

余事象の確率

ある事象

$A$が起こらない確率は、

$1$からその事象が起こる確率を引いて求められる。

$$\mathrm{Pr}\left[A^c\right]=1-\mathrm{Pr}\left[A\right]$$

これは、余事象

$A^c$が事象

$A$の全事象

$\mathcal{X}$からの補集合

$$A^c=\mathcal{X}\mathrm{\setminus }A=\{x;x\in \mathcal{X},x\notin A\}$$
であり、

$$A\cup A^c=\mathcal{X}$$
および

$$A\cap A^c=\mathrm{\varnothing }$$
が成り立つことと、全事象の確率が

$1$であるという確率の公理と、互いに素な事象のいずれかが起こる確率はそれぞれの確率の和に等しいという確率の公理から、

$$\mathrm{Pr}\left[\mathcal{X}\right]=1=\mathrm{Pr}\left[A\right]+\mathrm{Pr}\left[A^c\right]$$
が成り立つことによる。

同時確率

二つの事象が同時に起こる確率を同時確率という。

$$\mathrm{Pr}[A\cap B]$$

二つの事象が同時に起こる、という表現に引っかかりを感じるなら、起こる事象

$C$が事象

$A$の条件と事象

$B$の条件を

$$C=\{x;x\in \mathcal{X},x\in A,x\in B\}$$
のように同時に満たす時に、その事象

$C$が起こる確率

$$\mathrm{Pr}\left[C\right]$$
を同時確率といい、

$\mathrm{Pr}[A\cap B]$と記すと理解しても良い。

二つの事象

$A$,

$B$の積集合

$A\cap B$に相当する事象は、次のように、補集合を用いても定まる。

$$A\cap B={(A^c\cup B^c)}^c$$

これはド・モルガンの法則の一つである。

確率の加法法則

二つの事象

$A$,

$B$の少なくともいずれか片方が起こる確率は、確率の和から、

$A$と

$B$が同時に起こる確率を引いて求められる。

$$\mathrm{Pr}[A\cup B]=\mathrm{Pr}\left[A\right]+\mathrm{Pr}\left[B\right]-\mathrm{Pr}[A\cap B]$$

二つの事象

$A$,

$B$の少なくともいずれか片方が起こる確率は、一般化にはそれぞれの確率の和にはならない。それぞれの和になるためには、事象

$A$と

$B$が互いに素な場合でなければならないことは、確率の公理である。そして、互いに素であれば、同時確率は

$0$となる。

$$A\cap B=\mathrm{\varnothing }\Rightarrow \mathrm{Pr}[A\cap B]=\mathrm{Pr}\left[\mathrm{\varnothing }\right]=1-\mathrm{Pr}\left[\mathcal{X}\right]=1-1=0$$

周辺確率

複数の事象を考えているとき、その中の一つの事象の確率を特に、周辺確率という。

$$\mathrm{Pr}\left[A\right]$$

単に、事象

$A$の確率のことである。

条件付確率 (確率の除算)

ある事象

$A$が起こるという条件の下で、別の事象

$B$も起こる確率を、

$A$を条件としたときの

$B$の条件付き確率という。条件付き確率は、次のように定める。

$$\mathrm{Pr}\left[B|A\right]=\frac{\mathrm{Pr}[A\cap B]}{\mathrm{Pr}\left[A\right]}$$

二つの事象

$A$,

$B$が同時に起こる確率を、条件とする事象の周辺確率で割った値が、条件付き確率である。

確率の乗法法則

２つの事象が同時に起こる確率は、それぞれが個別に起こる確率(周辺確率)の積ではなく、２つの事象の積集合に等しい事象が起こる確率である。積集合が起こる確率は、一方の事象を所与とした場合のもう一方の事象の条件付き確率と、最初に所与とした事象の周辺確率の積となる。

$$\mathrm{Pr}[A\cap B]=\mathrm{Pr}\left[A|B\right]\mathrm{Pr}\left[B\right]$$

所与とする事象を逆にしても同じ同時確率を得る。

$$\mathrm{Pr}[A\cap B]=\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]$$

ベイズの定理 (その1)

二つの事象

$A$,

$B$を考える。条件付き確率

$\mathrm{Pr}\left[B|A\right]$と周辺確率

$\mathrm{Pr}\left[A\right]$、

$\mathrm{Pr}\left[B\right]$が与えられたとき、

$B$を条件とした

$A$の条件付き確率を次のように計算できる。

$$\mathrm{Pr}\left[A|B\right]=\frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}$$

条件と結果を逆にした条件付き確率を逆確率ということもある。

ベイズの定理 (その2)

事象列

$A_1,A_2,\dots ,A_n$ を標本空間

$\mathcal{X}$の被覆とする。また別の事象

$B$を考える。このとき、次の定理が成り立つ。

$$\mathrm{Pr}\left[A_k|B\right]=\frac{\mathrm{Pr}\left[B|A_k\right]\mathrm{Pr}\left[A_k\right]}{\sum _{l=1}^n\mathrm{Pr}\left[B|A_l\right]\mathrm{Pr}\left[A_l\right]}$$