# ベイズの定理
###### tags: `probability-theory`

確率の算法に、2種類のベイズの定理を掲げた。それらを少し詳しく説明する。

## ベイズの定理 (その1)

二つの事象$A$, $B$を考える。条件付き確率$\mathrm{Pr}\left[B|A\right]$と周辺確率$\mathrm{Pr}\left[A\right]$、$\mathrm{Pr}\left[B\right]$が与えられたとき、$B$を条件とした$A$の条件付き確率を次のように計算できる。

$$
\mathrm{Pr}\left[A|B\right] = \frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}
$$

条件と結果を逆にした条件付き確率を逆確率ということもある。

これは確率の乗法法則
$$
\mathrm{Pr}\left[A\cap B\right] = \mathrm{Pr}\left[A|B\right]\mathrm{Pr}\left[B\right] = \mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]
$$
から直ちに
$$
\mathrm{Pr}\left[A|B\right] = \frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}
$$
と導かれる。分子は同時確率を乗法法則で計算しているので、条件付き確率の定義
$$
\mathrm{Pr}\left[A|B\right] = \frac{\mathrm{Pr}\left[A\cap B\right]}{\mathrm{Pr}\left[B\right]}
$$
そのものでもある。

ベイズの定理は、次のような状況で用いる。事前に$B$という現象を観測すると、$A$も観測できる、というジンクスがある。その確からしさはおよそ$\mathrm{Pr}\left[B|A\right]=0.8$とのことである。$B$が観測される周辺確率は$0.3$と少し稀であり、$A$の観測に気づかずとも確率$0.3$で$B$は生じる。$A$が観測される周辺確率は$0.25$で、生じない確率の方が大きい。

このとき、$B$を観測できたという条件の下で、$A$も生じていた確率を求めると
$$
\mathrm{Pr}\left[A|B\right] = \frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}= \frac{0.8\times 0.25}{0.3} = 0.667
$$
となる。

## ベイズの定理 (その2) (再掲)

事象列 $A_1, A_2, \ldots, A_n$ を標本空間$\mathcal{X}$の被覆とする。被覆とは、互いに素
$$
A_i \cap A_j = \emptyset, \forall i\neq j
$$
かつ、事象列の総和集合
$$
A_1 \cap A_2 \cap \cdots \cap A_n = \cup_{j=1}^n A_j = \mathscr{X}
$$
が標本空間に一致するような事象列である。

また、この事象列とは別の事象$B$を考える。このとき、次の定理が成り立つ。

$$
\mathrm{Pr}\left[A_k|B\right] = \frac{\mathrm{Pr}\left[B|A_k\right]\mathrm{Pr}\left[A_k\right]}{\sum_{l=1}^n \mathrm{Pr}\left[B|A_l\right]\mathrm{Pr}\left[A_l\right]}
$$

このベイズの定理は、分子が同時確率
$$
\mathrm{Pr}\left[B|A_k\right]\mathrm{Pr}\left[A_k\right] = \mathrm{Pr}\left[A_k \cap B\right]
$$
であることと、分母が$B$の周辺確率
$$
\begin{align}
\sum_{l=1}^n \mathrm{Pr}\left[B|A_l\right]\mathrm{Pr}\left[A_l\right]
& = \sum_{l=1}^n \mathrm{Pr}\left[A_l \cap B\right] \notag \\
& = \mathrm{Pr}\left[\left(\cap_{l=1}^n A_l\right) \cap B\right] \notag \\
& = \mathrm{Pr}\left[\mathscr{X} \cap B\right] \notag \\
& = \mathrm{Pr}\left[B\right] \notag
\end{align}
$$
であることを用いて、証明できる。

ベイズの定理は、例えば次のような状況で用いる。

ある検査方法$D$は、複数の疾患に反応を見せる。

|確率|疾患A|疾患B|疾患C|疾患なし|
|---|---|---|---|---|
|$D$に反応あり|$0.7$|$0.8$|$0.6$|$0.1$|

またそれぞれの疾患に罹患する確率は、次の表で与えられている。

|確率|疾患A|疾患B|疾患C|疾患なし|
|---|---|---|---|---|
|罹患確率|$0.2$|$0.1$|$0.2$|$0.6$|

検査$D$に反応があった場合に、それぞれの病気に罹患している確率は、次のように求めることができる。

$$
\begin{align}
\mathrm{Pr}\left[\mbox{疾患A}|D\right] &= \frac{\mathrm{Pr}\left[\mbox{検査Dに反応あり}|\mbox{疾患A}\right]\mathrm{Pr}\left[\mbox{疾患A}\right]}{\mathrm{Pr}\left[\mbox{D}|\mbox{A}\right]\mathrm{Pr}\left[\mbox{A}\right]+\mathrm{Pr}\left[\mbox{D}|\mbox{B}\right]\mathrm{Pr}\left[\mbox{B}\right]+\mathrm{Pr}\left[\mbox{D}|\mbox{C}\right]\mathrm{Pr}\left[\mbox{C}\right]+\mathrm{Pr}\left[\mbox{D}|\mbox{なし}\right]\mathrm{Pr}\left[\mbox{なし}\right]} \\
& = \frac{0.7\times 0.2}{0.7 \times 0.2 + 0.8 \times 0.1 + 0.6 \times 0.2 + 0.1 \times 0.6} \notag \\
& = \frac{0.14}{0.14 + 0.08 + 0.12 + 0.06} \notag \\
& = \frac{0.14}{0.40} \\
& = 0.35
\end{align}
$$

他の疾患の確率も同様に
\begin{align}
\mathrm{Pr}\left[\mbox{疾患B}|D\right]
& = \frac{0.08}{0.14 + 0.08 + 0.12 + 0.06} = 0.2 \notag \\
\mathrm{Pr}\left[\mbox{疾患C}|D\right]
& = \frac{0.12}{0.14 + 0.08 + 0.12 + 0.06} = 0.3 \notag \\
\mathrm{Pr}\left[\mbox{疾患C}|D\right]
& = \frac{0.06}{0.14 + 0.08 + 0.12 + 0.06} = 0.15 \notag \\
\end{align}
と求まる。