ベイズの定理

tags: probability-theory

確率の算法に、2種類のベイズの定理を掲げた。それらを少し詳しく説明する。

ベイズの定理 (その1)

二つの事象

$A$,

$B$を考える。条件付き確率

$\mathrm{Pr}\left[B|A\right]$と周辺確率

$\mathrm{Pr}\left[A\right]$、

$\mathrm{Pr}\left[B\right]$が与えられたとき、

$B$を条件とした

$A$の条件付き確率を次のように計算できる。

$$\mathrm{Pr}\left[A|B\right]=\frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}$$

条件と結果を逆にした条件付き確率を逆確率ということもある。

これは確率の乗法法則

$$\mathrm{Pr}[A\cap B]=\mathrm{Pr}\left[A|B\right]\mathrm{Pr}\left[B\right]=\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]$$
から直ちに

$$\mathrm{Pr}\left[A|B\right]=\frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}$$
と導かれる。分子は同時確率を乗法法則で計算しているので、条件付き確率の定義

$$\mathrm{Pr}\left[A|B\right]=\frac{\mathrm{Pr}[A\cap B]}{\mathrm{Pr}\left[B\right]}$$
そのものでもある。

ベイズの定理は、次のような状況で用いる。事前に

$B$という現象を観測すると、

$A$も観測できる、というジンクスがある。その確からしさはおよそ

$\mathrm{Pr}\left[B|A\right]=0.8$とのことである。

$B$が観測される周辺確率は

$0.3$と少し稀であり、

$A$の観測に気づかずとも確率

$0.3$で

$B$は生じる。

$A$が観測される周辺確率は

$0.25$で、生じない確率の方が大きい。

このとき、

$B$を観測できたという条件の下で、

$A$も生じていた確率を求めると

$$\mathrm{Pr}\left[A|B\right]=\frac{\mathrm{Pr}\left[B|A\right]\mathrm{Pr}\left[A\right]}{\mathrm{Pr}\left[B\right]}=\frac{0.8\times 0.25}{0.3}=0.667$$
となる。

ベイズの定理 (その2) (再掲)

事象列

$A_1,A_2,\dots ,A_n$ を標本空間

$\mathcal{X}$の被覆とする。被覆とは、互いに素

$$A_i\cap A_j=\mathrm{\varnothing },\mathrm{\forall }i\ne j$$
かつ、事象列の総和集合

$$A_1\cap A_2\cap \cdots \cap A_n={\cup }_{j=1}^n{A}_j=\mathcal{X}$$
が標本空間に一致するような事象列である。

また、この事象列とは別の事象

$B$を考える。このとき、次の定理が成り立つ。

$$\mathrm{Pr}\left[A_k|B\right]=\frac{\mathrm{Pr}\left[B|A_k\right]\mathrm{Pr}\left[A_k\right]}{\sum _{l=1}^n\mathrm{Pr}\left[B|A_l\right]\mathrm{Pr}\left[A_l\right]}$$

このベイズの定理は、分子が同時確率

$$\mathrm{Pr}\left[B|A_k\right]\mathrm{Pr}\left[A_k\right]=\mathrm{Pr}[A_k\cap B]$$
であることと、分母が

$B$の周辺確率

$$\begin{array}{rl}\sum _{l=1}^n\mathrm{Pr}\left[B|A_l\right]\mathrm{Pr}\left[A_l\right]& =\sum _{l=1}^n\mathrm{Pr}[A_l\cap B]\\ & =\mathrm{Pr}[\left({\cap }_{l=1}^n{A}_l\right)\cap B]\\ & =\mathrm{Pr}[\mathcal{X}\cap B]\\ & =\mathrm{Pr}\left[B\right]\end{array}$$
であることを用いて、証明できる。

ベイズの定理は、例えば次のような状況で用いる。

ある検査方法

$D$は、複数の疾患に反応を見せる。

確率	疾患A	疾患B	疾患C	疾患なし
$D$に反応あり	$0.7$	$0.8$	$0.6$	$0.1$

またそれぞれの疾患に罹患する確率は、次の表で与えられている。

確率	疾患A	疾患B	疾患C	疾患なし
罹患確率	$0.2$	$0.1$	$0.2$	$0.6$

検査

$D$に反応があった場合に、それぞれの病気に罹患している確率は、次のように求めることができる。

$$\begin{array}{rl}\mathrm{Pr}\left[\text{疾患A}|D\right]& =\frac{\mathrm{Pr}\left[\text{検査Dに反応あり}|\text{疾患A}\right]\mathrm{Pr}\left[\text{疾患A}\right]}{\mathrm{Pr}\left[\text{D}|\text{A}\right]\mathrm{Pr}\left[\text{A}\right]+\mathrm{Pr}\left[\text{D}|\text{B}\right]\mathrm{Pr}\left[\text{B}\right]+\mathrm{Pr}\left[\text{D}|\text{C}\right]\mathrm{Pr}\left[\text{C}\right]+\mathrm{Pr}\left[\text{D}|\text{なし}\right]\mathrm{Pr}\left[\text{なし}\right]}\\ & =\frac{0.7\times 0.2}{0.7\times 0.2+0.8\times 0.1+0.6\times 0.2+0.1\times 0.6}\\ & =\frac{0.14}{0.14+0.08+0.12+0.06}\\ & =\frac{0.14}{0.40}\\ & =0.35\end{array}$$

他の疾患の確率も同様に

$$\begin{array}{rl}\mathrm{Pr}\left[\text{疾患B}|D\right]& =\frac{0.08}{0.14+0.08+0.12+0.06}=0.2\\ \mathrm{Pr}\left[\text{疾患C}|D\right]& =\frac{0.12}{0.14+0.08+0.12+0.06}=0.3\\ \mathrm{Pr}\left[\text{疾患C}|D\right]& =\frac{0.06}{0.14+0.08+0.12+0.06}=0.15\end{array}$$
と求まる。