標本空間のユークリッド空間への埋め込みと確率分布の関数表現

tags: probability-theory

標本空間と加法族と確率

標本空間が集合

$\mathcal{X}$で与えられていて、その加法族も

$\mathcal{A}$と与えられているとき、
事象

$A\in \mathcal{X}$が起こる確率

$\mathrm{Pr}[X\in A]$は、

$\mathcal{A}$上で定義された集合関数

$P$を用いて

$P\left(A\right)$と求まる。

確率の一般論はこのように構築される。このため

$\mathcal{X}$と

$\mathcal{A}$と

$P$の三つ組を、確率空間と呼ぶ。

順位による標本空間の埋め込み

ところで、標本空間の要素の間に順序が定まっているとする。標本空間が加算集合の場合は、次のようにユークリッド空間に埋め込むことができる。

$$\mathrm{\forall }a,b\in \mathcal{X}\Rightarrow a\prec b\text{ or }a\succ b$$

このとき、標本空間のすべての要素に順序が定まるので、その順序の番号を要素に付すことで、標本空間をユークリッド空間に埋め込むことができる。

$$\mathrm{\forall }a\in \mathcal{X},x_a=\mathrm{\#}\{b|b\prec a,b\in \mathcal{X}\}$$
これは小さい順に並べた場合である。大きい順に並べると

$$\mathrm{\forall }a\in \mathcal{X},x_a=\mathrm{\#}\{b;a\prec b,b\in \mathcal{X}\}$$
となる。

こうして得た標本空間

$\{x_a;a\in \mathcal{X}\}$を、元の標本空間

$\mathcal{X}$の(1次元)ユークリッド空間への埋め込みと呼ぶ。

回数による標本空間の埋め込み

埋め込みの作成方法は他にもある。

例えばコインを1枚投げると、その結果は表と裏のいずれかが上になって観測される、という確率的な試行を考える。この試行の標本空間は

$$\mathcal{X}=\{\text{表が出る},\text{裏が出る}\}$$
だが、この試行によって表が出る回数、という数え方を用いると

$$\begin{array}{rl}\left\{\text{表が出る}\right\}& =\left\{\text{表が出る回数が}1\right\}\\ \left\{\text{裏が出る}\right\}& =\left\{\text{表が出ない}\right\}=\left\{\text{表が出る回数が}0\right\}\end{array}$$
のように事象の表現を回数にできる。これを略記して

$$\mathcal{X}=\{1,0\}=\{0,1\}$$
というユークリッド空間への埋め込みを得る。

整数を単位とする標本空間 (確率関数)

ユークリッド空間に埋め込まれた標本空間は、正の整数集合と同一視できる。ここで、ある一つの整数

$k$が生じる確率

$$\mathrm{P}\left(\left\{k\right\}\right)$$
を関数で表す。

$x\ne y$ならば

$\left\{x\right\}\cap \left\{y\right\}=\mathrm{\varnothing }$なので、要素

$x$に確率を与える関数

$$p\left(x\right)=\mathrm{P}\left(\left\{x\right\}\right)$$
を定めると、コルモゴロフの公理から、すべての事象に確率を与えることができる。このような関数を確率関数という。確率関数を用いると、たとえば

$a$以下の値を取る確率は

$$\mathrm{Pr}\left[a\text{以下}\right]=\sum _{x\le a}\mathrm{Pr}\left[x\right]=\sum _{x\le a}p\left(x\right)$$
と求まる。

確率関数は確率分布

$F$のひとつの関数表現である。

確率変数

これ以降は、実現していない試行を

$X,Y,Z,U,V,W,\dots$等の大文字のアルファベットで表す。事象

$A$が起こる確率を、試行

$X$が

$A$に含まれる確率という意味で

$$P\left(A\right)=\mathrm{Pr}[X\in A]$$
と記す。試行は結果が定まっていないものなので、確率変数と呼んで、解析学で現れるような他の変数と区別する。

試行の結果を

$x,y,z,u,v,w,\dots$等の小文字のアルファベットで表す。ある試行

$X$を実施した結果が

$1$である場合を

$$x=1$$
と記す。また関数の引数も

$x,y,z,u,v,w,\dots$等の小文字のアルファベットで表すが、試行の結果とは特に区別しない。

事象や集合は、

$A,B,C,\dots$等、大文字のアルファベットの先頭の方の文字で表して区別する。

以上の確率変数や試行の結果を表す変数、その他の変数、また事象や集合には、添字を加えることもある。

実数を単位とする標本空間 (確率密度関数)

実数全体の集合

$\mathcal{R}$は稠密である。任意の2つの実数の間には、必ず他の実数が存在する。

$$\mathrm{\forall }a,b\in \mathcal{R}\Rightarrow \mathrm{\exists }c\in \mathcal{R},a<c<b$$
この稠密性のため、実数は数え上げることができず、上のような順位づけができない。

そのため、個々の実数に確率を付与すると、その総和が発散してしまう。

$$p\left(x\right)=\mathrm{Pr}[X=x]>0\Rightarrow \sum _{x\in \mathcal{X}}p\left(x\right)=\mathrm{\infty }$$
加算無限個の点に正の値を付与すると、総和が有限になる場合もあるが、
非加算無限個の点に正の値を付与すると、それらの総和は必ず有限の値にはならない。つまり確率を点に付与すると、コルモゴロフの公理と矛盾してしまう。

この場合には、

$$\mathrm{Pr}[X\in (a,b]]={\int }_a^{b}f\left(x\right)dx$$
を満たす関数

$f\left(x\right)$と、半開区間

$(a,b]$を用いて確率を表現すると、標本空間と加法族と集合関数がコルモゴロフの公理を満たすように定義できる。

このような関数を、確率密度関数という。確率密度関数も確率分布

$F$のひとつの関数表現である。

数直線上の区間による加法族の作り方

互いに素な区間として、

$(a,b]$が最も簡単である。

$a$と

$b$の間にある任意の

$c$ を用いて

$(a,b]=(a,c]\cup (c,b]$ となる。

しかし確率分布

$F$が確率密度関数

$f\left(x\right)$を持つ場合の加法族は、1点からなる事象は無視しても良い。なぜなら

$$\mathrm{Pr}[a<X\le b]={\int }_a^{b}f\left(x\right)dx=\mathrm{Pr}[a<X<b]=\mathrm{Pr}[a\le X\le b]=\mathrm{Pr}[a\le X<b]$$
が成り立つ。端点を含まないように区間を定めても、その区間上の定積分は端点を含む区間と変わらない。例えば定積分を

$(a,b]$上で定めても、関数

$f\left(x\right)$の連続性から

$${\int }_a^{b}f\left(x\right)dx=\underset{c\to a}{lim}{\int }_c^{b}f\left(x\right)dx$$
が成り立ち、

$[a,b]$の上の定積分と変わらない。

よって、確率を定めるために限っては

$$(a,b)=(a,c)\cup (c,b)$$
として扱っても良い。なぜなら

$$\mathrm{Pr}\left[(a,b)\right]=\mathrm{Pr}[(a,c)\cup \left\{c\right\}\cup (c,b)]=\mathrm{Pr}\left[(a,c)\right]+\mathrm{Pr}\left[(c,b)\right]$$
となる。ただ、これは数学としては

$$P\left((a,b)\right)=P((a,c)\cup (c,b))$$
と記さないと混乱する。

そのため、加法族を

$(a,b]$から構成するのが、確率の計算と相性がいい。

標本空間に間隔や比も意味がある場合

標本空間

$\mathcal{X}$の点の間に、順序

$\prec$が定まり、さらに任意の二点

$a,b\in \mathcal{X}$の差

$a-b$や比

$a/b$に意味がある場合に、次のような計算を定める。

標本空間が正の整数の場合、確率関数による全ての点の重み付き和

$$\sum _{x\in \mathcal{X}}xp\left(x\right)$$
を、確率関数

$p$で表された確率分布

$F$の平均という。

標本空間が実数空間の場合、確率密度関数による全ての点の重み付き和

$${\int }_{x\in \mathcal{X}}xf\left(x\right)dx$$
を同様に、確率密度関数

$f$で表された確率分布

$F$の平均という。

いずれの場合も、確率分布による標本空間の重み付き平均であり、これらの計算を

$$E_F\left[X\right]$$
と記す。これを確率変数

$X$の期待値という。

サイコロ投げ

サイコロは6つの面それぞれに数字が彫られている。サイコロを投げると、いずれか一つの面が上になる。その面に彫られた数字が、サイコロの出目である。サイコロ投げは、６つの場合をランダムに選択するために用いられるが、出る目を数字として扱うことも少なくない。

サイコロを投げる試行において、1から6までの目それぞれが出る確率が表1で与えられている。

表1　サイコロ

事象	1	2	3	4	5	6
確率	1/6	1/6	1/6	1/6	1/6	1/6

このとき、サイコロを投げる試行

$X$を繰り返すと、それらの値の平均は

$$\sum _{x=1}^6\frac{x}{6}=3.5$$
の周りに近づいていく。この値は、標本空間

$\{1,2,3,4,5,6\}$の重心であり、試行の期待値、確率変数

$X$の期待値、あるいは確率分布の平均などと呼ばれる。

計測の偏り

計測誤差がある確率分布に従っているとする。計測値は連続値であり、その確率分布は確率密度関数

$f$で表される。

このとき計測を表す確率変数

$X$の確率分布は、確率密度関数

$f\left(x\right)$が定められる。そして

$${\int }_{x\in \mathcal{X}}xf\left(x\right)dx$$
は標本空間

$\mathcal{X}$の重心であり、確率変数

$X$の期待値、あるいは確率分布の平均などと呼ばれる。計測値の確率分布の平均が、真値と異なるとき、その計測には偏りがあるという。