確率ベクトルとその変換

tags: probability-theory

注意

この箇所は、高校の数学や理工系の大学生が1年で学ぶ、多変数関数の微積分の習得を前提としている。確率分布に関する変数変換は、定積分の値である確率

$$\mathrm{Pr}[\text{boldsymbol}X\in A]=\int \cdots {\int }_{\text{boldsymbol}x\in A}{f}_X\left(\text{boldsymbol}x\right)d{x}_1\cdots d{x}_p$$
を保存しなければならない。変換

$\text{boldsymbol}Y=T\left(\text{boldsymbol}X\right)$の後の確率を保存するために、ヤコビアンが必要となる。

$$\begin{array}{rl}\mathrm{Pr}[\text{boldsymbol}Y\in T\left(A\right)]& =\int \cdots {\int }_{\text{boldsymbol}y\in T\left(A\right)}{f}_Y\left(\text{boldsymbol}y\right)d{y}_1\cdots d{y}_p\\ & =\int \cdots {\int }_{\text{boldsymbol}y\in T\left(A\right)}{f}_X\left(T^{-1}\left(\text{boldsymbol}y\right)\right)\left|\frac{\partial \text{boldsymbol}x}{\partial \text{boldsymbol}{y}^{\mathrm{\top }}}\right|d{y}_1\cdots d{y}_p\end{array}$$

1組の確率変数

$(X,Y)$ の

• 積
  $XY$ の分布
• 比
  $X/Y$ の分布

の導出に2変量の確率ベクトルを用いる。

• 多変量正規分布
• 楕円分布

これらの導出に

$p$変量の確率ベクトルを用いる。

2変量

確率ベクトル

$X_1,X_2$ を確率変数の組とする。これらを要素に持つベクトル

$$\text{boldsymbol}X=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)$$
を、確率ベクトルという。確率ベクトルは太字

$\text{boldsymbol}X$で表すことも、標準の書体

$X$で表すこともある。

定数ベクトル

$\text{boldsymbol}x$は太字で表すように教わることが多い。しかしこれも標準の書体

$x$で表すことがある。ベクトルとスカラーを誤認識しようがない状況では、これらを区別しない流儀もある。

確率ベクトルの1対1の変換

${\mathcal{R}}^2$から

${\mathcal{R}}^2$への1対1の変換

$\text{boldsymbol}T$を考える。

$$\mathrm{\forall }{x}_1,x_2\in \mathcal{R},\text{boldsymbol}x=\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right),\text{boldsymbol}y=\left(\begin{array}{c}{T}_1(x_1,x_2)\\ T_2(x_1,x_2)\end{array}\right)=\text{boldsymbol}T\left(\text{boldsymbol}x\right)\in {\mathcal{R}}^2$$
この変換

$\text{boldsymbol}T$ は、ベクトルの各要素について微分可能とする。

$$\frac{\partial }{\partial x_i}{T}_1(x_1,x_2),\frac{\partial }{\partial x_i}{T}_2(x_1,x_2)$$
この変換には逆変換

$T^{-1}$がある。

$$\mathrm{\forall }{y}_1,y_2\in \mathcal{R},\text{boldsymbol}y=\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right),\text{boldsymbol}x=\left(\begin{array}{c}{T}_1^{-1}(y_1,y_2)\\ T_2^{-1}(y_1,y_2)\end{array}\right)=\text{boldsymbol}{T}^{-1}\left(\text{boldsymbol}y\right)\in {\mathcal{R}}^2$$

変換のヤコビアン

多変数関数の重積分

$$\int {\int }_{\text{boldsymbol}x\in A}f\left(\text{boldsymbol}x\right)d{x}_{1}d{x}_2$$
を、変数変換

$\text{boldsymbol}y=T\left(\text{boldsymbol}x\right)$ で表現し直すには、変換のヤコビアンを用いて

$$\int {\int }_{\text{boldsymbol}y\in T\left(A\right)}f\left(T^{-1}(y_1,y_2)\right)\left|\begin{array}{cc}\frac{\partial }{\partial y_1}{T}_1^{-1}(y_1,y_2)& \frac{\partial }{\partial y_2}{T}_1^{-1}(y_1,y_2)\\ \frac{\partial }{\partial y_1}{T}_2^{-1}(y_1,y_2)& \frac{\partial }{\partial y_2}{T}_2^{-1}(y_1,y_2)\end{array}\right|d{y}_{1}d{y}_2$$
とする必要がある。

重積分の例

ガウス関数の定積分

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx$$

を求めるのには、次のように定積分の二乗の計算と、

$(x,y)$の極座標

$(r\cos \theta ,r\sin \theta )$への変数変換を用いる。

$$\begin{array}{rl}{\left\{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx\right\}}^2& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx\times {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-y^2}dy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}{e}^{-y^2}dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2-y^2}dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-(x^2+y^2)}dxdy\\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2{\cos }^2\theta -r^2{\sin }^2\theta }\left|\begin{array}{cc}\frac{\partial r\cos \theta }{\partial r}& \frac{\partial r\cos \theta }{\partial \theta }\\ \frac{\partial r\sin \theta }{\partial r}& \frac{\partial r\sin \theta }{\partial \theta }\end{array}\right|drd\theta \\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}\left|\begin{array}{cc}\cos \theta & -r\sin \theta \\ \sin \theta & r\cos \theta \end{array}\right|\\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}\left|r({\cos }^2\theta +{\sin }^2\theta )\right|drd\theta \\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}rdrd\theta \\ & ={\int }_0^{2\pi }d\theta {\int }_0^{\mathrm{\infty }}r{e}^{-r^2}dr\\ & =2\pi {\left[\frac{e^{-r^2}}{-2}\right]}_0^{\mathrm{\infty }}\\ & =2\pi [\frac{0}{-2}-\frac{1}{-2}]\\ & =2\pi \frac{1}{2}\\ & =\pi \end{array}$$

積の分布

$(X,Y)$を

$(U,V)=(XY,Y)$に変換する。逆変換は

$$(X,Y)=(U/V,V)$$
であり、この変換のヤコビアンは

$$\left|\begin{array}{cc}1/v& -u/v^2\\ 0& 1\end{array}\right|=\left|\frac{1}{v}\right|$$
である。

$$\begin{array}{rl}{f}_{U,V}(u,v)& =f_{X,Y}(\frac{u}{v},v)\left|\frac{1}{v}\right|\end{array}$$

この後に

$V$を積分して、

$U$の周辺分布を導く。

$$\begin{array}{rl}{f}_U\left(u\right)& =\int f_{X,Y}(\frac{u}{v},v)\left|\frac{1}{v}\right|dv\end{array}$$

比の分布

$(X,Y)$を

$(U,V)=(X/Y,Y)$に変換する。逆変換は

$$(X,Y)=(UV,V)$$
であり、この変換のヤコビアンは

$$\left|\begin{array}{cc}v& u\\ 0& 1\end{array}\right|=\left|v\right|$$
である。

$$\begin{array}{rl}{f}_{U,V}(u,v)& =f_{X,Y}(uv,v)\left|v\right|\end{array}$$

この後に

$V$を積分して、

$U$の周辺分布を導く。

$$\begin{array}{rl}{f}_U\left(u\right)& =\int f_{X,Y}(uv,v)\left|v\right|dv\end{array}$$

$p$変量

確率ベクトル

$X_1,X_2,\dots ,X_p$ を確率変数の列とする。これらを要素に持つベクトル

$$\text{boldsymbol}X=\left(\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_p\end{array}\right)$$
を、確率ベクトルという。確率ベクトルは太字

$\text{boldsymbol}X$で表すことも、標準の書体

$X$で表すこともある。

定数ベクトル

$\text{boldsymbol}x$は太字で表すように教わることが多い。しかしこれも標準の書体

$x$で表すことがある。ベクトルとスカラーを誤認識しようがない状況では、これらを区別しない流儀もある。

確率ベクトルの1対1の変換

${\mathcal{R}}^p$から

${\mathcal{R}}^p$への1対1の変換

$T$を考える。

$$\mathrm{\forall }\text{boldsymbol}x\in {\mathcal{R}}^p,\text{boldsymbol}y=T\left(\text{boldsymbol}x\right)\in {\mathcal{R}}^p$$
この変換

$T$ は、ベクトルの各要素について微分可能とする。

$${\partial }_{x_i}={\frac{\partial }{\partial x_i}T\left(\text{boldsymbol}x\right)|}_{\text{boldsymbol}x}$$
この変換には逆変換

$T^{-1}$がある。

$$\mathrm{\forall }\text{boldsymbol}y\in {\mathcal{R}}^p,\text{boldsymbol}x=T^{-1}\left(\text{boldsymbol}y\right)\in {\mathcal{R}}^p$$

変換のヤコビアン

多変数関数の重積分

$$\int \cdots {\int }_{\text{boldsymbol}x\in A}f\left(\text{boldsymbol}x\right)d{x}_1\cdots d{x}_p$$
を、変数変換

$\text{boldsymbol}y=T\left(\text{boldsymbol}x\right)$ で表現し直すには、変換のヤコビアンを用いて

$$\int \cdots {\int }_{\text{boldsymbol}y\in T\left(A\right)}f\left(T^{-1}\left(\text{boldsymbol}y\right)\right)\left|\frac{\partial \text{boldsymbol}{T}^{-1}}{\partial \text{boldsymbol}{y}^{\mathrm{\top }}}\right|d{y}_1\cdots d{y}_p$$
とする必要がある。