確率ベクトルとその変換

tags: probability-theory

注意

この箇所は、高校の数学や理工系の大学生が1年で学ぶ、多変数関数の微積分の習得を前提としている。確率分布に関する変数変換は、定積分の値である確率

$$\mathrm{Pr}[\mathit{X}\in A]=\int \cdots {\int }_{\mathit{x}\in A}{f}_X\left(\mathit{x}\right)d{x}_1\cdots d{x}_p$$
を保存しなければならない。変換

$\mathit{Y}=T\left(\mathit{X}\right)$の後の確率を保存するために、ヤコビアンが必要となる。

$$\begin{array}{rl}\mathrm{Pr}[\mathit{Y}\in T\left(A\right)]& =\int \cdots {\int }_{\mathit{y}\in T\left(A\right)}{f}_Y\left(\mathit{y}\right)d{y}_1\cdots d{y}_p\\ & =\int \cdots {\int }_{\mathit{y}\in T\left(A\right)}{f}_X\left(T^{-1}\left(\mathit{y}\right)\right)\left|\frac{\partial \mathit{x}}{\partial {\mathit{y}}^{\mathrm{\top }}}\right|d{y}_1\cdots d{y}_p\end{array}$$

1組の確率変数

$(X,Y)$ の

• 積
  $XY$ の分布
• 比
  $X/Y$ の分布

の導出に2変量の確率ベクトルを用いる。

• 多変量正規分布
• 楕円分布

これらの導出に

$p$変量の確率ベクトルを用いる。

2変量

確率ベクトル

$X_1,X_2$ を確率変数の組とする。これらを要素に持つベクトル

$$\mathit{X}=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)$$
を、確率ベクトルという。確率ベクトルは太字

$\mathit{X}$で表すことも、標準の書体

$X$で表すこともある。

定数ベクトル

$\mathit{x}$は太字で表すように教わることが多い。しかしこれも標準の書体

$x$で表すことがある。ベクトルとスカラーを誤認識しようがない状況では、これらを区別しない流儀もある。

確率ベクトルの1対1の変換

${\mathcal{R}}^2$から

${\mathcal{R}}^2$への1対1の変換

$\mathit{T}$を考える。

$$\mathrm{\forall }{x}_1,x_2\in \mathcal{R},\mathit{x}=\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right),\mathit{y}=\left(\begin{array}{c}{T}_1(x_1,x_2)\\ T_2(x_1,x_2)\end{array}\right)=\mathit{T}\left(\mathit{x}\right)\in {\mathcal{R}}^2$$
この変換

$\mathit{T}$ は、ベクトルの各要素について微分可能とする。

$$\frac{\partial }{\partial x_i}{T}_1(x_1,x_2),\frac{\partial }{\partial x_i}{T}_2(x_1,x_2)$$
この変換には逆変換

$T^{-1}$がある。

$$\mathrm{\forall }{y}_1,y_2\in \mathcal{R},\mathit{y}=\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right),\mathit{x}=\left(\begin{array}{c}{T}_1^{-1}(y_1,y_2)\\ T_2^{-1}(y_1,y_2)\end{array}\right)={\mathit{T}}^{-1}\left(\mathit{y}\right)\in {\mathcal{R}}^2$$

変換のヤコビアン

多変数関数の重積分

$$\int {\int }_{\mathit{x}\in A}f\left(\mathit{x}\right)d{x}_{1}d{x}_2$$
を、変数変換

$\mathit{y}=T\left(\mathit{x}\right)$ で表現し直すには、変換のヤコビアンを用いて

$$\int {\int }_{\mathit{y}\in T\left(A\right)}f\left(T^{-1}(y_1,y_2)\right)\left|\begin{array}{cc}\frac{\partial }{\partial y_1}{T}_1^{-1}(y_1,y_2)& \frac{\partial }{\partial y_2}{T}_1^{-1}(y_1,y_2)\\ \frac{\partial }{\partial y_1}{T}_2^{-1}(y_1,y_2)& \frac{\partial }{\partial y_2}{T}_2^{-1}(y_1,y_2)\end{array}\right|d{y}_{1}d{y}_2$$
とする必要がある。

重積分の例

ガウス関数の定積分

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx$$

を求めるのには、次のように定積分の二乗の計算と、

$(x,y)$の極座標

$(r\cos \theta ,r\sin \theta )$への変数変換を用いる。

$$\begin{array}{rl}{\left\{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx\right\}}^2& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx\times {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-y^2}dy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}{e}^{-y^2}dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2-y^2}dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-(x^2+y^2)}dxdy\\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2{\cos }^2\theta -r^2{\sin }^2\theta }\left|\begin{array}{cc}\frac{\partial r\cos \theta }{\partial r}& \frac{\partial r\cos \theta }{\partial \theta }\\ \frac{\partial r\sin \theta }{\partial r}& \frac{\partial r\sin \theta }{\partial \theta }\end{array}\right|drd\theta \\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}\left|\begin{array}{cc}\cos \theta & -r\sin \theta \\ \sin \theta & r\cos \theta \end{array}\right|\\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}\left|r({\cos }^2\theta +{\sin }^2\theta )\right|drd\theta \\ & ={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}rdrd\theta \\ & ={\int }_0^{2\pi }d\theta {\int }_0^{\mathrm{\infty }}r{e}^{-r^2}dr\\ & =2\pi {\left[\frac{e^{-r^2}}{-2}\right]}_0^{\mathrm{\infty }}\\ & =2\pi [\frac{0}{-2}-\frac{1}{-2}]\\ & =2\pi \frac{1}{2}\\ & =\pi \end{array}$$

積の分布

$(X,Y)$を

$(U,V)=(XY,Y)$に変換する。逆変換は

$$(X,Y)=(U/V,V)$$
であり、この変換のヤコビアンは

$$\left|\begin{array}{cc}1/v& -u/v^2\\ 0& 1\end{array}\right|=\left|\frac{1}{v}\right|$$
である。

$$\begin{array}{rl}{f}_{U,V}(u,v)& =f_{X,Y}(\frac{u}{v},v)\left|\frac{1}{v}\right|\end{array}$$

この後に

$V$を積分して、

$U$の周辺分布を導く。

$$\begin{array}{rl}{f}_U\left(u\right)& =\int f_{X,Y}(\frac{u}{v},v)\left|\frac{1}{v}\right|dv\end{array}$$

比の分布

$(X,Y)$を

$(U,V)=(X/Y,Y)$に変換する。逆変換は

$$(X,Y)=(UV,V)$$
であり、この変換のヤコビアンは

$$\left|\begin{array}{cc}v& u\\ 0& 1\end{array}\right|=\left|v\right|$$
である。

$$\begin{array}{rl}{f}_{U,V}(u,v)& =f_{X,Y}(uv,v)\left|v\right|\end{array}$$

この後に

$V$を積分して、

$U$の周辺分布を導く。

$$\begin{array}{rl}{f}_U\left(u\right)& =\int f_{X,Y}(uv,v)\left|v\right|dv\end{array}$$

$p$変量

確率ベクトル

$X_1,X_2,\dots ,X_p$ を確率変数の列とする。これらを要素に持つベクトル

$$\mathit{X}=\left(\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_p\end{array}\right)$$
を、確率ベクトルという。確率ベクトルは太字

$\mathit{X}$で表すことも、標準の書体

$X$で表すこともある。

定数ベクトル

$\mathit{x}$は太字で表すように教わることが多い。しかしこれも標準の書体

$x$で表すことがある。ベクトルとスカラーを誤認識しようがない状況では、これらを区別しない流儀もある。

確率ベクトルの1対1の変換

${\mathcal{R}}^p$から

${\mathcal{R}}^p$への1対1の変換

$T$を考える。

$$\mathrm{\forall }\mathit{x}\in {\mathcal{R}}^p,\mathit{y}=T\left(\mathit{x}\right)\in {\mathcal{R}}^p$$
この変換

$T$ は、ベクトルの各要素について微分可能とする。

$${\partial }_{x_i}={\frac{\partial }{\partial x_i}T\left(\mathit{x}\right)|}_{\mathit{x}}$$
この変換には逆変換

$T^{-1}$がある。

$$\mathrm{\forall }\mathit{y}\in {\mathcal{R}}^p,\mathit{x}=T^{-1}\left(\mathit{y}\right)\in {\mathcal{R}}^p$$

変換のヤコビアン

多変数関数の重積分

$$\int \cdots {\int }_{\mathit{x}\in A}f\left(\mathit{x}\right)d{x}_1\cdots d{x}_p$$
を、変数変換

$\mathit{y}=T\left(\mathit{x}\right)$ で表現し直すには、変換のヤコビアンを用いて

$$\int \cdots {\int }_{\mathit{y}\in T\left(A\right)}f\left(T^{-1}\left(\mathit{y}\right)\right)\left|\frac{\partial {\mathit{T}}^{-1}}{\partial {\mathit{y}}^{\mathrm{\top }}}\right|d{y}_1\cdots d{y}_p$$
とする必要がある。