期待値に関する不等式

tags: probability-theory

準備

凸関数

下に凸な関数

凸関数とは一般には、下に凸な関数を指していう。図の緑色の曲線が関数

$y=g\left(x\right)$の軌跡とする。

この関数は任意の2点

$x_1,x_2$を取ると、

$0\le t\le 1$を満たす実数

$t$に対して

$$g(t{x}_1+(1-t)x_2)\le tg\left(x_1\right)+(1-t)g\left(x_2\right)$$
が成り立つ。内点の関数の値は、関数の値の等分より大きくなる。この性質を下に凸という。

下に凸な関数の、任意の点

$x_0$での接線を考える。

この接線を

$h\left(x\right)=ax+b$ と置く。するとすべての点において

$$\mathrm{\forall }x,h\left(x\right)\le g\left(x\right)$$
が成り立つ。等号は

$x=x_0$の点のみで成り立つ。

下に凸な関数は局所最小となる点を一つしか持たない。その点は大域的な最小値を与える。

上に凸な関数

関数

$g\left(x\right)$が上に凸の場合はすべての不等号の向きが反対になるだけで、同様の性質を持つ。

内積と外積

$p$次元ユークリッド空間の中のベクトル同士の内積は、ベクトルを直交座標系で表現すると

$$⟨\text{boldsymbol}a,\text{boldsymbol}b⟩=\sum _{i=1}^p{a}_i{b}_i$$
と計算できる

赤いベクトル

$a$と青いベクトル

$b$の内積は、

$b$から

$a$に向けておろした垂線の足

$\overrightarrow{OD}$の長さと

$a$の長さの積になる。

$$⟨a,b⟩=\Vert a\Vert \Vert b\Vert \cos \theta$$

赤いベクトル

$a$と青いベクトル

$b$の外積の長さは、

$b$から

$a$に向けておろした垂線

$\overrightarrow{BD}$の長さと

$a$の長さの積になり、これは

$a$と

$b$が作る平行四辺形の面積に一致する。またこれは、

$b$を原点の周りに

$\pi /2$だけ回転したベクトル

$b^{\prime }$と、

$a$を原点の周りに

$\pi$だけ回転したベクトル

$a^{\prime \prime }$との内積に等しい。

Jensenの不等式

下に凸な関数

$g\left(x\right)$について

$$g\left(E\left[X\right]\right)\le E\left[g\left(X\right)\right]$$
が成り立つ。

$X$を確率変数、

$g\left(x\right)$を

$X$の標本空間上で下に凸な関数とする。

$g\left(x\right)$に対して、

$x=E\left[X\right]$において接する直線

$h\left(x\right)$を考える。

$g$が下に凸なので、この直線の切片

$a$と傾き

$b$は

$$h\left(E\left[X\right]\right)=aE\left[X\right]+b=g\left(E\left[X\right]\right)$$
および

$$\mathrm{\forall }x\in \mathcal{X},g\left(x\right)\ge ax+b$$
を満たすように定めることができる。

$X$の期待値が有限なとき、

$g\left(X\right)\ge h\left(X\right)$より

$$\begin{array}{r}E\left[g\left(X\right)\right]\ge E\left[h\left(X\right)\right]\end{array}$$
が成り立つ。さらに右辺は

$$\begin{array}{rl}E\left[h\left(X\right)\right]& =E[aX+b]\\ & =aE\left[X\right]+b\\ & =h\left(E\left[X\right]\right)\\ & =g\left(E\left[X\right]\right)\end{array}$$
なので、最初の不等式が示される。この不等式が成り立つための十分条件は

$E\left[X\right]$が有限なことである。

なお、上に凸な関数

$g\left(x\right)$については

$$g\left(E\left[X\right]\right)\ge E\left[g\left(X\right)\right]$$
が成り立つ。

例1

Jensenの不等式において、

$h\left(x\right)=\left|x\right|$と置くと、

$$\left|E\left[X\right]\right|\le E\left[\left|X\right|\right]$$
を得る。また、

$h\left(x\right)=x^2$と置くと

$${\left\{E\left[X\right]\right\}}^2\le E\left[X^2\right]$$
さらに両辺の平方根を求めて、

$$\left|E\left[X\right]\right|\le \sqrt{E\left[X^2\right]}$$
を得る。以上から

$$\left|E\left[X\right]\right|\le min\{E\left[\left|X\right|\right],\sqrt{E\left[X^2\right]}\}$$
となる。

ところで、Jensenの不等式からではないが

$$E\left[\left|X\right|\right]\le E\left[X^2\right]+1$$
が示せる。これも合わせると、

$$\left|E\left[X\right]\right|\le E\left[\left|X\right|\right]\le E\left[X^2\right]+1$$
となる。

絶対値の期待値についての不等式は、

$-1\le x\le 1$の範囲で

$\left|x\right|$が

$1$より小さいことと、それ以外の範囲では

$\left|x\right|\le x^2$となることを用いて、次のように示される。

$$\begin{array}{rl}E\left[\left|X\right|\right]& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\left|x\right|f\left(x\right)dx\\ & ={\int }_{-\mathrm{\infty }}^{-1}\left|x\right|f\left(x\right)dx+{\int }_{-1}^{-1}\left|x\right|f\left(x\right)dx+{\int }_1^{\mathrm{\infty }}\left|x\right|f\left(x\right)dx\\ & \le {\int }_{-\mathrm{\infty }}^{-1}{\left|x\right|}^{2}f\left(x\right)dx+{\int }_{-1}^{-1}\left|x\right|f\left(x\right)dx+{\int }_1^{\mathrm{\infty }}{\left|x\right|}^{2}f\left(x\right)dx\\ & ={\int }_{-\mathrm{\infty }}^{-1}{x}^{2}f\left(x\right)dx+{\int }_{-1}^1\left|x\right|f\left(x\right)dx+{\int }_1^{\mathrm{\infty }}{x}^{2}f\left(x\right)dx\\ & \le {\int }_{-\mathrm{\infty }}^{-1}{x}^{2}f\left(x\right)dx+{\int }_{-1}^{1}f\left(x\right)dx+{\int }_1^{\mathrm{\infty }}{x}^{2}f\left(x\right)dx\\ & \le {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^{2}f\left(x\right)dx+{\int }_{-1}^{1}f\left(x\right)dx\\ & \le {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^{2}f\left(x\right)dx+{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f\left(x\right)dx\\ & =E\left[X^2\right]+1\end{array}$$
不等式に等号が含まれてはいるが、左辺に対して右辺で

$${\int }_{-\mathrm{\infty }}^{-1}(x^2-\left|x\right|+1)f\left(x\right)dx+{\int }_{-1}^1(1-\left|x\right|+x^2)f\left(x\right)dx+{\int }_1^{\mathrm{\infty }}(x^2-\left|x\right|+1)f\left(x\right)dx$$
だけ加えているので、これら3項のすべてが

$0$でなければ等号は成立しない。

例2 算術平均と幾何平均と調和平均の大小関係 (その1)

三つの期待値を

$$\begin{array}{rl}{m}_S& =E\left[X\right]\\ m_M& =\exp E[\log X]\\ m_I& =\frac{1}{{\displaystyle E\left[\frac{1}{X}\right]}}\end{array}$$
と定める。これらの大小関係を考える。

$$E[\log X]\le \log E\left[X\right]$$
より、

$$m_M=\exp E[\log X]\le E\left[X\right]=m_S$$
を得る。また

$$E[\log \left(\frac{1}{X}\right)]\le \log E\left[\frac{1}{X}\right]$$
より、

$$\frac{1}{m_M}=\exp \{-E[\log X]\}=\exp \left\{E[\log \left(\frac{1}{X}\right)]\right\}\le E\left[\frac{1}{X}\right]=\frac{1}{m_I}$$
すなわち

$$m_I\le m_M$$
を得る。

以上から

$$m_I\le m_M\le m_S$$
を得る。

例3 算術平均と幾何平均と調和平均の大小関係 (その2)

$X$を確率

$1/n$で

$n$個の点

$x_1,\dots ,x_n$のいずれかを取る確率変数とする。すると上の3つの量はそれぞれ

$$\begin{array}{rl}{m}_S& =\frac{1}{n}(x_1+x_2+\cdots +x_n)\\ m_M& ={(x_1\times x_2\times \cdots \times x_n)}^{1/n}\\ m_I& =\frac{1}{{\displaystyle \frac{1}{n}(\frac{1}{x_1}+\frac{1}{x_2}+\cdots +\frac{1}{x_n})}}\end{array}$$
のように標本平均、幾何平均、調和平均となる。これらの大小関係は例2と同じく

$$m_I\le m_M\le m_S$$
となる。

Cauchy-Schwarzの不等式

内積空間の中の任意の2点について

$$\left|⟨a,b⟩\right|\le \Vert a\Vert \Vert b\Vert$$
が成り立つ。ただしノルム

$\Vert \cdot \Vert$は、内積から導かれる

$\Vert a\Vert =\sqrt{⟨a,a⟩}$とする。

これがCauchy-Shwartzの不等式である。これは一般の内積空間で成り立つ。

• ${\mathcal{R}}^2$と
  $⟨\text{boldsymbol}a,\text{boldsymbol}b⟩=a_1{b}_1+a_2{b}_2$の場合、
  $$|a_1{b}_1+a_2{b}_2|\le \sqrt{a_1^2+a_2^2}\sqrt{b_1^2+b_2^2}$$
• $L^2$と
  $⟨f,g⟩={\int }_{x}f\left(x\right)g\left(x\right)dx$の場合、
  $$\left|{\int }_{x}f\left(x\right)g\left(x\right)dx\right|\le \sqrt{{\int }_{x}f{\left(x\right)}^{2}dx}\sqrt{{\int }_{x}g{\left(x\right)}^{2}dx}$$
• 確率変数の空間の内積を
  $E\left[(X-E\left[X\right])(Y-E\left[Y\right])\right]$の場合、
  $$Cov(X,Y)=\sqrt{V\left(X\right)V\left(Y\right)}$$

2つの互いに直交しない要素

$a,b$を考える。

$b$から

$a$に向けて降ろした垂線の足は

$$\frac{⟨a,b⟩}{\Vert a\Vert }a$$

となる。垂線を

$c$と置くと、

$$c=b-\frac{⟨a,b⟩}{{\Vert a\Vert }^2}a$$

であり、点のノルムは

$0$以上となる。この関係から

$$\begin{array}{rl}{\Vert c\Vert }^2& =⟨b-\frac{⟨a,b⟩}{{\Vert a\Vert }^2}a,b-\frac{⟨a,b⟩}{{\Vert a\Vert }^2}a⟩\\ & =⟨b,b⟩-2\frac{⟨a,b⟩}{{\Vert a\Vert }^2}⟨a,b⟩+\frac{{⟨a,b⟩}^2}{{\Vert a\Vert }^4}⟨a,a⟩\\ & ={\Vert b\Vert }^2-\frac{{⟨a,b⟩}^2}{{\Vert a\Vert }^2}\\ & \ge 0\end{array}$$

を得る。よって

$$\begin{array}{}& {⟨a,b⟩}^2\le {\Vert a\Vert }^2{\Vert b\Vert }^2\end{array}$$

すなわち

$$\begin{array}{}& ⟨a,b⟩\le \sqrt{{\Vert a\Vert }^2}\sqrt{{\Vert b\Vert }^2}\end{array}$$

を得る。等式は

$a$と

$b$が

$b=ka$と平行な関係にある場合に成り立つ。

例3 相関係数

任意の2つの確率変数の相関係数は

$-1$と

$1$の間の値を取る。

$$-1\le \rho (X,Y)\le 1$$

これは上の不等式と、相関係数の定義

$$\rho (X,Y)=\frac{Cov(X,Y)}{\sqrt{V\left(X\right)V\left(Y\right)}}$$

から明らか。

別の証明として、

$X+aY$の分散を考える方法もある。

$$\begin{array}{rl}V(X+aY)& =E\left[{(X+aY-E[X+aY])}^2\right]\\ & =E\left[{(X-E\left[X\right]+a(Y-E\left[Y\right]))}^2\right]\\ & =V\left(X\right)+a^{2}V\left(Y\right)-2aE\left[(X-E\left[X\right])(Y-E\left[Y\right])\right]\end{array}$$
最後の式を平方完成させると更に

$$\begin{array}{rl}V(X+aY)& =V\left(Y\right)(a^2-2a\frac{Cov(X,Y)}{V\left(Y\right)})+V\left(X\right)\\ & =V\left(Y\right){(a-\frac{Cov(X,Y)}{V\left(Y\right)})}^2+V\left(X\right)-\frac{Cov{(X,Y)}^2}{V\left(Y\right)}\end{array}$$
となる。もともと分散

$V(X+aY)$は非負であり、初項は必ず非負なので、この第2項と第3項から

$$V\left(X\right)-\frac{Cov{(X,Y)}^2}{V\left(Y\right)}\ge 0$$
が導かれる。これを整理して

$$\frac{Cov{(X,Y)}^2}{V\left(X\right)V\left(Y\right)}\le 1$$
を得る。

例4 標本相関係数

Cauchy-Schwarzの不等式

$$\left|\sum _{i=1}^n(x_i-{\bar{x}}_n)(y_i-{\bar{y}}_n)\right|\le \sqrt{\sum _{i=1}^n{(x_i-{\bar{x}}_n)}^2}\sqrt{\sum _{i=1}^n(y_i-{\bar{y}}_n)}$$
より、

$$\frac{\left|\frac{1}{n}\sum _{i=1}^n(x_i-{\bar{x}}_n)(y_i-{\bar{y}}_n)\right|}{\sqrt{\frac{1}{n}\sum _{i=1}^n{(x_i-{\bar{x}}_n)}^2}\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-{\bar{y}}_n)}}\le 1$$

参考

• GeoGebra