# 数理統計学テスト攻略

## 0. 範囲じゃないけど必要そうなやつ
### 平均二乗誤差（Mean Squared Error）

* $T(\boldsymbol{X}) = T(X_1,\ldots,X_n)$ ： $\theta \in \Theta$ の推定量(r.v.)

について，平均二乗誤差 $\mbox{MSE}(T(\boldsymbol{X}),\theta)$ は，
:::danger
$$
\mbox{MSE}(T(\boldsymbol{X}),\theta)
:= \mbox{E}_\theta \left[ \left(T(\boldsymbol{X})-\theta \right )^2 \right]
= \mbox{Var}_\theta [T(\boldsymbol{X})] + \Bigl ( \mbox{E}_\theta [T(\boldsymbol{X})] - \theta \Bigr )^2
$$
:::
である．
### 偏り（Bias）
特に，
:::danger
$$
\mbox{bias}
:= \mbox{E}_\theta[T(\boldsymbol{X})]-\theta
$$
:::
である．

## 1. 定義からの計算
>・有効推定量
・不偏推定量(E(T) = θ)
・クラメール・ラオの不等式（正則条件は省略してよい）
・フィッシャー情報量
・効率
これらの定義が書けるようにしておくこと
その上で計算できるようにしておくこと

### 不偏推定量（Unbiased Estimator）

* $T(\boldsymbol{X}) = T(X_1,\ldots,X_n)$ ： $\theta \in \Theta$ の推定量(r.v.)

の時，
:::info
$$
T(\boldsymbol{X})：\thetaの不偏推定量 :\iff {}^\forall \theta \in \Theta \left [ \mbox{E}_\theta [ T(\boldsymbol{X}) ] = \theta \right ]
$$
:::
である．即ち，
$$
(不偏推定量の期待値) = (パラメータの値)
$$
となる．不偏推定量について，
$$
\mbox{bias} = E_\theta [ T(\boldsymbol{X}) ] - \theta = 0
$$
である．

### フィッシャー情報量（Fisher Information）
フィッシャー情報量 $I_n(\theta) (0 < I_n(\theta) < \infty)$ は，
:::info
$$
I_n(\theta)
:= \mbox{Var}_\theta \left ( \dfrac{\partial}{\partial \theta} \log f (\boldsymbol{X} \mid \theta) \right)
= \mbox{E}_\theta \left [ \left ( \dfrac{\partial}{\partial \theta} \log f (\boldsymbol{X} \mid \theta) \right)^2 \right ]
$$
:::

である．

### クラメール・ラオの不等式
* $X_1,\ldots,X_n \sim X$
* $f(\boldsymbol{x} \mid \theta)$：結合確率（密度）関数
* $T(\boldsymbol{X})=T(X_1,\ldots,X_n)$：$g(\theta)$の不偏推定量
(即ち，$E(T(\boldsymbol{X}))=g(\theta)$)

のとき，正則条件の下で，
:::info
$$
\mbox{Var}_\theta(T(\boldsymbol{X})) \geq \dfrac{\left( \dfrac{\partial}{\partial \theta} g(\theta) \right)^2}{I_n(\theta)} \cdots(クラメール・ラオの不等式)
$$
:::

が成立する．（即ち，分散の下限が存在する）

特に，
* $T(\boldsymbol{X})=T(X_1,\ldots,X_n)$：$\theta$の不偏推定量
(即ち，$E(T(\boldsymbol{X}))=g(\theta) = \theta$)

の時，

$$
\mbox{Var}_\theta(T(\boldsymbol{X})) \geq \dfrac{1}{I_n(\theta)}
$$

が成立する．

### 効率
* $T(\boldsymbol{X})$ ： $\theta \in \Theta$ の不偏推定量

の時，$T(\boldsymbol{X})$ の効率 $\mbox{eff}_\theta(T(\boldsymbol{X}) )$ は，
:::info
$$
\mbox{eff}_\theta(T(\boldsymbol{X}) )
:= \dfrac{\dfrac{1}{I_n(\theta)}}{\mbox{Var}_\theta(T(\boldsymbol{X}))}
= \dfrac{1}{I_n(\theta)\mbox{Var}_\theta(T(\boldsymbol{X}))}
$$
:::
である．

### 有効推定量（最小分散不偏推定量）

特に，
:::info
$$
T(\boldsymbol{X})：\theta \in \Thetaの有効推定量
:\iff \mbox{eff}_\theta(T(\boldsymbol{X}) ) = 1
$$
:::
である．

有効推定量が存在 $\Rightarrow$ UMVUE
（逆は必ずしも真とは限らない）

## 2. 最尤推定 （Maximum Likelihood Estimation） を求める問題

>対数尤度関数を与えて，パラメータで偏微分して，偏微分したものを0として解く．
（関数の最大値問題と同じこと（らしい），一階微分）
（P.225参照）
P.226．例6.3.2ができるように


[高校数学の美しい物語](https://mathtrain.jp/mle)

### 尤度関数（Likelihood Function）
* $\boldsymbol{x} = (x_1,\ldots,x_n)$：観測値
* $f(\boldsymbol{x} \mid \theta)$：結合確率（密度）関数

とする時，尤度関数 $L(\theta \mid \boldsymbol{x})$ は，
:::danger
$$
L(\theta \mid \boldsymbol{x})
:= f(\boldsymbol{x} \mid \theta)
$$
:::

である．即ち，$f(\boldsymbol{x} \mid \theta)$ を $\theta$ の関数とみなしたものである．

特に，
* $\boldsymbol{X} = (X_1,\ldots,X_n)$ ：ランダム標本

の時，$f(\boldsymbol{x}_i \mid \theta)$ を確率（密度）関数として，

$$
L(\theta \mid \boldsymbol{x})
:= \displaystyle{\Pi_i} f(\boldsymbol{x}_i \mid \theta)
$$

と書ける．

### 対数尤度関数
尤度関数の対数を取ったものを，
:::danger
$$
対数尤度関数：\log L(\theta \mid \boldsymbol{x})
$$
:::
と呼ぶ．

特に，
* $\boldsymbol{X} = (X_1,\ldots,X_n)$ ：ランダム標本

の時，$f(\boldsymbol{x}_i \mid \theta)$ を確率（密度）関数として，

$$
\log L(\theta \mid \boldsymbol{x})
:= \log \displaystyle{\Pi_i} f(\boldsymbol{x}_i \mid \theta)
$$

### 最尤推定値（Maximum Likelihood Value）
最尤推定値 $\hat \theta$ は，
:::danger
$$
\hat \theta := \hat \theta(\boldsymbol{x})
= （尤度関数を最大にする値）
= \hat \theta \left [L(\hat \theta \mid \boldsymbol{x}) = \displaystyle{\sup_\theta} \left \{ L(\theta \mid \boldsymbol{x}) \mid \theta \in \Theta \right \} \right ]
$$
:::

### 最尤推定量（Maximum Likelihood Estimator）

最尤推定量 $\hat \theta$ は，
:::danger
$$
\hat \theta := \hat \theta (\boldsymbol{X})
$$
:::
で，略して $\mbox{MLE}$ と呼ぶ．

### 尤度方程式
* $\boldsymbol{\theta} = (\theta_1,\ldots,\theta_k) \in \Theta \subset \mbox{R}^k$
* ${}^\forall \theta_i$について $L(\theta \mid \boldsymbol{x})$ の$1$次偏導関数が存在

の時，最尤推定量 $\hat \theta$ は，
:::danger
$$
\dfrac{\partial}{\partial \theta_i} \log L(\hat \theta \mid \boldsymbol{x}) = 0
（i = 1,2,\ldots,k）\cdots （尤度方程式）
$$
:::
を満たす．

<!--
### モーメント法推定量は必要?
-->

## 3. 正規母集団の平均と分散の信頼区間の導出
### 区間推定
#### 信頼区間（Confidence Interval）
* $\boldsymbol{X} = (X_1,\ldots,X_n)$ ： $\{f(\theta \mid \boldsymbol{x}) \}$ からのランダム標本
* $T_1 = T_1(\boldsymbol{X})$
* $T_2 = T_2(\boldsymbol{X})$

とする．このとき，
:::warning
$$
[ T_1,T_2 ]：\thetaの100(1-\alpha)\% 信頼区間
:\iff {}^\forall \theta \in \Theta, P_\theta(T_1 \leq \theta \leq T_2) \geq 1-\alpha （0 \leq \alpha \leq 1）
$$
:::
#### 信頼水準（Confidence Level）
この時の $1-\alpha$ を信頼水準という．

#### 信頼係数（Confidence Coefficient）
この時の $\displaystyle{\inf_{\theta \in \Theta}}P_\theta[T_1 \leq \theta \leq T_2]$ を信頼係数という．

### （1）母分散 $\sigma^2$ が既知の場合

統計WEBより，[母平均の信頼区間の求め方（母分散既知）](https://bellcurve.jp/statistics/course/8888.html)



### （2）母分散 $\sigma^2$ が未知の場合

統計WEBより，[母平均の信頼区間の求め方（母分散未知）](https://bellcurve.jp/statistics/course/8972.html)



### （3）平均 $\mu$ が既知の場合
統計WEBより，[母分散の信頼区間の求め方1](https://bellcurve.jp/statistics/course/9212.html)



### （4）平均 $\mu$ が未知の場合
統計WEBより，[母分散の信頼区間の求め方2](https://bellcurve.jp/statistics/course/9214.html)



## 過去問
### 平成27年

### 平成28年

### 平成29年