# 13章章末問題

## 13-8
### Q
Joint posterior modes for hierarchical models:

(a) Show that the posterior density for the coagulation example from Table 11.2 on page 288 has a degenerate mode at τ = 0 and θ_j=μ for all j.

p. 288の設定
> Under the hierarchical normal model (restated here, for convenience), data $y_{ij}$, i= 1,...,$n_j$, j= 1,...,J, are independently normally distributed within each of J groups, with means $\theta_j$ and common variance $\sigma^2$.

posterior densityは、

\begin{align}
p(\theta , \mu , \log{\sigma}, \log{\tau} | y ) \propto \tau \Pi_{j=1}^J \mathcal{N}(\theta_j|\mu, \tau^2) \Pi_{j=1}^J \Pi_{i=1}^{n_j}\mathcal{N}(y_{ij}|\theta_j, \sigma^2)
\end{align}

この場合に全ての$j$について$\theta_j=\mu$であるとすれば、上記式は以下のように単純化できる。

\begin{align}
p(\theta , \mu , \log{\sigma}, \log{\tau} | y ) &\propto \tau(\sqrt{2\pi}\tau)^{-J} \Pi_{j=1}^J \Pi_{i=1}^{n_j}\mathcal{N}(y_{ij}|\theta_j, \sigma^2)\\
&= (2\pi)^{-J/2}\tau^{-(J-1)} \Pi_{j=1}^J \Pi_{i=1}^{n_j}\mathcal{N}(y_{ij}|\theta_j, \sigma^2)
\end{align}

ここで、$\Pi_{j=1}^J \Pi_{i=1}^{n_j}\mathcal{N}(y_{ij}|\theta_j, \sigma^2)$の部分は実データ(とその他のパラメータ)から生成されているので、実質的には$\tau^{-(J-1)}$と他のパラメータおよび実データの積として表現されている。
p. 288の事例だと、J=4なので、$\tau→0$のときjoint posterior densityは$\tau^{-3}$となり無限大に近づく。

(b) The rest of this exercise demonstrates that the degeneratemode represents a small part of the posterior distribution. First estimate an upper bound on the integral of the unnormalized posterior density in the neighborhood of the degenerate mode.(Approximate the integrand so that the integral is analytically tractable.)

\(c\) Now approximate the integral of the unnormalized posterior density in the neighbor-hood of the other mode using the density at the mode and the second derivative matrixof the log posterior density at the mode.

(d) Finally, estimate an upper bound on the posterior mass in the neighborhood of thedegenerate mode.