# 第9章 メモ(繁延)

### 9.3.4 ベイズ線形回帰に関するアルゴリズム

第3章ではベイズ線形回帰の超パラメータ最適化のためにエビデンス近似を用いた。
具体的にはベイズ回帰モデルをパラメータwで周辺化した以下のエビデンス関数を最適化する。

$$
p(\mathbf{t} \mid \alpha, \beta)=\int p(\mathbf{t} \mid \mathbf{w}, \beta) p(\mathbf{w} \mid \alpha) \mathrm{d} \mathbf{w}
$$

これは、wを隠れ変数とした完全データ集合$p(\mathbf{t} \mid \mathbf{w}, \beta) p(\mathbf{w} \mid \alpha)$を用いたEMアルゴリズムでもパラメータ最適化可能。

(3.10)
$p(\mathbf{t} \mid \mathbf{X}, \mathbf{w}, \beta)=\prod_{n=1}^{N} \mathcal{N}\left(t_{n} \mid \mathbf{w}^{\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right), \beta^{-1}\right)$

(3.52)
$p(\mathbf{w} \mid \alpha)=\mathcal{N}\left(\mathbf{w} \mid \mathbf{0}, \alpha^{-1} \mathbf{I}\right)$

(9.61),(3.10),(3.52)より(9.62)を得る。

$$
\begin{aligned}
\mathbb{E}[\ln p(\mathbf{t}, \mathbf{w} \mid \alpha, \beta)]=& \frac{M}{2} \ln \left(\frac{\alpha}{2 \pi}\right)-\frac{\alpha}{2} \mathbb{E}\left[\mathbf{w}^{\mathrm{T}} \mathbf{w}\right]+\frac{N}{2} \ln \left(\frac{\beta}{2 \pi}\right) \\
&-\frac{\beta}{2} \sum_{n=1}^{N} \mathbb{E}\left[\left(t_{n}-\mathbf{w}^{\mathrm{T}} \boldsymbol{\phi}_{n}\right)^{2}\right]
\end{aligned}
$$

Eステップでは、隠れ変数wのデータに基づいた事後分布の計算が必要だがこれは(3.49)で既に算出している。

(3.49),(3.50),(3.51)
$$
\begin{gathered}
p(\mathbf{w} \mid \mathbf{t})=\mathcal{N}\left(\mathbf{w} \mid \mathbf{m}_{N}, \mathbf{S}_{N}\right) \\
\mathbf{m}_{N}=\mathbf{S}_{N}\left(\mathbf{S}_{0}^{-1} \mathbf{m}_{0}+\beta \boldsymbol{\Phi}^{\mathrm{T}} \mathbf{t}\right) \\
\mathbf{S}_{N}^{-1}=\mathbf{S}_{0}^{-1}+\beta \boldsymbol{\Phi}^{\mathrm{T}} \boldsymbol{\Phi}
\end{gathered}
$$