# 知的情報処理特論2

https://syllabus.hosei.ac.jp/web/preview.php?no_id=1919054&nendo=2019&gakubu_id=%E7%90%86%E5%B7%A5%E5%AD%A6%E7%A0%94%E7%A9%B6%E7%A7%91&gakubueng=EV&t_mode=pc

## 09-24

Please take a look (威圧)
* https://hcms.hosei.ac.jp/access/content/group/197178/08417973%20VAT-IEEE%20PAMI%202019.pdf
* https://hcms.hosei.ac.jp/access/content/group/197178/5423-generative-adversarial-nets.pdf ←もうみた

## 10-02
### Adversarial Training
（敵対的）

$LDS$(local distributional smoothness)
$=D[p(y|x), p(y|x+r_{adv},θ)]$
* $D$ : cross-entropy or KL divergence
* $r_{adv}\leq\epsilon$ : adversarial direction
* $y$ : true label
* $x$ : data point

$r$ is the most dengerous derection. Because it changes output class.

* $L$ : Loss
* $L_0$ : traditional

### VAT
https://qiita.com/yuzupepper/items/e2d093f05adccbe1b7f1


なぜ
と表せる？
マクローリン展開をしてみましょう。
* $D$は２つの事後確率の距離を表すので、$r=0$のときは２つの事後確率は等しくなり距離は0となります。
* また距離は正の値を取るため$r=0$において最小値を取ることになります。すなわち$r=0$における勾配も0になります。
なぜ
と表せる？

$r$ must be the unit vector has a direction of first eigenvector of H
$u_1$
because....
$$
Hu=\lambda u\\
HU=UA\\
A=U^{-1}HU\\
=U'HU\\
(U'=U^T=U^{-1})\rightarrow\lambda=u'Hu\\
max{\quad}u^THu=max{\quad}λ=λ_1
$$

$U$: unitary matrix, each column is eigenvector $u_i$
$A$: diagonal matrix,each diagonal element is $\lambda_i$
$u$ is orthogonal and has an unit norm

Still calculation of $u_1$ is time consuming


## 10/16

matlab　code

num_data=5;
num_dim=6;
A=randn(num_data,num_dim) %arbitrary matrix 
AC=cov(A) %to make symmetric square
[V D]=eig(C)
% V: eigenvectors
% D: eigenvalue matrix (diagonal)
left=C*V
right=V*D

%power iterative method 
H=C;
d=randn(num_dim,1);
for(i=1:10)
nHd=(H*d)/norm(H*d)
d=nHd
end
V


↓becauseの部分

$$
f ^{\prime} (r) = \lim _{r \to 0} \frac{f(r + \xi) - f(r)}{\xi}
\approx \lim _{r \to 0} \frac{f(r + \xi d) - f(r)}{\xi d} \\
df^{\prime}(r)\approx\lim_{\xi \to 0} \frac{f(r+\xi d)-f(r)}{\xi} \\
df^{\prime\prime}(r)\approx\lim_{\xi \to 0} \frac{f^{\prime}(r+\xi d)-f^{\prime}(r)}{\xi}
$$

----
###### chat
MATLAB起動しない;;
起動してﾆｯｺﾘ
固有値関連の話勉強しなおさないとやばい
いまいちどういうものなのか理解できてない
おびさんこのノートの存在しってるのかな
たぶん知らない
リンク送っておくわ
情報幾何学のproになりて絵〜〜
わかりみが深い :otaku_syntax:

## 10/23

これなんでlogとるんだっけ

------------
###### chat
ノンパラってこと
わかんね←カス
英語力が低すぎて話の内容の４割くらいしか理解できてない←カス
cocoaなぜかbios開いてる
diagonal→symmetric

https://qiita.com/kenmatsu4/items/b029d697e9995d93aa24 ←だめ
https://arxiv.org/abs/1312.6114 ←こっちが正解←これよんでね
https://nzw0301.github.io/notes/vae.pdf　←論文の日本語解説←だめ

まあみんな読んだかw

JSダイバージェンスくんはちゃんと距離関数だからちゅき :heart:

どういうこと(なんでlogとる)？？↓

確率は $[0-1]$ の値をとるからかけ算しまくるとクソ小さくなっちゃうよね
対数をとれば…勝ちや

正規分布をやっていくときの指数の項をキャンセルできて……嬉しい!