# 様々な活性化関数 ## Tanh 入力値が0から離れると勾配が０に近づき、層が深くなると最適化が進みづらくなる ## ReLU 常に勾配は１、BPの時に前の層に勾配が伝わりやすい 計算がシンプル、演算量を抑えたいときに便利 ## LeakyReLU ０より小さい値にも勾配がある PReLU ## ELU 0より小さい値にも勾配がありなめらかに勾配が変化 Softplus,SELUもこれに近い関数のけいじょうを持つ ## CReLU（concatenated　ReLU） Convoluiton のフィルタを可視化してみると単に符号を反転されたような、フィルタのぺあが他数存在していることがわかる、このようなけーすは２つのフィルタ処理を行う代わりに、Convoluiton の結果を符号反転しほぼ同じ結果を得ることができる Convoluiton 後に符号反転したものとしてないものをconcatenateしてReLUと組み合わせたもの **Convoluiton のフィルタ数を最大で二倍総合にする効果** ## Swish 強化学習をもちい、高い性能を実現する活性化関数を探索、その結果発見された活性化関数 **おおくのケースでその他のActivation を上回る性能**