# ニューラルネットワークの多層化について 層を増やすほど表現力が増す ## 多層化について かつては層を増やすほど学習が困難になるというもんだいがあった 各種テクニックの発明により、現在はほぼ再現なく層数を増やすことができる ・三層以上・・ReLU,Dropout,よりよい係数の初期化など ・10層以上・・BatchNormalizationなどの正規化 ・20層以上・・Residual　Networks などのスキップコネクション、Auxiliary　Lossなど ## ReLU Tanhは多層になると学習が困難に→ReLUをつかうと三層以上のネットワークの安定した学習が可能に ## ・BatchNormalization （最終章を除く）Convoluitonや全結合層の直後に挿入 中間出力が平均０、分散一となるようにバッチ内で正規化を行う ## Residual　Networks ・Skipコネクションを導入 ・誤差がネットワーク全体に効果的に伝播、１００層以上じょネットワーク学習が可能に H（ｘ）＝ｘ＋F(ｘ)みたいな感じ **Residual Unitを繰り返すことで、どこまでも層を増やす（表現力をたかめることが可能）**