# G検定ミス問題メモ 内部共変量シフト 大規模なニューラルネットワークを学習すると、ある層の入力がそれより仮想の学習が進むにつれて変化してしまうことがある。これにより学習が止まってしまうことが考えられる。このことを内部共変量シフトと呼ぶ。 正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。 この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。 DistBeliefはGoogleが開発した深層分散学習のフレームワークである。これは論文も出されていて、深層分散学習の仕組みを理解できる。 ハイパーパラメータを求める方法にはグリッドサーチやランダムサーチがある。 グリッドサーチは適切だと考えられるパラメータを複数用意し、それらの値の組み合わせを全通り総当たりで行い、最も良いハイパーパラメータを探す方法である。 ランダムサーチは考えられるパラメータの範囲を決め、ランダムにパラメータを組み合わせて学習させ、最も良いハイパーパラメータを探す方法である。 ベイズ最適化もハイパーパラメータの最適化の方法として注目されている。これは過去の試行結果から次に行う範囲を確率分布を用いて計算する手法である。 自己符号化器（Auto encoder） 層ごとの貪欲法 仮想計測 LSTM では抽出を含む LSTM Block を組み込むことで,長期間の系列情報に対しても勾配消失せずに学習を行うことができる. バーニーおじさんのルール 学習に用いるデータ量の目安となる経験則 次元の呪い データの次元が増加すると,問題の算法が指数関数的に大きくなること ノーフリーランチ定理 全てのタスクに対して常に他よりすぐれている万能的なアルゴリズムは存在しないこと 醜いアヒルの子の定理 認知できる全ての客観的な特徴に基づくと全ての対象は同程度に類似している,つまり特徴を選択しなければ表現の類似度に基づく分類は不可能である,ということ 確定的モデル 確率的モデル 局所コントラスト正規化 画像処理の分野においては,減算正規化と除算正規化の処理を行う bag-of-words 文章に単語が含まれているかどうかを考えてテキストデータを数値化する TF-IDF 文章に含まれる単語の重要度を特徴量とする DQN 強化学習において,行動価値関数の関数近似に畳み込みニューラルネットワークを用いた手法 蒸留 ヒストグラム平均