# Attention（注意） ## Attentionとは 入力側のどこに着目するかを表現、あるいは注目した入力データにしたがって出力をおこなうしくみ 例、明示的に特定の画像箇所に注目するような機能をNN上に実現できる（、注目する領域を推定するネットワークを作り、背景の出力を０にして前景だけの情報を用いての学習を可能にする） ## SENet 特定の特長について注目 ## 文章分類におけるAttention 特定のどの位置の単語に注目するかをNNをこうせい ## LSTMを用いた言語翻訳の Encorderで求めたとくちょうベクトルをもとに、decorderで翻訳後の文章を生成していく 最初にどの単語を最初に翻訳するかを決め、その出力を元にして次に何を翻訳していくのか決める 出力側の時刻にちゅうもくして、入力側の時刻をけってい ## Query-Key-Valueを用いたSource-Target型Attention ## Self-Attention ある単語の持つ特徴をほかの単語をもとに特徴づけることができる 自分自身に対してAttention を行ってその結果を自分自身に反映する 自分自身を特徴づける カイトサーフィンなどの画像を例にとるとサーフィボードとパラシュートの両方を認識して結びづけないと、求める答えが返ってこない Self-Attentionを使うとその辺がうまくいくらしい 全結合だけでのがくしゅうでもいいじゃないかという人も多くいるかもしれないが、全結合だとパラメータが多くなりすぎて過学習の陥りやすいかも Attention では疎結合にするという制約がくわわることで、過学習をよくせいできる