# ニューラルネットワーク〜理論〜

2017 / 12 / 04

## 脳の神経回路概略

人間の脳は1000億個以上もの **神経細胞(ニューロン, neuron)** から構成される．
神経細胞の中央には **細胞体(cell body)** があり，また **軸索(axon)** と **樹状突起(dendrite)** の2種類の突起が伸びている．
軸索からはいくつもの分岐が出ていて，これを **軸索側枝** と呼び，その終端は **軸索終末** という．
軸索終末は他のニューロンの樹状突起や細胞体と接合し，**シナプス(synapse)** を形成する．


軸索と樹状突起は **電気信号(パルス)** を伝える電線のような役割を果たす．
神経回路上の電気信号は1ミリ秒程度のごく短時間だけ立ち上がるパルスとして伝播する．
このような電気活動を **活動電位(スパイク)** と呼ぶ．

このパルスの振幅は決まっていて，信号の大きさには関係ない．信号強度に関係が有るのはその密度である．

細胞体は閾値を超える電気信号を受け，軸索に向かって電気信号を出力する．
この閾値を超える電気信号を受けたニューロンは活性化し，興奮状態となる．

そして細胞体から出たパルスは側枝にも分岐し，それぞれの軸索終末まで伝播する．
その電気信号は各軸索終末にあるシナプスにおいて他のニューロンの樹状突起に入力し，別の細胞体で伝わってきた全ての電気信号が合算される．
このような相互作用から **神経回路網(ニューラルネットワーク, neural network)** が構成されている．

## ニューロンの生物学的モデル

生物学的な神経回路は見ての通り時間依存の系である．
今日，一般的なニューラルネットワークに用いられているニューロンは信号強度に着目したモデルである．

モデルは脳の活動において重要な要素に従って作成されるが，何が大きな意味を持つのかは未だ明らかでない．
しかし，ニューロンの観察により，その働きはほとんど明らかである．
ここでは，個々のスパイクの発生に着目したモデルをいくつか述べる．

* Integrate-and-fire(IF,積分発火型)モデル


* Hodgkin-Huxley(HH型)モデル


HH型モデルは生物学的基盤がはっきりしているため，精密なニューロン活動パターンのモデルを記述するのに向いている．
しかし多変数の複雑な数式によって記述されているため，大規模な神経回路のシミュレーションを行うのは困難である．

## 一般的なニューロンモデル

一般的なニューラルネットワークを構成するニューロンモデルの基礎はコネクショニストモデル，またはMcCulloch-Pittsニューロンとして知られる．


このモデルは神経活動の数理モデルと論理回路を対応付けたものであり，MccullochとPittsらは活性化関数としてヘヴィサイドの階段関数を用いた．
これにより，NANDゲートと等価なネットワークを構築することが可能である．

y = θ(-x1-x2+1.5); θ = {1 if x >= -1.5; 0 if x < -1.5}

NANDゲートを組み合わせることで全ての論理演算を行うことが可能であるのは良く知られた事実である．このことから，このモデルの柔軟性が分かる．

現在主流のニューラルネットワークはこのモデルを基礎とし，ニューロンの組み合わせや活性化関数，学習則を変えることで，様々な処理を行うニューラルネットワークを構成している．
深層学習(ディープラーニング)で知られるディープニューラルネットワークとは，隠れ層が2層以上(入力層・出力層を含めると4層)のニューラルネットワークのことである．

## 参考

* [機械学習スタートアップシリーズ これならわかる深層学習入門, 瀧 雅人 著](https://www.amazon.co.jp/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%B9%E3%82%BF%E3%83%BC%E3%83%88%E3%82%A2%E3%83%83%E3%83%97%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-%E3%81%93%E3%82%8C%E3%81%AA%E3%82%89%E3%82%8F%E3%81%8B%E3%82%8B%E6%B7%B1%E5%B1%A4%E5%AD%A6%E7%BF%92%E5%85%A5%E9%96%80-KS%E6%83%85%E5%A0%B1%E7%A7%91%E5%AD%A6%E5%B0%82%E9%96%80%E6%9B%B8-%E7%80%A7-%E9%9B%85%E4%BA%BA/dp/4061538284)
* [脳の計算論, 甘利 俊一 監修,深井 朋樹 編](https://www.amazon.co.jp/%E8%84%B3%E3%81%AE%E8%A8%88%E7%AE%97%E8%AB%96-%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA%E8%84%B3%E7%A7%91%E5%AD%A6-1-%E7%94%98%E5%88%A9-%E4%BF%8A%E4%B8%80/dp/4130643010)
* [Lecture 6:Single neuron models\[PDF\], University of Tartu](https://courses.cs.ut.ee/MTAT.03.291/2014_spring/uploads/Main/Lecture6.pdf)