# 研究計画

###### tags: `研究`

## 基本的なモチベーション
* ダイナミクス・ネットワークの性質と情報処理の性質の間の**新しい関係を発見**したい。
* そのためにRNNとDeep learningを用いる。

## これまでの例（先行結果）

| 研究 | ダイナミクス・ネットワークの性質 | 情報処理の性質 |
| -------- | -------- | -------- |
| Kurikawa, et al(2018) https://www.nature.com/articles/s41593-018-0263-5 | （自発発火状態における）susceptibility | 区別のつきづらい微妙な刺激に対する応答 |
| Emin Orhan, Wei Ji Ma(2019) https://www.nature.com/articles/s41593-018-0314-y | neural dynamicsのsequentiality | ????（論文中では示していない）|
| よく知られている事実 | 固定点周りのJacobianの最大固有値 | neural noiseに対する安定性 |
| Barak, Sussillo(2013) https://www.mitpressjournals.org/doi/full/10.1162/NECO_a_00409?url_ver=Z39.88-2003&rfr_id=ori%3Arid%3Acrossref.org&rfr_dat=cr_pub%3Dpubmed& | （sine wave generatorにおいて）固定点周りの最大固有値の偏角 | 周波数 |

## 自分の試み

| ダイナミクス・ネットワークの性質 | 情報処理の性質 |
| -------- | -------- |
| 混合選択性（統合レベル） | ???? |
→なんとか理解したいがまだできていない。一旦pending・・・

| ダイナミクス・ネットワークの性質 | 情報処理の性質 |
| -------- | -------- |
| 発火頻度の大きさ（ノルム） | synaptic noiseに対する安定性 |
→synaptic noiseのモデルがまだ詰められておらず、非自明な結果が得られていない。

## これからの方針
* 「neural noiseに対する安定性」をゴールにしてもう少し進められないか？
* 記憶状態が固定点ではないような情報処理では安定性を決める条件はまだ明らかでない。
* Short-term synaptic plasticityを仮定した場合も何が安定性を決めてるのかは分かっていない気がする。
* STSPを仮定した場合synaptic noiseとneural noiseが従う統計性が異なってくるためneural noiseとは別にsynaptic noiseを考えた方がいいとなるが、その前にSTSPでの条件を調べた方が筋が良さそう・・・

## タスク
* flip-flop taskより複雑（？）なタスク
* cognitive taskとして比較的一般的に用いられているもの
* RNNを使う必要があるもの（Working memoryが絡むタスク）

#### ROMO task(1999)


2つの刺激を順番に入れて、どちらが周波数が大きいかを判定する。

#### Random dot motion task


様々な方向に動いてる点の平均の移動方向がどちらかを判定する。

## モデル
* STSPなしでneural noiseを変えた時に安定性をどのように獲得するのかを調べたい（flipflop taskにおけるjacobianの最大固有値に対応する特徴量を見つけたい）。
* その上で、それとは別にshort-term synaptic plasticityを導入する。
#### Hebbian STSP
* [Emin Orhan, Wei Ji Ma(2019)](https://www.nature.com/articles/s41593-018-0314-y)参照
$J(t+1)=J(t)+\beta(\tanh({\bf x})\tanh({\bf x})^{\mathrm T})+\sqrt{\beta}\sigma_{\rm syn}\mathcal N(0,1)$

→学習させてみると、「発火したところがより強く発火するように」なるのでダイナミクスと学習が安定しない。ただし一応学習はできる。

#### anti-Hebbian STSP

* [Barak, et al(2019)](https://www.nature.com/articles/s41467-019-12306-2.pdf)参照
$J(t+1)=J(t)+\beta(E-\tanh({\bf x})\tanh({\bf x})^{\mathrm T})+\sqrt{\beta}\sigma_{\rm syn}\mathcal N(0,1)$

（ただし$E$は単位行列）
→こちらの方が安定的に学習できているように見える。ただ解析はまだ。

## 情報処理の性質の違いとして期待していること

* psychometric curveの違い（c.f.Kurikawa論文）


* 入力刺激の信頼性を変えた時の反応性の違い

入力刺激をpoisson cordingで与えた時のgainの違いによって刺激の信頼度を変えることができる。そうやって変えた時のrobustnessの違いとか・・

## 要検討事項

* どうやって学習させるのか
* Deep Learning?
* FORCE learning?

* 時間スケールの効果
*