# 5/20 PM

## Current Situation
### paper reading
[The Evolved Transformer](https://arxiv.org/pdf/1901.11117.pdf)

本篇摘要：基於Transformer結構可以在序列任務上得到良好的結果，期望可以用NAS來找到Transformer的強化版。

* Neural Network Search(NAS) 來自於論文"Neural Architecture Search With Reinforcement Learning" ([參考的網路筆記](https://medium.com/ai-academy-taiwan/%E6%8F%90%E7%85%89%E5%86%8D%E6%8F%90%E7%85%89%E6%BF%83%E7%B8%AE%E5%86%8D%E6%BF%83%E7%B8%AE-neural-architecture-search-%E4%BB%8B%E7%B4%B9-ef366ffdc818))
* 要設計出一個網路架構時會出現兩個問題：Intractable Search Space和Non transferable optimality
* Intractable Search Space意思是在我們建構出一個網路架構時，所能選擇的所有組合。以VGG16舉例，其結構是13層單純的conv layers，假設每層kernel size可選擇三種大小{1,3,5}，則所有組合便有3^13^種。
* Non transferable optimality意思是對於不同的裝置，會因其不同的硬體架構，同樣的運算會有不同的速度，所以一個在A裝置表現良好的網路架構，並不一定在B裝置可以同樣表現良好。
* NAS簡單來說就是在擁有的Search Space中根據自身的需求，自動找到最好的網路架構。
* 使用NAS搜索出了7.3 x 10^115^種models，為了選出最優異的model，此論文使用了tournament selection evolutionary architecture search(比較選取法)，必且為了減少更多運算開發出 Progressive Dynamic Hurdles方法。
* 此網路在WMT'14 En-De翻譯任務上做評估。

### Programming
原本預計繼續把魚做完，但是跟宣哲討論過後，魚的程式碼因為是用手刻的，不包含任何可用套件，所以我的理解速度偏慢，學長建議我先找tensorflow或keras版本的實作來做。
### Others (e.g.,projects)
---
## Next Step
### Paper reading
[Neural Architecture Search With Reinforcement Learning](https://arxiv.org/abs/1611.01578)
### Programming
[(英翻中實作)](https://leemeng.tw/neural-machine-translation-with-transformer-and-tensorflow2.html)
### Others
密碼學兩個禮拜後需要報paper，暫時把重心放在這上面。