# 讀書會筆記
## 0207 讀書會固定紀錄項目
:::info
A. 讀書會每週進度 ---> 主講人須記錄當週章節重點與問題討論
B. 作業 ---> 貼上連結或討論紀錄
C. 突然想要到請你們測試的部份 ---> 測試結果與發現的 Bug
:::
---
### 已完成:
#### B. Tmux 介紹：
* https://man.twcc.ai/@TWCC-III-manual/Hyl2VrBpd
#### C. 客製化 Openstack_cloud_image.pdf (小江執行，奕瑋、HY 觀摩)
- 說明: 按照操作手冊已經完成內部的修改，需等待C標上線後，測試修改內容是否可以跑
#### 卡關 : 自製_-_Rocky_cloud_image_.pdf
:::danger
- 說明: 140.110.93.10 目前沒有安裝 KVM 無法測試 (跟Serena討論下一步)
- 過年前是說: 直接載cloud image，然後用roy的文件修改一下已經存在的image ??? (還沒試過)
:::
---
### 本週讀書會預定進度：
1. 作業討論：Chest Xray 案例分析 / DIGITS, jupyter 使用狀況
2. HY : Lecture 5: Convolutional Neural Networks
---
### 0210 讀書會紀錄
#### 1. Lecture 5 : [Convolutional Neural Networks](https://docs.google.com/presentation/d/1EVyrT0mRr7u3v0LVntuN2-eztAFqbVHY/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (Done)
#### Q&A :
**Q** : 在 Convolutional Neural Networks 中 activate function 排序是否有一定的模式？
**A** : 不一定，可按照不同 training 排列組合找到最佳排序。activate function是為了在 Conv/pool 中加入「非線性」。
:::warning
**尚未完成** : Chest Xray 案例分析 / DIGITS, jupyter 使用狀況 ---> 國騰請假，延至下週讀書會進行
:::
### 2. 研究討論：
- 組務會議報告規劃：小江進行AutoML實作教學，奕瑋、HY 實作執行。
- ML Homwork: python 實作規劃，小江準備教材，兩週後進行教學。
---
### 0217 讀書會預定進度：
1. 作業討論：Chest Xray 案例分析 / DIGITS, jupyter 使用狀況
---
### 當週已完成:
#### C. 客製化Openstack_cloud_image.pdf (HY / Wei)
- image 製作 (140.110.93.10)
- image 上傳 (140.110.141.219)
- 發動雲實例 (https://140.110.141.219)
---
## 0217 讀書會紀錄
1. 作業討論 (Done)
2. PCA實作介紹
---
## QA紀錄
### - HY
**Q** : GoogLeNet 在 Chest-Xray 分類上無法有效學習
**A** : 經過多次嘗試 (Image Size/Image Type/Base Learning Rate...) 結果都沒有改變。 ---> 認為應該是 GoogLeNet 的結構設計是適合用在多種分類上，不適合用在二分訓練集上。
#### - WEI:
##### 實作檢討:
**1.經教育雲實作Chest_xray，在AlexNet上可有效使用。**
**2.經調整學習率，解決Overfitting**
**3.增加pooling層數一層**
code:
其結果:
**4.增加第二層pooling層**
code:
其結果:
錯誤提示:
**ValueError: Negative dimension size caused by subtracting 3 from 2 for 'train/model/pool5/MaxPool' (op:'MaxPool') with input shapes: [?,2,2,256].**
**Q**:若欲進行增層，在進行增加第二次pooling時會出現錯誤
**A**:經討論，個人需先了解Tensorflow slim code的使用方式再去分析，學習效果較佳，故暫時等到將 pytorch 與 tensorflow 熟悉後再深入研究。
---
#### 0224 讀書會預定進度：
1. PCA 流程理解: 用途? 目的? 優缺點?
2. Lecture 6 : Hardware and Software (wei)
---
## 0224 讀書會紀錄
### Lecture 6 : Hardware and Software(wei)
*介紹硬體與軟體分別在深度學習中扮演的角色，與運作原理
### 硬體:
1. CPU與GPU之原理與差異
2. 硬碟將資料傳輸至GPU、CPU間的瓶頸問題
### 軟體:
1. 何謂框架
2. Pytorch與Tensorflow差異
3. 何謂動態與靜態計算圖
4. 模型並行運算與資料並行運算
---
#### 0317讀書會預定進度:
1. Visualizing Adapted Knowledge in Domain Transfer (佳誼)
-------------------------
## 0317 讀書會紀錄
1. Paper報告：[Visualizing Adapted Knowledge in Domain Transfer](https://docs.google.com/presentation/d/1d5qmQ_0K8HsekHDupSjonGKcZ3Hgq01p/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (Done)
2. 課程進度規劃確認：
- 3月底完成9章 Auto ML 課程
- 4月開始密集實作 (digit)、paper 撰寫
---
#### 0401(五) 讀書會預定進度 (update):
1. Charpter 7 - Training Neural Networks, Part I (wei)
2. Charpter 8 - Training Neural Networks, Part 2 (HY)
3. Visualizing Adapted Knowledge in Domain Transfer (佳誼 dataset 實作)
4. Charpter 1 - 3 問題提問 (佳誼)
---
## 0401 讀書會紀錄
1. Charpter 7 - [Training Neural Networks, Part I](https://docs.google.com/presentation/d/10twuopNyMEk38pBE6vbQWXHeS8h7qG_c/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (wei)-Done
3. Charpter 8 - Training Neural Networks, Part 2 (HY)-Done
4. Paper : Visualizing Adapted Knowledge in Domain Transfer - [Demo 實作](https://drive.google.com/file/d/1__sIXdxH1LWe7jePdEtwvkmcbfizujY2/view?usp=sharing) (佳誼)-Done
* 大部分可以重現論文效果，惟VRAM不足無法進行ResNet101實驗
* 使用ResNet50在visda可以達到80%效果
Further implementation:
* SFIT產生的source style image可用作資料增強
* SFIT產生的source style image可用作濾鏡產生器
Suggestion:
* 看paper有自己的想法、觀點
* paper方向可從自己看得懂(數學)又有興趣的找起
---
#### 0407(四) 讀書會預定進度:
1. Charpter 9 - CNN Architectures (佳誼)
2. Charpter 4 - 6 問題提問 (佳誼)
---
## 0407 讀書會紀錄
1. Charpter 9 - [CNN Architectures](https://docs.google.com/presentation/d/1wTmOvLF1q3zF0qCI-WHm_mTimbbDJGHa/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (佳誼) - Done
3. 確認四、五月份圖書會目標
- 使用教育雲實作 nni 資料,練習調參 (wei/HY)
- 找AutoML / AutoDL 近期技術 paper (wei/HY/佳誼)
- 擬定研究方向(佳誼)
---
#### 0414(四) 讀書會預定進度:
1. AutoML / AutoDL 近期技術 paper 介紹 (wei/HY/佳誼)
2. 研究相關 paper 報告 (佳誼)
3. nni 調參練習教學與作業引導 (衍涵)
---
## 0414(四)讀書會紀錄:
1. 各別提供 AutoML 近期技術 paper
- AutoSmart: An Efficient and Automatic Machine Learning framework for Temporal Relational Data (WEI)
- AutoML-Zero: Evolving Machine Learning Algorithms From Scratch (WEI)
- AutoFormer: Searching Transformers for Visual Recognition (HY)
- Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition (佳誼)
- Few-shot Neural Architecture Search(佳誼)
2. 共同討論後續[研究目標]及[時程規劃]
- 4/14 ~ 5/1：小江全盤了解NNI的架構面，其他人學會NNI的使用
- 5/11 ~ 6/16：討論新的論文寫作，實作
3. nni 調參練習教學與作業引導 (衍涵) 延後1~2天
4. Q&A
<h4>補充資料:</h4>
1. [NNI OneshotNAS](https://nni.readthedocs.io/en/stable/NAS/OneshotTrainer.html)
- [Single Path One-Shot Neural Architecture Search with Uniform Sampling](https://arxiv.org/abs/1904.00420)
2. [One-shot NAS影片](https://www.youtube.com/watch?v=3nEx9GMHYEk)
3. [Cream](https://github.com/microsoft/Cream)
4. [前論文](http://personales.upv.es/thinkmind/dl/conferences/icsea/icsea_2021/icsea_2021_2_100_10067.pdf)
---
#### 0421(四) 讀書會預定進度:
1. CREAM paper(one-shot)分享(佳誼)
2. Q&A (HY) (WEI)
---
## 0421(四)讀書會紀錄:
1. Paper報告：[Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search](https://arxiv.org/abs/2010.15821)
2. nni 範例 code 分享
---
## 0512(四)讀書會紀錄:
1. 敗血症介紹
2. 論文介紹：[Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition](https://arxiv.org/abs/2102.01063)
3. 焊接影像分析&nni應用演示 (HY，Dennis)
4. 補充知識：
1. Tree-Structured Parzen Estimator (TPE)
2. [BiLSTM](https://kknews.cc/zh-tw/code/2yjekey.html)
3. [A Survey on One-shot Neural Architecture Search](https://iopscience.iop.org/article/10.1088/1757-899X/750/1/012223/pdf)
4. [Generalizing from a Few Examples: A Survey on Few-Shot Learning](https://arxiv.org/pdf/1904.05046.pdf)
---
#### 0602(四) 讀書會預定進度:
1. - [ ] 改敗血症模型(Peter, HY, Dennis)
2. - [x] 敗血症ppt勘誤(Peter, HY, Dennis)
3. - [ ] Target: 尋找nas 加入到敗血症(Peter)
4. - [x] Container 上傳docker hub, 敗血症&瑕疵影像可以用的(Peter)
5. - [ ] ~~Paper 9頁, 34頁(Peter, HY?, Dennis?, **Kureha**)~~
6. - [ ] ZEN-NAS demo(kureha, **Peter**)-[paper](https://arxiv.org/abs/2102.01063)
---
## 0609(四)讀書會紀錄:
1.paper報告:
[Generalizing from a Few Examples: A Survey on Few-Shot Learning](https://arxiv.org/pdf/1904.05046.pdf)(佳誼)
2.敗血症超參數實驗數據進度說明 (WEI) (HY)
---
#### 0623(四)讀書會預定進度:
1. - [ ] Zen-NAS demo(佳誼)
2. - [ ] nni練習(佳誼)
3. - [ ] nas搜索套用在sepsis (**Peter**)
4. - [ ] 敗血症超參數第二階段調整結果分析 (HY、WEI)
---
## 0623(四)讀書會紀錄:
1. 敗血症超參數實驗數據進度說明 (WEI) (HY)
2. 敗血症新模型架構介紹 (Peter)
---
#### 0707(四)讀書會預定進度:
1. - [ ] 敗血症NAS架構調整 (HY、WEI)
---
Sign in with Wallet
Connect another wallet