---
# System prepended metadata

title: 讀書會筆記

---

# 讀書會筆記

## 0207 讀書會固定紀錄項目

:::info
A. 讀書會每週進度 ---> 主講人須記錄當週章節重點與問題討論
B. 作業 ---> 貼上連結或討論紀錄
C. 突然想要到請你們測試的部份 ---> 測試結果與發現的 Bug
:::
---

### 已完成: 

#### B. Tmux 介紹：

* https://man.twcc.ai/@TWCC-III-manual/Hyl2VrBpd

#### C. 客製化 Openstack_cloud_image.pdf (小江執行，奕瑋、HY 觀摩)
- 說明: 按照操作手冊已經完成內部的修改，需等待C標上線後，測試修改內容是否可以跑

#### 卡關 : 自製_-_Rocky_cloud_image_.pdf

:::danger
- 說明: 140.110.93.10 目前沒有安裝 KVM 無法測試 (跟Serena討論下一步)
- 過年前是說: 直接載cloud image，然後用roy的文件修改一下已經存在的image ??? (還沒試過)
:::
---

### 本週讀書會預定進度：

1. 作業討論：Chest Xray 案例分析 / DIGITS, jupyter 使用狀況
2. HY : Lecture 5: Convolutional Neural Networks
---

### 0210 讀書會紀錄

#### 1. Lecture 5 : [Convolutional Neural Networks](https://docs.google.com/presentation/d/1EVyrT0mRr7u3v0LVntuN2-eztAFqbVHY/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (Done)

#### Q&A : 
**Q** : 在 Convolutional Neural Networks 中 activate function 排序是否有一定的模式？

**A** : 不一定，可按照不同 training 排列組合找到最佳排序。activate function是為了在 Conv/pool 中加入「非線性」。 
![](https://i.imgur.com/dJ9mEZW.png)

:::warning
**尚未完成** : Chest Xray 案例分析 / DIGITS, jupyter 使用狀況 ---> 國騰請假，延至下週讀書會進行
:::

### 2. 研究討論：
 - 組務會議報告規劃：小江進行AutoML實作教學，奕瑋、HY 實作執行。
 - ML Homwork: python 實作規劃，小江準備教材，兩週後進行教學。
---
### 0217 讀書會預定進度：

1. 作業討論：Chest Xray 案例分析 / DIGITS, jupyter 使用狀況

---

### 當週已完成:

#### C. 客製化Openstack_cloud_image.pdf (HY / Wei)

- image 製作 (140.110.93.10)

![](https://i.imgur.com/bQIyirI.png)

- image 上傳 (140.110.141.219)

![](https://i.imgur.com/KgyJtaQ.png)

- 發動雲實例 (https://140.110.141.219)

![](https://i.imgur.com/r17Ahrm.png)
---

## 0217 讀書會紀錄

1. 作業討論 (Done)
2. PCA實作介紹
---

## QA紀錄 

### - HY
 
**Q** : GoogLeNet 在 Chest-Xray 分類上無法有效學習

![](https://i.imgur.com/lNCZ6UD.png)

**A** : 經過多次嘗試 (Image Size/Image Type/Base Learning Rate...) 結果都沒有改變。 ---> 認為應該是 GoogLeNet 的結構設計是適合用在多種分類上，不適合用在二分訓練集上。

#### - WEI:  

##### 實作檢討:
**1.經教育雲實作Chest_xray，在AlexNet上可有效使用。**
![](https://i.imgur.com/UIVn73B.jpg)

**2.經調整學習率，解決Overfitting**
![](https://i.imgur.com/aGWRHZA.jpg)

**3.增加pooling層數一層**
code:
![](https://i.imgur.com/plUmCPH.jpg)
其結果:
![](https://i.imgur.com/SiigJzj.jpg)

**4.增加第二層pooling層**
code:
![](https://i.imgur.com/AspUzD1.jpg)
其結果:
![](https://i.imgur.com/Q0SSICF.jpg)


錯誤提示:
**ValueError: Negative dimension size caused by subtracting 3 from 2 for 'train/model/pool5/MaxPool' (op:'MaxPool') with input shapes: [?,2,2,256].**
        
**Q**:若欲進行增層，在進行增加第二次pooling時會出現錯誤

**A**:經討論，個人需先了解Tensorflow slim code的使用方式再去分析，學習效果較佳，故暫時等到將 pytorch 與 tensorflow 熟悉後再深入研究。

---

#### 0224 讀書會預定進度：

1. PCA 流程理解: 用途? 目的? 優缺點?
2. Lecture 6 : Hardware and Software (wei)
---

## 0224 讀書會紀錄
### Lecture 6 : Hardware and Software(wei)

*介紹硬體與軟體分別在深度學習中扮演的角色，與運作原理

### 硬體:
1. CPU與GPU之原理與差異
2. 硬碟將資料傳輸至GPU、CPU間的瓶頸問題

### 軟體:
1. 何謂框架
2. Pytorch與Tensorflow差異
3. 何謂動態與靜態計算圖
4. 模型並行運算與資料並行運算
---

#### 0317讀書會預定進度:
1. Visualizing Adapted Knowledge in Domain Transfer (佳誼)
-------------------------

## 0317 讀書會紀錄

1. Paper報告：[Visualizing Adapted Knowledge in Domain Transfer](https://docs.google.com/presentation/d/1d5qmQ_0K8HsekHDupSjonGKcZ3Hgq01p/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (Done)

2. 課程進度規劃確認：
- 3月底完成9章 Auto ML 課程
- 4月開始密集實作 (digit)、paper 撰寫
---

#### 0401(五) 讀書會預定進度 (update):

1. Charpter 7 - Training Neural Networks, Part I (wei)
2. Charpter 8 - Training Neural Networks, Part 2 (HY)
3. Visualizing Adapted Knowledge in Domain Transfer (佳誼 dataset 實作)
4. Charpter 1 - 3 問題提問 (佳誼) 
---

## 0401 讀書會紀錄

1. Charpter 7 - [Training Neural Networks, Part I](https://docs.google.com/presentation/d/10twuopNyMEk38pBE6vbQWXHeS8h7qG_c/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (wei)-Done
3. Charpter 8 - Training Neural Networks, Part 2 (HY)-Done
4. Paper : Visualizing Adapted Knowledge in Domain Transfer - [Demo 實作](https://drive.google.com/file/d/1__sIXdxH1LWe7jePdEtwvkmcbfizujY2/view?usp=sharing) (佳誼)-Done

* 大部分可以重現論文效果，惟VRAM不足無法進行ResNet101實驗
* 使用ResNet50在visda可以達到80%效果


Further implementation:
* SFIT產生的source style image可用作資料增強
* SFIT產生的source style image可用作濾鏡產生器

Suggestion:
* 看paper有自己的想法、觀點
* paper方向可從自己看得懂(數學)又有興趣的找起

---
#### 0407(四) 讀書會預定進度:

1. Charpter 9 - CNN Architectures (佳誼)
2. Charpter 4 - 6 問題提問 (佳誼) 
---

## 0407 讀書會紀錄

1. Charpter 9 - [CNN Architectures](https://docs.google.com/presentation/d/1wTmOvLF1q3zF0qCI-WHm_mTimbbDJGHa/edit?usp=sharing&ouid=108416022133614299552&rtpof=true&sd=true) (佳誼) - Done
3. 確認四、五月份圖書會目標
 
    - 使用教育雲實作 nni 資料,練習調參 (wei/HY)
    - 找AutoML / AutoDL 近期技術 paper (wei/HY/佳誼)
    - 擬定研究方向(佳誼)
---

#### 0414(四) 讀書會預定進度:

1. AutoML / AutoDL 近期技術 paper 介紹 (wei/HY/佳誼)
2. 研究相關 paper 報告 (佳誼)
3. nni 調參練習教學與作業引導 (衍涵)

---
## 0414(四)讀書會紀錄:

1. 各別提供 AutoML 近期技術 paper 
     - AutoSmart: An Efficient and Automatic Machine Learning framework for Temporal Relational Data (WEI)
    - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch (WEI)
    - AutoFormer: Searching Transformers for Visual Recognition (HY)
    - Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition (佳誼)
    - Few-shot Neural Architecture Search(佳誼)
2. 共同討論後續[研究目標]及[時程規劃]
    - 4/14 ~ 5/1：小江全盤了解NNI的架構面，其他人學會NNI的使用
    - 5/11 ~ 6/16：討論新的論文寫作，實作

3. nni 調參練習教學與作業引導 (衍涵) 延後1~2天 
4. Q&A 

<h4>補充資料:</h4>

1. [NNI OneshotNAS](https://nni.readthedocs.io/en/stable/NAS/OneshotTrainer.html)
    
    - [Single Path One-Shot Neural Architecture Search with Uniform Sampling](https://arxiv.org/abs/1904.00420)

2. [One-shot NAS影片](https://www.youtube.com/watch?v=3nEx9GMHYEk)
3. [Cream](https://github.com/microsoft/Cream)
4. [前論文](http://personales.upv.es/thinkmind/dl/conferences/icsea/icsea_2021/icsea_2021_2_100_10067.pdf)

---
#### 0421(四) 讀書會預定進度:
1. CREAM paper(one-shot)分享(佳誼)
2. Q&A (HY) (WEI) 

---
## 0421(四)讀書會紀錄:
1. Paper報告：[Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search](https://arxiv.org/abs/2010.15821)
2. nni 範例 code 分享

---
## 0512(四)讀書會紀錄:
1. 敗血症介紹
2. 論文介紹：[Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition](https://arxiv.org/abs/2102.01063)
3. 焊接影像分析&nni應用演示 (HY，Dennis)
4. 補充知識：
    1. Tree-Structured Parzen Estimator (TPE)
    2. [BiLSTM](https://kknews.cc/zh-tw/code/2yjekey.html)
    3. [A Survey on One-shot Neural Architecture Search](https://iopscience.iop.org/article/10.1088/1757-899X/750/1/012223/pdf)
    4. [Generalizing from a Few Examples: A Survey on Few-Shot Learning](https://arxiv.org/pdf/1904.05046.pdf)

---
#### 0602(四) 讀書會預定進度:

1. - [ ] 改敗血症模型(Peter, HY, Dennis)
2. - [x] 敗血症ppt勘誤(Peter, HY, Dennis)
3. - [ ] Target: 尋找nas 加入到敗血症(Peter)
4. - [x] Container 上傳docker hub, 敗血症&瑕疵影像可以用的(Peter)
5. - [ ] ~~Paper 9頁, 34頁(Peter, HY?, Dennis?, **Kureha**)~~
6. - [ ] ZEN-NAS demo(kureha, **Peter**)-[paper](https://arxiv.org/abs/2102.01063)

---
## 0609(四)讀書會紀錄:

1.paper報告: 
[Generalizing from a Few Examples: A Survey on Few-Shot Learning](https://arxiv.org/pdf/1904.05046.pdf)(佳誼)
2.敗血症超參數實驗數據進度說明 (WEI) (HY)

---

#### 0623(四)讀書會預定進度:

1. - [ ] Zen-NAS demo(佳誼)
2. - [ ] nni練習(佳誼)
3. - [ ] nas搜索套用在sepsis (**Peter**)
4. - [ ] 敗血症超參數第二階段調整結果分析 (HY、WEI)

---
## 0623(四)讀書會紀錄:

1. 敗血症超參數實驗數據進度說明 (WEI) (HY)
2. 敗血症新模型架構介紹 (Peter)



---
#### 0707(四)讀書會預定進度:

1. - [ ] 敗血症NAS架構調整 (HY、WEI)

---


