# 研究札記
## 資訊專題 進度

### **認識常見照片上色模型架構**
date: 2022/6/4
#### vgg16
+ [reference](https://https://ithelp.ithome.com.tw/articles/10192162)
+ [github project](https://github.com/Armour/Automatic-Image-Colorization)

#### GAN
+ [reference](https://medium.com/ai-blog-tw/generative-adversarial-network-gan-%E7%9A%84%E5%9F%BA%E7%A4%8E%E7%90%86%E8%AB%96-503d8dc5ae79)
+ [github project1](https://github.com/moein-shariatnia/Deep-Learning)
+ [**github project2**](https://github.com/ImagingLab/Colorizing-with-GANs)

#### CNN
+ [reference](https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC5-1%E8%AC%9B-%E5%8D%B7%E7%A9%8D%E7%A5%9E%E7%B6%93%E7%B6%B2%E7%B5%A1%E4%BB%8B%E7%B4%B9-convolutional-neural-network-4f8249d65d4f)
+ [github project](https://github.com/shekkizh/Colorization.tensorflow)

#### YOLOv3(v4)
+ [reference](https://mropengate.blogspot.com/2018/06/yolo-yolov3.html)
+ [github](https://github.com/hardik0/Deep-Learning-with-GoogleColab)

#### CycleGAN
+ [reference](https://medium.com/hoskiss-stand/cycle-gan-note-bd166d9ff176)
+ [github](https://github.com/ArkaJU/Image-Colorization-CycleGAN)

#### pix2pix
#### PixelCNN
#### UNet
#### residual-encoder-network、ResNet
#### NoGAN(DeOldify)
#### [CVPR 2020 InstColorization](https://github.com/ericsujw/InstColorization)

-----

### 教授回信內容的整理
date: 2022/6/5

簡單整理以下的問題:

Q1:請問若要開始進行模型的實作，是否要將嘗試過github或一些paper常用的方法(pix2pix、GAN、U-net)都嘗試過?或者在色彩修復這方面，有沒有什麼實作效果較好or較容易實作的模型，除了之前教授所傳的GAN搭配Unet的實作?
A1:你可以用**colorizing (colorization) pretrained model**當作關鍵詞，可以找到很多案例討論，
例如：https://github.com/moein-shariatnia/Deep-Learning/tree/main/Image%20Colorization%20Tutorial
它就直接將程式碼公開（已經使用GAN、U-net模型），就**可以複製到Google Colab來修改執行**看看。

Q2:請問利用Qtiles所擷取之影像解析度低的問題有解決的方法嗎? 目前看起來似乎QGIS針對.png及.jpg的輸出品質恐怕無法更好。
A2:**影像解析度低主要是選取Zoom Level及原始圖資供應單位提供的影像品質所致，與QGIS關係不大**。由於**QTiles中圖磚（Tile) Width及Height可以加大，因此可以視前項你選擇的模型輸入資料格式，進行調整**。

Q3:如果要比較各地區的訓練樣本帶來的影響，這個想法是否可行?意思就是要比較不同地區(可能是台北市、彰化縣...)的黑白影像(訓練用)，是否會影響到訓練的成效。
A3:**應該說訓練資料中就應該包括城市、鄉村及純自然環境的影像（資料），這樣訓練出來模型才能應用到臺灣各地，可以將不同的地景都正確上色。**

[大四學生針對臺灣茶園AI判釋的報告簡報連結](https://docs.google.com/presentation/d/1e5Zwie9indC_yAaG0SNI-0g8RpgqRXQS/edit#slide=id.p1)
[data augmentation](https://ithelp.ithome.com.tw/articles/10235805)
[中央研究院人社中心地理資訊科學研究專題中心](http://gis.rchss.sinica.edu.tw/)

-----

### 查資料，跑網路上提供的模型，學習ML

date: 2022/6/7

https://emilwallner.medium.com/colorize-b-w-photos-with-a-100-line-neural-network-53d9b4449f8d

https://colab.research.google.com/github/moein-shariatnia/Deep-Learning/blob/main/Image%20Colorization%20Tutorial/Image%20Colorization%20with%20U-Net%20and%20GAN%20Tutorial.ipynb#scrollTo=2Yddr6q1F2DC

學了一點numpy跟matplotlib的運用，其實很少啦。

-----

### 專題課

date: 2022/6/9

[google colab note](https://ithelp.ithome.com.tw/m/articles/10218801)
1. colab介面是一個ipynb的介面，在每個code cell輸入指令
2. 資料可以上傳到自己的google drive，使用colab時可以mount自己的google drive:

from google.colab import drive
drive.mount('/content/drive') #/content是你colab的主要資料夾，mount後你googledrive在"drive"

3. 想要執行linux指令（ls,pwd,nvidia-smi...），只要在你想執行的指令前加上“！”即可:

!ls
!nvidia-smi
!python train.py

4. 為了加速training速度，建議把你的training data從google drive複製到colab的主要資料夾，因為你google drive的實體位置可能距離colab的實體位置有點距離，colab在load data時會延遲:

!cp -R ./drive/'My Drive'/training_data training_data

5. colab怪怪的，不能隨便用"!"下cd指令換資料夾，但有個他們稱為magic command的符號，"%"，代替"!"後就可以換資料夾了，指令：%cd。

!ls
# output: colabData/

%%writefile something.py
print("everything's fine.")

!ls
# output: colabData/ something.py

%run something.py
# output: everything's fine.

----

### 專題課
2022/6/16
認識auto encoder、convolutional auto encoder