# 8/15

## 張銀軒

## 黃色

## past

### 6/24

#### 永毅

- [x] 將原本的image base, text base合併成image+text base來比較結果

#### 銀軒

- [ ] 如何量化(辨識率等等，想呈現的效果在clip space上的分數)
- 進度: 目前實作分類器，後續進度在 7/4

### 7/4

#### 黃色

- [x] 使用不同的原始圖片 觀察CLIP score的變化(無影響 CLIP score越大 代表兩物差距越大)
- [x] 針對導向圖片 有無先縮放是否影響生成的結果或CLIP score(無影響)

#### 銀軒

- [ ] 決定出1個以上的function 定義出風格轉換的效果
- loga + lobg
- 相似性相乘
- [x] image style label onehotencoding
- [x] image dataset 同一 style 數量相同

#### 賴

- [ ] density 去做likehood analysis
- [1d kernel density](https://scikit-learn.org/stable/auto_examples/neighbors/plot_kde_1d.html)
- [Adversarial autoencoder, section 3: likelihood analysis](https://arxiv.org/pdf/1511.05644.pdf)
- [x] 圖片丟進 clip 後，看 clip 分析的的東西

### 7/11

#### 銀軒

- [x] 先試著分2類看看
- Art_Nouveau(新藝術風潮) 和 Baroque (巴洛克風格), 1000 each
- Art_Nouveau(新藝術風潮) + Baroque (巴洛克風格) + Expressionism (表現主義), 1000 each

### 7/18

#### 黃色

- [x] 對風格導向圖片用前處理的方法 降低圖片本身內容對成品的錯誤引導(完全沒找到)
- [ ] 看一下有沒有其他的loss可以幫助風格導向(目前只有global clip,directional clip loss,gram matrix,再找找)
- [ ] image to text再抽取部分text來做text guided style transfer?(huggingface 有finetune的問題 先嘗試finetune 再找有無其他的 image to text 或是想想不finetune能否拿來用?(或許有其他可用之處) )

#### 銀軒

- [x] 嘗試肉眼可以分辨的類別 (expressionism, cubism, Ukiyo_e)，各 1000 張
- expressionism (有些圖片其實跟 cubism 有點像)
- 

- cubism
- 

- Ukiyo_e
- 
- 
- [x] 了解[分類器](https://medium.com/@lavallee.alexx/how-to-code-a-convolutional-neural-networks-to-recognise-art-style-in-paintings-d922fe69e553)模型架構
- 問題: 沒有用來分類的全連接層
- 架構
- 水平翻轉...: 讓訓練出來的模型不會因為有些微的變化而改變結果
- average pooling: 提取特徵
- dropout: 用來避免 overfitting
- 

### 7/25

#### 黃色

- [ ] 使用一下人臉的結果是不是跟風景照一樣

#### 銀軒

- [x] 用 pretrained model 去輸出風格，再以向量乘積作為風格的差距
- [pretrained model (not done)](https://colab.research.google.com/drive/1GFUAW-p82mxQGtSvw_-tk9E-iWpfXcqz?usp=sharing)
- [paper](https://arxiv.org/pdf/1705.06830.pdf)
- 問題
- 這個 model 原先是設計給手機 app 使用，成效不一定好
- 程式碼中的 style_bottleneck 並不是 vgg 各層的特徵
- 沒有找到此 model 輸出 vgg 各層特徵的方式
- 結論: 此 model 不適合

### 8/1

#### 銀軒

- [x] [其他文章視覺上的比較結果](https://hackmd.io/@meow2meow/H1q-mtk3h)
- [ ] 了解我們方法的目的
- [ ] 每一種類別圖片的好壞標準

### 8/8

#### 銀軒

- [ ] 了解 gram matrix
- [實作](https://colab.research.google.com/drive/1A1x7f3ApxTmDOx6d7bJ8PmGxc6UFXgUj?usp=sharing)

### 8/29

#### 黃色

- [ ] 寫我們 diffusion 怎麼做的

#### 銀軒

- [x] 跑 Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

#### 賴

- [x] 跑 A Neural Algorithm of Artistic Style

### 9/5

#### 黃色

- [ ] 寫我們 diffusion 怎麼做的
- [x] 調參數，跑500張
- [ ] 用視覺調
- [ ] 照分數調
- 3 個 content loss
- 2 個 style loss
- gram matrix

#### 銀軒

- [x] Adain 跑實驗結果
- content: apple.jpg
- [style](https://github.com/LouieLK/ZeCon_edit_by_image/tree/main) 100 張 per style => 共500張
- 黑白的圖片需要轉換成3個channel

#### 賴

- [x] 評分程式
- [x] 單張評分
- [x] 多張評分
- 檔案結構
- root
- origin
- style_1
- image_1
- image_2
- style_2
- image_3
- image_4
- method
- method_1
- style_1
- image_1
- image_2
- style_2
- image_3
- image_4
- method_2
- style_1
- image_1
- image_2
- style_2
- image_3
- image_4
- ...

## 9/15

### 銀軒

- [x] 推其他21類圖片
- [x] 環境架設 [Fast Style Transfer for Arbitrary Styles](https://github.com/magenta/magenta/blob/main/magenta/models/arbitrary_image_stylization/README.md)

## 9/19

### 銀軒
- [ ] 跑 [Fast Style Transfer for Arbitrary Styles](https://github.com/magenta/magenta/blob/main/magenta/models/arbitrary_image_stylization/README.md) 2600張
- [x] Adain 2600張(content: 蘋果那張圖)
- [x] 寫 gram matrix 和圖片風格之間的關係

### 永毅

- [x] 500/2600

## 9/26

## 10/3

### 銀軒

- [x] 決定 content images 來源

### 永毅

- [x] 寫研究報告-文獻回顧-diffusion

## 10/6

### 銀軒

- [x] 把 content + style images push 到 github

### 永毅

承 10/3

## 10/17

### 銀軒

- [x] 完成 AdaIN 部分 style transfer
- [x] scene-Cubism
- [x] scene-Early_Renaissance
- [x] scene-Expressionism
- [x] scene-Fauvism
- [x] scene-Color_Field_Painting
- [x] scene-Contemporary_Realism
- [x] 基礎網站

### 賴

- [ ] 跑 A Neural Algorithm of Artistic Style

## 10/20

### 銀軒

- [x] 網站應該要呈現1對1 + 用鍵盤切換 content 和 style
- [x] AdaIN 完成
- [x] scene-Abstract_Expressionism
- [x] scene-Analytical_Cubism
- [x] scene-Art_Nouveau
- [x] scene-Baroque
- [x] scene-High_Renaissance
- [x] scene-Impressionism
- [x] scene-Mannerism_Late_Renaissance
- [x] scene-Minimalism
- [x] scene-Naive_Art_Primitivism
- [x] scene-New_Realism
- [x] scene-Northern_Renaissance

### 永毅

- [x] 修改 zecon 輸出檔名

## 10/24

### 實驗更動

- random 6 style
- face 放棄

### 永毅

- [x] zecon 跑前 3 個 style(目前完成500張)
- Abstract_Expressionism
- Baroque
- Cubism

### 銀軒

- [x] reduce style to 6 styles
- 專題競賽
- [x] 紙本報名表(已完成老師簽名，10/30 已繳交)
- [x] 網路報名
- AdaIN 補未完成的 style
- [x] scene-Pointillism
- [x] scene-Ukiyo_e
- RAASN
- [x] scene-Abstract_Expressionism
- [x] scene-Baroque
- [x] scene-Cubism
- [x] scene-Fauvism
- [x] scene-Pointillism
- [x] scene-Ukiyo_e
- 分析圖
- [x] 產生出 clip loss 的 svg
- zecon
- [x] scene-Fauvism

## 10/31

### 銀軒

- [x] reduce content to 20 images(0~19)
- [x] github experiment image repo
- [x] AdaIN
- [x] RAASN
- [x] website
- [x] svg 中，每一個 style 2 column
- clip loss
- vgg loss
- zecon
- [x] scene-Pointillism
- [x] scene-Ukiyo_e

### 永毅

- [x] zecon 跑前 3 個 style(目前完成1000張)
- scene_3

## 11/7

- style 改成4種(clip loss 和 gram matrix loss 跑不完)
- Cubism
- Fauvism
- Pointillism
- Ukiyo_e

### 銀軒

- [x] 海報初版
- zecon cubism
- [x] scene_9 ~ scene_19
- loss json
- AdaIN
- [x] Fauvism
- [x] Pointillism
- [x] Ukiyo_e
- RAASN
- [x] Ukiyo_e

- 第 3 個方法放棄

### 永毅

- zecon cubism
- [x] scene_4
- [x] scene_5

## 11/14

### 銀軒

- graph 修改成 style 不變
- [x] 比所有的 method
- [ ] total(clip, gram_matrix)
- zecon cubism
- [x] scene_7
- [x] scene_8
- [x] loss json

### 永毅

- zecon cubism
- [x] scene_6

## 11/21

### leo

- [ ] 海報
- picture
- [x] apple style transfer results
- [ ] 研究方法
- problem
1. content 1 平方左邊沒有括號 ?
2. content loss 3 ，現在沒有文字？
- 美編

### 永毅

- [ ] 文章 - 結論

禮拜二下午 1600
禮拜五下午 1615