目標/方向

目標

1. 圖片導向的風格轉換

時程

https://mermaid.js.org/syntax/gantt.html

待完成

• 嘗試在CLIP space 做修改，讓細節模糊化
• 產生一個結果比較的圖片(包含原圖、用文字guide(目標風格文字&結果)、圖片guide(目標風格圖片&結果))

目前結果

原本的content loss不變

將CLIP loss的Ptarget(文字導向) 改為一個風格導向圖片y

$D_{CLIP}$():在CLIP embedding space(文字和圖片都被embedded進去的空間）中，generated image和目標風格（文字）的距離

目前問題

原始的做法中有提到 在產出圖片時可能會出現文字本身印在圖片上面

原始的作法對顏色的敏感程度較高 使用圖片修改難以改變色調

原始作法可能會因為CLIP背後的資料集有特定傾向而導致更改的結果有問題 例如一風格幾乎都是肖像畫 按照此風格產出的圖片有高機率會藏人臉

而用圖片更改則是有可能會將圖片的內容混進去

目前結果

參考文獻

Zecon paper