• 基礎概念
  • Reverse Process
  • 預測 Noise 並執行相減來生成新圖
  • Training
    • Text to image
• 框架
  • Stable Diffusion
  • DALL-E
  • Google Imagen
  • 1. 文字Encoder
    • 評估生成的好壞
  • 3. Decoder
    • 小圖變大圖
    • latent representation 潛在表徵
  • 2. Generation model

基礎概念

Reverse Process

預測 Noise 並執行相減來生成新圖

Training

利用 forward Process，將原圖進行 Random samle 加入噪點，將該躁點圖做為 Ground truth 進行訓練

Text to image

加入文字的輸入

框架

1. 文字Encoder：文字敘述變成向量。
2. 生成模型： Diffusion model 生成中間產物（壓縮版本），粉紅色為噪點圖。
3. Decoder：壓縮版本還原回原圖，把中間產物的小圖變成大圖，或是latent representation透過Auto-encoder還原。

三者是獨立分開訓練

Stable Diffusion

DALL-E

Google Imagen

1. 文字Encoder

可以利用 gpt、T5 等等的文字模型
對結果的影響很大：讓影像跟文字描述能成對的關係。要能看得懂才能怎麼去生成！

評估生成的好壞

如何評估影像生成的好壞？

FID (Fréchet inception distance)

生成圖像的品質？

計算兩組真實與生成的 distribution 的距離，並假設其為高斯分布

CLIP (Contrastive Language-Image Pretraining)

圖像跟文字是否對應？

訓練：利用大量成對的圖跟文字
評估：把敘述跟產生圖片丟進去，計算這個向量的距離，評估像不像。

3. Decoder

小圖變大圖

latent representation 潛在表徵

透過Auto-encoder還原

2. Generation model

是在 latent representation 上加上噪點圖

input是文字、latent representation跟step，看預測出的 Noise 跟 ground truth 差多少來訓練