---
# System prepended metadata

title: Stable Diffusionについて

---



# Stable Diffusionについて

参考リンク
○学習モデルについて
https://towardsdatascience.com/what-are-stable-diffusion-models-and-why-are-they-a-step-forward-for-image-generation-aa1182801d46


### たかメモ
Stable DiffusionはGANの上位互換のモデルみたい。なので、GAN周辺に関してもある程度理解をしておこうとおもう。
ちなみに、Stable Diffusionは画像を [VQGAN (Esser et al., 2020)](https://arxiv.org/abs/2012.09841) と同様の仕組みを使い、低次元の潜在表現 (画像の大まかな特徴をとらえたベクトル) へと変換し、その潜在空間内で拡散モデルを適用します。つまり、ノイズから画像を生成する代わりに、ノイズから潜在表現をまず生成し、それを画像へと戻す、という２段階のプロセスを経て画像を生成

* U-netに関して
　U-Net は、画像を同じサイズの別の画像に変換するために良く使われるニューラルネットワークです。多くの画像セグメンテーションモデルや、画像変換でおなじみの pix2pix (Isola et al., 2017) などで広く使われているモデルです。アルファベットの「U」の字のように、エンコーダーで徐々に高抽象度・低解像度の情報を抽出し、デコーダーで元の解像度に戻すという構造をしているためこう呼ばれます。
![](https://ja.stateofaiguides.com/content/images/2022/10/unet.png)

* [Vision Transformer (ViT)](https://ja.stateofaiguides.com/20211011-vision-transformers-vs-convnet/) 
　トランスフォーマーは、“Attention Is All You Need” (Vaswani et al., 2017) という論文で提案されたモデルで、それまで LSTM・CNN 等がメインで使われていた状況に対する挑発的なタイトルでも話題。CNN でも LSTM でもない自己注意機構 (self-attention) という機構を使い、それを積み重ねたモデル (トランスフォーマー) によって既存手法を大きく上回る成果を上げています。
　下図の Multi-Head Attention（複数ヘッド注意機構）と書かれている部分が、トランスフォーマーのコア部分ですが、ResNet のようにスキップ結合を使っている。
![](https://ja.stateofaiguides.com/content/images/2021/10/transformer.png)
 Vision Transformer (ViT) は、トランスフォーマーを画像分類タスクに適用したモデルで、2020年10月に提案されました。中身はオリジナルのトランスフォーマーとほとんど同じですが、自然言語処理と同じように、画像を入力として扱えるようにする工夫をしています。
![](https://ja.stateofaiguides.com/content/images/2021/10/vit.png)

* GANについて

#### Stable Difusionで関連しそうな情報

○Laion 400-M
Stabele Difusionで利用されたとされるオープンにアクセスできる 4 億の画像とテキストのペアのデータセットです。

○Stable Difusionを理解するために必要な知識
https://twitter.com/birdMan710Nika/status/1577243388356665344?s=20&t=XU5p0U37GZoEVwb7FP0aag


○PythonでStable Difusionを利用する
https://platform.stability.ai/docs/getting-started/python-sdk

まずやること、
https://github.com/webbigdata-jp/python_sample/blob/main/Stable_Diffusion_2_0_v768_DreamBooth_finetune.ipynb



# スクレイピングについて



# プロジェクト管理について

○Jira
https://www.ricksoft.jp/atlassian/jira-core/


# 用語統一



| 用語 | 説明 | 
| -------- | -------- | 
| チケット | jiraで作るissue単体のことを示す | 


