**SD-15 SDXL model基本介紹** ![SD-15 SDXL基本介紹](https://hackmd.io/_uploads/Hkmh5WEXyl.png) **SDXL** 原本預計於2023年7月中發表的SDXL 1.0模型,幾經延宕後終於趕在7月結束之前正式推出,能夠帶來更細膩的AI生成圖像。開發團隊說明SDXL 1.0的運作流程可以分為2大步驟,系統會在第1步透過基礎模型生成帶有噪訊的潛在資訊(latents),並在第2步使用細化器降噪及進一步精製圖像。而這種2步驟架構有助於在不影響效能的前提下兼顧圖像生成的穩定性,並且推測應該可以在僅有8GB顯示記憶體的顯示卡完成工作。 SDXL 是什麼? SDXL 是 Stable Diffusion XL 的簡稱,它的模型訓練資料更多且更大(1024*1024)一些,相對的繪圖的能力也更好。 ![image](https://hackmd.io/_uploads/Hywk_3JKp.png) 跟原本的 SD 最大不同,是使用了 Base 跟 Refiner 兩個模型做聯集擴散,參數量更破了 100 億,對理論技術有興趣可以參考 https://arxiv.org/abs/2307.01952。 對於已經安裝Stable Diffusion WebUI的讀者而言,雖然能透過更新的方式取得支援SDXL 1.0的版本,但為了避免在新版本遇到Bug而影響到舊有功能,所以有人建議重新安裝SDXL 1.0專用的虛擬環境(venv),若有需要使用舊版功能,則直接啟動舊有虛擬環境即可,2組環境彼此不互相影響。 https://chrislee0728.medium.com/stable-diffusion-xl-%E8%AA%AA%E6%98%8E%E5%8F%8A-sdxl1-0-%E5%AE%89%E8%A3%9D%E6%95%99%E5%AD%B8-b2f7648d49ff (此篇文章:為了跟原本 SD 拆開,建議重新建立一個 conda 環境裝新的 WebUI 做區隔,避免有相互汙染的狀況,如果你想混用可以略過這個步驟。) SDXL 的優缺點: 優點 1. 更高像素的圖片,且放大時不會嚴重失真,加入Refiner 圖像生成品質增強 1. Prompt 理解能力更好,在 AI 腦補上更為智能,簡單來說就是可以不用寫一長串 Prompt 1. 改善斷肢斷手多指等 SD1.5、SD2.0 難以根除的痛點 1. 風格更為多樣化,根據官方描述,有龐克、動漫、摺紙等一堆風格可以嘗試 缺點 1. 過去 SD1.5 的 vae 跟 Controlnet model都不適用 必須下載SDXL的vae & Controlnet model 1. GPU 的要求更高,體感上 VRAM 要 12GB 以上 (雖然可以調參數使用較低的 VRAM 啦)或是下載Turbo系列 1. 算圖時間更久 下載官方 Base & Refiner & vae Model https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors?source=post_page-----b2f7648d49ff-------------------------------- https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0.safetensors?source=post_page-----b2f7648d49ff-------------------------------- https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensors?source=post_page-----b2f7648d49ff-------------------------------- 下載好後把 Base 跟 Refiner 放到 \stable-diffusion-webui\models\Stable-diffusion 下面,VAE 放到 \stable-diffusion-webui\models\VAE 下面。 為了跟之前 SD1.5 做比較,測試的提示詞與參數一樣,但尺寸配合 SDXL 需要變成 1024 x 1024。 WebUI 的 Extensions 有個 StyleSelectorXL 建議可以裝一下,它可以套用到多種風格中,讓圖片更符合你的需求。 https://github.com/ahgsql/StyleSelectorXL ![image](https://hackmd.io/_uploads/r1HKjhyYa.png) 如果讀者只是想要簡單嘗鮮,也可以到Clipdrop網站進行體驗,只需在網頁輸入提示詞就能生成圖像。 SDXL 1.0線上版體驗網頁:https://clipdrop.co/stable-diffusion 使用的顯示卡之顯示記憶體容量低於12GB,在set COMMANDLINE_ARGS參數部分加入下列文字 --medvram 至於遇到不支援Float16資料格式的問題的話,則需加入下列2段文字 --no-half --disable-nan-check **完整RunSD.bat檔案內容參考** @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=--medvram --no-half --disable-nan-check --xformers --enable-insecure-extension-acces call webui.bat