HackMD
高捷
Self-introduction
- 不是有名的那個高捷 lol
- 木下曰(ㄩㄝ)本動畫 GenAI 研究、製片
Inspired by Twitter @AiPicMaker (帳號是我的LOL)
我怎麼學習與理解 ai 圖像生成
- twitter (追蹤各個名人)
- discord (各類 sd 討論區)
- 4chan, reddit
- hdg, sdg, r/stablediffusion
素描、藝術設計史、品味與美感、賞析與批判->雖然當年我都翹課，但現在AI生成時很重要
品味和美感是擲骰子取得的大量圖中，找到美感的平衡
學習方式：在 Twitter、Discord、4Chan、Reddit
30 keywords about queer (and LGBTQ+)
@北美館展覽
- 不用人的角度干涉AI生成創作，盡可能以 ChatGPT 生成的 prompt 進行創作
- 想看 AI 有沒有對酷兒的想法和偏見
txt2img
- 使用 SD, MJ構圖、畫風、模型的風格和色調
- controlNet
- Segmentation
- Openpose
如何優化生成的圖片
- 一開始用比較基本的功能
- Hires.fix (簡單放大修飾圖像、調整重繪幅度)
Controlnet 已經到 1.1 版本
Tile（Game Changer）：用簡單便宜的 3060的顯卡，輸出一張 4K 或 8K 大圖
inpaint(可以手繪、遮罩、修復等等配合 controlnet1.1 修正不合理的地方)
after detailer
修正模糊與手臂等
Tiled Dufusion
Lora 提升細節
做畫質畫風提升或是用高對比的 LoRA去做
改變模型和生成氛圍改變，或是人臉畫法都不一樣
背景細節人物角色臉型，都有一定程度調整
LLuL
也可以透過更改模型、prompt 來修正畫面
SD v.s Midjourney
- 拿電影比喻：歐本海默(SD) v.s. 芭比(MD)
- 風格水準
- MJ畫面好，漂亮，藝術風格到位，處理不一樣精彩風格
- SD：像大海(Christopher Nolan)，有很多生成內容值得觀眾發掘
- 講者兩種都會交替使用生成
ai 動畫生成技術
想做 AI 動畫應該先知道：
- Stable Diffusion
- automatic1111 webui
- fine-tune model
- dreambooth lora
- controlnet1.1
- ebSynth
- wonder studio
- corridor crew workflow
- deflicker tools
- adobe firefly
穩定畫面結構、光影
動畫的知識
動畫知識：回歸動畫知識常識(基礎物理、分鏡)，符合觀看者能接受
遵守
利用訓練畫風和 LoRa，讓角色衣著和畫面位置有一定的可靠性
VFX Reveal Before & After - Anime Rock, Paper, Scissors
runaway 綠幕
收集素材、訓練lora
生成角色動畫圖像
unreal 製作場景
Davinci Deflicker
合成後製
漸少畫面抖動
wonder studio test run
影片
用真實影像照片，當作人物的截取，把3D角色正確套用在影像裡
做到人臉辨識捕捉
Gen-2：還在測試階段的圖像式生成
聲音、影像、影片，都是無拍攝來源製成
video
ai 渲染生成目前的問題
- 閃爍問題 ebsyth temprolkit 也許能解決
- 為了避免閃爍denoise 數值低（變成類濾鏡）
- 須製作素材或成品進行二次渲染 img2img
- 電腦算力
sd 做影片
test2video(很多幻覺結果)
mov2mov
multi-frame video rendering
stable warpFusion
TemperoKit
multi-frame video rendering
Pro:
運算方式與 mov2mov方式不同
影像過度明確
可導入 lora 或外掛
Con:
算力大
閃爍問題
外掛不穩定
ai生成對動畫工作的挑戰
在前期大量使用MJ和 ChatGPT 協助加速
midjourney 對角色設計很有幫助（自動產三視圖）
初期3D動畫渲染：用 MAYA 把角色製作完成
經由 SD 做 frame by frame 渲染
製作過程中，希望可以利用更簡易快速方式完成想要的畫風或背景稱成需求
「3D 渲染成 2D」
大學設計教學端 AI生成學習成果
-
創作基礎課程的「靈光載體」作業
- 大一設計系學生透過 CGPT 輔助學習 Arduino 控制 LED 光條融入裝置創作 (無程式基礎在兩個月內完成)
-
與 NV ASUS 合作進行跨系所交流
- 設計如何解決人類問題
- 利用 GenAI 協作（CGPT MJ），結合跨系專長，加速提案創作
- 結合工設、服裝、建築、媒傳四系，加速產出
-
OURSONG(KKBOX) 合作製作 narrative video
- 利用影片片段，再以 runway Gen-1 進行生成運算
- 陳泓予同學一人當導演，從企劃到剪接完成，一天生成
-
與 Youtuber合作 MV渲染測試，由實踐媒傳大四畢製製作
-
用 Omniverse 製作流體動畫，用來製作畢展動畫，可以更流暢更高效
-
實踐大學媒體傳達設計學系所｜畢業展在北流中心，歡迎大家參觀
-
現場可以做特殊拍攝，馬上拍馬上可以經過 AI 生成渲染，就可以製作成產品進行販售
Runway Gen-1
- 可以拍三到五秒的影片傳進 Gen-1 來生成影片
- 透過 reference 圖片來改變影片風格
- 目前 Gen-1 是 Open Beta，可以自己試試看
https://research.runwayml.com/gen2
Q&A
-
AI創作興起對創作的未來，或對教學的改變？
- 欣賞年輕人對 AI 生成態度
- 希望自己技術不光靠 AI 生成，在乎基本功（透視、繪畫能力上）
- 保持開放態度，對新技術知識可以加速工作流程，運用休閒時間
-
怎樣精簡 Prompt，或是有策略規則分享？想學習 SD 要去哪學？
- 了解 Prompt 意義，每個字都代表 token，但有些是無意義的
- 大量嘗試刪減，會有固定測試咒文，融合藝術家或攝影風格藝術風格，融合成新的東西
- 看 Youtube 教學，有個講英文的光頭，還有個印度人
- B 站教學資源也很多，從安裝到發咒
-
有生成式 AI，我還要學 PS/AI/AE 等基本功嗎？
- afterEffect 動畫特效就能做到很多生成 AI 無法做
- AI 生成和寫作能夠加速產製流程
- 不會讓任何人失業，只會讓更多更有可能的事情發生在世界上。
