Runwayml GEN1/GEN2/GEN3 影像生成工具 | 文字生成影片

Runwayml GEN1/GEN2/GEN3 影像生成工具 | 文字生成影片

簡介：

官方網站/社群/素材包

官方每週活動

官方主辦活動

台灣社群

Runway Gen-1 社群媒體使用規範

Runway Gen-1 常見問題&參數說明

Gen-1 prompts

GEN-1

影片分割工具 for GEN-1

學習資源

GEN-2

學習資源

GEN-3

Gen1/Gen2 生成畫面展示

Gen2：

Gen1：

Everything you need to make anything you want.

Runway 推出全新的 AI 編輯工具：Act-One 🎬 🪄✨
只需要一張角色圖片與一段拍攝好的表演影片
不需要動作捕捉或角色綁定，就可以生成高度吻合動作及嘴形的角色動畫畫面，提供一種全新的方式呈現富有表情的角色動畫
🔜 Act-One 今日起部分使用者將可使用此功能
並且將會盡快全面開放所有人使用。

Runwayml 提供 API 給所有開發人員，能輕鬆將 Gen-3 Alpha Turbo 整合至工作流程或產品中。

最少需要儲值10美元才可使用此服務。

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

RunwayML 目前提供兩種 Python 跟 Node.js 的套件模組
https://docs.dev.runwayml.com/api-details/sdks/

Runway Gen-3 Alpha 圖片生成影片功能釋出

Image to Video with Gen-3 Alpha | Runway Academy

https://youtu.be/JkPO-mBV9bQ

2023/10/11：Runwayml 宣布與 Canva 合作
https://runwayml.com/blog/runway-partners-with-canva/

簡介：

Runway 是一家專注於提供各種 Ai 影像編輯工具的新創公司，如背景移除、動態追踪、自動字幕等自動化工具。並發布了第一個人工智能影片編輯模型 Gen-1。Gen-1 主要是對現有的影片素材進行轉換，讓使用者可以用文字指令來修改影片中的物件顏色、圖像風格等。

文字生成影片（Text-to-video）AI 模型，名為 Gen-2，不需要先提供任何影片或圖像作為參考，只需要輸入文字指令提示即可生成全新的影片。讓使用者可以用文字描述想要的影片內容和風格，然後由 AI 系統自動創造出對應的影片

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

Learn More →

以下是官方介紹 Gen-2 的影片
Introducing Gen-2: Text to Video | Runway

文字生成影片模型 Gen-3 Alpha
Gen-3 Alpha 能夠生成更細緻的畫面，複雜場景的變化、多種電影風格和美術設計，以下是官方使用 Gen-3 Alpha 生成的畫面。
Gen-3 Alpha 測試版將於近日對所有人開放。

https://runwayml.com/blog/introducing-gen-3-alpha/

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

官方網站/社群/素材包

Gen2 已開放所有用戶在官網/APP進行使用

官方網站：https://runwayml.com/
官方服務中心/常見QA：https://help.runwayml.com/hc/en-us
官方使用教學：https://academy.runwayml.com
Discord: https://discord.com/invite/runwayml
twitter: https://twitter.com/runwayml
Runway Gen-1 paper : The-Next-Step-Forward-for-Generative-AI
Runwayml 創辦人 & CEO : Cristóbal Valenzuela
Runwayml Gen-2 素材包 https://runwayml.com/footage-packs/
Runwayml iOS app https://apple.co/41zhB5B
Image Not Showing Possible Reasons
- The image was uploaded to a note which you don't have access to
- The note which the image was originally uploaded to has been deleted
Learn More →

官方每週活動

更新：新的 Challege 素材在官網 Asset

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

（前期 GEN-1 尚未開放時的內部活動）

It's here! You know the drill -- use Gen-1 to transform this video and share results in this channel. Vote for your favorites using emoji reactions, and the most reacts by Friday wins!

A few reminders:
-Please do not vote for your own videos. The votes will not count regardless of if you do.
-Please only post one video/entry at a time. Compilations will not be considered as an entry.
-Tips on using Gen-1 at 🎉┊welcome-instructions

官方(week03)活動提供的3D素模
一個人走路穿越森林背景另一人反向跑

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

Learn More →

若要參與官方每週(前期測試)的活動
建議找 16:9 的參考圖比較有好的效果

官方主辦活動

Runway 官方主辦的 AI 電影節

AI Film Festival

https://aiff.runwayml.com

Runway Gen:48 AI 生成影片大賽

https://runwayml.com/gen48

台灣社群

https://www.facebook.com/groups/runwaytw

這是一個以 Runway Ai 生成工具為主要分享內容的社團，歡迎對生成式 AI　有興趣的夥伴加入。

Runway Gen-1 社群媒體使用規範

Runway Gen-1 常見問題&參數說明

Gen1 官方進階教學(網頁版)：

Gen-1 advanced settings reference sheet

目前官方已停止前期參與測試用戶
在 discord 使用 Gen1/Gen2 功能

本來以為官方會開放大家在 discord 使用
（故當時整理了參數對應的功能，可略過…)

以下參數僅適用於 Discord Gen1 頻道

Gen-1 常見問題&參數說明

Gen-1 prompts

來自社群分享

詠咒寶典：

DC連結(已失效)：
Runway Randomized Prompt Generator for ChatGPT (still testing)

轉錄內容
https://hackmd.io/@DCT/GEN1-prompt-chatGPT

參數說明：(已失效)

i created this list of prompts and parameters so far i havent added any photo realistic but feel free to play around with this

https://discord.com/channels/948250142350376990/1077654871416774676/1087456764636696667

中文版整理

Runway 參數指令

Gen-1 Parameters:

每次產生出來的參數序列順序

Generating video (request id XXXXXX) 
• text_prompt: VFX, spell magic 
• depth_blur_level: 1 
• cfg_temporal_scale: 1.1 
• cfg_scale: 4.0 
• seed: 789456123 
• upscale: True 
• compare: False 
• interpolate: True 
• only_foreground_depth: False 
• green_screen: False 
• mask_mode_foreground: False 
• mask_mode_background: False 
• subsampling: 2 
• denoising_steps: 30

官方目前內部測試的教學範例影片筆記：

可依序對照官方正式的參數文件說明

基本規則＋檔案限制＋推薦轉檔工具

basic

input video + reference image or text prompt

handbrake to limit video size

dc一般用戶有檔案大小限制

官方推薦使用：HandBrake 處理影片大小
https://handbrake.fr

支線內產出圖片

3 sec / 95 frame

萬用公式

@GEN-1 enterprompt --參數_參數_參數

depth_blur_level

影片差異度（默認值為2）（必須是整數值）建議0-5

cfg_temporal_scale

風格一致性建議使用1.0到1.25之間的值，數值小顏色差異大

cfg_scale

文本權重（默認值為8.5）建議使用7.5到12.5之間的值

seed number

種子選擇喜好風格

以下預設關閉狀態，需要再輸入

upscale

找到預設設定後再使用提升品質運算時間增加

compare

前後對比效果

interpolate

讓影片更流暢

only_foreground_depth 去背替換成 prompt 內容

green_screen_key 綠幕

mask_mode_foreground 只留主體

mask_mode_background 只留背景

subsampling 流暢程度/掉frame程度
犧牲秒數長度換取流暢程度
越大越流暢

denoising_steps: 20

GEN-1

影片分割工具 for GEN-1

(前期內部測試只支援三秒影片長度)

影片分割成三秒影片長度工具

Https://soundimage.studio/threasycut

a very simple app to split MP4s into 3 second chunks + remainder

安裝說明
https://docs.google.com/document/d/e/2PACX-1vRTpxoTNOuSVtsg5YCrWuxXGOI6JlRYw6PUgCwpq0_bEleHibkkfuh4jiXV4P2A4Q8pIKW7Cd-CkY1e/pub

學習資源

How to Create Worlds with Gen-1 | Runway Academy
https://youtu.be/1elHlFjxnDk

電器系女孩 AI文字轉影片「Runway Gen AI」用文字來創造影片「GEN-1」
https://tracyting.com/runway/
品味巴尼選 Barney's Talk #runway
https://youtu.be/1XZuUg_YtrI?t=711
The EASIEST Way To Create Animations From Existing Videos | Gen-1
https://youtu.be/o5RuIl6JPOA
This Will Change Animation Forever. NEW Gen1 AI Animation Tutorial.
https://youtu.be/myqkj5i3tqE

GEN-2

(前期測試 Gen2 參數使用說明影音)

GEN-2 Onboarding.mp4

https://youtu.be/Jw8VSHOewiw

學習資源

Gen-2 Workflow | Runway Academy
https://youtu.be/wyDCdXhRoZI
Runway Gen-2 用圖片生成影片|7049 research
https://7049research.com/20230724/
AI 文本影片生成服務 Runway Gen-2 上線！輸入一段文字就能產生影片
https://www.soft4fun.net/tech/ai/runway-gen-2-text-to-video.htm
Runway ML Gen 2文本转视频模型正式发布 : 注册和使用方法
https://youtu.be/cSroihnobgs
ANOTHER NEW Text2Video Announced? This Is Gen-2.
https://youtu.be/4C1k5K-Oew4
Filmmaker's Guide to GEN-2 (Text to Video)
https://youtu.be/nKONXi6ShyM

GEN-3

2024/06/21 Gen-3 Alpha 能夠生成更細緻的畫面，複雜場景的變化、多種電影風格和美術設計，以下是官方使用 Gen-3 Alpha 生成的畫面。

Gen-3 Alpha 測試版將於近日對所有人開放。

官方社群平台不定時會展示一些範例：

有機會看到一些 Runway Gen-3 的展示畫面推特帳號：

https://twitter.com/notiansans

https://twitter.com/yining_shi

https://x.com/SteveMills

目前看到還不錯的創作：
https://x.com/Emadmughal/status/1806880766644670872

Runway Gen-3 Alpha Prompting Guide 官方指南提示詞助手，由林思翰導演根據官方手冊製作

https://chatgpt.com/g/g-KCmYX9Lzo-runway-gen-3-alpha-prompting-guide-guan-fang-zhi-nan-ti-shi-ci-zhu-shou

Gen1/Gen2 生成畫面展示

https://youtu.be/_vHOSyIENmM

Text prompt : Fast Cinematic Tracking shot of a fast driving red vintage ford mustang driving down a wet road, explosions and fire, intense action city scene, haze, professional teal & orange color grading, epic cinematic lighting, nighttime, Shot on Alexa Mini, Cookie S4/i