# Runwayml GEN1/GEN2/GEN3 影像生成工具 | 文字生成影片

> [TOC]

> Everything you need to make anything you want.

---

Runway 推出全新的 AI 編輯工具：Act-One 🎬 🪄✨
只需要一張角色圖片與一段拍攝好的表演影片
不需要動作捕捉或角色綁定，就可以生成高度吻合動作及嘴形的角色動畫畫面，提供一種全新的方式呈現富有表情的角色動畫
🔜 Act-One 今日起部分使用者將可使用此功能
並且將會盡快全面開放所有人使用。

Runwayml 提供 API 給所有開發人員，能輕鬆將 Gen-3 Alpha Turbo 整合至工作流程或產品中。

最少需要儲值10美元才可使用此服務。


RunwayML 目前提供兩種 Python 跟 Node.js 的套件模組
https://docs.dev.runwayml.com/api-details/sdks/

---

Runway Gen-3 Alpha 圖片生成影片功能釋出

Image to Video with Gen-3 Alpha | Runway Academy

https://youtu.be/JkPO-mBV9bQ

2023/10/11：Runwayml 宣布與 Canva 合作
https://runwayml.com/blog/runway-partners-with-canva/

# 簡介：

Runway 是一家專注於提供各種 Ai 影像編輯工具的新創公司，如背景移除、動態追踪、自動字幕等自動化工具。並發布了第一個人工智能影片編輯模型 Gen-1。Gen-1 主要是對現有的影片素材進行轉換，讓使用者可以用文字指令來修改影片中的物件顏色、圖像風格等。

<iframe width="100%" height="315" src="https://www.youtube.com/embed/fTqgWkHiN0k" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

文字生成影片（Text-to-video）AI 模型，名為 Gen-2，不需要先提供任何影片或圖像作為參考，只需要輸入文字指令提示即可生成全新的影片。讓使用者可以用文字描述想要的影片內容和風格，然後由 AI 系統自動創造出對應的影片


以下是官方介紹 Gen-2 的影片
**Introducing Gen-2: Text to Video | Runway**

<iframe width="100%" height="315" src="https://www.youtube.com/embed/trXPfpV5iRQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

**文字生成影片模型 Gen-3 Alpha**
Gen-3 Alpha 能夠生成更細緻的畫面，複雜場景的變化、多種電影風格和美術設計，以下是官方使用 Gen-3 Alpha 生成的畫面。
Gen-3 Alpha 測試版將於近日對所有人開放。

https://runwayml.com/blog/introducing-gen-3-alpha/


## 官方網站/社群/素材包

[Gen2 已開放所有用戶在官網/APP進行使用](https://youtu.be/BpoOVEEDiFA)

* 官方網站：https://runwayml.com/
* 官方服務中心/常見QA：https://help.runwayml.com/hc/en-us
* 官方使用教學：https://academy.runwayml.com
* Discord: https://discord.com/invite/runwayml
* twitter: https://twitter.com/runwayml
* Runway Gen-1 paper : [The-Next-Step-Forward-for-Generative-AI](https://arxiv.org/abs/2302.03011)
* Runwayml 創辦人 & CEO : [Cristóbal Valenzuela](https://twitter.com/c_valenzuelab)
* Runwayml Gen-2 素材包 https://runwayml.com/footage-packs/
* Runwayml iOS app https://apple.co/41zhB5B

## 官方每週活動

更新：新的 Challege 素材在官網 Asset


（前期 GEN-1 尚未開放時的內部活動）

It's here! You know the drill -- use Gen-1 to transform this video and share results in this channel. Vote for your favorites using emoji reactions, and the most reacts by Friday wins!

A few reminders:
-Please do not vote for your own videos. The votes will not count regardless of if you do.
-Please only post one video/entry at a time. Compilations will not be considered as an entry.
-Tips on using Gen-1 at 🎉┊welcome-instructions

官方(week03)活動提供的3D素模
一個人走路穿越森林背景另一人反向跑


若要參與官方每週(前期測試)的活動
建議找 16:9 的參考圖比較有好的效果

<iframe width="100%" height="385" src="https://www.youtube.com/embed/M5QiyKt6hnQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## 官方主辦活動

Runway 官方主辦的 AI 電影節

AI Film Festival

[https://aiff.runwayml.com](https://aiff.runwayml.com)

<iframe width="100%" height="385" src="https://www.youtube.com/embed/96Cx771Cpr0" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

Runway Gen:48 AI 生成影片大賽

https://runwayml.com/gen48

## 台灣社群

[https://www.facebook.com/groups/runwaytw](https://www.facebook.com/groups/runwaytw)

這是一個以 Runway Ai 生成工具為主要分享內容的社團，歡迎對生成式 AI　有興趣的夥伴加入。

# Runway Gen-1 社群媒體使用規範

[Runway Gen-1 社群媒體使用規範](https://docs.google.com/document/d/1Pfxj0tEer0-ESYe4jyF_Pj96SCKOCsOrXa6B3UeEHeI/edit?usp=sharing)

# Runway Gen-1 常見問題&參數說明

Gen1 官方進階教學(網頁版)：

[Gen-1 advanced settings reference sheet](https://help.runwayml.com/hc/en-us/articles/15161225169171)

目前官方已停止前期參與測試用戶
在 discord 使用 Gen1/Gen2 功能

本來以為官方會開放大家在 discord 使用
（故當時整理了參數對應的功能，可略過...)

以下參數僅適用於 Discord [Gen1 頻道](https://discord.com/channels/948250142350376990/1078806933403861062/1082420568869048472)


[Gen-1 常見問題&參數說明](https://docs.google.com/document/d/1D3jUNXCzA7HBnvdeNfKGnLYr81lzAWuzBJozAtmxCCU/edit?usp=sharing)

## Gen-1 prompts

來自社群分享

詠咒寶典：

DC連結(已失效)：
[Runway Randomized Prompt Generator for ChatGPT (still testing)](https://discord.com/channels/948250142350376990/1077654871416774676/1080388794794131456)

轉錄內容
https://hackmd.io/@DCT/GEN1-prompt-chatGPT

參數說明：(已失效)

i created this list of prompts and parameters so far i havent added any photo realistic but feel free to play around with this

[https://discord.com/channels/948250142350376990/1077654871416774676/1087456764636696667](https://discord.com/channels/948250142350376990/1077654871416774676/1087456764636696667)

中文版整理
>[Runway 參數指令](/TWOZOT2nSHaT-GSoPe2Y4A)

Gen-1 Parameters:

每次產生出來的參數序列順序

Generating video (request id XXXXXX) 
• text_prompt: VFX, spell magic 
• depth_blur_level: 1 
• cfg_temporal_scale: 1.1 
• cfg_scale: 4.0 
• seed: 789456123 
• upscale: True 
• compare: False 
• interpolate: True 
• only_foreground_depth: False 
• green_screen: False 
• mask_mode_foreground: False 
• mask_mode_background: False 
• subsampling: 2 
• denoising_steps: 30

---

官方目前內部測試的教學範例影片筆記：

可依序對照官方正式的參數文件說明

基本規則＋檔案限制＋推薦轉檔工具

basic

input video + reference image or text prompt

handbrake to limit video size

dc一般用戶有檔案大小限制

官方推薦使用：HandBrake 處理影片大小
[https://handbrake.fr](https://handbrake.fr)

支線內產出圖片

3 sec / 95 frame

萬用公式

@GEN-1 enterprompt --參數_參數_參數

> depth_blur_level
> >影片差異度（默認值為2）（必須是整數值）建議0-5
>
> cfg_temporal_scale
>> 風格一致性 建議使用1.0到1.25之間的值，[數值小顏色差異大](https://youtu.be/cPmcOVfOfSQ)
>
> cfg_scale
>> 文本權重（默認值為8.5）建議使用7.5到12.5之間的值
>
> seed number
>>種子 選擇喜好風格
>
> 以下預設關閉狀態，需要再輸入
>
> upscale
>> 找到預設設定後再使用 提升品質運算時間增加
>
> compare
>> [前後對比效果](https://youtu.be/xhfaNv9v0SI)
>
> interpolate
>> 讓影片更流暢

> only_foreground_depth 去背替換成 prompt 內容 [color=#00FF00]

> green_screen_key 綠幕 [color=#00FF00]

> mask_mode_foreground 只留主體 [color=#00FF00]

> mask_mode_background 只留背景 [color=#00FF00]

> subsampling 流暢程度/掉frame程度
> 犧牲秒數長度換取流暢程度
> 越大越流暢

> denoising_steps: 20

---

# GEN-1

## 影片分割工具 for GEN-1

(前期內部測試只支援三秒影片長度)

影片分割成三秒影片長度工具

Https://soundimage.studio/threasycut

a very simple app to split MP4s into 3 second chunks + remainder

安裝說明
https://docs.google.com/document/d/e/2PACX-1vRTpxoTNOuSVtsg5YCrWuxXGOI6JlRYw6PUgCwpq0_bEleHibkkfuh4jiXV4P2A4Q8pIKW7Cd-CkY1e/pub

## 學習資源

How to Create Worlds with Gen-1 | Runway Academy
https://youtu.be/1elHlFjxnDk

電器系女孩 AI文字轉影片「Runway Gen AI」用文字來創造影片「GEN-1」
https://tracyting.com/runway/
品味巴尼選 Barney's Talk #runway
https://youtu.be/1XZuUg_YtrI?t=711
The EASIEST Way To Create Animations From Existing Videos | Gen-1
https://youtu.be/o5RuIl6JPOA
This Will Change Animation Forever. NEW Gen1 AI Animation Tutorial.
https://youtu.be/myqkj5i3tqE

# GEN-2

(前期測試 Gen2 參數使用說明影音)

GEN-2 Onboarding.mp4

https://youtu.be/Jw8VSHOewiw
<!-- https://app.frame.io/presentations/3559ce21-9ca8-4633-a2c8-9e14d4d45c36 -->


## 學習資源

Gen-2 Workflow | Runway Academy
https://youtu.be/wyDCdXhRoZI
Runway Gen-2 用圖片生成影片|7049 research
https://7049research.com/20230724/
AI 文本影片生成服務 Runway Gen-2 上線！輸入一段文字就能產生影片
https://www.soft4fun.net/tech/ai/runway-gen-2-text-to-video.htm
Runway ML Gen 2文本转视频模型正式发布 : 注册和使用方法
https://youtu.be/cSroihnobgs
ANOTHER NEW Text2Video Announced? This Is Gen-2.
https://youtu.be/4C1k5K-Oew4
Filmmaker's Guide to GEN-2 (Text to Video)
https://youtu.be/nKONXi6ShyM

# GEN-3

2024/06/21 Gen-3 Alpha 能夠生成更細緻的畫面，複雜場景的變化、多種電影風格和美術設計，以下是官方使用 Gen-3 Alpha 生成的畫面。

Gen-3 Alpha 測試版將於近日對所有人開放。

官方社群平台不定時會展示一些範例：


有機會看到一些 Runway Gen-3 的展示畫面推特帳號：

https://twitter.com/notiansans

https://twitter.com/yining_shi

https://x.com/SteveMills

目前看到還不錯的創作：
https://x.com/Emadmughal/status/1806880766644670872

Runway Gen-3 Alpha Prompting Guide 官方指南提示詞助手，由[林思翰](https://www.facebook.com/AEXERS)導演根據官方手冊製作

https://chatgpt.com/g/g-KCmYX9Lzo-runway-gen-3-alpha-prompting-guide-guan-fang-zhi-nan-ti-shi-ci-zhu-shou

# Gen1/Gen2 生成畫面展示

<iframe width="100%" height="385" src="https://www.youtube.com/embed/VGP6P_QYe8w" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>


https://youtu.be/_vHOSyIENmM

Text prompt : Fast Cinematic Tracking shot of a fast driving red vintage ford mustang driving down a wet road, explosions and fire, intense action city scene, haze, professional teal & orange color grading, epic cinematic lighting, nighttime, Shot on Alexa Mini, Cookie S4/i

## Gen2：

前期使用 gen2 創作的案例

(根據本人實測跟查看這些畫面製作過程是用海量生成挑選出適合的片段，轉出SSR符合想要的畫面非常困難...)

<iframe width="100%" height="385" src="https://www.youtube.com/embed/q0EDV1HGbrc" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/qSewd6Iaj6I" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/8gl1ylA5rwk" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/ITq-mG67qiE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## Gen1：

**Using AI to NeRF A Loaf Of Bread Into A Sci-Fi Movie (Luma + Gen-1)**

https://youtu.be/hFpZ2x90JZQ

**MV Music**
AI Music Video Animation Test with Runway ML Gen-1: "Way You Walk" by Papas Fritas.
https://youtu.be/V_JdKuYvcj8

<iframe width="100%" height="385" src="https://www.youtube.com/embed/gch5DQnOSL8" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

---

<iframe width="100%" height="385" src="https://www.youtube.com/embed/78XPdiEQX70" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

---