# Runwayml GEN1/GEN2 影像生成工具 | 文字生成影片

> [TOC]

> Everything you need to make anything you want.

2023/10/11更新：Runwayml 宣布與 Canva 合作

https://runwayml.com/blog/runway-partners-with-canva/

# 簡介：

Runway 是一家專注於提供各種 Ai 影像編輯工具的新創公司，如背景移除、動態追踪、自動字幕等自動化工具。並發布了第一個人工智能影片編輯模型 Gen-1。Gen-1 主要是對現有的影片素材進行轉換，讓使用者可以用文字指令來修改影片中的物件顏色、圖像風格等。

<iframe width="100%" height="315" src="https://www.youtube.com/embed/fTqgWkHiN0k" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

最新推出新的文本生成影片（Text-to-video）AI 模型，名為 Gen-2，不需要先提供任何影片或圖像作為參考，只需要輸入文字指令提示即可生成全新的影片。讓使用者可以用文字描述想要的影片內容和風格，然後由 AI 系統自動創造出對應的影片


以下是官方介紹 Gen-2 的影片
**Introducing Gen-2: Text to Video | Runway**

<iframe width="100%" height="315" src="https://www.youtube.com/embed/trXPfpV5iRQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## 官方網站/社群/素材包

[Gen2 已開放所有用戶在官網/APP進行使用](https://youtu.be/BpoOVEEDiFA)

* https://runwayml.com/
* Discord: https://discord.gg/fe8X47HE
* twitter: https://twitter.com/runwayml
* Runway Gen-2 paper : [The-Next-Step-Forward-for-Generative-AI](https://arxiv.org/abs/2302.03011)
* Runway 創辦人& CEO : [Cristóbal Valenzuela](https://twitter.com/c_valenzuelab)
* Runway Gen-2 素材包 https://runwayml.com/footage-packs/
* Runway iOS app https://apple.co/41zhB5B

## 官方每週活動

更新：新的 Challege 素材在官網 Asset

（前期 GEN-1 尚未開放時的內部活動）

It's here! You know the drill -- use Gen-1 to transform this video and share results in this channel. Vote for your favorites using emoji reactions, and the most reacts by Friday wins!

A few reminders:
-Please do not vote for your own videos. The votes will not count regardless of if you do.
-Please only post one video/entry at a time. Compilations will not be considered as an entry.
-Tips on using Gen-1 at 🎉┊welcome-instructions

官方(week03)活動提供的3D素模
一個人走路穿越森林背景另一人反向跑


若要參與官方每週(前期測試)的活動
建議找 16:9 的參考圖比較有好的效果

<iframe width="100%" height="385" src="https://www.youtube.com/embed/M5QiyKt6hnQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## 官方主辦活動

Runway 官方主辦的 AI 電影節

AI Film Festival

[https://aiff.runwayml.com](https://aiff.runwayml.com)

<iframe width="100%" height="385" src="https://www.youtube.com/embed/96Cx771Cpr0" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## 台灣社群

[https://www.facebook.com/groups/runwaytw](https://www.facebook.com/groups/runwaytw)

這是一個以 Runway Ai 生成工具為主要研究對象的社群。AI 影片生成技術 Gen-1 和 Gen-2 是 Runway 公司開發的兩種基於人工智慧技術的影片生成工具，能夠自動從一系列的圖片或視頻中生成新的影片，或者使用文字指令來創作影片。這些技術在廣告、數據視覺化、遊戲、影視等領域為創作者提供了一種全新的故事表達方式

# Runway Gen-1 社群媒體使用規範

[Runway Gen-1 社群媒體使用規範](https://docs.google.com/document/d/1Pfxj0tEer0-ESYe4jyF_Pj96SCKOCsOrXa6B3UeEHeI/edit?usp=sharing)

# Runway Gen-1 常見問題&參數說明

Gen1 官方進階教學(網頁版)：

[Gen-1 advanced settings reference sheet](https://help.runwayml.com/hc/en-us/articles/15161225169171)

目前官方已停止前期參與測試用戶
在 discord 使用 Gen1/Gen2 功能


以下參數適用於 Discord [Gen1 頻道](https://discord.com/channels/948250142350376990/1078806933403861062/1082420568869048472)

[Gen-1 常見問題&參數說明](https://docs.google.com/document/d/1D3jUNXCzA7HBnvdeNfKGnLYr81lzAWuzBJozAtmxCCU/edit?usp=sharing)

## Gen-1 prompts

來自社群分享

詠咒寶典：

DC連結(已失效)：
[Runway Randomized Prompt Generator for ChatGPT (still testing)](https://discord.com/channels/948250142350376990/1077654871416774676/1080388794794131456)

轉錄內容
https://hackmd.io/@DCT/GEN1-prompt-chatGPT

參數說明：(已失效)

i created this list of prompts and parameters so far i havent added any photo realistic but feel free to play around with this

[https://discord.com/channels/948250142350376990/1077654871416774676/1087456764636696667](https://discord.com/channels/948250142350376990/1077654871416774676/1087456764636696667)

中文版整理
>[Runway 參數指令](/TWOZOT2nSHaT-GSoPe2Y4A)

Gen-1 Parameters:

每次產生出來的參數序列順序

Generating video (request id XXXXXX) 
• text_prompt: VFX, spell magic 
• depth_blur_level: 1 
• cfg_temporal_scale: 1.1 
• cfg_scale: 4.0 
• seed: 789456123 
• upscale: True 
• compare: False 
• interpolate: True 
• only_foreground_depth: False 
• green_screen: False 
• mask_mode_foreground: False 
• mask_mode_background: False 
• subsampling: 2 
• denoising_steps: 30

---

官方目前內部測試的教學範例影片筆記：

可依序對照官方正式的參數文件說明

基本規則＋檔案限制＋推薦轉檔工具

basic

input video + reference image or text prompt

handbrake to limit video size

dc一般用戶有檔案大小限制

官方推薦使用：HomeBrake 處理影片大小
[https://handbrake.fr](https://handbrake.fr)

支線內產出圖片

3 sec / 95 frame

萬用公式

@GEN-1 enterprompt --參數_參數_參數

> depth_blur_level
> >影片差異度（默認值為2）（必須是整數值）建議0-5
>
> cfg_temporal_scale
>> 風格一致性 建議使用1.0到1.25之間的值，[數值小顏色差異大](https://youtu.be/cPmcOVfOfSQ)
>
> cfg_scale
>> 文本權重（默認值為8.5）建議使用7.5到12.5之間的值
>
> seed number
>>種子 選擇喜好風格
>
> 以下預設關閉狀態，需要再輸入
>
> upscale
>> 找到預設設定後再使用 提升品質運算時間增加
>
> compare
>> [前後對比效果](https://youtu.be/xhfaNv9v0SI)
>
> interpolate
>> 讓影片更流暢

> only_foreground_depth 去背替換成 prompt 內容 [color=#00FF00]

> green_screen_key 綠幕 [color=#00FF00]

> mask_mode_foreground 只留主體 [color=#00FF00]

> mask_mode_background 只留背景 [color=#00FF00]

> subsampling 流暢程度/掉frame程度
> 犧牲秒數長度換取流暢程度
> 越大越流暢

> denoising_steps: 20

---

# GEN-1

## 影片分割工具 for GEN-1

(前期內部測試只支援三秒影片長度)

影片分割成三秒影片長度工具

Https://soundimage.studio/threasycut

a very simple app to split MP4s into 3 second chunks + remainder

安裝說明
https://docs.google.com/document/d/e/2PACX-1vRTpxoTNOuSVtsg5YCrWuxXGOI6JlRYw6PUgCwpq0_bEleHibkkfuh4jiXV4P2A4Q8pIKW7Cd-CkY1e/pub

## 學習資源

How to Create Worlds with Gen-1 | Runway Academy
https://youtu.be/1elHlFjxnDk

電器系女孩 AI文字轉影片「Runway Gen AI」用文字來創造影片「GEN-1」
https://tracyting.com/runway/
品味巴尼選 Barney's Talk #runway
https://youtu.be/1XZuUg_YtrI?t=711
The EASIEST Way To Create Animations From Existing Videos | Gen-1
https://youtu.be/o5RuIl6JPOA
This Will Change Animation Forever. NEW Gen1 AI Animation Tutorial.
https://youtu.be/myqkj5i3tqE

# GEN-2

(前期測試 Gen2 參數使用說明影音)

GEN-2 Onboarding.mp4

https://app.frame.io/presentations/3559ce21-9ca8-4633-a2c8-9e14d4d45c36


## 學習資源

Gen-2 Workflow | Runway Academy
https://youtu.be/wyDCdXhRoZI
Runway Gen-2 用圖片生成影片|7049 research
https://7049research.com/20230724/
AI 文本影片生成服務 Runway Gen-2 上線！輸入一段文字就能產生影片
https://www.soft4fun.net/tech/ai/runway-gen-2-text-to-video.htm
Runway ML Gen 2文本转视频模型正式发布 : 注册和使用方法
https://youtu.be/cSroihnobgs
ANOTHER NEW Text2Video Announced? This Is Gen-2.
https://youtu.be/4C1k5K-Oew4
Filmmaker's Guide to GEN-2 (Text to Video)
https://youtu.be/nKONXi6ShyM

# 畫面展示

<iframe width="100%" height="385" src="https://www.youtube.com/embed/VGP6P_QYe8w" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>


https://youtu.be/_vHOSyIENmM

Text prompt : Fast Cinematic Tracking shot of a fast driving red vintage ford mustang driving down a wet road, explosions and fire, intense action city scene, haze, professional teal & orange color grading, epic cinematic lighting, nighttime, Shot on Alexa Mini, Cookie S4/i

## Gen2：

<iframe width="100%" height="385" src="https://www.youtube.com/embed/q0EDV1HGbrc" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/qSewd6Iaj6I" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/8gl1ylA5rwk" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

<iframe width="100%" height="385" src="https://www.youtube.com/embed/ITq-mG67qiE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## Gen1：

**Using AI to NeRF A Loaf Of Bread Into A Sci-Fi Movie (Luma + Gen-1)**

https://youtu.be/hFpZ2x90JZQ

**MV Music**
AI Music Video Animation Test with Runway ML Gen-1: "Way You Walk" by Papas Fritas.
https://youtu.be/V_JdKuYvcj8

<iframe width="100%" height="385" src="https://www.youtube.com/embed/gch5DQnOSL8" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

---

<iframe width="100%" height="385" src="https://www.youtube.com/embed/78XPdiEQX70" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

---