---
# System prepended metadata

title: 李宏毅_ATDL_Lecture_22
tags: [NTU, Hung-yi Lee, Advance Topics in Deep Learning]

---

# 李宏毅_ATDL_Lecture_22
###### tags: `Hung-yi Lee` `NTU` `Advance Topics in Deep Learning`
[課程撥放清單](https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ/playlists)
## Video Generation by GAN
[課程連結](https://www.youtube.com/watch?v=TN8cJiomk_k&list=PLJV_el3uVTsPMxPbjeX7PicgWbY7F8wW9&index=22)

### Video Generation
![](https://i.imgur.com/ymWW2Hj.png)

[UF101](https://cs.nyu.edu/~mathieu/iclr2016extra.html)
[Pac-Man](https://github.com/dyelax/Adversarial_Video_Generation)
[論文連結_Deep multi-scale video prediction beyond mean square error](https://arxiv.org/abs/1511.05440)

Video Generation的概念類似於Condition GAN：
* Generator：輸入是一段Video前幾個frame然後輸出接下來的frame
    * 輸出一frame與真實的frame愈接近愈好。
* Discriminator：輸入是一段Video，判斷最後一個frame是真的還假的。
    * 輸入的部份是整段的Video。

前面的frame都是真的，只有最後一個frame是生成或是真實的。
### Video Generation
![](https://i.imgur.com/9VweuY4.png)
![](https://i.imgur.com/Uz3i2CN.png)


影片可以看的出來，在不使用GAN的情況下，一個十字路口不論是往左往右都是對的(上圖)，這時候會造成小精靈有了殘影，有如影分身之術。

影片參考連結[Pac-Man](https://github.com/dyelax/Adversarial_Video_Generation)

上面的連結點擊之後會有Demo的影片，用三種方式來生成，可以發現不使用GAN的情況之下會造成較多的殘影產生。

### Besides Video Generation..
![](https://i.imgur.com/1rr9Kja.png)

[論文連結_Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network](https://arxiv.org/abs/1609.04802)

這個GAN的應用是做super resolution，給機器一個較低解析的影像輸入，再由機器輸出一個較高解析的影像。

### Besides Video Generation..
![](https://i.imgur.com/z7qVlZP.png)

不只有影像，語音的部份也可以利用GAN來生成。












