# 李宏毅_ATDL_Lecture_22 ###### tags: `Hung-yi Lee` `NTU` `Advance Topics in Deep Learning` [課程撥放清單](https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ/playlists) ## Video Generation by GAN [課程連結](https://www.youtube.com/watch?v=TN8cJiomk_k&list=PLJV_el3uVTsPMxPbjeX7PicgWbY7F8wW9&index=22) ### Video Generation ![](https://i.imgur.com/ymWW2Hj.png) [UF101](https://cs.nyu.edu/~mathieu/iclr2016extra.html) [Pac-Man](https://github.com/dyelax/Adversarial_Video_Generation) [論文連結_Deep multi-scale video prediction beyond mean square error](https://arxiv.org/abs/1511.05440) Video Generation的概念類似於Condition GAN: * Generator:輸入是一段Video前幾個frame然後輸出接下來的frame * 輸出一frame與真實的frame愈接近愈好。 * Discriminator:輸入是一段Video,判斷最後一個frame是真的還假的。 * 輸入的部份是整段的Video。 前面的frame都是真的,只有最後一個frame是生成或是真實的。 ### Video Generation ![](https://i.imgur.com/9VweuY4.png) ![](https://i.imgur.com/Uz3i2CN.png) 影片可以看的出來,在不使用GAN的情況下,一個十字路口不論是往左往右都是對的(上圖),這時候會造成小精靈有了殘影,有如影分身之術。 影片參考連結[Pac-Man](https://github.com/dyelax/Adversarial_Video_Generation) 上面的連結點擊之後會有Demo的影片,用三種方式來生成,可以發現不使用GAN的情況之下會造成較多的殘影產生。 ### Besides Video Generation.. ![](https://i.imgur.com/1rr9Kja.png) [論文連結_Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network](https://arxiv.org/abs/1609.04802) 這個GAN的應用是做super resolution,給機器一個較低解析的影像輸入,再由機器輸出一個較高解析的影像。 ### Besides Video Generation.. ![](https://i.imgur.com/z7qVlZP.png) 不只有影像,語音的部份也可以利用GAN來生成。