## AdaIN與影片轉換 首先來介紹我們是如何轉換影片的: 1. 輸入影片 2. 用cv2的函式將影片分成多個幀,並將這些幀放入名為`frames`的資料夾 3. 輸入style image 4. 將`frames`裡的所有圖片轉移成style image的風格,並依前後順序將它們放入名為`stylized_frames`的資料夾 5. 利用`ffmpeg`將`stylized_frames`的圖片組合起來成影片檔並輸出 另外我們透過改變第四部份的轉移指令來決定是要用naoto的model還是irasin的model轉移影片。 由前面我們已知道naoto的model對於風格筆觸的轉移效果較好,而irasin的model則是善於轉移材質、顏色主題等,因此我們可視style image的視覺主效果來決定要用哪個model。像是以《The muse》該風格為例,其呈現的主題是狂野的抽象筆觸,因此用naoto的效果較好。而若是以磁磚風格的話,其呈現重點是在於磁磚的紋理,所以用irasin的model能更好地帶出風格的主題。 透過前面的結論我們也知道善用兩種model可使轉移風格有更好的呈現效果,然而因為我們需將轉移後的圖片組合起來做影片,而轉移過一次的關係相鄰的幀之間已有不少的內容差異,若再轉移一次之後該差距會被拉大,使得影片有嚴重的閃爍效果。 除了試用兩次的風格轉移之外,我們還有嘗試對影片做post-processing,像是在`result/videos`裡面的`news1_irasin_denoise`,因為雜訊的關係使得影片有不少的閃爍長條,而我們對其做降噪之後那些條狀glitch的數量下降了不少,但伴隨而之的是風格圖片所想呈現的報紙文字感也因此降低。
×
Sign in
Email
Password
Forgot password
or
By clicking below, you agree to our
terms of service
.
Sign in via Facebook
Sign in via Twitter
Sign in via GitHub
Sign in via Dropbox
Sign in with Wallet
Wallet (
)
Connect another wallet
New to HackMD?
Sign up