# 音樂人工智慧與多媒體技術 ###### tags: `20200905` 蘇黎 中央研究院資訊科學研究所 / 助研究員 ## 全球音產值概況 新的科技出來以後，對於傳統的領域影響 未必是正面的 MP3的發明。大家都不買CD了 2014年止跌回升 2019年Streaming音樂串流占了80% AI的加入有極大的影響 ### 科技的發展重度影響音樂市場 趨勢：付費串流、同步權 (synchronization right)、獨立製作、短影音、VTuber … ### 人工智慧在音樂 不知不覺把資料傳給那些大公司 使用者黏著度、社群關係、音樂推薦系統 聆聽：音色分類、音高偵測、自動採譜等音樂辨識問題 • 演出：自動跟譜、自動伴奏 • 創作：自動作曲、自動編曲等音樂生成問題 • 論斷：自動評分、自動修正、音樂推薦 • 聯想：音樂與其他多媒體資訊的整合 但創作、聯想目前是很難的 語音與文字的結合、自動產生都還做不好 ### 資料型態 聲音訊號 五線譜 - 把五線譜做辨識 Piano roll => 老式的音樂盒 => 把聲音變成一個二維的矩陣 => 橫軸是時間，縱軸是音高 #### 聲音訊號 time-domain => 波形 frequence domain => 轉換為頻率的頻譜 八度音/二倍頻的關係 #### 音樂符號 可以改用2為矩陣的方式來做音樂的紀錄 不同的樂器，就像是不同的channel，在概念上就像是處理圖形的RGB的顏色 ### 音樂與數學：泛音列 像波一樣的型態 發展出八度音(斗跟都)、五度音(都跟收)、 ### 音樂與數學：樂律 怎麼做出一把樂器、如何調音 完全八度 (頻率比1:2) 完全五度 (頻率比2:3) 畢達哥拉斯(對、就是畢氏定理的那個)，建立了調律 十二平均律:定義一個標準音後，依據一個指數的公式執行 ### 音樂的階層結構 pitch音高 Timbre音色/playing technique怎麼彈 Onset/offset甚麼時候開始彈 Beat拍子 Interval音程 要辨識的太多了 ## 音樂辨識:自動採譜技術 ## 多重音高偵測 (multi-pitch estimation) 相較於音樂辨識，語音辨識已經很成熟了 音樂辨識難在多重音高偵測 因為訊號是同時出現的 挑戰： • 同時辨認多個不同的物件 • 同時辨認多個相似的物件 • 同時辨認多個相似且 (在時/頻域) 皆高度重疊的物件 (拍點/和諧音程) ### 訊號處理：繞不過去的傅立葉轉換 從時間到頻率：頻譜 (spectrum) • 對數頻率 (log-frequency) 刻度：顯示音高 • 隨時間而變的頻譜：時頻圖 (spectrogram) • 大量的泛音列 (harmonic series) 干擾音高偵測(主要干擾來源) 時頻圖 用對數圖 vs time 來表示 當同時有很多音同時進來的時候，時頻圖就亂七八糟了 ### 音高偵測函數 (pitch detection function) 2次或2次傅立葉轉換函數 抓頻率與抓周期的圖譜是互補的 ### 多層倒頻譜 (Multi-layer cepstrum) 做很多次傅立葉轉換 保留週期性訊號 這樣會產生比較容易做機械學習的輸入訊號 未必要這樣做，但是先經過訊號的處理，可以讓機械學習學得比較好，不然，可能會經過很多trail and error ## 多層倒頻譜+深度神經網路 可以想像，鋼琴有88個音 就是最後答案就是88維的分類器 ## 多樂器/多重音高偵測 多物件偵測 =>像音樂的處理 ### google megenta真的很強XD ## 資料標註 (labels) 很難做 ## 低資源度音樂採譜 例如 民族音樂 很多文明都有音樂，但並不會把這些音樂有系統的記下來。不記就失傳惹 反而是這些音樂/語言，應該要多做採譜/辨識與紀錄 ## 人聲旋律偵測 (vocal melody extraction) 人聲會有一個特殊的pitch contour 因為...人會走音 可以用喉嚨來調整各種聲音的詮釋 ### 走音救星 ### 自動作曲 早期 符合規則 -> 規則越多，曲子越無聊 ### 深度巴哈 給前後音階，然後讓電腦基於巴哈所有的音樂，自己算中間的音階 作法採用gibbs sampling 現在有很多的方法可以做去，不限於gibbs sampling ### Vtuber 目前還是動畫工業的一部分 但未來可以利用人工智慧導入Vtuber