---
# System prepended metadata

title: 音樂人工智慧與多媒體技術
tags: ['20200905']

---

# 音樂人工智慧與多媒體技術
###### tags: `20200905`

蘇黎
中央研究院資訊科學研究所 / 助研究員

## 全球音產值概況
新的科技出來以後，對於傳統的領域影響
未必是正面的
MP3的發明。大家都不買CD了
2014年止跌回升
2019年Streaming音樂串流占了80%

AI的加入有極大的影響

### 科技的發展重度影響音樂市場
趨勢：付費串流、同步權 (synchronization right)、獨立製作、短影音、VTuber …

### 人工智慧在音樂
不知不覺把資料傳給那些大公司
使用者黏著度、社群關係、音樂推薦系統

聆聽：音色分類、音高偵測、自動採譜等音樂辨識問題
• 演出：自動跟譜、自動伴奏
• 創作：自動作曲、自動編曲等音樂生成問題
• 論斷：自動評分、自動修正、音樂推薦
• 聯想：音樂與其他多媒體資訊的整合

但創作、聯想目前是很難的
語音與文字的結合、自動產生都還做不好

### 資料型態
聲音訊號
五線譜 - 把五線譜做辨識
Piano roll => 老式的音樂盒 => 把聲音變成一個二維的矩陣 => 橫軸是時間，縱軸是音高

#### 聲音訊號
time-domain => 波形
frequence domain => 轉換為頻率的頻譜

八度音/二倍頻的關係

#### 音樂符號
可以改用2為矩陣的方式來做音樂的紀錄
不同的樂器，就像是不同的channel，在概念上就像是處理圖形的RGB的顏色

### 音樂與數學：泛音列
像波一樣的型態
發展出八度音(斗跟都)、五度音(都跟收)、

### 音樂與數學：樂律
怎麼做出一把樂器、如何調音
完全八度 (頻率比1:2)
完全五度 (頻率比2:3)

畢達哥拉斯(對、就是畢氏定理的那個)，建立了調律

十二平均律:定義一個標準音後，依據一個指數的公式執行

### 音樂的階層結構
pitch音高
Timbre音色/playing technique怎麼彈
Onset/offset甚麼時候開始彈

Beat拍子
Interval音程

要辨識的太多了

## 音樂辨識:自動採譜技術
## 多重音高偵測 (multi-pitch estimation)
相較於音樂辨識，語音辨識已經很成熟了

音樂辨識難在多重音高偵測
因為訊號是同時出現的
挑戰：
• 同時辨認多個不同的物件
• 同時辨認多個相似的物件
• 同時辨認多個相似且 (在時/頻域) 皆高度重疊的物件 (拍點/和諧音程)

### 訊號處理：繞不過去的傅立葉轉換
從時間到頻率：頻譜 (spectrum)
• 對數頻率 (log-frequency) 刻度：顯示音高
• 隨時間而變的頻譜：時頻圖 (spectrogram)
• 大量的泛音列 (harmonic series) 干擾音高偵測(主要干擾來源)

時頻圖 用對數圖 vs time 來表示
當同時有很多音同時進來的時候，時頻圖就亂七八糟了

### 音高偵測函數 (pitch detection function) 
2次或2次傅立葉轉換函數
抓頻率與抓周期的圖譜是互補的

### 多層倒頻譜 (Multi-layer cepstrum)
做很多次傅立葉轉換
保留週期性訊號

這樣會產生比較容易做機械學習的輸入訊號

未必要這樣做，但是先經過訊號的處理，可以讓機械學習學得比較好，不然，可能會經過很多trail and error

## 多層倒頻譜+深度神經網路
可以想像，鋼琴有88個音
就是最後答案就是88維的分類器

## 多樂器/多重音高偵測
多物件偵測 =>像音樂的處理

### google megenta真的很強XD

## 資料標註 (labels)
很難做

## 低資源度音樂採譜
例如 民族音樂
很多文明都有音樂，但並不會把這些音樂有系統的記下來。不記就失傳惹
反而是這些音樂/語言，應該要多做採譜/辨識與紀錄

## 人聲旋律偵測 (vocal melody extraction)

人聲會有一個特殊的pitch contour
因為...人會走音
可以用喉嚨來調整各種聲音的詮釋

### 走音救星
### 自動作曲
早期 符合規則 -> 規則越多，曲子越無聊
### 深度巴哈
給前後音階，然後讓電腦基於巴哈所有的音樂，自己算中間的音階
作法採用gibbs sampling
現在有很多的方法可以做去，不限於gibbs sampling

### Vtuber
目前還是動畫工業的一部分
但未來可以利用人工智慧導入Vtuber
























