---
# System prepended metadata

title: 'RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning'

---

# RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning
Paper Link : https://arxiv.org/abs/2002.03082
Project Link : https://labsites.rochester.edu/air/projects/RLDuet.html

為甚麼要有音樂伴奏
* 增強旋律
* 增添多樣性
* 提供節奏

音樂伴奏的行為
* 形成和諧的背景
* 呼應主旋律或突顯特定的情感。例如，橋段部分可能加入新的樂器或提高音量，創造出音樂上的高潮。
* 和弦的即興變化
* 伴奏與主旋律之間通常存在互動，這種互動可以通過和弦變化、回應主旋律的旋律動態等方式實現。

## Abstract & Introduction
Comprehensive musicianship : including perception and composition 感知主旋律 然後進行伴奏的創作
Long-term temporal structure
* 長時間範圍內的結構或組織
* 也包括: 主題, 情感, 節奏, 對比

Inter-part harmonization
* 不同樂器、聲部或音樂元素之間的和諧關係
* 和聲的變換



## Related Work
some are directly generate audio signals
RNN -> LSTM -> GRU 演進
連貫合唱

產生具有改善的長期一致性的音樂
MLE的基本思想是找到最大化可能性函數的參數值

## RL-Duet
Mismatch between training and testing conditions
* 模型訓練時通常使用人類創作的音樂來進行預測，所以較難發生問題
* 但在測試時是根據之前的預測進行預測，所以如果有一次的失誤預測，就會導致失誤持續惡化並累積

Mismatch between training criterion and generation objectives
* MLE會選擇機率最大的token
* 不考慮對未來生成token的長期影響
* Offline的狀況下可以用beam search去解決
```
束搜索的主要優勢在於它能夠考慮多個可能的序列，而不僅僅是單一的最可能序列。這有助於避免陷入局部極值，提高模型生成合理序列的能力。然而，束搜索也有一些缺點，例如它傾向於生成重複的片段，可能降低生成的多樣性。
```

cross-entropy 用意是在觀測預測的機率分佈與實際機率分布的誤差範圍

![image](https://hackmd.io/_uploads/BysUF-frp.png)



![image](https://hackmd.io/_uploads/HJnU-KMSa.png)

## 講稿
ppt : https://docs.google.com/presentation/d/1hrmBTRl5_UZQ1VMuWLjlTmiq36wGTA7g/edit?usp=sharing&ouid=114714054792570400141&rtpof=true&sd=true
```
我們要報告的論文是RL-Duet
---
總共分為六個Outline
---
那接下來進入介紹的章節
---Abstract
首先 這篇論文主要介紹了一個深度強化學習的演算法，用於生成音樂伴奏
並且這個伴奏是即時realtime去生成的，所以可以把它視為improvisation 也就是即興創作
那下面可以看到簡易的流程圖，第一步驟 是訓練出一個RL agent，然後生成伴奏，最後就能與人類一起演奏音樂，達成人機互動的效果
---Introduction
接下來進入introduction
那因為現有的研究大多都專注在非realtime的音樂生成，所以作者就有撰寫這篇論文的motivation
再來介紹Online music accompaniment 也就是線上音樂伴奏
由於是realtime 所以必須進行快速的決策 不能有太高的延遲
第二點就是要感知主旋律，然後創作出合理的伴奏
最後是為甚麼要用RL?
因為RL可以考慮到"長時間範圍內的結構或組織，包括說: 風格, 主題, 氣氛, 節奏, 對比 這些..."
並且也考慮到"不同樂器、聲部或音樂元素之間的和諧關係 與 和聲的變換"
---Deep Learning Music Gen
這頁主要是講解有關深度學習的音樂生成研究
標題的Symbolic是指說生成音符，也有一些研究是直接生成音樂，但大部分都是生成音符居多
過往的研究通常是用RNN或是RNN的改進版本，如LSTM或GRU
也有人使用GAN去生成，但在訊練過程中會有不穩定的情形發生
這些研究中最具代表性的是2017年的DeepBach
它使用gibbs 是一種類似於蒙地卡羅的採樣法
透過這種sampling去不斷地迭代修改生成的音樂片段
最後訓練出來的模型就可以生成出巴赫風格的音樂
但這種方法是offline的，與我們這篇論文的需求是違背的
---Interactive Music Gen
這頁主要是講解有關互動式的音樂生成
互動式除了伴奏之外，還有這種call and response，也就是人類演奏一段，然後機器演奏一段，不斷重複輪流
第一個是這種基於基因遺傳演算法的機制，但這種方法重度依賴於音樂相關的知識
第二個是前面有提到的GAN，但也是offline生成
第三個是google在2019提出的music transformer，這種方法因為有self-attention的機制
所以生成出來的音樂就具有風格一致性，不會一下子是風格A 接著又變成風格B
---RL Music Gen
這頁就是跟本文最相關的related work，強化學習音樂生成
首先要介紹的是MLE，這是一種統計學的估測方法，估測出模型的最佳參數
第一個是ORGAN它是結合了RL跟GAN這兩種技術的方法
第二個是SequenceTutor，它採用RNN+MLE的方式，那這篇文最大的缺陷就在於它依賴於數十條手工製作的音樂規則
在後面的Experiment章節就會用這個模型來跟RL-Duet進行比較
---RL-Duet Motivation
接下來進入RL-Duet的介紹
根據前面提到的relate work，之前的研究是用RNN+MLE的方式，它的概念其實就是把過去所有的 (也包括自己生成的那些)token
作為輸入，學習下一個token的機率分布，那這種方法會有幾個缺點
第一點是 因為模型在訓練時都是使用人類創作的音樂去預測，所以這時候都看不出問題
但是到了測試階段時，假設某次的預測失誤了，因為輸入也會包含機器之前生成的資料，所以就導致失誤持續惡化 累積
第二點是 基本上MLE是會直接選擇機率最大的token，不會去考慮生成現在這個token對未來的長期影響
可以看下圖中的第二排樂譜，MLE生成的伴奏有許多重複音，而我們的RL-Duet就有很高的多樣性
這種問題在offline的情形下可以用beam search去解決，但在我們的realtime狀況下就不適用
最後來介紹一下使用RL的優勢
第一個就是前面提到的長期規劃，因為RL可以讓reward延續到後續的回合，所以就有了長遠影響的效果
第二點是說 使用RL去訓練 也就不需要額外的設定或規則，就像前面提到的seqencetutor
RL-Duet可以完全從資料集中學習出reward model
---RL-Duet Representation
這頁會介紹怎麼樣把音樂資訊進行encoding
把每個音高的時間分為十六分音符的時段，較長的音會用hold表示持續
在實驗時，會用以下兩種的音高表示去測試，也就是multi-hold與single-hold
這兩個的差異在於multi-hold針對所有音高都使用不同個hold，single-hold則反之
最終的結果是表明multi-hold可以造成較大的音樂多樣性
音符的資訊除了音高之外 還有節拍，作者在這邊也是把節拍時間切割成十六音符的時間
然後加上beat index 1~4，也就是說最終的list看起來就像1 2 3 4不斷重複
最後來講解這個model concept，Human用h表示 Machine用m表示
輸入到agent的state就是由human part + machine part，但是會限縮在sliding window的大小之內
要預測的機率就是在state t的狀況下machine生成這個token的機率
---RL-Duet RL Framework (1)
接下來這頁會介紹到本文所使用的強化學習框架
RL-Duet使用的演算法是policy gradient中的一種方法，叫做廣義優勢估計GAE
那我們在下一頁會介紹到，訓練目標就是讓這個長期reward可以最大化
訓練共分為兩個階段，第一階段是用一般的generation agent去生成樂譜
輸入state_t生成action_t，第二階段會用reward agent去檢視前面生成的樂譜，也就是根據action計算出reward
最終再將訓練成果更新到generation agent，這兩個phase不斷重複去運作，最終就可以完成訓練
---RL-Duet RL Framework (2)
那這頁主要就是放上GAE的策略梯度更新公式，我會大概講解重要的部分
首先我們有action policy pi與value function V跟優勢函數 At
優勢函數就是評估當前策略相對於預期的好壞，使用的就是TD error的機制
然後還有一個lambda的參數，這個參數用於控制長期優勢的加權。
lambda越接近1，越強調長期的優勢，lambda越接近0，越強調即時的優勢。
...
---RL-Duet Reward Model (1)
接下這兩頁會介紹RL-Duet的reward model是怎麼設計的
作者有提到，為了避免生成的不好的片段，例如很無聊啦或者是過於奇怪的音樂
所以採用了多個reward model，這樣做同時也可以增加模型的robust程度
作者在設計時有考慮到以下的這兩點，但因為這些都是音樂相關的術語，我就大概的講一下
水平時間一致性就是關乎到音符與音符之間的流暢度，好的音樂盡量不會有太大的音高跳動
垂直和諧關係就是同時有多個響起的音符，那這些音符必須要是互相和諧的搭配，也就是說主旋律與伴奏不會聽起來像是兩首音樂
---RL-Duet Reward Model (2)
那這頁就是在介紹RL-Duet提出的四種reward model
這頁中的黃色區塊都代表model的輸入，藍色區塊代表要預測的範圍
那人類與機器都有參與輸入就代表joint，沒有joint就是像下面這兩種view，只有人類或只有機器
以a來說就是對這次生成的token去評估，那b就對以前的一些token做評估
那c這個reward model就是為了讓前面說的水平時間更加一致性，也就更流暢
d這個reward model就是為了讓前面說的垂直和諧關係更加良好，伴奏也就更不突兀
```

AI中文翻譯論文 : https://drive.google.com/file/d/1E0XyJrA3bvrMEXk-fiaRb4C37HliRc5Z/view?usp=sharing