# 語音合成錄音經驗
Sîng-hông
2018/09/21

---

## 語音合成
- 語音合成的目標：文字變成聲音。
- 隨著人工智慧和機器人的熱潮，語音合成是不可或缺的技術。
- 語言學習的例子：親像[itaigi](https://itaigi.tw/tsu-te/pho-khi-bong)、[阿美語萌典](https://amis.moedict.tw/#:makapah)、…。

---

## 兩个部份
1. 合成技術
2. 合成語料

---

## 1. 合成技術
- Google 在 2017 年底推出「[Tacotron-2](https://arxiv.org/pdf/1712.05884.pdf)」
- 標榜接近人聲（MOS：4.53 vs 4.58）
- 標榜end2end技術，只要有語料，就算沒有語言知識也有辦法製作出語音合成
- 結論
- 技術有Open Source，重點是如何準備語料

---

## 2. 合成語料
- Tacotron-2的做法
- 準備錄音檔kah對應的書寫文字(24小時規模)
- [Google](https://arxiv.org/pdf/1712.05884.pdf)、[LJ Speech](https://keithito.com/LJ-Speech-Dataset/)都錄了24小時的語料
- 傳統GMM的做法
- 準備錄音檔kah對應的transcription（5～10小時）
- 準備書寫文字和transcription的轉換系統
- hué-tshia <==> hue1-tshia1

---

## 小結
- Tacotron-2的做法未來是主流，所以產生錄音變得非常重要
- 錄音室每小時行情1500～2000、發音人3000～5000，成本控制相當重要
- 以下討論各種錄音的方法

---

## 發音人
- 考慮目的，用途
- 腔口，查埔查某，年歲

---

### 審聽製作人
- 錄音前，和發音人聯絡、寄稿、事前提醒。
- 確定發音人有先讀過稿，了解錄音的方式
- 錄音時，品質的把關。若發音人沒照稿唸，ài判斷是因為腔口差抑是唸毋著，決定音檔是否需要重新錄製。
- 發音人和錄音師之間協調工作，掌握進度。

---

### 錄音師
- 聽p,ph品質，調整設備，，有噴mai--無（kah製作人無kâng）

---

## 文稿
- 如果打算公開語料，要先問好文稿授權，取得作者同意、授權書
- 要準備台客語、族語稿，千萬不要準備華語稿讓發音人現場翻譯
- 翻譯浪費時間
- 事後要聽打（成本很大)

---

---

## 錄音室 vs 語音實驗室

| | 錄音室 | 實驗室 |
| -------- | -------- | -------- |
| 剪輯人員 | 錄音師 | 自己 |
| 發音人唸錯 | 當場把錯的剪掉 | 事後重聽重剪 |
| 進度控制 | 減ka-tī音檔ê步 | 事後重聽重剪 |
| 音檔一致 | 無法度控制 | 對比句 |
| 空間 | 錄音間和控制室分開 | 在同一空間 |
| 討論 | 製作人可做筆記、討論 | 錄音師和製作人也不能有任何聲音 |

---

## 對比句
1. Tshuē固定一句話，

多元文化欲受人肯定，語言佇公領域的呈現是真重要的開始。`
To-guân bûn-huà beh siū lâng khíng-tīng, gí-giân tī kong líng-hi̍k ê thîng-hiān sī tsin tiōng-iàu ê khai-sí. 

2. 計畫一開始先錄一擺，決定beh tó一種氣口，音速，語速，咬字清楚。
4. 逐擺錄音前ài先唸對比句，調整發音人kah設備設定。
5. 參考錄音現場影片kah對比句sample。

---

## 錄音方法
- 我們嘗試了兩種做法，其中錄音師聽得懂台語
1. 錄音員一次唸五分鐘的稿，事後剪輯
2. 錄音員唸一句，錄音師剪一句

---

### 1. 錄音員一次唸五分鐘的稿，事後剪輯
- 中間休息一分鐘
- 實際錄音：
- 錄戲劇台詞
- 進錄音室錄1.5小時
- 錄音師花40分鐘剪了1/3的音檔→產出14分鐘
- 結論：
- 錄30分鐘，花40分鐘剪，可產出14分鐘
- 成本：發音人3000x0.5，錄音室2000x1.2
- 發音人比較累

---

### 2-1. 錄音員唸一句，錄音師剪一句
- 錄音師剪的時候，發音人預先看下一句文稿
- 錄音師把唸錯的句子剪掉，最一開始的吸氣聲剪掉，句中喘氣聲留--leh。
- 實際錄音：
- 錄戲劇台詞kah 40句新聞
- 進錄音室4小時，產出26分鐘
- 結論：
- 成本：發音人3000x4，錄音室2000x4
- 發音人可以休息，聲音品質穩定

---

### 2-2. 錄音員唸一句，錄音師剪一句
- 錄音師把唸錯的句子剪掉，~~最一開始的吸氣聲剪掉~~，句中喘氣聲留--leh。
- 錄音師剪的時候，發音人預先看下一句文稿。
- 製作人審聽音檔，品管，看佗位kah稿無仝。
- 實際錄音1(9/15)：
- 錄[世界台](https://www.facebook.com/sekaitai2015/)新聞稿
- 稿比較書面語，比較難唸，唸錯次數有比之前還多
- 進錄音室4小時，產出23分鐘
- 實際錄音2(10/27)：
- 錄[ka-tī設計ê稿](https://github.com/Sui-Siann-Dataset/Sui-Siann-Tsit-Tshing)
- 進錄音室4小時，產出36分鐘

---

- 結論：
- 成本：發音人3000x4，錄音室2000x4
- 發音人可以休息，聲音品質穩定

---

## 結論
- 在年底計劃結束前，我們會繼續試各種錄音方法，並更新在本投影片
- Loo-lat!