Try   HackMD

ROCLING 2021 AI Tutorial IV - 語音標記及建模工具套件 (Speech Labeling and Modeling ToolKit, SLMTK) 於個人化文字轉語音系統之建立

內容摘要

SLMTK 為 Speech Labeling and Modeling Toolkit 的縮寫，由國立臺北大學通訊工程學系「語音暨多媒體訊號處理實驗室」開發，SLMTK 是一套可快速且自動化將語音及文本標記成可以建立韻律產生模型以及語音合成模型的語音標記工具，韻律標記的標準以及語音標記格式皆已制訂於套件內，方便分析以及建模使用，亦可以建立出基礎的韻律產生模型以及語音合成模型。另外，SLMTK 產生的語言、語音、以及韻律標記，亦可提供語言語音研究者提供具有意義的輔助標記。

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

目前 SLMTK 已在多個語料庫上進行實驗，並已有商用產品使用 SLMTK 建立 TTS (text-to-speech) 應用。SLMTK 亦支援科技部 “研發整合漸凍症病友智慧溝通系統-成果加值及落地應用” (MOST-109-3011-F-011-001-) 之 “子計畫二：回聲計畫- 漸凍症病友文字轉語音系統之建立”，與「中華民國運動神經元疾病病友協會」以及「聲帆股份有限公司」合作，目前已建立 20 位漸凍症病友客製化的文字轉語音系統，能在輔具上輸入文字後，以病友自己特有的聲音發聲。

SLMTK 將用於「中華民國運動神經元疾病病友協會」的 Voicebank 活動，將大量處理語音捐獻者的語音，以協助改善或建立病友的客製化 TTS。目前 SLMTK 支援純中文以及中英夾雜的語音處理，未來將有支援台語以及客語的延伸模組。本 Tutorial 將會分成三部分講述：

  1. Part I: Background (30 mins, 13:30-14:00)
  2. Part II： Introduction to Text-to-Speech Synthesis (60 mins, 14:30-15:00)
  3. Part III: 使用 SLMTK 建立客製化文字轉語音系統 (90 mins, 15:30-17:00)

參與此 Tutorial 的學員，將可以對語音處理以及文字轉語音系統有基礎的認識。

SLMTK Working Group

  • 國立臺北大學通訊工程學系「語音暨多媒體訊號處理實驗室」
    江振宇：主持人/系統整體設計/韻律產生系統
    李武豪
    1    ：博士研究生/文字分析系統/聲學模型/語音切割
    林彥廷
    1    ：博士研究生/語音合成系統
    林書磊：碩士研究生/語音切割系統
    林品翰：碩士研究生/使用者介面設計/網站維護
    蘇家駒：大學部兼任助理/VoiceBank網站建立
    洪紹瑋：碩士研究生/語音辨識/文字正規化
  • 聲帆股份有限公司
    張文陽：創辦人/語料設計及處理/語音錄製
    高晟哲：共同創辦人/系統整合/語料設計及處理/語音錄製
    陳韋成：工程師/語音合成系統
    江仁杰：工程師/語音合成系統
    劉冠廷：共同創辦人/文本設計

1equal contribution

Special Thanks to

  • 陳信宏、王逸如教授/國立陽明交通大學電機系
  • 廖元甫教授/國立臺北科技大學電子工程系
  • 中華民國運動神經元疾病病友協會
    • 林子逸：物理治療師/協調錄音時程/系統建立顧問
    • 屈穎：協會理事/系統建立顧問
    • 蘇麗梅：協會社工部主任/協調時程
  • 其他夥伴
    • 彭康硯：Yahoo/系統建立顧問
    • 張軍毅：THT (taiwan hacker tech)/系統建立顧問

Announcement

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →
VoiceBank 語音銀行+SLMTK 試用

因為 SLMTK 的運算資源有限，此次 Tutorial 開放 20 個名額於 Tutorial 的後半段可以錄製參與者自己的語音，並且使用自己的語音建立個人化文字轉語音系統，錄製的語音也將會捐贈於漸凍人協會的 VoiceBank 活動。

您可以在 VoiceBank 網站上錄製自己的語音，並且使用自己的語音建立個人化文字轉語音系統，錄製的語音也將會捐贈於漸凍人協會的 VoiceBank 活動，請參閱 VoiceBank 的使用條款：https://hackmd.io/@cychiang-ntpu/BkYkrSR-Y 了解細節。

欲參加者請準備好錄音設備和環境：

  1. 請使用 PC 或是筆記型電腦，目前系統不支援行動裝置 (Pad or 手機)。
  2. 麥克風，如果有USB端子的麥克風最好！筆電本身如果收音夠好可以直接使用 (如 MacBook)。
  3. 錄音平台 (PC或筆電) 儘量不使用任何主動降噪功能(如ASUS主機板隨附的AI Noise-Canceling功能)，避免屏蔽過多高頻音訊。
  4. 找盡量安靜、無明顯干擾的空間，常見干擾如空間回音、風扇噪音、冷氣運轉聲(調低溫度及風量可有效改善)及敲擊聲等，皆應盡量減少。

欲參加者請於 10月16日（六）下午 15:00 以前 email 至以下 SLMTK Working Group 電子信箱： slmtk.ntpu@gmail.com

Title: 報名 VoiceBank+SLMTK
信件內容：

SLMTK Working Gorup 您好：

我要報名 VoiceBank+SLMTK 試用，以下是我的報名資訊：
1. 姓名：
2. 性別：
3. 母語：

SLMTK Working Group 會建立您的帳號，並 email 通知報名成功的人，謝謝您！

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →
SLMTK 正式版

年底 SLMTK 會正式開放服務，讓國內外學術界使用，商業用途需要授權。
目前僅有文字正規化服務正式上線，歡迎使用：http://slos.ce.ntpu.edu.tw/

Tutorial Outline

Part I: Background (30 mins, 13:30-14:00)

  1. SLMTK 誕生的原因：
    因應需求建立不同語者的 TTS，比如不同使用場景需要不同音色的語音，或是為了建立客製化（個人化）TTS 做為個人輔具使用（失語者）。面對的是少量語料的問題。
  2. 傳統的 TTS 架構：






%0



I
文字
(text)



A

文字分析
(text analysis)



I->A





B

韻律產生
(prosody generation)



A->B


語言參數
(linguistic parameters)



C

語音合成
(speech synthesis)



B->C


韻律參數
(prosodic parameters)



D
合成語音
(synthesized speech)



C->D
  1. 大家比較喜歡 simplified 的 TTS 架構






%0



I
文字
(text)



A

文字分析
(text analysis)



I->A





C

語音合成
(speech synthesis)



A->C


語言參數
(linguistic parameters)



D
合成語音
(synthesized speech)



C->D
  1. 大家更喜歡 end-to-end 的 TTS 架構






%0



I
文字
(text)



C

文字轉語音/語音合成
(TTS/speech synthesis)



I->C





D
合成語音
(synthesized speech)



C->D
  1. 廣泛建立個人化的 TTS 需要標示不同語者各自的說話方式，代表同樣的文字，不同語者可能有不同的抑揚頓挫或發音方法。不同語者需要標示個別的韻律結構。
  2. 標示韻律結構(抑揚頓挫輕重緩急)，早期大多以語音學專業人力來達成，SLMTK 使用全自動方法，範例：

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

A labeling example by the PLMTK. The red asterisks and blue crosses in (a) to (

c) are values of prosodic states and observed prosodic-acoustic features, respectively. The pitch-related breaks, syllable duration-related breaks, and pause-related breaks are labeled in (a), (b), and (d), respectively. Lexical words and the associated part-of-speeches are labeled at the word-beginning syllable positions of (d) and (
c), respectively.

  1. SLMTK 使用案例：報業新聞朗讀系統、回聲計畫漸凍症病友客製化/個人化 TTS
  2. 回聲計畫簡介，病友原音和語音合成範例（第一級:001/003/016, 第二級：005/012, 第三級：008/015, 第四級：002）
  3. 「VoiceBank 語音銀行」 的需求：越多人的語音，越能夠幫助建立不同語者的聲音。

Part II： Introduction to Text-to-Speech Synthesis (60 mins, 14:30-15:00)

  1. TTS as a mapping function
  2. A Brief Review of Speech Generation Process
  3. Information Extracted from Input Text
  4. Segmental/Speech Analysis
  5. Syllable Structure of Mandarin
  6. Speech Production
  7. Prosody - Supra-segmental Analysis
  8. Prosody and Syntax
  9. TTS Pipelines

–- Coffee Break (30 mins, 15:00-15:30) –- 

#### Voicebank 參與者：
1. 設定您的錄音環境 (找麥克風吧！)
2. 下載 [wavesurfer](https://sourceforge.net/projects/wavesurfer/)
3. 下載 [Praat](https://www.fon.hum.uva.nl/praat/)

#### 江振宇：
1. 設定不同語者的參數(config.speaker)
2. make config

Part III： 使用 SLMTK 建立客製化文字轉語音系統 (90 mins, 15:30-17:00)

  1. SLMTK in Brief
  2. Live Recording on VoiceBank
  3. Text Analysis
  4. Speech Segmentation
  5. Prosody-Linguistic Feature Integration
  6. Prosody Labeler
  7. Training of TTS Models
Last changed by 
 
SMSPLab, NTPU, Taiwan
The Speech and Multimedia Signal Processing Laboratory (SMSPLab) elaborates on new and practical speech and multimedia signal processing technologies.
0
831

Read more

<center> 回聲計畫 </center>

2023/2/4(六)-2023/2/6(一)，系統暫停服務(機房電力檢修)

Feb 2, 2023
SLMTK-Home

Speech Labeling and Modeling Toolkit (SLMTK) - Home News Due to server maintenance and network maintenance, the website would be temporarily inaccessible on the schedule indicated below.2023/2/4 2023/2/5 2023/2/6 0. Table of Contents 1. Introduction The Speech Labeling and Modeling Toolkit version 1.0 (SLMTK 1.0) is designed to facilitate constructing text-to-speech (TTS) systems with a knowledge-rich TTS framework. The SLMTK labels speech corpora with linguistic and prosodic-acoustic information. The labeled information can construct TTS models and be used for speech analysis. For users’ convenience, the labeled information is mainly saved in Praat’s TextGrid format. For more details, please refer to the paper accepted by O-COCOSDA 2022: The 25th conference of the Oriental COCOSDA.

Feb 2, 2023
<center> 江振宇 博士/Dr. Chen-Yu Chiang </center>

Director, Center for Innovation &amp; Entrepreneurship

May 6, 2022
重聲 Save & Sound - 留存聲音，重現溝通的溫度

View the slide with &quot;Slide Mode&quot;.

Apr 14, 2022
Read more from SMSPLab, NTPU, Taiwan
Published on HackMD