# 校內AI競賽---人工智慧在音樂治療的實務應用

## 團隊分工
### 成員一: 410410054 王宥愷
系級:資訊工程學系二年級
專長:專案開發、深度學習
分工: 大綱(動機、提案1、提案2、部分提案3)、提案2
相關修課: 程式設計、線性代數
### 成員一: 410115025 楊臻妮
系級:外國語文學系二年級
專長:
分工: 海報、提案3（結合AI的完整執行流程）
相關修課: 程式設計、
### 成員: 410410027 鄭皓中
系級:資訊工程學系二年級
專長:專案開發、深度學習
分工: 提案1
相關修課: 程式設計
### 成員一: 410410054 雷子頡
系級:資訊工程學系一年級
專長:專案開發、深度學習
分工: 動機、部分提案3
相關修課: 程式設計、

## 動機
中正大學有一門名為「探索音樂治療」的課程，而我們之中有人這學期有幸修到，並有機會將音樂治療這個先前從未聽過的治療方法介紹給其他組員。上課時老師身為專業的音樂治療師帶領我們親身體驗到「音樂引導意象」、「放鬆練習」及「歌曲創作」等等音樂治療方法，使我們對音樂治療的核心精神與應用方向已經有所了解。音樂治療適用於但不限於生理、心理、認知及社會功能上有需求者，可以降低憂鬱和焦慮程度、幫助恢復語言能力、減患慢性疼痛，也可以改善協調性和平衡等，是個有價值得輔助治療方式。音樂治療師可以針對每個人的獨特需要訂製治療方案，而且也是非侵入性及無副作用的治療方式，對於不擅長用言語表達情感的人來說，音樂是一種替代性的表達方式。越是深入了解音樂治療的專業性及成效，我們心中的疑問便越發明確，身邊的人大多都沒聽過或不了解音樂治療這個名詞，究竟是甚麼原因導致這個有效又無副作用的治療方式無法普及呢?

經過我們的討論以及調查，我們認為其中一個導致音樂治療不普及的可能原因便是由於音樂治療相較於其他治療方式還屬於新興領域，專業音樂治療師人數相對較少，而一位音樂治療師的能力有限，在供需失衡的狀況下，自然無法將音樂治療普及至一般大眾身上。因此，也導致許多人對於音樂治療的認知度不高，缺乏對治療效果的了解，對于治療效果存在疑慮。除此之外，我們也參照了各式網路文章與音樂治療師的親身經驗，觀察到也許是因為領域差異過大，我們並未發現前人將AI應用在音樂治療上的實例。

也許這是一個能解決音樂治療無法普及至一般人身上的契機，隨著硬體資源的快速發展，現今能處理AI訓練模型時所需複雜運算的電腦成本已大幅降低，代表AI能更輕易的與其他領域結合。若AI能運用在音樂治療上面，最大的提升之一便是能提升音樂治療師的工作效率，正如同ChatGPT之於程式設計師一般，如此一來音樂治療師便有機會能收更多個案，某種程度上緩解了音樂治療供需失衡的問題；除此之外，AI還能夠提升音樂治療的品質，除了使治療過程不再那麼枯燥、讓治療師能更了解個案的想法以外，還有諸多可以提升的空間。

## 提案1: 節奏性聽覺刺激+AI
### 現況觀察
目前在節奏性聽覺刺激(RAS)的治療過程中，都需要音樂治療師親自用樂器簡單的打節拍，或使用節拍器產生固定節奏，這些方法都存在一些缺點。若由音樂治療師親自用樂器簡單的打節拍，產生出來的音樂較無變化性且人力成本過高，會使音樂治療師無法全神貫注在個案身上，需要他人輔助個案的行動。若使用節拍器產生固定節奏，治療過程不但枯燥，且無法隨時依照個案狀態調整節奏。
### 目標
1. 利用AI即時生成節奏適合的音樂，以最佳化訓練效果。透過AI分析個案步態數據、節拍和音樂元素，生成出適合個案節奏的音樂，同時也會透過AI學習個案的變化，來優化音樂節奏，以達到更好的治療效果。
2. 利用AI生成氛圍適合的音樂，使治療過程不那麼枯燥，並提升個案的治療體驗。透過AI學習個案的音樂喜好和心理狀態，生成出適合個案的音樂，減緩個案壓力並提升個案在治療過程中的情緒和舒適度，增加治療效果。
3. 利用AI大數據分析每次的訓練結果，以減輕音樂治療師的負擔。透過AI收集個案的行為的數據和音樂反應，提供訓練記錄，方便音樂治療師分析個案的進步情況、對個案狀態進行評估和調整，以做出更科學的治療計畫
### 結合AI的完整執行流程
1. 根據個案實際情況由音樂治療師擬定治療計畫，並作為AI的初始參數
2. 設置鏡頭供動作偵測使用，利用AI判定個案的動作與速度
3. 利用物件偵測所得數據及時生成節奏適合的音樂，以協助個案進行有效的訓練
4. 利用AI大數據分析每一次的訓練結果，以供音樂治療師動態調整訓練內容及強度

此提案旨在利用人工智慧技術協助音樂治療師提高節奏性聽覺刺激的治療效果。首先，音樂治療師會根據個案的情況擬定治療計畫作為演算法的初始參數（例如：個案性別、年齡、病史等）。舉步態訓練來例，會利用設置的鏡頭收集個案行走的影像，將影像資料輸入訓練好的深度學習模型，以自動判斷個案走路動作與速度。同時，根據偵測所得數據即時生成節奏和氛圍適合的音樂，例如，如果偵測到個案已經可以配合原先的音樂節奏達到一定程度，AI會適時生成較快的節奏幫助個案提高步態。如果偵測到個案需要更輕鬆的氛圍，AI可以生成較柔和的音樂減緩個案壓力。在訓練過程中，AI也可以隨時調整節奏和氛圍以適應個案的實際狀況。最後，會使用深度學習和其他統計技術來分析每次訓練結果，可以從個案的步態數據（例如：步長、步頻等）方面的數據和搭配的音樂節奏和氛圍切入，了解個案的進步和訓練過程趨勢，以供音樂治療師動態調治療計畫並提高治療效果。
### 實際舉例
https://rf198.weebly.com/musictherapy.html
(節錄自上述文章)
音樂治療師會運用樂器和歌曲引導病友邊唱歌邊前行，根據病友的能力調整速度，分散行走注意力，鼓勵病友前行、轉彎、繞圈等。讓肌肉神經系統和音樂節奏帶領步伐，律動自然而然地和身體同步結合。一般而言，過程大致可區分為5個階段：
1.評估個案步態數據：步頻、步態、步長、走路動作。
2.pre-gait練習：根據評估數據，針對個案需要加強的部分，練習與走路相關的動作，練習時會加入節拍器和音樂帶動步態練習。註：從個案熟悉的音樂中挑選速度與節奏適合的歌曲。
3.漸進訓練：當步頻和步長穩定時，會將節拍器上/下調5%-10%，增加適當的練習強度，提升整體步行的流暢度。
4.進階步態練習：增加走路時的困難度，例如高低差的台階、增加障礙物等等，以符合現實生活中的情況。
5.音樂刺激逐漸退去：當音樂與節奏與步伐速度共乘（entrainment）後，個案已能自行走路，治療師會逐漸減少音樂刺激，並鼓勵個案自己唱、或者唱在心裡，以符合其在日常生活中走路的情境。

https://youtu.be/pzenDIwFllw
除此之外，RAS也用於幫忙治療因為中風而失去言語能力或視覺空間感知的情況。
恢復語言能力例子: 由音樂治療師演奏樂器並引導個案跟著旋律唱歌來幫助個案恢復的言語能力
視覺空間感知方面: 音樂治療師會以不同的方向產生聲響來讓個案練習做出反應以活化個案的感知能力

## 提案2: 即興音樂治療+AI
### 現況觀察
即興音樂治療通常用於自閉症兒童及青少年的治療上。目前，進行即興音樂治療時，通常至少須兩位音樂治療師的參與，一位負責即興產生音樂，另一位負責與患者互動；治療師需要具備即興演奏音樂的能力和默契配合的技能，隨時互相配合以達到治療目的，故治療成本和對治療師的要求都很高，無法普及。
### 目標
1. 利用AI技術根據當前情況即興生成音樂，以降低治療成本與對治療師的門檻要求。透過AI技術感測個案感到不適時，也可以及時調整生成的音樂，減緩個案不適。
2. 利用AI大數據分析生成的音樂特徵與治療成效之間的關係，以針對個案擬定個人化的治療方案。透過對生成的音樂特徵進行和治療成效進行分析，可以幫助音樂治療師設計最適合當前治療目標的音樂風格，並動態調整未來的治療模式。有助於提高治療效果和可靠性，同時降低治療成本和提高普及度。
### 結合AI的完整執行流程
1. 根據個案實際情況由音樂治療師擬定治療計畫，並作為AI的初始參數
2. 設置鏡頭供動作偵測使用，利用AI偵測個案在探索環境時的動作
3. 將偵測結果及時反應至AI即興生成的音樂上，以強化個案與環境的關係，並由音樂治療師從旁輔助
4. 可嘗試設定不同風格的音樂，從中找出最適合當前治療目標的風格
5. 利用AI大數據分析每一次的訓練結果，以供音樂治療師動態調整未來的治療模式

此提案旨在利用人工智慧技術協助音樂治療師提高即興音樂治療效果。首先，音樂治療師會根據個案的情況擬定治療計畫作為演算法的初始參數（例如：個案性別、年齡、病史等）。利用設置的鏡頭偵測個案在探索環境時的動作，並把偵測結果即時反應至AI即興生成的音樂上，由音樂治療師從旁輔助，強化個案與環境的關係。接著，AI會先根據個案的情況設定音樂風格，然後再嘗試設定不同風格的音樂(例如緩慢、輕快、正向等等)，從中找出最適合當前治療目標的風格。最後，透過AI大數據分析每次訓練結果，給予建議和改進方向，提供音樂治療師動態調整治療模式，並找出最適合個案的音樂風格及治療方式，也提高音樂治療師的專業能力。因為AI輔助音樂治療師即興生成，治療過程只需一位音樂治療師介入，解決音樂治療師人力不足難以實行音樂治療的困境。音樂治療師在過程中不必花心思生成節奏，可以更輕鬆專注分析治療成效及評估治療效果。因此，再結合AI技術後，即興音樂治療不僅減緩人力，還可以幫助音樂治療師更好掌握治療方向，及提高治療效果。

### 實際舉例
https://www.imtc.com.hk/blog20220831/
自閉症兒童在來到新環境時通常會感到非常壓抑跟焦慮，以至於拒絕與環境(音樂治療師)互動，此時透過即興音樂治療的方式，強化個案與環境間的關係，讓個案能在喜悅的氛圍中逐漸熟悉環境，以便進行下一階段的治療，避免對治療情境產生抗拒

## 提案3: 音樂引導意象+AI
### 現況觀察
音樂引導意象治療主要應用於情緒障礙、心理創傷、身心受壓等個案身上。音樂治療師通常會根據自身經驗選擇適當的音樂，以引導個案表達內心想法和情感，然而，治療師的主觀意識可能會影響音樂選擇和治療效果，且有些個案由於語言障礙或心理壓抑等因素，可能無法清晰表達內心想法和情感，導致治療結果非預期。
在上課時老師曾帶領我們體驗過音樂引導意象，當時的主題是回想一件令我們感到最榮耀的事，教授(音樂治療師)用收音機撥了一首輕柔且具有榮譽感的曲子，請我們用蠟筆在紙上畫出心中所浮現的意象；在畫圖的過程中，因為大部分的人並未受過藝術相關教育課程，且蠟筆不好使用，因此我們對於最後畫出的成品結果不是很滿意，而且在畫圖的過程中，也遇到許多快要想起來，但因為受到的視覺刺激不夠導致抓不到的意象。儘管在畫完圖後有跟音樂治療師解釋，但還是感覺只將心中真正所想表現出不到50%，若是能夠結合AI，結果一定比現在更好。因此我們也實際並強烈感受到，在實際應用中，個案可能遇到藝術創作技巧的困難，且在音樂刺激下想起的意象不易捕捉和表達。

### 目標
1. 提高治療師專業性和音樂治療效果。透過AI技術的協助，使音樂治療師在選擇音樂和設計治療方案時更加精確和科學，也可以依據個案的狀況調整音樂的節奏和風格等特性，達到更好的治療效果。
2. 幫助個案更好表達內心想法和情感。AI技術可以協助個案把自己的意象轉化為更清晰、更具表現力的圖像，作為治療的輔助工具，幫助表達內心想法和情感。
3. 利用AI技術提高治療效率和精準度。AI技術可以對個案情緒和狀態進行實時監測和分析，並且自動調整治療方案，可以提高治療效率和精準度，同時也可記錄和分析個案治療過程中的數據，提供參考依據給後續的治療。
### 結合AI的完整執行流程
1. 音樂治療過程會引導個案進行音樂活動並與個案進行對話，引導個案描述意象
2. 語音識別技術將對話內容轉為文字
3. 自然語言處理分析對話內容，提取出相關的意象關鍵字
4. 關鍵字輸入到AI模型，選擇性生成最能代表個案描述的圖像
5. 音樂治療師根據即時生成的圖像與個案進行深入對話及回饋

此提案旨在利用人工智慧技術協助音樂引導意象治療效果。首先，在音樂治療過程中，音樂治療師會根據個案的狀況和治療目標選擇適合的音樂進行治療，同時引導個案進行對話並描述內心感受和想法。接下來，透過語音識別技術將音樂治療師與個案之間的對話內容轉為可供電腦處理的文字形式，並利用自然語言處理技術分析對話內容，從中提取相關的意象關鍵字，作為生成圖像的依據。接著，將提取出的關鍵字輸入到AI模型中，模型會生成最能代表個案描述的圖像。音樂治療師將即時生成的圖像展示給個案，引導個案進一步表達內心感受和想法。由於圖像的輔助，個案可以更加清晰表達自己感受，音樂治療師也可以根據生成的圖像和個案反應，給予更具體的回饋和建議，近一步引導個案通過音樂和對話緩解情緒和壓力，提升了治療效果。這樣的流程可以幫助個案更好地表達內心感受，也可以提供給個案更完整、更個性化的音樂治療體驗。
### 實際舉例
1. 有個案因與父親吵架，導致父子關係不太好，但父親突然離世，個案來不及表達自己的想法，此事成為他一生中的遺憾，久久無法釋懷。在音樂引導意象治療的過程中，個案得以在意象中看見父親，並在治療師的引導下與父親真誠道歉，得以放下心中的懸念並過上正常生活。

## 改變未來生活之影響
AI技術已經讓我們體驗到科技在許多領域的強大，其中包括音樂治療。然而，由於音樂治療證照考取困難，而且需要同時具備音樂創作能力和醫學專業能力的人寥寥無幾，導致音樂治療在醫學界被嚴重低估。這使得很多患者無法享受到音樂治療的好處，也倒是那些具有醫學專業能力、對於音樂治療有興趣，但缺乏即興音樂創作能力的人無法發揮其治療能力。

因此，乘上AI最近的突破性發展，我們希望透過AI能夠快速製作音樂的強大能力，降低音樂治療的門檻，解決音樂治療師的稀缺性問題，提供更多擁有高超醫術但卻苦無即興音樂創作能力的人更多樣的治療方式來幫助患者恢復健康。此外，我們也希望透過可以運用深度學習繼續蒐集龐大資料，提供醫師更全面而完整的資料參考，協助醫師做出最為準確而有效的判斷。

我們希望藉由AI技術，讓音樂治療不再是大家有耳聞卻無從下手的「傳說」，也不是考取難度難如登天、被大家束之高閣的「證照」，而是能夠確實治療病人、幫助患者更快恢復健康的「工具」。這樣就可以讓更多的患者輕鬆地接受音樂治療，享受其帶來的好處，同時那些具有醫學專業能力但缺乏即興音樂創作能力的人也能夠發揮其治療能力，為患者帶來更多的健康福祉。

## 參考來源
https://www.youtube.com/watch?v=fwcSemSjpiY&t=6s
https://www.musictherapy.com.tw/definition

----------------------------------------------------
## 可能主題
1. 憂鬱症、諮商分析、協助諮商師

## 行程分配
* 5/1 23:59前: 概念企畫提案書大綱完成
* 5/8: 概念企畫提案書(word->pdf)完成、海報完成
* 5/9 23:59前: 最後確認、送出
* 5/10: deadline