# Neural tracking of attended versus ignored speech is differentially affected by hearing loss
*Citation(APA)：*
*Petersen EB, Wöstmann M, Obleser J, Lunner T. Neural tracking of attended versus ignored speech is differentially affected by hearing loss. J Neurophysiol. 2017 Jan 1;117(1):18-27. doi: 10.1152/jn.00527.2016. Epub 2016 Oct 5. PMID: 27707813; PMCID: PMC5209541.*

###### tags: `Neural Tracking`,` Hearing Loss`,`EEG`,`Speech Recognition`,`Speech Detection`,`Speech-onset Envelope`

* **目的：**過去有許多研究指出，年輕的聽常者在注意語音時，他們的大腦會對**緩慢包絡變化的語音**產生**相位鎖定的神經活動**。本研究主要在探討，當今天對象是有**不定聽損程度的長者**時，他們**戴上助聽器後**會如何影響**語音起始包絡(speech-onset envelope)的神經追蹤 (neural tracking)**。而研究的聆聽任務也會讓受測者在個別化的 SNR 下去進行。
* **本篇研究發現主要有三：**
1. 年長聽損者神經反應會比較偏向追蹤 to-be-attended speech 的包絡(跟 to-be-ignored speech 相比)
2. 聽力損失與 to-be-ignored speech 相關聯。通常聽損越重，聽損者對 to-be-ignored speech 跟 to-be-attended speech 的**區分能力會較弱**
3. **神經追蹤 to-be-attended speech 的能力會隨著背景噪音的降低得到提升。但聽損越重，降低噪音所帶來的幫助越小**
* 常見的感音神經處理缺陷（如：聽力受損），**跟中樞注意力機制有相互作用的關係**，並且會減少　to-be-ignored speech 跟 to-be-attended speech 的區分能力
* to-be-attended speech 與 to-be-ignored speech 的神經追蹤**會被量化為 EEG 與語音時間[包絡](https://highscope.ch.ntu.edu.tw/wordpress/?p=74443)的[互相關函數](https://www.wikiwand.com/zh-tw/%E7%9B%B8%E5%85%B3%E5%87%BD%E6%95%B0)** (rcrosscorr)
## New and Noteworthy
* 內部退化(聽力受損)跟 ignored speech 的神經追蹤相關聯
* 外部聲音退化(SNR)跟 attended speech 的神經追蹤有關係
* 在多人對話的情境下，EEG 所代表的神經反應顯露出相位鎖定與小振幅波動的狀況，這種頻帶常被稱為**語音包絡**
* 這種相位鎖定除了會發生在可理解聽覺刺激外，不可理解的聽覺刺激也會產生神經性的相位鎖定。其實，神經察覺到語音反應是有刺激到更高層次的腦部語言區(意即相位鎖定不是只因為聽覺刺激而有變化，也會反應大腦解碼跟處理聽覺訊號的狀況)
* 戴上助聽器雖然有部分補償(從 HL degradation 到 high processing level)，但還是免不了一些時間精細度下降與導致聽覺皮質灰質區域的退化
* 到目前為止，文獻都在探討外部聲音退化對神經追蹤的影響。**但內部退化(這邊限於感音神經性聽損)是否會影響 ignored speech 的神經追蹤和 attended speech 的神經追蹤尚未可知**。
1. 有研究指出操縱 attended and ignored talkers 之間的 SNR 會影響 attended speech 的神經追蹤，但也有人覺得沒有影響
## Method
### 參與者
* 16 女、11 男，年齡區間 62-86(有兩位的資料被排除，EEG 太 noisy)
* 聽力程度(PTA 採 0.5,1k,2k,4k,8k average 計算)
### 實驗設計
#### Listening Task
* 參與者配戴 Oticon Agil ，施測音訊(目標音根競訊同時)直接從助聽器輸入雙耳(@electrically shielded soundproof booth)
1. 助聽器選配採個人化的 quasi-linear amplification(類線性)
2. 動態聽覺刺激緩慢變動(所以語音包絡是使用慢壓縮保存)
3. 助聽器降噪跟音量調整功能都被關閉
* 語料
- 12 分鐘的瑞士語小故事(語者為男生，語音基頻為 113.5 Hz)
1. 被拆成各 3 分鐘的小段(共四段)
2. 這四段分別會在**安靜**以及**三個個別化 SNR 下呈現**(呈現順序 random)
- Masker 也是一個小故事(故事內容不一樣，語者女生，語音基頻為 179.5 Hz)
- 聽者被要求要注意男生的聲音，忽略的女生的聲音(兩個語者說話停頓經 [two-sample Kolmogorov-Smirnov test](https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test#:~:text=The%20two%2Dsample%20K%E2%80%93S,functions%20of%20the%20two%20samples.) 後顯示沒有差異)
* Listening task 結束後聽者會被問四個跟四段故事相關的問題
- 採用視覺化的三區間強制選擇 three-alternative forced-choice(3[AFC](https://en.wikipedia.org/wiki/Two-alternative_forced_choice))
#### SNR individualization
* 測這個 SNR individualization 主要是想避免個體對刺激音清晰度有差異
* HINT
- 四十個有加噪音句子(in 語音頻譜穩態噪音 70 dB SPL)直接藉由助聽器輸入耳朵(這個助聽器放大設定是基於個人 Audiogram)
- 我們會選用**句子中單字**答對率 **80 % 的背景噪音音量**，並稱這個閾值叫 **SRT80**，這個 SRT 80 會作為**施測 SNR 的中間值**，往上 **+4 SNR 會變成最舒適 SNR，往下 -4 SNR 變成叫不喜歡 SNR**
1. 81 個施測情境 (27 participants and 3 background noise levels)，只有 20 個 SNR < 0
2. SRT 80 平均為 4.61 dB SNR。聽力程度越重，需要越好的 SNR 達到 80 % 答對率
### EEG 紀錄與分析
#### Data recording and preprocessing
* 紀錄工具：EGI system
- 使用 103 個電極(@頭皮上)
- 取樣頻率 250 Hz
- 帶通濾波器設在 0.5 ~ 45 Hz 間(使用 Butterworth filter 並以 Cz 做為參考電位，計算到左右兩耳乳突觸的平均值)
* 計算工具 : customized MATLAB scripts, the FieldTrip toolbox
* 主要是在分析連續 data (內含眨眼、眼球掃視動作、肌肉動作、心跳，這些東西會藉由踏普圖跟時間關係由肉眼看出)
- 這些分析的 data 時間會被回推到電極處的時間，而且連續 data 也會跟著 3 min(不同 SNR)的區段切分
#### Calculation of neural speech tracking
* 為了得知神經對語音包絡的相位鎖定反應有多好，我們計算出三個互相關函數，分別被表示為 attended, ignored 和 control 狀態
- 每十個 channel 跟 epoch 中這三個相關函數會由以下資訊計算出來
1. EEG
2. to-be-attended talker 的語音起始包絡
3. to-be-ignored talker 的語音起始包絡
4. to-be-attended talker 的語音起始包絡(random 採用，這個目的是為了得到 EEG 跟語音起始包絡間一致性的控制組)
* 神經追蹤的注意力影響是使用相關函數相減得知(如 attend - ignored)。所以在安靜情境的聆聽任務無法計算出 ignored response 。 ignored 和 attended-ignored 的反應需要在有競訊的條件下計算才能得知
### 統計分析
* SNR level 分類因素的統計影響大部分因個體與聽力程度(連續HL協變量,measured as rPTA)有不同差異
#### 移除年紀因素
* 為了要忽略參與者年紀所帶來的影響，這邊使用 **z-scored residualized PTA (後稱 rPTA)** 去做進一步分析(這方法 2015年已被 Petersen 等人使用過)
#### 行為資料
* X**2-test 被用來計算 : 各 SNR level 是否會影響正確答案的比例
* 每位參與者跨 SNR level 正確答案比例和 rPTA 的 Pearson’s correlation : 聽損程度跟正確率之間的關係
#### attended 和 ignored speech 的神經追蹤
* 使用 [cluster-based approach](https://www.quora.com/What-is-the-meaning-of-cluster-based-approach) by FieldTrip toolbox 得出控制組和三個主動聆聽組的差異
* 不同聆聽情境跟控制組織間會做 t-tests ，最後會得到一個 t-values 值，是使用 cluster 去計算出來的(這 cluster 是由時間相鄰的 samples 所計算出來，至少會涵蓋三個相鄰的電極)
1. 如果 t-value 的總和超排列分布的 95% ，我們就會認為這個 cluster 是重要的(對應到的是單側 p value < 0.05)
#### 語音神經追蹤作為 SNR level 函數
* 調查 SNR level 的影響有兩個步驟
1. 我們假設噪音造成的改變(rcorsscorr)會跟 SNR level 有線性關係，cluster-based 的獨立線性回歸分析在這邊被運用在 single-subject level。每一個參與者在 attended 跟 ignored condition (在三個 SNR 情境下-4 dB SRT80, 0 dB SRT80, and +4dB SRT80) 的改變(rcorsscorr)，會被相對應的分別轉為 linearly spaced contrast coefficients -1, 0, +1。但這並不包含安靜情境，安靜情境並沒有被納入 statistical cluster analysis 計算
2. 每個參與者的線性迴歸係數都會跟 cluster-based dependent-samples t-tests on the group level 做[ 0 的差異檢驗](https://www.scribbr.com/statistics/t-test/#:~:text=A%20t%2Dtest%20is%20a,means%20is%20different%20from%20zero.)
#### 聽力損失對語音神經追蹤的影響
* 使用 Pearson’s correlation
* 算出位參與者與 rPTA 對應 attend speech, ignored speech 的 rcrosscorr 後，發現 attend speech 跟 ignored speech 的神經追蹤之間具有顯著差異，與從 time lag 和電極存在顯著差異現象相符合。
* Pearson’s correlation 可用來得出 rPTA 與不同 SNR 下的語音追蹤差異(這也代表了 HL 和 SNR level 之間的關係)
## 結果
### 跨 SNR 下所量測語音清晰度
* 一般情況下的正確率會比有改變 SNR level 的狀況高出 33.33 %(3AFC)(X**2(1)=29.67,p<0.001)
* 

* 不同 SNR level 的狀況下正確率沒有顯著差異(X**2(3)=2.49,p=0.48)
* 整體表現與**跨 SNR level** 跟 **rPTA** 無關(rpearson=0.05,p=0.81)
### 年紀越大神經追蹤 Attended speech 會比追蹤 Ignored speech 更為顯著
*▲ P1 @ 75 ms (time lag 24 –104 ms, 74 electrodes,P<0.001),N2 @ 150ms (time lag 112–212 ms, 83 electrodes, P<0.001) , P3 @ 250ms (time lag 220 –356 ms, 64 electrodes, P<0.001)*
* 控制組的 rcrossover 在所有時間區段內都接近 0 ，這代表 EEG 與其他時間區段內語音起始包絡間沒有系統性的關係
* **在跨 SNR level 下的 attended 與 ignored** rcrossover區間落在 -0.01 ~ +0.01
* **從上圖可以發現 attended 與 ignored 的延時不一樣，這也進一步指出對 ignored 有較強的神經追蹤**
### 語音追蹤的注意力調變隨聽力程度減少
* 研究者發現聽力越差，語音追蹤的注意力調變越差(顯著)
* 聽力程度越好神經追蹤 attended 與 ignored 的能力越好

*上面兩點神經追蹤能力都是使用延時跟與 Attended 和 Ignored condition　的 electrodes (@ 顯著差異處)進行 rcrosscorr 計算*
*▲ (上圖右) HL 跟 Attended speech (blue)沒有顯著關係，但跟 Ignored speech (red)有顯著的線性關係。聽損越重，Ignored speech 追蹤越差*
* 結果顯示影響注意力調變的顯著因素僅有 HL ，沒有 rPTA 和 SRT80
* 聽常者的 N1 較小，P2 出現較早
* 聽力越好，在注意力調變中追蹤 ignored talker 的 rcrosscorr 為正值。**表示聽力越不好的人越難去抑制 ignored talker。導致 attended speech 和 ignored speech 高度相似，減少注意力調變**
### 外部噪音減少 Attended speech 的神經追蹤
*▲ 上圖的 rcrosscorr 都是從每個 SNR level的C1,C2 提取出來的，我們可以發現對於 attend speech 的神經質追蹤來說，越少的噪音振幅越大，這代表安靜狀況會增加 attended speech 的神經追蹤。另外也可以注意 C2 的 ignored condition ，他有著較高的 rcrosscorr，這是由 P2 較早出現的 peak 所造成　(下圖) ▼*
* **SNR level 的變化對於 ignored speech 沒有顯著影響**
### HL 與不同 SNR level 下的 Attended speech 神經追蹤能力相關性
* 4A 圖示不同 HL 在 C1, C2 的 rcrosscorr，我們發現不管是C1, C2聽力越差，rcrosscorr 越小。所以今天聽力越好，對於 SNR 變化的敏感性也會越好
* 4B 圖示聽力程度越差神經追蹤 attended speech @最適 SNR 跟安靜環境下沒有差異
## 討論
### 小結論
* 不同程度聽損長輩神經傾向追蹤 attended speech 的語音起始包絡（相較於 ignored speech）
* 較差的聽力也會減少神經追蹤中的注意力調變，這是因為 attended 和 ignored 神經追蹤具有高度相似
* 較舒適的 SNR 會增加神經追蹤 attended speech 的能力，但是這個效果會隨者聽損程度的加重而減少
### 不同聽損程度的長輩語音追蹤的注意力調變
* 老年人對於 attended 跟 ignored sppech 的神經追蹤有顯著差異，這代表注意力調變有發生在年長者的神經反應中
* P1: 可用來評估[ Auditory object](https://www.nature.com/articles/nrn1538) 的行為重要性
* P2: 在 attended 和 ignored 的表現上都很顯著。P2 的出現可能跟實驗任務的難度有關係

### 聽力損失會減少語音神經追蹤的注意力調變
* 我們發現 HL 的變化（包含隨著年紀增長而產生的聽力損失）會影響到 ignored speech 的神經追蹤(相較於 attended )，這也會因此占用到認知資源
* 這顯示了聽損者較難去抑制 ignored speech ，導致兩個聽起來很像。這也解釋了為何聽損者在眾多語者的環境下，戴上助聽器後仍聽得很差
* 正常來說 SRT80 越大的狀況下代表聽力越重，但這篇文獻沒有發現注意力調變與 SRT80 大小的相關性(**可能的原因：除了聽力損失外，SRT80 的這個數值可能也會受到認知影響**)
* Kong　等人提出當在多語者且破壞時間精細度的任務下，聽常者對於 attended 跟 ignored 的注意力調變也會產生改變。而這篇的結果顯示 HL 對 attended 的語音追蹤沒有影響，**這可能的原因為 HL 所導致的是聽覺處理上有不足之處，而不是因為神經精細度下降**
### 背景噪音會減少 Attended Speech 的神經追蹤
* 這篇一就觀察到當背景噪音提升的時候 Attended speech 與兩電極群的 rcrosscorr 會很接近零(相較於較高SNR)，這代表較低的 SNR 會影響到 Attended speech
* 呈上，一般來說 SNR 減少會讓 Ignored speech 的神經追蹤，但這邊發現 SNR 對 Ignored speech 沒有太大的影響，反而跟 Attended 較有關係
### 聽力損失會減少不同 Noise level 的敏感性
* 這篇研究發現，聽力越差的長輩越難從好的 SNR 中獲益，主要是因為聽力限制了對 Ignored speech 的抑制
* 內部(聽力損失)與外部(SNR)會減少對 Ignored speech 的抑制(internal degradation)，Attended speech 的 Neuron ecoding 也會因此減少(external degradation)