<style>body {text-align: justify;}</style>
# 計算多模態雙人互動行為計算於自閉症評量診斷(ADOS)應用於自動化評估泛自閉症症候群
> [time=Fri, Dec 7, 2018]
> [name=陳金博、曾憲宏、高淑芬、李祈均]
> ###### tags: `自閉症` `行為訊號處理`
> [reference](https://www.isca-speech.org/archive/Interspeech_2017/abstracts/0563.html)
> [color=#f45b46]

## 0. 大綱：
泛自閉症症候群(ASD)是一個高度氾濫的神經發展疾病，特徵是會影響一個人的社交能力和出現侷限重複的興趣。ASD是個異質性高的症候群，自閉症(AD)、高功能性自閉症(HFA)、亞斯伯格症(AS)都包含在其中。在我們的研究中，我們利用人類行為訊號處理技術計算了很多多模態行為特徵，包含身體動作、聲學特徵、語權交換機制。以上的行為特徵計算在雙人互動中的，評估者、受試者身上，還有兩人的互動情形。最後，我們使用了自閉症評量診斷的社交測試項目，來當作我們的研究題材，因為這些資料為正當的醫療上的行為刺激資料。這些從人類訊號量測出的行為特徵在三個症狀類別中呈現了顯著的差異性，且這個結果與過去的文獻發表有相同的結論。此外，在利用邏輯回歸模型的預測下，我們計算出來的行為特徵的預測效果能超越自閉症評量診斷上的社交和語言溝通項目。
<img src="https://i.imgur.com/st8p0RD.jpg" width="80%" style="display: block;margin-left: auto;margin-right: auto;">
圖1. 三種自閉症亞群相互關係示意圖

## 1. 介紹：
近年來用計算人類行為訊號的方式來評估人類溝通社交行為蔚然成為了一種前瞻的研究，例如社交行為處理^[A. Vinciarelli, M. Pantic, D. Heylen, C. Pelachaud, I. Poggi,
F. D’Errico, and M. Schroeder, “Bridging the gap between social
animal and unsocial machine: A survey of social signal processing,”
IEEE Transactions on Affective Computing, vol. 3, no. 1, pp.
69–87, 2012.]、行為訊號處理^[S. Narayanan and P. G. Georgiou, “Behavioral signal processing:
Deriving human behavioral informatics from speech and language,”
Proceedings of the IEEE, vol. 101, no. 5, pp. 1203–1233,
2013.]。其中一項關鍵的應用就在泛自閉症症候群。泛自閉症症候群是個高異質性(自閉症展現出來的行為偏差很廣泛，無法歸納)而且氾濫(每88個孩子就發現一位患有自閉症^[J. Baio, “Prevalence of autism spectrum disorders: Autism and
developmental disabilities monitoring network, 14 sites, united
states, 2008. morbidity and mortality weekly report. surveillance
summaries. volume 61, number 3.” Centers for Disease Control
and Prevention, 2012.])的症候群。近期的一些研究利用低維度行為特徵來衡量自閉症行為，例如：Marchi et al 發現計算用低維度聲音特徵描述的情緒指標，能拿來區分自閉症病患與正常的人^[E. Marchi, B. W. Schuller, S. Baron-Cohen, O. Golan, S. B¨olte,
P. Arora, and R. H¨ab-Umbach, “Typicality and emotion in the
voice of children with autism spectrum condition: evidence across
three languages.” in INTERSPEECH, 2015, pp. 115–119.]。另外有一個研究展示了利用人類口語中計算的低維度聲音特徵能夠拿來區分泛自閉症症候群的症狀(正常人(TD)、行為發展症狀(PDD))、非典型行為發展症狀(PDD-NOS))。另外、Liu et al. 嘗試用臉部表情的圖片透過機器學習判斷自閉症，並得到準確的結果^[W. Liu, M. Li, and L. Yi, “Identifying children with autism spectrum
disorder based on their face processing abnormality: A machine
learning framework,” Autism Research, vol. 9, no. 8, pp.
888–898, 2016.]; 自閉症的動作問題也曾被Crippa et al.討論^[
A. Crippa, C. Salvatore, P. Perego, S. Forti, M. Nobile,
M. Molteni, and I. Castiglioni, “Use of machine learning to identify
children with autism and their motor abnormalities,” Journal
of autism and developmental disorders, vol. 45, no. 7, pp. 2146–
2156, 2015.]，利用計算上半身的肢體動作指標來衡量判斷自閉症。

ASD是一個綜合的症候群，在學術上被分為三個類別(AD,HFA,AS)和除此之外歸類為同一類別的疾病(PDD-NOS)。其中，這三種明確的類別，是由長期的研究觀察被訂定出來的，首先HFA被卡奈(Kanner) 和亞斯伯格(Hans Asperger) 觀察出^[J. Diehl, K. Tang, and B. Thomas, “High-functioning autism
(hfa),” in Encyclopedia of Autism Spectrum Disorders. Springer,
2013, pp. 1504–1507.]，語言與認知功能好於一般的自閉症症狀(AD)，亞斯伯格症候群(AS)被觀察到與HFA有相當的語言與認知能力^[J. L. Sanders, “Qualitative or quantitative differences between asperger?
s disorder and autism? historical considerations,” Journal
of autism and developmental disorders, vol. 39, no. 11, p. 1560,
2009.]，然而對於以上症狀該不該被明確獨立出來或是當成一類症狀看待仍備受爭議^[
M. Ghaziuddin, “Brief report: Should the dsm v drop asperger
syndrome?” Journal of autism and developmental disorders,
vol. 40, no. 9, pp. 1146–1148, 2010.] ^[
J. Barahona-Corrˆea and C. N. Filipe, “A concise history of asperger
syndrome: The short reign of a troublesome diagnosis,”
Frontiers in psychology, vol. 6, 2015.]，特別是在AS與 HFA(被定義為沒有認知發展異常的現象)在最新版本的精神疾病診斷與統計手冊(DSM5)上被合併看待^[A. P. Association et al., Diagnostic and statistical manual of mental
disorders (DSM-5®). American Psychiatric Pub, 2013.]，基於在某些案例報告顯示兩者和自閉症太相似，又有某些案例說明發病的範圍太廣泛，容易與其他精神疾病混淆^[
G. B. Mesibov, V. Shea, and L. W. Adams, “Asperger syndrome/
high functioning autism,” Understanding Asperger Syndrome
And High Functioning Autism, pp. 1–23, 2001.]。仍然，將AS 與 HFA合併的這個決定仍受爭議，許多學者也認為在社交功能上AS是不同於HFA的^[K. Macintosh and C. Dissanayake, “Social skills and problem behaviours
in school aged children with high-functioning autism and
asperger?s disorder,” Journal of autism and developmental disorders,
vol. 36, no. 8, pp. 1065–1076, 2006.]，例如：HFA在溝通的時候比較不容易出現語調上的變化^[J. L. Sanders, “Qualitative or quantitative differences between asperger?s
disorder and autism? historical considerations,” Journal
of autism and developmental disorders, vol. 39, no. 11, p. 1560,
2009.]; 在社交參與度上，AS展現出比較好的專注度，和社會互動性。

在這個研究中，我們用了創新的方法直接計算自發性互動會談的影音資料，用細微的行為指標來量化泛自閉症症候群的行為缺失，其想法觀念與先前的文獻有關^[M. F. Casanova, A. El-Baz, and J. S. Suri, Autism Imaging and
Devices. CRC Press, 2016.]。Bone et al. 分析了泛自閉症症候群在聲調上的細微變化，同樣分析於ADOS中的行為互動單元，探討聲調與自閉症各種社交指標的關係^[D. Bone, C.-C. Lee, M. P. Black, M. E.Williams, S. Lee, P. Levitt,
and S. Narayanan, “The psychologist as an interlocutor in autism
spectrum disorder assessment: Insights from a study of spontaneous
prosody,” Journal of Speech, Language, and Hearing Research,
vol. 57, no. 4, pp. 1162–1177, 2014.]。ADOS是個醫療上半結構式訪談評斷泛自閉症症候群的標準流程^[C. Lord, S. Risi, L. Lambrecht, E. H. Cook, B. L. Leventhal,
P. C. DiLavore, A. Pickles, and M. Rutter, “The autism diagnostic
observation schedule?generic: A standard measure of social and
communication deficits associated with the spectrum of autism,”
Journal of autism and developmental disorders, vol. 30, no. 3, pp.
205–223, 2000.]。我們可以把ADOS拆解成兩種概念，
1) 互動模型：利用一些醫療上正當的雙人互動社交活動來刺激欲測驗的自閉症症行為，
2) 行為評斷：在同時評估者也參與的社交行為中評估患者在各個行為單元中醫學上定義的相關行為。利用ADOS對於社交行為上的刺激，我們可以計算評估者個人、受試者個人，還有兩人的互動情形如身體動作、聲學特徵、語權交換機制的行為特徵來衡量他們跟ADOS各項行為指標或是泛自閉症症候群的不同類別的關係。

最後分析顯示：有幾項行為指標如標準化身體動量(NBAE)、語音的音噪比(Std-(HNR))、還有社交回應的延遲(duration)，在AD、AS、HFA三個族群上的數值之間，出現顯著的差異性。此外、在利用邏輯回歸模型的預測下，我們計算出來的行為特徵的預測效果能超越自閉症評量診斷上的社交和語言溝通項目(社交單元分數的加總，配合上溝通單元的加總)。

圖3.ADOS施測影音資料蒐集仿真，我們用分別用別式麥克風紀錄進場聲音和錄影機紀錄影片資料，如圖中所示，施測者與受測者都分別都會有一份影+音資料。

## 2. 研究方法：
### 2.1 資料介紹：
在這個研究中，我們分析了ADOS診斷訪談中的自發性人類行為。ADOS是個醫療上半結構式訪談，用來刺激人類觸發自然的社交與溝通行為，同時也是自閉症症狀檢測的黃金標準之一。ADOS的的訪談流程內容為一系列的社交活動，以利觀察者衡量自閉症患者的溝通、遊戲、想像、工具使用等等社交技巧。執行ADOS的人員需要經過嚴謹的訓練才有資格進行ADOS。
我們所錄製的影音資料，每個檔案都是大約40分鐘至一小時的影片和聲音檔，由台大醫院專業人員執行每場ADOS訪談。硬體設備上我們用了三個高解析度攝影機(兩個面向評估者一個面向受試者)，兩個別式麥克風(別在參與人衣領上)，圖3 為實驗安裝示意圖(為了保護個人隱私，我們採用模擬示意圖)。在這個研究中，我們收集了34個自閉症受試者在ADOS訪談中的資料，評估者在進行訪談之餘也同時為受試者進行自閉行為的評分。受試者的分布為13個AD受試者、11個AS受試者、10個HFA受試者(見表1)。
<img src="https://i.imgur.com/tOg8WiF.jpg" width="60%" style="display: block;margin-left: auto;margin-right: auto;">
表1 自閉症蒐集資料受測者統計

### 2.2 多模態行為測量
我們計算的行為特徵包含幾個部分： 語權交換區間(turn-taking segment)、低維度行為特徵、不同的行為互動觀點、區間層次行為(segment-level functions)、訪談整體行為(session-level functions)。在以下的計算方式中，我們有三種時間粒度的單位：瞬時粒度、區間層粒度、訪談整體粒度。聲學特徵和標準化行為動量都是瞬時粒度，每0.5秒會有一楨；我們將每個區間中的瞬時特徵進行平均、標準差的統計計算就能算出區間層粒度的值，最後，將每個人的區間層粒度值進行一階、二階、等...的統計描述因子計算，就代表某個人當次的訪談整體粒度。，表2為低維度特徵、行為人腳色、三種粒度的總結。最後每個人的訪談整體粒度也會代表他的當天的行為，隨後會以此作為輸入，用邏輯思回歸預測他屬於哪種自閉症亞群。

<!---  --->

| 類型 | 項目 |
| -------- | -------- |
| 語權交換區間 | **Invest$_{quest}$**, **Gap**, **Part$_{resp}$** |
| 模態特徵 | 影像特徵：**NBAE** 語音特徵：**Intensity**, **Pitch**, **HNR**, **Jitter**, **Shimmer** 語權交換區間特徵：**Duration** |
| 計算對象 | **Inter-segment**(施測者$\div$受測者), **Intra-Invest**(施測者),**Intra-part**(受測者), |
| 區間層次行為統計因子 | 標準差統計：**Pitch**, **HNR**. 平均統計： **Intensity**, **NBAE** |
| 整體行為統計因子 | 最小值(Min)、最大值(Max)、平均值(Mean)、中位數(Median)、標準差(std) |

表2. 本論文計算了許多不同意義的特徵，語權交換區間選用Invest$_{quest}$, Gap, Part$_{resp}$(詳情見2.2.1)，模態特徵有NBAE，Intensity, Pitch, HNR, Jitter, Shimmer,Duration(詳情見2.2.2)，我們計算施測者、受測者、施測者$\div$受測者的特徵來描述個人(Intra-Invest, Intra-part)、互動的行為(Inter-segment)。我們取Pitch,HNR的標準差和Intensity, NBAE當作他們個別的區間層次行為的統計因子，最後整體行為統計因子我們取了：最小值、最大值、平均值、中位數、標準差

### 2.2.1 語權交換區間
流暢的對談互動過程需要適當的暗示語回應語權的交換。事實上，ASD的語權轉換的缺陷曾在一些研究中被指出來[^22](/0iRQ6F6VS5-HwNAQc1MyFA)。因為在ADOS的訪談中牽涉到大量的一來一往互動(語權交換)交談，因此我們定義一個語權交換事件為：評估者問話開始至受試者答話結束。在每個語權交換事件中分成三個部分：Invest quest , Gap, Part resp (在這邊Invest代表評估者，Part代表受試者). Invest quest定義為從評估者問話開始到評估者問話問話結束並把話語權交給受試者；Gap定義為受試者回應評估者問題的時間區間；Part resp定義為受試者回答評估者所用的時間區間。語權交換的時間區間在這個研究中分別用了手動和自動的方法找出，手動的方式為人為標註，並不再追述。自動的方法為：先利用話語偵測(VAD)的方式進行說話行為的標註，再用兩軌語音的能量差判斷當下的說話人。

### 2.2.2 多模態低維度特徵：
1. 我們定義了三種低維度行為特徵，分別是標準化行為動量(NBAE)、聲學特徵、語權交換機制。身體動作特徵為一個人進行互動時的活動量，測量方法上使用了密度軌跡追蹤(Dense trajectory)^[
H. Wang and C. Schmid, “Action recognition with improved
trajectories,” in IEEE International Conference on
Computer Vision, Sydney, Australia, 2013. [Online]. Available:
http://hal.inria.fr/hal-00873267]，原理為利用光流通量之變化偵測移動的物件，如公式:$$ P_{t+1} = (x_{t+1},y_{t+1}) = (x_{t},y_{t}) + (M\ast\omega)|_{(x_{\bar{t}},y_{\bar{t}})}$$，每一點$P_{t+1}$都是由前一點$P_{t}$加上一個中值濾波器和光流通量內基所算出來的，我們就將算出來的點數平均，每0.5秒為單位，算出一楨一楨的動量描述因子(AE)並對每個人自己的動量進行標準化，形成標準化行為動量(NBAE)
2. 聲學特徵包含了音調、音調的抖動、強度、音噪比。行為動量與聲音特徵的計算都經過Z正規化，且分別以評估者的特徵、受試者的特徵、和互動行為特徵三個觀點來計算。聲學特徵計算我們採用praat開源軟體計算^[
P. P. G. Boersma et al., “Praat, a system for doing phonetics by
computer,” Glot international, vol. 5, 2002.]
3. 語權交換機制則是統計每個互動中Invest_quest、Gap、Part_resp 個別片段所用的時間。

### 2.3 區間層次行為與訪談整體行為：
在以上的行為計算基礎下，我們將計算出來的行為特徵進行統計，由於我們的行為特徵計算單位都以0.5秒為單位計算，因此我們將一個語權交換事件內算出來的行為特徵取平均、標準差，代表一個語權交換事件中發生的行為值，又稱為「區間層次行為」。訪談整體行為則是將一個人在當天的訪談中所有的「區間層次行為」用「最小值(Min)、最大值(Max)、平均值(Mean)、中位數(Median)、標準差(std)」五種統計量來描述(見表2)，形成了一個人當天的「訪談整體行為」。

## 3. 實驗與結果

### 3.1 實驗設計：
我們的實驗將AD、AS、HFA三種症狀做二元分類討論(“AD vs. AS”,
“AS vs. HFA”, and “AD vs. HFA”)和三類討論(“AD vs. AS vs HFA”)利用自動化的邏輯回歸函數進行分類，並且將拿我們實驗中所計算的行為特徵比較於ADOS評量中的溝通與行為指標，比較他們的分類準確率。此外我們用學生t檢驗(student t-test)檢驗了我們計算的行為特徵在三種不同族群中的差異顯著性，並且從觀察互動影片中，找到了幾項我們推測的行為差異可能原因。
### 3.2 行為特徵分析：
有幾項行為指標如標準化身體動量(NBAE)、語音的音噪比(Std-(HNR))、還有社交回應的延遲(duration)，在AD、AS、HFA三個族群上的數值之間，出現顯著的差異性。在NBAE的衡量上，我們發現HFA的NBAE行為特徵會顯著大於AS，基於觀察，發現HFA通常不會有太大動作的互動性、而AS病患通常能維持平順的互動造成NBAE值得偏低；語權交換機制方面，AS出現的數值會明顯高於HFA，原因來自AS通常有比較好的反應能力，與評估者的對話互動中，也能激起讓評估者多問話的行為^[M. Ghaziuddin and L. Gerstein, “Pedantic speaking style differentiates
asperger syndrome from high-functioning autism,” Journal
of autism and developmental disorders, vol. 26, no. 6, pp. 585–
595, 1996.]；最後在聲學特徵上，我們發現AS能在交談中自由變化多種語調，比起AD習慣於單調語調，在我們算出的Std-(HNR)上可以發現AS顯著大於AD。此外、在利用邏輯回歸模型的預測下，我們計算出來的行為特徵的預測效果能超越自閉症評量診斷上的社交和語言溝通項目(社交單元分數的加總，配合上溝通單元的加總)。

| 模態特徵 | 大小 |
| :--------: | :--------: |
| $median\text{-}(NBAE_\text{intra-Invest})$ | AS > AD |
| $min\text{-}(Duration_\text{intra-Invest})$ | AS > AD |
| $max\text{-}(Jitter_\text{intra-part})$ | AS > AD |
| $median\text{-Std}(HNR_\text{intra-part})$ | AS > AD |
| $max\text{-}(Duration_\text{inter})$ | AS > HFA |
| $mean\text{-}(Duration_\text{inter})$ | AS > HFA |
| $std\text{-}(Duration_\text{inter})$ | AS > HFA |
| $max\text{-}(NBAE_\text{intra-part})$ | AS < HFA |
| $max\text{-}(NBAE_\text{inter})$ | AD < HFA |
| $max\text{-}(NBAE_\text{gap})$ | AD < HFA |
| $median\text{-}(Duration_\text{gap})$ | AD < HFA |
表3. 對於以上方法所算出之行為因子，在三種自閉症亞群中的比較。表中列出的行為特徵皆為學生t檢驗(student t-test, $\alpha$=0.05)測試後顯著差異的結果

### 3.3 邏輯回歸分類結果：
在邏輯回歸函數的預測中，我們分別在“AD vs AS”, “AS vs HFA”, “AD vs HFA”, and “AD vs AS vs HFA” 最好的預測結果分別為：0.82, 0.80, 0.78, and 0.61、相較於使用ADOS評量分數的預測分數：0.75, 0.71, 0.62, and 0.50 展現了更好的預測效果。AD vs AS vs HFA的分類一直是受爭議的話題，而我們的結果也代表可能用較為低維度的計量方式比較能透露出三個亞群之間的差別。


表4.利用上述多模態特徵在訪談整體粒度的層次上，用邏輯邏輯回歸函數的預測結果

### 3.3.1 自動/手動偵測語權交換事件的比較
用自動化偵測語權交換事件做出來的準確率明顯低於手動標記決定的語權交換事件，顯示了用自動化代替手動進行這個實驗中的語權交換事件選取仍有改進的空間，錯誤可能來自1. 語權交換事件偵測自動化的缺失 2. 行為特徵指標的設計不能彌補自動化的缺失的不足。
### 3.3.2 個模態間的比較(手動標記)
1. NBAE: 受測者(intra-part)的NBAE在“AS vs HFA”和“AD vs HFA”有0.71、0.73的預測準確率，但是在“AD vs AS”、“AD vs AS vs HFA”預測效果就沒這麼好
2. Std-(HNR): 受測者(intra-part)的Std-(HNR)(HNR值的標準差)只有在“AD vs AS”的預測上達到0.63的準確率，其他預測都不太好
3. Duration: 的預測效果是最好的，在“AD vs AS”, “AD vs HFA”, “AD vs AS vs HFA”有0.82, 0.78, 0.61的準確率。如果自動化抓取手動偵測語權交換事件的準確率有提升，可以變成一個代表性的方法來預測自閉症亞群。
將三種模態間，倆倆進行融合(fusion)可以提高準確率，但準確率提升僅只有在兩兩模態融合的時候發生。有可能是因為資料量不足的關係，無法提供足夠的數據量訓練模型，

## 4. 結論：
在這個研究中我們呈現了創新的研究，使用分析在ADOS互動資料中的影音資料做自閉症行為的分析。在分析計算人類的動作、語音、語權交換機制特徵後，我們發現設計量測的行為指標在三種自閉症類別出現顯著的差異。另外、這些顯著的差異也造成我們在使用邏輯回歸分類器時，能呈現出高的準確率。雖然我們還需要用更大量的資料來佐證我們的結論，但我們初步的研究結果證實了我們人類計算演算法的可行性，更能應用於往後在人類行為分析上更有效、大規模、自動化。在我們未來的努力中，首先、自動化的語權交換區間抓取需要更強健，使得我們的行為特徵擷取能夠更精確。第二、由於自閉症的症狀過於異質性，我們會參考ADOS以外的資料(如：ADIR^[C. Lord, M. Rutter, and A. Le Couteur, “Autism diagnostic
interview-revised: a revised version of a diagnostic interview
for caregivers of individuals with possible pervasive developmental
disorders,” Journal of autism and developmental disorders,
vol. 24, no. 5, pp. 659–685, 1994.]，另一種自閉症衡量工具)擴充我們能掌握的資訊。在ADIR或其他相關衡量指標的加入下，我們可以套用多任務學習(Multitask-learning)衡量多面向的行為指標使我們的機器學習模型能考慮到更多面向的心理學資訊。