# 形狀匹配效應閱讀筆記 [toc] --- #### 文獻出處 Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language Comprehenders Mentally Represent the Shapes of Objects. Psychological Science, 13, 168–171. doi: 10.1111/1467-9280.00430 --- #### [scite](https://scite.ai/) AI回顧紀錄 查詢日期：2020/11/22 支持(supporting)篇數:40 爭議(disputing)篇數:2 [直播分享連結](https://streamyard.com/agvxa45h5c) --- # 研究概念解析 ## 假設/測量效果 閱讀描述相同對象的兩個句子(例如：登山客看到老鷹在空中 vs. 登山客看到老鷹在巢裡)，依照命題結構表徵理論(Kintsch, 1998; van Dijk & Kintsch, 1983)，理解後存在於工作記憶的都是命題，只有命題元素的差異；依照知覺符碼表徵理論(Barsalou, 1999)，理解後存在於工作記憶的是知覺經驗，有圖像的差異。在判斷圖像的作業裡，命題結構表徵理論預測沒有元素不一致造成的差異，知覺符碼表徵理論預測有圖像不一致造成的差異。 --- **命題結構表徵理論的推測** > 登山客看到老鷹在空中: [[SAW[RANGER,EAGLE]], [IN[EAGLE,SKY]]] > 登山客看到老鷹在巢裡: [[SAW[RANGER,EAGLE]], [IN[EAGLE,NEST]]] --- **知覺符碼表徵理論的推測** > 登山客看到老鷹在空中: --- > 登山客看到老鷹在巢裡:  --- ## 獨變項建構概念： 圖像判斷作業的刺激句與目標圖像設定符合命題元素一致性，也符合圖像一致性。 ## 依變項建構概念： 實驗一(辨識作業):判斷圖像的反應時間，能測量處理圖像歷程的差異。 實驗二(唸名作業):唸出圖像名稱的反應時間，能測量圖像及詞彙知識的處理。 --- # 研究操作解析(路線一+路線二) ## 獨變項與依變項設定 | | 實驗一 | 實驗二 | | -------------- | ------ | ------ | | 獨變項操作設定 |物件外形符合句子描述(yes, no)|物件外形符合句子描述(yes, neutral, no) | |依變項測量設定 |辨識圖片的反應時間中位數 & 反應正確率|唸出物件名稱片的反應時間中位數 & 反應正確率| --- > | Property | variable | description | > |---|---|---| > | | identifier|完成任務後所產生的認證碼| > |實驗處理| List| 4種不同列表刺激 | > |獨變項|Matching | 照片內的目標物件外形是否符合句子的描述 | > |獨變項 | Probe |與target對應| > |獨變項 | Target | 與Probe對應| > |依變項|response_time|對於刺激所反應的時間 > |依變項|correct|作答正確性，若句子有出現該圖片，答對就是1分若答錯0分| --- ||List 1|List 2|List 3|List4| |---|---|---|---|---|---| |Sentence|包包裡有個氣球。|空氣中有一個氣球。|包包裡有個氣球。|空氣中有一個氣球。 |Picture||||| |Mtaching| :v: | :v: | :x: | :x:| --- ## 參與者背景： (樣本數設定規範) 以2002年形狀匹配效應設計來說，實驗一部分實驗者在佛羅里達州立大學召募51名心理系學生參加了心理學入門課程。在研究數據上，由於實驗的電腦產生問題，7個數據被實驗者遺失（沒有記錄到的所有數據或數據已損壞），再來由於2位受試者的中位值反應延遲（1，300 ms），2位受試者的數據被實驗者遺棄；實驗二的部分實驗者一樣在佛羅里達州立大學，他們招募57名心理系學生參加了心理學入門課程。其中6個受試者的數據遺失，因為電腦問題移失與實驗一相同。 ## 獨變項公開資料： （可取得的實驗刺激清單） 實驗刺激清單，總共有兩種不同的清單。 刺激清單一:有36題，每一題配對符合的圖片與不符合的圖片實驗，總共會有72張不同的圖片，在這些圖片中，24張圖片用於建立在填補。剩餘48張圖片配對在一起，在配對裡兩張圖片是同一個物體而形狀不同。 刺激清單二:有120題不同的題目，都包含六種可能版本（3個句子X2張圖片）。每個主題都看到一個版本。因此，看到24個項目、8個符合項、8個不符合項和8個中性項。受試者沒有確定預判是否提到了圖中的物件，而是給物件取名了物件。 ## 依變項公開資料： （可取得的問卷、實驗腳本、資料編碼規範） 此連結可以找到Zwaan(2012)的相關資料，可以推測2002年shape stimulation所做的實驗時接近的，在Experiment_1a.xlsx可以從Median acc的最後面(回答正確性與反應時間)、(不符合的回答正確性與反應時間)的中位數，推測出來。 https://osf.io/2dtrh/ ## 程序說明： （所有實驗法學習者都可以上手的操作手冊） 實驗一:四種列表。每個列表為每個對象包括四個版本中的一個不同版本（2個句子2張圖片）。每個主題都會有其中一個列表。這樣就產生了2（條件：匹配與不匹配）2（圖片版本）2（列表）設計，其中條件和形狀（圖片版本）在參與者內變化，並且列出了參與者間變化。因此，每個參與者看到24個實驗句子-圖像對（12個匹配和12個不匹配），要求“是”響應和24個填充詞(filler)對，需要“否”反應。指示對象閱讀每個句子，然後決定是否顯示了圖像在前面的句子中已經提到的對象。受試者還被告知，反應時間正在測量中，因此對於他們而言，盡快做出有關圖片的決定非常重要。在每次試驗期間，受試者首先在屏幕上看到一個左邊對齊的句子，其中提到或未提及他們稍後將看到的對象。他們理解句子後按空格鍵，然後固定點出現在屏幕中央250毫秒，然後出現圖片。然後，受試者確定上一個句子中是否提及了圖片。實驗大約需要30分鐘才能完成。 實驗二:六種列表，每個列表為每個對象提包高六個版本中的另一個版本（3句2張圖片）。 每個主題都會有其中一個列表。每個受試者看到24個填充物(filler)，8個匹配物，8個不匹配物和8個中性物。此設計產生了3（條件：匹配vs.不匹配vs.中立）2（圖片版本）3（列表）設計，其中列表是唯一的對象間變量。 該過程幾乎與實驗1相同。唯一的區別是，被選擇對象命名該對象，而不是確定前面的句子是否提到了所畫的對象。 實驗硬體設定： 可使用opensesame、~~Psytoolkit~~做重製實驗 （固定式輔具的必要性） （網路化實驗的可行性） --- # 實驗情境變項(路線二) (https://experiments.jatos.org/publix/1679/start?batchId=2001&generalMultiple) --- 研究操作改變項目：用隨機分派的方式，分配到四種不同的刺激列表。 實驗者準備項目：[Opensesame](https://osdoc.cogsci.nl/3.3/download/)、[形狀匹配效應腳本](https://drive.google.com/file/d/1TlbAqEJf13b9SJfWxXpc1RTDn58CDwe6/view)、[JATOS](https://experiments.jatos.org/jatos/login)、[材料下載](https://osf.io/t6mrd/) 參考文獻: Zwaan, R. A., & Pecher, D. (2016, August 15). Revisiting Mental Simulation in Language Comprehension: Six Replication Attempts. https://doi.org/10.31234/osf.io/fkrxd --- # 後續引用文獻(路線一) 重製實驗結果評估： (列出文獻來源與主要結果摘要) ### 原始文獻 - 陳羿頻 心像理論，在許多認知歷程中被認為扮演著重要的角色，特別是視覺心像，向來被視為是外在世界的內在表徵。有研究者認為心像的內在表徵是一個類似圖像的形式，並對應著外在事物的一切特徵；另有研究者主張心像的內在表徵是一個純粹抽象的編碼，所有的心智歷程皆可以抽象的形式運算。(蔡介立，心像旋轉中之心智表徵特性─ 探討圖形複雜度與整合性的影響，國立台灣師範大學教育心理與輔導學系教育心理學報，民99，41 卷，3 期，551－578頁) 心像的心智表徵大致分為兩類（Thomas,1999)，命題表徵(propositional representations）和圖像表徵（depictive representation)，而命題表徵主要認為具體化的心像是知覺歷程的產品及命題的表達，用以描述相關知覺景色。第一類看法類似Zwaan研究對於心像理論假設。 形態匹配效應研究以心像理論作為假設，分為兩個實驗。實驗一為Zwaan主張受試者在看到圖片前會對與句產生想像，而想像與實驗中圖片越匹配，人越容易做出快速且正確的反應( Zwaan, Stanfield, and Yaxley 2002)，人對於句子理解的過程涉及心理模擬。心理模擬 (mental simulation)是人們對事件的初始認知會先有記憶，再具體化以增加知覺的發生，然後產生言詞敘述或其他表徵的聯想 (Taylor et al，1998)。個體在理解句子時會產生心理模擬的狀態，狀態有助於人做出正確的匹配。  實驗一程序為研究對象為佛羅里達州立大學心理學本科生共51名參與者，受試者藉由報名入門心理學課程參與。實驗設計者從斯諾德格拉斯和范德瓦特（1980年）獲得的72幅黑白畫，以及受歡迎的剪貼畫包中取得的黑白畫。在這些圖中，24張圖片用於建立在填補。剩餘48張圖片配對在一起，在配對裡兩張圖片是同一個物體而形狀不同。例如:兩張圖片中，有一張為老鷹在飛行的圖片，而另一張圖片為老鷹在棲息的樣子。使用的其他動物和物體包括雞蛋（紙箱與平底鍋），洋蔥（籃子裡，麵糊里)青蛙（坐著與跳躍），一本書（在桌子上與複印機上），和麵包（麵包與一片）。每張圖片會被縮放為3個正方形的大小。72個句子被創建為伴隨圖片，分為24個填充句子和48個實驗句實驗設計為句子為成對，且每對句中物件暗示同一物體的形狀不同。受試者以鍵盤表達，使用"x"表示"否"回應"是"回應的空白鍵；受試者還被告知，在測量反應時間，他們儘快做出有關圖片的決定是重要的，當填充句提到的物件（具體名詞），不是圖片中顯示的物件，因此受試者需要對圖片識別任務進行"否"回應。在實驗前受試者早已被要求閱讀每句話，他們決定前一句是否提到了隨後的圖物件。實驗大約需要30分鐘完成。 實驗二程序為研究對象為佛羅里達州立大學心理學本科生共57名參與者，藉由報名入門心理學課程。實驗二過程幾乎和實驗一相同，唯一的區是，受試者沒有判斷圖片中的物件，而是直接替圖片念名。 (Zwaan,Stanfield, and Yaxley 2002)改良句圖比對，而句圖比對實驗結果符合他的實驗假設，描述圖片的反應時間中位數，少於不符合描述的圖片。這段反應時間差異，稱為形態模擬效應。實驗二目的為補足實驗一不足，檢視受試者是否可以通過不需比較圖片和句子並獲得相同的匹配效果。受試者只是在閱讀了句子後進行圖片命名，實驗二的結果可以說提供了一個更有力的論點，為了更證明想像力與圖片是否更匹配。實驗二的結果為中性刺激與配對及中性刺激與不配對兩者的反應時間是相同。兩個實果結果沒有相差，而效果量的部分為.32與.27在這樣的數據裡我們得出反應時間與匹配條件，不論運用的方式是命名任務或句圖比對都沒有多大的影響。 ### [Zwaan et al. (2017) 重製實驗文獻](https://osf.io/5hxge/) * 梁沛馨 | | 實驗一 | 實驗二 | | -------------- | ------ | ------ | |題目版本的分配 | 四個版本隨機的一個 | 與實驗一同個版本 | | 獨變項操作設定 |物件外形符合句子描述(yes, no)；在某些題目測試後詢問題目句的內容，引導實驗者更清楚此實驗的目標。 |物件外形符合句子描述(yes, no)；在某些題目測試後詢問題目句的內容，引導實驗者更清楚此實驗的目標。 | | 依變項操作設定 |辨識圖片的反應時間中位數 & 反應正確率|辨識圖片的反應時間中位數 & 反應正確率| | | zwaan 2002 、 zwaan 2017 | | ---- | ---------- | | 差異|1.在某些題目測試後詢問字句意思，增加對實驗的了解。2.測驗時念出題目字句。| | 相同|測試物體外形是否符合句子描述 | **參與者背景：** zwaan招募200名參與者，星期一招募100名，星期四招募100名。首次參加三四天後，將邀請每位參加者再次參加。目標是在考慮到未回答和以下排除標準的情況下，每個條件的最終樣本量為80名參與者（相同項目或第二次不同項目）。如果最終人數如少於80，則將招募更多的參與者。 一般排除標準：RT任務中的準確度<80％或記憶任務中的準確度<10％或平均RT長於M + 3SD組的參與者的數據將被排除。排除RT任務中每個參與者的數據，將排除排除其中實驗RT與主題M的偏差超過3SD的試驗。從其餘部分開始，將排除參與者（從最後參加的參與者開始），以創建每個參與者相等的參與者平衡版本。 **獨變項公開資料：** 刺激是120個句子和120張圖片。52個句子來自Zwaan，Yaxley和Stanfield（2002），其他68個句子是新的。這些句子以兩種不同的隱含形狀描述了60個對象。這些圖片代表相同的60個對象，其中一張圖片顯示其中一種隱含形狀，另一張圖片顯示另一種隱含形狀。所有圖片都是在白色背景上顯示對象的灰度照片。為實驗的兩個階段分別創建了兩個集合，每個集合包含30個對象，兩組的順序被抵消。對於每組，創建了四個版本，每個版本有30個句子-圖片對，以使圖片中顯示的形狀與句子所暗示的形狀相匹配，而對的一半則不匹配。在這四個版本中 在匹配和不匹配條件下，所有項目的使用頻率均相等。 **依變項公開資料：** * 南佛羅里達大學單詞協會，韻律和單詞片段規範 Nelson，DL，McEvoy，CL和Schreiber，TA（1998） http://www.usf.edu/FreeAssociation/ [但作者所提供的網址似乎已找不到資料腳本規範了] * 實驗腳本: https://osf.io/8p6yt/ * 實驗data: https://osf.io/hyds7/ **程序說明：** 每個試驗都以注視（+）開始，垂直居中並左對齊，持續1000 ms，然後緊接著是句子。該句子也保持正當性，以使第一個字母出現在註視的相同位置。參與者閱讀並理解句子後，按P鍵。然後在屏幕中央顯示一個注視（+）500毫秒，然後緊接著顯示圖片。如果圖片中有一個在句子中命名的對象，則參與者通過按/鍵進行響應；如果在句子中沒有命名該對象，則按Z鍵。錯誤的響應之後是500毫秒的反饋（“不正確”）。在一半的補白者試驗之後是一個是/否理解問題。每次試驗之後都間隔1000毫秒，直到下一次試驗開始。而在實驗中也運用到了[Stanfield & Zwaan(2001)](https://journals.sagepub.com/doi/pdf/10.1111/1467-9280.00326)的實驗程序，在測驗其中插入問題，來去詢問上述句子的內容是什麼，來去確保且引導受試者更確實地按照實驗目標進行。 重製實驗有參考Stanfield & Zwaan(2001)的程序，目的是幫助參與者專注閱讀目標句 Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition. Psychological Science, 12(2), 153–156. doi: 10.1111/1467-9280.00326 **實驗最終目標:** 每個受試者在實驗中測試兩次同樣的操作。通過比較效果大小以進行相同的比較，我們可以確定兩個實驗之間的表面細節是否重疊是否重要。完全重疊的條件為以下假設提供了最有力的證明：這些實驗的效果大小不受重複參與的影響。 **實驗硬體設定：** 以[Inquisit](https://www.millisecond.com/)編制實驗 以[Mechanical Turk（MTurk）](https://www.mturk.com/)做線上測驗 參考文獻 蔡介立，心像旋轉中之心智表徵特性─ 探討圖形複雜度與整合性的影響，國立台灣師範大學教育心理與輔導學系教育心理學報，民99，41 卷，3 期，551－578頁 韓承靜，洪蘭，蔡介立，心、眼與世界的連結─從認知神經科學看知覺與心像的關係 Taylor, S. E., Pham, L. B., Rivkin, I. D., and Armor, D. A., 1998, “Harnessing the Imagination: Mental Simulation, Self-Regulation, and Coping,” AmericanPsychologist, Vol. 53, No. 4, 429-439. Rolf A. Zwaan, Robert A. Stanfield and Richard H. Yaxley，Language Comprehenders Mentally Represent the Shapes of Objects，1998 正面評論論點： - 鍾羽璇 一、匹配效應： ### Contextual Constraints in Situation Model Construction: An Investigation of Age and Reading Span 研究假設：高跨度的老年人最有可能立即激活，句子的上下文相關情境模型。 原始實驗： The role of age and perceptual symbols in language comprehension（Dijkstra, K., Yaxley, R. H., Madden, C. J., & Zwaan, R. A. (2004). The role of age and perceptual symbols in language comprehension. Psychology and aging, 19(2), 352–356. https://doi.org/10.1037/0882-7974.19.2.352） 研究參與者：40名大學生、43名社區老人 研究程序：老年人和年輕人的參與者都戴著耳機聽句子，並命名隨後出現的圖片。 研究結果：當前一句子上下文匹配，老年人為圖片命名的速度更快，年輕人顯示出較少的匹配優勢。老年人更關注上下文的理解，年輕人更關注文本的表面含義。情境匹配的這種影響在閱讀高跨度與年齡較大的參與者中最為明顯。 出處： Carol J. Madden & Katinka Dijkstra (2009) Contextual Constraints in Situation Model Construction: An Investigation of Age and Reading Span, Aging, Neuropsychology, and Cognition, 17:1, 19-34, DOI: 10.1080/13825580902927604 ### Size Does Matter: Implied Object Size is Mentally Simulated During Language Comprehension 研究假設： 1.個體在理解句子時，在心理模擬物體大小的狀態下，其有助於做正確的匹配。2.比較成人與兒童，檢視發展因素對心理模擬的潛在影響。 研究參與者：成人組別為38位大學生、兒童組別為150位由小學四年級以及六年級的小學生。 研究設計：創建了四個句子-圖片對列表。每個列表包含四個可能的句子-圖片對之一：小-大、大-小、小-小、大-大。  ||實驗1|實驗2|實驗3|實驗4| |---|---|---|---|---|---| |獨變項|句子小，圖片小|句子大，圖片大|句子大，圖片小|句子小，圖片大| 研究程序：在學校內一間安靜的房間裡，用一台15英寸的筆記本電腦對孩子們進行了測試。參與者按“ j”鍵表示“是”，按“ f”鍵表示“否”。參與者從兩個練習項目開始，包括一個相關圖片和一個不相關圖片。所有試驗均以隨機順序進行。實驗耗時約15分鐘。 研究結果：當圖片對象的隱含大小匹配時，相較於不匹配，成人和兒童在圖片驗證任務中的響應速度更快。大小的匹配效應與其他視覺屬性（形狀、方向）類似。此匹配效應與早期研究一致 (Zwaan, Stanfield& Richard H, 2002)。當直接進行語言理解時，會在語言理解過程中激活有關對像大小的感知信息。成人與兒童兩個年齡段的匹配效果並沒有差異。 出處： Björn B. de Koning, Stephanie I. Wassenburg, Lisanne T. Bos & Menno Van der Schoot (2017) Size Does Matter: Implied Object Size is Mentally Simulated During Language Comprehension, Discourse Processes, 54:7, 493-503, DOI: 10.1080/0163853X.2015.1119604 二、心理模擬 ### Experiential simulations of negated text information 研究問題：即使在句子中明確否定了這種情況時，理解者是否也會在心理上模擬所描述的情況的問題。 研究參與者：64位大學生 研究設計：  研究結果：當描述的情況與否定的情況相匹配時，回應速度要比不匹配的情況快得多。當圖片與否定情況相符時，回應也更為準確。結果表明，理解者在處理否定語句時模擬了否定情況。匹配效應的影響不只在限定句內發生，也會發生在限定詞中。 出處： Kaup, B., Yaxley, R. H., Madden, C. J., Zwaan, R. A., & Lüdtke, J. (2007). Experiential simulations of negated text information. The Quarterly Journal of Experimental Psychology, 60(7), 976–990.https://doi.org/10.1080/17470210600823512 反面評論論點： ### Linguistic Perky effects - 林子渝 [Bergen, et al. 2007](https://doi.org/10.1080/03640210701530748) 當人們想像物體的圖像出現在真實世界的相同物體時，會產生干擾，會相信自己還在想像刺激，而不是物體真實存在。除了物體的表徵外，位置也會有此效果。 而此干擾效應的解釋為：視覺圖像利用了為實際視覺招募的相同神經資源。 實驗方式： 會先讓參與者聽到一個句子，句子暗示了空間特徵（水平或垂直），例如： 1.礦工推著推車。[水平] 2.船沉入大海。[垂直] 讓參與者腦中有對聽到句子的想像。 接著出現一個圓形或正方形在螢幕的四方（上、下、左、右）， 參與者看到圖形之後要回答看到的是正方形或圓形。 預期出現Perky effects的話，那當刺激出現在相同軸上時，參與者會花較長的時間辨識。 例如：出現題目一的水平軸題，當圓形出現在左方時（同為水平），參與者反應時間會比當圓形出現在上方（垂直軸）時慢。 而在抽象類的題目也有類似效果，例如： 1.礦工推著推車。[實際水平] 2.丈夫與妻子吵架。[抽象水平] 這點與Zwaan 2002年的發現相反，他們發現相似性具有促進的效果。而在此實驗中反而出現Perky effects的干擾情況。 研究者認為可能是由於句子和物體感知之間的等待時間非常短而導致的（50-200毫秒），我們會觀察到干擾是因為相同的認知資源無法同時充分用於執行兩個不同的任務。時間短時，相當於參與者會同時想著物體並進行辨識物體，參與者很難想像一個物體在所想像視野中的特定位置，並且很難在其實際視野的相同位置感知一個不同的物體，所以沒有促進的果，但若有足夠的時間（250毫秒），則有觀察到促進作用。(Bergen等, 2007) ||實驗1|實驗2|實驗3|實驗4| |---|---|---|---|---|---| |獨變項|動詞上下|名詞上下|抽象上下|抽象動詞上下| |例句|玻璃倒下了|天空一片漆黑|數量上升|評分提高| |依變項|所有向上的句子， 在物件在上方時，反應時間較長； 反之向下的有3/5較長， 有出現干擾效果 |當物件在上方時， 幾乎所有帶有向下關聯的的句子， 反應時間都會較快|沒有顯著的干擾效果|沒有顯著的干擾效果| ### Conveying Movement in Music and Prosody 音樂與韻律的傳達運動 - 謝明翰 [Hedger, et al. 2013](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0076744) ||Exp 1|Exp 2| Exp3| |---|---|---|---| |獨變項操作設定|參與者首先聽到加速或減速的音樂主題，然後向他們展示圖片。判斷圖像是動態或無動畫。如果是動態則在鍵盤上按"A"，如果對象沒有生命，則按"I"|聽覺刺激（伴隨音樂的句子）結束後，參與者看到屏幕上的十字記號，並在屏幕中央250毫秒內看見圖像，如果圖像包含上一句語音句子提及的對象，則在鍵盤上按"Yes"(是)和"No"(否)|程序與實驗2相同。參與者聽到描述對象的句子，這些句子同時伴隨著靜態的快慢音樂主題。句子/音樂組合結束後，向參與者展示對象的圖像，該對像在運動中或靜止時均被描繪。| |依變項測量設定|當音樂中的隱喻動作與圖片中的動作匹配時，參與者的響應速度更快。|與實驗1相似。只有在音樂的運動信息匹配的畫面中的運動信息（加速/物體的運動和靜止的減速/對象）的參與者回答最快的。|運動信息在語音和音樂中以模擬表達方式傳遞的方式是不同的。| 參與者背景 (樣本數設定規範): 芝加哥大學學生，實驗一到實驗三人數略有稍微不同，因為實驗三有附圖，以實驗三來當範例 實驗三 芝加哥大學的21名本科生[14名女性，平均±SD：20.6±2.1歲，年齡18至25歲]參加了這項研究。所有參與者均未報告言語或聽力障礙史。這項研究得到了芝加哥大學IRB的批准。所有參與者在參加實驗之前均已書面同意。 獨變項公開資料： 一、測驗中的描述句 句子使用是透過Shintel H, Nusbaum HC (2007) 研究使用的錄音句子，與實驗2使用的句子相同，測試刺激包括描述不同對象的16個句子。根據(每個句子的單詞沒有描述運動狀態，也沒有一個隱含所描述的對象正在移動或不移動。) 實驗二跟三的語音句子原檔案(wav.) https://doi.org/10.1371/journal.pone.0076744.s002 二 音樂模式 音樂刺激上與實驗一、實驗二用的顫音不同，實驗三運用單個音樂主題（C4和D4之間的四分音符振動），以快節奏（600 BPM）或慢節奏（120 BPM）播放。 實驗一、二跟三的音樂原檔案(MIDI編曲) https://doi.org/10.1371/journal.pone.0076744.s004 依變項公開資料：暫時沒有研究者公開的實驗Data （可取得的問卷、實驗腳本、資料編碼規範） 程序說明：聽覺刺激--->按鍵盤確認,--->一致型回答是 聽覺刺激（伴隨音樂的句子）結束後，參與者看到固定十字出現在屏幕上250毫秒，此後圖像出現在屏幕中央。然後，參與者必須通過按鍵盤上標有“是”和“否”的鍵來確定圖像是否在上一句中提及。“ Yes”（是）和“ No”（否）鍵始終位於鍵盤的兩端，並保持平衡。如果圖像與句子中描述的對象屬於同一類別，則指示參與者回答“是”（例如，如果句子中提到汽車，而圖片顯示汽車）；參與者被認為是一項分類任務，因為沒有句子提及任何運動線索。 範例如下 實驗二  實驗材料:音樂模式[快,慢],描述句16句,視覺描繪一致的運動信息(物體的圖片) > 有一隻棕色的嗎 受試者分辨句子裡的物體有生命或無生命 -> 判斷物體的運動狀態(靜止或動態) 將16個填充詞與16張圖片配對，這些圖片沒有描述句子中描述的對象。 描述句的圖片皆有兩張，但是在配對過程只會出現其中一張運動狀態(靜止或動態) 實驗過程程序 聽覺刺激--->按鍵盤確認,--->一致型回答是 聽覺刺激（伴隨音樂的句子）結束後，參與者看到固定十字出現在屏幕上250毫秒，此後圖像出現在屏幕中央。然後，參與者必須通過按鍵盤上標有“是”和“否”的鍵來確定圖像是否在上一句中提及。“ Yes”（是）和“ No”（否）鍵始終位於鍵盤的兩端，並保持平衡。如果圖像與句子中描述的對象屬於同一類別，則指示參與者回答“是”（例如，如果句子中提到汽車，而圖片顯示汽車）；參與者被認為是一項分類任務，因為沒有句子提及任何運動線索。 實驗結果:音樂模式與運動信息的圖片越趨於一致，屬於同類型，則參與者的反應越快。沒有經過音樂模式加速或減速則匹配的反應沒有很快。 是否支持形狀匹配效應: (X)沒有明顯支持，不過研究發現，這些結果表明視覺空間參考信息可以用音樂類比地傳達和表示，並且可以與語音集成或影響語音理解。 小結論 符號感知理論，認為當句子隱射方向與受試者所認為的方向一致時，反應會快。Zwaan(2002)的研究支持符號感知理論，與之不相似。但是這項研究發現受試者在聽見音樂運動信息並對圖片物體配對時，雖然句子的語詞並未提示運動狀態，音樂運動信息與描述句的語音提示的互相作用下，同樣隱射運動方向。 下表中 三個實驗中每個條件的平均響應時間（以毫秒為單位）。 實驗一到實驗三均沒有明顯的數據差異，因此判斷音樂模式速度(快板,慢板)並沒有明顯影響受試者的反應。其中音樂運動(Music Motion)、音樂靜止(Music Rest)、圖片運動(Picture Motion)、圖片靜止(Picture Rest)  實驗三使用了與實驗二相同的材料，在音樂模式上，音樂刺激包括單個音樂主題（C4和D4之間的四分音符振動）改用的不是震音(兩個音重複彈奏)，以快節奏（600 BPM）或慢節奏（120 BPM）播放。 表中的Exp.3 在音樂訊息與動作訊息匹配的實驗中，匹配一致(Music Motion 對Picture Motion)與匹配不一致(Music Motion對Picture Rest)，反應時間並無太大差異。顯示音樂不一定能傳達與語音韻律相同的運動訊息，不能正確判斷，在某個音樂模式下，所匹配的圖片狀態(運動or靜止)，所傳遞的隱含訊息。 而與動態加速和減速的主題不同，靜態的快速和慢速主題(Music Rest Picture Motion/Picture Rest)不會以一致的方式影響對象運動的視覺判斷。 經由三個實驗對照，實驗一與實驗二在音樂模式與動作訊息一致時，反應時間會較短。但是透過實驗三數據比對，研究得出的結論是音樂不一定能傳達與語音韻律相同的運動訊息，不能正確判斷，在某個音樂模式下，所匹配的圖片狀態(運動or靜止)，所傳遞的隱含訊息。 - 協作成員簽到 [路線一](https://docs.google.com/spreadsheets/d/1fMKlvQ2Kf5fgL1No8O9MnVhln2ZaIbbGA4vTmpUgN7g/edit?usp=sharing)：鍾羽璇、陳羿頻、梁沛馨、林子渝、謝明翰 [路線二](https://docs.google.com/spreadsheets/d/1PqtUI3rf3XcpT1qQqzseW45hk2sH8KhE2mNcxNBwxkI/edit#gid=78800743)：張祥偉、黃淯鍹 - 參考文獻 Barsalou, L. W. (1999). Perceptual symbol systems. *Behavioral and Brain Sciences*, *22*, 577–660. doi: 10.1017/S0140525X99002149 Kintsch, W. (1998). Comprehension: A paradigm for cognition. New York, NY, US: Cambridge University Press. van Dijk, T. A., & Kintsch, W. (1983). Strategies of discourse comprehension. New York: Academic Press. Bergen, B. K., Lindsay, S., Matlock, T., & Narayanan, S. (2007). Spatial and Linguistic Aspects of Visual Imagery in Sentence Comprehension. Cognitive Science, 31(5), 733–764. https://doi.org/10.1080/03640210701530748