# Meeting note 2023/02/14
目前想法:透過在系統中增加仇恨言論審查的方式讓使用者對於系統的滿意度上升。

* 目前想要使用的方法是實驗法。
* 分為A組與B組，A組看到的是未經篩選的留言，B組看到的是模型篩選過後的留言
* 跑問卷統計
* 資料集: 公開/自己蒐集
* 用模型判斷是否有仇恨言論
* 給使用者看挑選前挑選後的貼文，看他們覺得哪個比較友善

idea: facebook most relevent comment(最相關留言)

使用text mining做分析新聞網站的主題留言分析
從政治人物的新聞去爬，主題方面的分析
看英文方面是如何做的，還有傳播所是怎麼做的

## [Hate speech detection is not as easy as you may think: A closer look at model validation (extended version)](https://www.sciencedirect.com/science/article/pii/S0306437920300715)

### 摘要
仇恨言論是一個嚴重影響在線社交社區的活力和實用性的重要問題。
大型社交平台目前正在投入重要資源於自動檢測和分類仇恨內容，但收效甚微。
另一方面，最新的報告表明，監督式方法實現了近乎完美的性能，但僅限於特定數據集，其中大部分是英語。
在這本研究中，我們分析了現有文獻與實際應用之間的明顯矛盾。 我們仔細研究了先前工作中使用的實驗方法及其對其他數據集的普遍性。我們的發現證明了方法論有問題，以及重要的數據集偏差。 因此，當前研究的表現已被大大高估。
我們發現的問題主要與數據過度擬合和採樣問題有關。
我們討論對當前研究的影響並重新進行實驗以提供更準確的圖片當前最先進的方法。 此外，我們設計了一些基線方法來使用英語和西班牙語數據集進行跨語言實驗

### 目前主流研究的缺失
1. Extracting features using the entire dataset
沒有先將data set 切成 train set 跟 test set，直接做特徵抽取
2. Oversampling before the train-test split
將原始樣本中的"hate" class 複製了三次，過度採樣
3. Generalization to other datasets
兩個不同的hate speech dataset各自訓練出的模型沒辦法在對方的資料集上取得很好的表現，泛化能力不夠
4. The impact of user distribution on model generalization
因為會發出仇恨言論的人在群體中只佔一小撮，因此模型可能學習到某單一user說的話就是racist，其他人沒有racist
而研究者的解決辦法就是將不同的hate speech dataset合併，使某一人在仇恨言論中的占比下降。

## [運用群眾外包生成之解釋於加強大眾對仇恨迷因理解與意識之研究(台大資工)](https://hdl.handle.net/11296/2v7f2r)
### 摘要
網絡迷因作為文化的單元，透過社交網站迅速傳播。雖然大多數迷因是為了幽默而創作的，但其中有些迷因具有仇恨元素，並藉此來攻擊他人。儘管由人工智慧對仇恨迷因的自動檢測方法已經大量出現，但我們認為高品質的解釋有助於觸發對這種有害信息的免疫。本研究提出了一種產生解釋的新方法，幫助消弭仇恨迷因的文化差距，並提出了兩項用戶研究。受先前研究的啟發，我們提出了一個三階段的眾包工作流程，以引導群眾工作者生成、註釋和修改對仇恨迷因的解釋。為了確保解釋的品質，設計了一個由四項指標組成的自我評估標準，分別是目標、清晰度、明確性和有效性。
研究一試圖評估所提出的工作流程。結果顯示，三階段工作流程引導群眾工作者產生了比基準的工作流程有更好的解釋。
研究二探討了不同類型的解釋如何影響用戶的感知。來自127名參與者的實驗結果表明，與基線或機器生成的解釋相比，沒有背景文化知識的人在看到用多階段工作流程生成的解釋時，對仇恨迷因有明顯的感知和理解的提升。

### note
同樣也是使用"Turk"來當作外包資源，這篇用了質性研究的方法研究標註迷因的方法。

## [~~Internet, social media and online hate speech. Systematic review~~](https://https://www-sciencedirect-com.ezproxy.lis.nsysu.edu.tw:8080/science/article/pii/S1359178921000628)