分類方式討論 @ g0v slack #rumors
===

### 討論記錄

ggm 有沒有實作在手機上面闢謠
mrorz 喔就還沒做，not first priority

ggm 我們希望闢謠是謹慎的，所以一開始鎖定在電腦上面操作
希望可以打多一點的字，然後附上 ref

mrorz 只是我 UI 上寫限 140 字
Lucien reference 用手機找好痛苦
mrorz 我覺得可以來討論一下 article page 的小編介面
Lucien 那邊方向上還要調什麼嗎？
mrorz 如果我們主要想做一個把 article 與 reply 連在一起的東西，希望使用者寫的是 introduction to reply 而不是在上面高談闊論或抒發己見
那或許應該先貼連結
再讓使用者寫字
操作上會比較順

Lucien
我可能要研究一下
有時候寫字是幫助思考要找什麼 reference

mrorz
如果沒有闢謠文
那要怎麼處理，該讓小編說這沒 reference 這樣嗎

我自己的闢謠經驗是
先找相關文章
複製 url
然後再從裡面複製相關文字貼進來改一改
先貼 url 的好處是使用者貼文的時候我們可以去抓 title 那些
顯示出來給使用者校對
Title 可以當成連結的 label

但這只是 nice to have
所以還是要看小編到底怎麼做比較順手

bil
使用上在airtable的經驗大概是
a.找相關文章
b.確認類別，能不能用
c.節錄需要的部分，詞句修改
d.附上url 與修ref
e.cmd+F 找相同的謠言，一個一個取代

沒有辦法找到闢謠文的希望會有個分類是：目前還待查證。（有些謠言找不到但看起來真的很可疑囧

使用上遇到的問題：
b.確認類別，能不能用
c.節錄需要的部分，詞句修改
d.附上url 與修ref
e.cmd+F 找相同的謠言，一個一個取代

沒有辦法找到闢謠文的希望會有個分類是：目前還待查證。（有些謠言找不到但看起來真的很可疑

使用上遇到的問題：
1.ref是來自內容農場，寫起來總覺得挺不安的
2.ref有，但是感覺很不可靠
3.ref來自簡體字或是香港的網站（中文以外的原文ref雖然有，但使用率非常低）

mrorz 了解，看來順序上目前先撰文後附出處的順序應該不用修改

找不到查證出處的文章，我覺得比照 line bot，放一顆按鈕「求回應」讓人按了就增加一個 reply request 即可。小編找不到出處，跟line 使用者找不到回應，有沒有區分的必要呢？
至於遇到不踏實來源的問題，目前還沒想到好解法。
沒有闢謠文的狀況，之前有發一張 ticket 記錄下來，但沒有人發表意見。

https://github.com/MrOrz/rumors-api/issues/27
如何處理尚未有闢謠文章的 0-day rumors · Issue #27 · MrOrz/rumors-api
中秋節的「秋刀魚兩個洞是線蟲」訊息，以及近日來「剛收到消息，川普夫人的驕車在纽约川普大厦前被人們燒毀」的消息，在瘋狂轉載的當下都是尚未有闢謠文章的。 雖然現在「秋刀魚兩個洞是線蟲」已經找得到新聞闢謠了，但後者這種無來由的謠言很可能永遠不會有人闢謠。
github.com
但「沒有闢謠文」與「只能使用不踏實的闢謠文」這兩件事會發生，其實都是代表著「夠好的闢謠文在網路上仍然不存在」，這樣來看兩者其實有著相似之處

Btw 如果是那種有特殊專長，具有自己撰寫文章能力的闢謠者，他們的需求可能又會不大一樣。

mrorz 之前泛科學編輯英凱，還有做過科學查證專欄的人，就說過如果有什麼科學相關的謠言可以給他們處理。我覺得這代表著：

1. 在他們的守備範圍內，不存在「無法查證」的狀況。就算真的沒文章，他們也能自己寫一篇，然後回來貼進 reply。
2. 對於守備範圍外的謠言，他們很乾脆地不想處理。
跟一般想要幫忙的志工小編，會不分主題從頭看到尾的不太一樣。
就像淨灘活動，志工不會挑垃圾型態，求一個完整無垃圾的海灘
但如果污染物是船隻漏油，那此時專業的才會出手 (?)

bil 先撰文後附出處對我自己的使用經驗是，這樣問題離答案比較近...

1.不會貼錯格
2.可以對謠言的每一個點一個一個確認
3.url對我來說只是一串很長的符號，我不想看到他
4.
然後我想『夠好的闢謠文在網路上仍然不存在』這個問題的原因就是，面對所有的謠傳，人的習慣是：寧可信其有，不可信其無。@@
這個狀況不管是網路文章或是與人對談都適用

也就是說只要我的謠言夠新，就相當可能找不到可以反駁的點
比如『如果頭很痛的話，雙手畫一個圈拍一下肩膀就不痛了』
但這實在太荒唐了，這只是我十秒前說的話。
如果機器人的分類從
1.rumor
2.not rumor
變成
1.it's real!!!!
2.nobody confirmed it's real.

對文字編輯者來說就會更加合理，優點是
1.原則是：『親愛的使用者您好，請不要相信沒有根據的網路消息。』而不是，因為沒有足夠的證據反駁，所以請使用者相信這則說法。
2.即使資料來源不可靠，機器人的搜尋引擎仍然能提供不同的想法或是意見。
3.資料來源可靠的時候，這就是一則被流傳已久、許多網站都樂於反駁的謠言。

mrorz [10:58 PM]
比鄰的那個分類方式我從來沒有想過，是個新的靈感

我原本的分法確實是「如果未經證實，就不能說他是假的」
比鄰的分法有不同預設，是「如果未經證實，就不該說是真的」

如果我們的目標是要讓使用者不要輕易地相信東西，那後者預設為假會是一種更富科學精神的做法

mrorz [11:01 PM]
如果我們的系統是想要讓不同立場的人能標記錯誤之處然後狠狠打臉，那我的分法可以確保他打臉可以打得又狠又腫

但當然，要能狠狠打臉並不容易，所以就變成會有很多 non-rumor。

mrorz [11:03 PM]
然後我在想，這兩者混合的話會有什麼副作用嗎？

像是有三種分類

1. 已被證實
2. 未經證實
3. 已被證實不是真的

mrorz [11:04 PM]
對小編來說這樣分會不會有很大負擔？
「未經證實」跟「小編看過了但找不到」跟「還沒有小編看過」的差別又在哪？

ooookai [11:11 PM]
也許 *已被證實* 下可分成 真的 or 假的 ？

mrorz [11:13 PM]
Hmm我想我知道分成三種會有什麼問題了

mrorz [11:15 PM]
原本比鄰的分法 (真的 vs 沒人說他是真的)
還有我的分法 (假的 vs 沒人說是假的)
的預設值(沒人說是 xxx) 其實有著強烈的預設立場

mrorz [11:15 PM]
比鄰的分法告訴使用者不要隨便相信網路文章

mrorz [11:16 PM]
我的分法鼓勵精確打臉，不亂燒稻草人

mrorz [11:17 PM]
但兩個方法混在一起
那就什麼效果都達不到

mrorz [11:17 PM]
大家只會看那些被標記為真或假的消息

mrorz [11:19 PM]
那些沒被標記的，大家既不會預設他錯而進行批判性思考，也不會覺得我要努力證明他是錯的(不然別人會信以為真)，就是個無感

ooookai [11:48 PM]
意思是這樣分嗎？:thinking_face:
1. 已證實已標記 (真or假)
2. 未被證實 或 不明確(含半真半假)

lucien [12:53 AM]
我記得之前有針對 Reply 的 taxonomy 有做過討論，我覺得這邊要把分類名訂得清楚並文件化起來

[12:53]
像是還有 not used 其實意思是根本不是來問謠言的

[12:55]
看起來總共有四種：
- 只是閒聊
- 已証為真
- 已証為假
- 未辯真假

[12:56]
現在討論的是需要把 `未辯真假` 跟其他人 merge 嗎？

[12:58]
Ex. `已証為假` ＋ `未辯真假` = `沒人說是真的`

[12:58]
我直覺的想法是乾脆就讓 `未辯真假` 的東西不要有回應

[12:59]
反正沒人有答案，編輯的回答幫助很有限

bil [1:29 AM]
如果
使用者看到的回應是
1.有不實資訊
2.找不到不實資訊（會有隱含訊息可信的暗示嗎？像是在幫訊息背書一樣@@"）
3.資訊正確
4.資料庫找不到任何相關訊息/未辨真偽
5.有相關的文章，提供參考（搜尋引擎模式？）

哪一種是你們想看到的@@

lucien [1:38 AM]
2 跟4哪裡不一樣？

bil [1:39 AM]
我的想法是，會使用這個功能是因為我覺得我得到的資訊未辨真假，所以才要問問機器人。
如果他也告訴我資訊未辨真假他不知道，我會有點無助QQ

lucien [1:39 AM]
應該說沒有資訊可證真假時

[1:40]
那資料庫有沒有相關資料給使用者的價值是什麼呢？

[1:40]
1. 有資料但說我不知道真假

[1:40]
2. 沒資料

bil [1:40 AM]
當我說：A的話不是錯的
通常代表A說的是對的

當我說：我沒聽過/我不知道B的話對不對
我真的不知道，有問題你去問B

lucien [1:41 AM]
喔喔 不是三分法而是預設二分法

[1:42]
我覺得可以描述清楚一點就可以規避 不是錯的 = 可能對 加 不知道真假

bil [1:44 AM]
我的想像是資訊會隨著時間累積，所以偏好1
會提供資訊連結，但表示說
「有人有不同的看法」「訊息尚未獲得足夠的資料或支持」

lucien [1:45 AM]
也就是鼓勵大家多回應，即使還沒有完整資訊的情況下，但希望可以透過資訊慢慢更新來得到答案

bil [1:45 AM]
是的

[1:46]
我的概念是，既然是謠言就表示有人覺得「可能對」

lucien [1:46 AM]
所以你期待的分類是什麼呢？

bil [1:50 AM]
4種嗎？

lucien [1:51 AM]
不一定

[1:51]
只要你的分類可以涵蓋所有情況就好，可以 merge

bil [1:52 AM]
1.聊天測試
2.已證為真
3.不足採信

lucien [1:54 AM]
也就是 merge `已証為假` 跟 `未辯真假`

bil [1:54 AM]
是的，當然這只是我的偏好

[1:54]
原因是我覺得我在這個過程是需要選擇其中一個價值的@@

lucien [1:55 AM]
嗯嗯那我們現在有三種，可以再討論三種的好壞以及預設立場，看看怎麼樣比較適合

lucien [1:58 AM]
`不足採信` 這類有涵蓋 `未辯真假` 有個問題是會找不到參考資料

[1:59]
因為 `未辯真假` 這類狀況，也就代表沒有文章有答案。

[2:00]
沒有一個明確立場的文章，通常就不會寫出來，因為目前網路文化偏好有強硬立場，給人簡單好懂的答案，而不是還沒有答案的保守立場。 (edited)

[2:01]
不知道小編們實際經驗如何呢？

bil [2:03 AM]
我會認為
a.訊息可靠，不是謠言
b.不足採信（請當成網路謠傳）

和
A.是謠言
B.找不到不實資訊(請當成真有其事）

兩個價值要選一個來當作編輯的原則 (edited)

lucien [2:09 AM]
hmm… 我的問題是小編選了 b ，但是最後沒有 reference ，也沒有辦法解釋說是因為你沒查證完還是你真的找不到資料，這樣會讓 `不足採信` 給人感覺的效力變低 (edited)

[2:10]
當選了 b 之後，那理由跟引用要寫成什麼樣子呢？

bil [2:10 AM]
也就是說，可信的效力很低呀@@

lucien [2:11 AM]
那你跟使用者說不足採信的理由跟引用會是什麼呢？

[2:11]
會不會變成都會是 「找不到相關資料」 、「引用為空」？

[2:12]
這裡應該是讓我最擔心的地方

ooookai [2:15 AM]
如果無法被證實是真的，是不是也代表很難找到引用資料去證實是假的？

bil [2:16 AM]
回應：沒有足以證實這則消息可靠的文章資訊，請謹慎看待網路謠言，不要輕信。
理由：找不到/找了提供關鍵字有的文章
引用：空的/

lucien [2:17 AM]
是的，所以我的提案是 `未辯真假` 直接移除，當做還沒有答案，但代價是會有很多謠言沒有答案，把回應門檻拉高了。
14 replies Last reply 3 days ago View thread

bil [2:18 AM]
是呢@@

lucien [2:19 AM]
我覺得 @bil 的方案可以讓討論變得比較容易，但會很容易產生大量一樣的 `不足採信` 回應，一直看到一樣沒有內容的回應，我覺得會下降大家對 bot 的信用

[2:20]
其中也有一種可能是編輯者還沒有認真查證，就選了 `不足採信` ，結果讓後續編輯，就認為他已經被回答，就沒有更深入查證了。但其實說不定有答案。 (edited)

bil [2:22 AM]
咦，可是我以為目前的做法是有反駁的文章比較多@@所以不足採信比較好用，提供了不實的部分與連結

lucien [2:22 AM]
喔喔

[2:23]
如果能證實，多數不足採信的文章其實都是 `已証為假` 那我覺得可以阿

mrorz [12:08 PM]
我在想，如果除了 `已證為真` 以及 `已證為假` 之外的那些還沒有處理的、或是沒人找得到的文章，在給使用者的敘述上採取懷疑的角度，是否就能達到比鄰版 `不足採信` 「預設為假」的效果呢？

給使用者的回應例子：

bil [2:45 PM]
是的

以及，進來的文章其實沒有分過
fact & opinion
比如像是心情小語人生建議或是相信神等等，比起謠言或是事實真假，更像是作家個人意見抒發或是信仰之類的。我覺得有需要做一個區別，這些事情跟non rumor可能還是有點不一樣@@

mrorz [3:27 PM]
心情小語、早安問好(今天有好多婦女節訊息)、反諷
都是不處理的東西呢
如果有人對他下這樣的標記，其他小編進可以考慮跳過他們

lucien [Mar 8]
這類能跟聊天測試合併成新的一類嗎？

mrorz [Mar 8]
我覺得可以，就是類似 don't care 這種種類

lucien [Mar 8]
可是我覺得don't care 名字不好，但還想不到好名字

ooookai [Mar 9]
gossip ? :joy:

lucien [Mar 9]
我覺得好像也不錯

ooookai [6:35 PM]
發現有一些進來的訊息有時間性敘述
例如：「十年來最強烈冷氣團第二波報到，週五以後特別寒冷」「今年.....」
這種訊息在特定時間過了之後，它的真實性就失效了，或是之後其實在不同的時間，卻都被判斷相似的文章，感覺好像會有一些問題 （？)

[7:01 PM]
lucien True

### 重點整理與結論（似乎還沒有結論）

#### 文章的種類（我覺得可以優先討論這塊，然後把重點放在我們想解的文章類型上面）：
* 具有客觀事實的文章
* 不具有客觀事實的文章
* 無法判斷是否有客觀事實
* 信仰類文章
* 有時效性的文章

#### 回應的分類標籤

* 不預設立場
* 已證為真
* 已證為假
* 未辯真假（不回應）
* 個人意見（閒聊、來亂、觀點不同）
* 預設正面立場（如果沒有假的，他就是真的）
* 含有不實
* 查無不實
* 個人意見（閒聊、來亂、觀點不同）
* 預設負面立場
* 已證為真
* 不足採信
* 個人意見（閒聊、來亂、觀點不同）

:::info
最後結論請見 3/18 討論：
http://beta.hackfoldr.org/cofacts/https%253A%252F%252Fhackmd.io%252Fs%252FrJ0nBnYsx
:::