COSCUP 2024/8/3 臺灣科技大學 ### 生成式 AI 於 Wikidata 中的寫作應用 ### -- 從資料完整性到資料協作品質 User:Planetoid #### 簡報內容未特別註明，則以 [CC-BY](https://creativecommons.org/licenses/by/4.0/deed.zh-hant) 授權方式釋出 --- ## 大綱 * 2023/12 前：ORES 文章修訂評估 * 2023/12 後：Lift Wing * 使用生成式 AI 協作 --- ## 2023/12 前 ORES 文章修訂評估 [ORES](https://www.mediawiki.org/wiki/ORES) (Objective Revision Evaluation Service, 客觀文章修訂評估服務)  [圖源：User EpochFail](https://commons.wikimedia.org/wiki/File:ORES_edit_quality_flow.svg) CC BY-SA 4.0 --- 1. 評估編輯品質 - `reverted` 預測編輯是否可能最終被[回退](https://zh.wikipedia.org/wiki/Help:%E5%9B%9E%E9%80%80)：[壞詞彙偵測系統](https://www.mediawiki.org/wiki/ORES/BWDS_review)(BWDS review，使用 [TF-IDF 演算法](https://github.com/wiki-ai/bwds))。 - `damaging` 預測編輯是否是[破壞性](https://zh.wikipedia.org/zh-tw/Wikipedia:%E7%A0%B4%E5%9D%8F)的機率 - `goodfaith` 預測編輯是否是善意的機率 2. 評估內容品質 - `draftquality` 預測一篇新條目是否需要被快速刪除（廣告/破壞/攻擊/OK） - `articlequality` 預測一篇條目或草稿的的評估等級（像 [英文版維基百科出版物1.0版](https://zh.wikipedia.org/zh-tw/Wikipedia:%E9%A1%B5%E9%9D%A2%E8%AF%84%E7%BA%A7) 頁面評級） 3. 推薦主題 (Topic routing) --- ### 維基百科頁面評級  [來源](https://zh.wikipedia.org/zh-tw/Wikipedia:%E9%A1%B5%E9%9D%A2%E8%AF%84%E7%BA%A7) --- ### 維基數據 item 評分標準 | 級 | 標準 | |------|------| | A | 包含 _所有相關陳述_ 的項目，有 _可靠的參考資料_，完整的翻譯、別名、跨語言連結和高品質圖片。 | | B | 包含 _所有最重要陳述_ 的項目，有 _良好的參考資料_ | | C | 包含 _大多數關鍵陳述_ 的項目，有 _一些參考資料_ | | D | 包含 _一些基本陳述_ 的項目，但 _缺乏參考資料_ | | E | 所有不符合 D 等級標準的項目。 | --- A 等級 包含 _所有相關陳述_ 的項目，有 _可靠的參考資料_，完整的翻譯、別名、跨語言連結和高品質圖片。 **標準:** * 該類項目的所有適當屬性都有陳述，且： 1. 非簡單陳述有多個外部參考資料 2. 適當的等級 3. 適用時的限定詞 * 最相關語言的翻譯已完成：標籤和描述 * 所有適當的跨語言連結到其他維基中的對應頁面 * 主要語言中的所有適用別名 * 與該項目相關的高品質圖片（若適用） --- ``` | 等級 | 標準 | 閱讀者的體驗 | |------|------|--------------| | A | 包含 _所有相關陳述_ 的項目，有 _可靠的參考資料_，完整的翻譯、別名、跨語言連結和高品質圖片。 <br><br> **標準:** <br> * 該類項目的所有適當屬性都有陳述，且： <br> 1. 非簡單陳述有多個外部參考資料 <br> 2. 適當的等級 <br> 3. 適用時的限定詞 <br> * 最相關語言的翻譯已完成：標籤和描述 <br> * 所有適當的跨語言連結到其他維基中的對應頁面 <br> * 主要語言中的所有適用別名 <br> * 與該項目相關的高品質圖片（若適用） | 所有可用的資訊都記錄有可靠的參考資料。 | | B | 包含 _所有最重要陳述_ 的項目，有 _良好的參考資料_、翻譯、別名、跨語言連結和圖片。 <br><br> **標準:** <br> * 該類項目的最重要屬性都有陳述，且： <br> 1. 非簡單陳述有外部參考資料 <br> 2. 一些適當的等級 <br> 3. 一些適用的限定詞 <br> * 已完成一些重要翻譯：標籤和描述 <br> * 大多數適當的跨語言連結到其他維基中的對應頁面 <br> * 主要語言中的大多數適用別名 <br> * 與該項目相關的圖片（若適用） | 所有基本資訊和一些擴展資訊都有參考資料。 | | C | 包含 _大多數關鍵陳述_ 的項目，有 _一些參考資料_、翻譯、別名和跨語言連結。 <br><br> **標準:** <br> * 該類項目的關鍵屬性都有陳述，且： <br> 1. 非簡單陳述有一些參考資料 <br> * 完成了一些翻譯：標籤和描述 <br> * 一些跨語言連結到其他維基中的對應頁面 <br> * 主要語言中只有一些適用的別名 | 大多數你期望的基本資訊都有提供。可能缺乏參考資料或不完整。 | | D | 包含 _一些基本陳述_ 的項目，但 _缺乏參考資料_、翻譯和別名。 <br><br> **標準:** <br> * 該類項目的部分相關屬性有陳述 <br> * 有標籤和描述 <br> * 最少量的適用別名 | 這些陳述需提供足夠的資訊以輕鬆識別該項目。 | | E | 所有不符合 D 等級標準的項目。 | | ``` 來源：[Wikidata:Item quality \- Wikidata](https://www.wikidata.org/wiki/Wikidata:Item_quality) --- ## 2023/12 後：Lift Wing - ORES 用於文章修訂的評分服務 - Lift Wing 通用的**模型**託管平臺  By [CAlbon (WMF), CC BY-SA 4.0](https://commons.wikimedia.org/w/index.php?curid=127711234) [參考資料](https://wikitech.wikimedia.org/wiki/Machine_Learning/LiftWing) --- ### 小結 - 👊 工人智慧識別的破壞行為：維基百科頁面評級 - 🔨 可以發現規則的破壞行為 - 🤖 使用機器學習識別的破壞行為，例如 ORES、Lift Wing - `reverted` 壞詞偵測 TF-IDF、 - `articlequality` 基於文章的結構特徵進行預測。 例如這裡有多少章節？有資訊框麼？多少個參考資料？使用 cite 模板？ 但不評估寫作品質，或是否有語氣、觀點問題 來源：[機器學習/現代化](https://www.mediawiki.org/wiki/Machine_Learning/Modernization) --- ## 使用 GENAI 協作 輔助編輯 - 從文本辨識實體、關係 - 檢查可靠來源 - 改善實體完整性 資訊取用 - 知識問答系統 --- ### 從文本辨識實體 對照組：早期實體辨識 (NER)  (C) 圖源：[CKIP CoreNLP](https://ckip.iis.sinica.edu.tw/service/corenlp/) --- 標示為 `org` 的詞彙 * 行政機關：教育部 * 正式退場的學校：明道大學、環球科技大學（環球科大）、大同技術學院、東方設計大學 * 安置學生的學校：東海、亞洲、逢甲、靜宜等學校 ... --- 提示文字 ```htmlmixed 根據我提供的新聞 列出廢校的學校名稱，以列點格式輸出 如果沒有則直接回答 N/A ``` 新聞來源：[4所大專校院明天退場 明道大學生安置到輔大、逢甲 \| 聯合新聞網](https://udn.com/news/story/6928/8128426) --- 不同模型 **文本辨識實體** 試驗結果 | 模型 | 結果 | 分享聊天 | | -------- | -------- | -------- | | ChatGPT-4o GPT | ✅ | [share chat](https://chatgpt.com/share/9c6ebdd4-6617-46c4-a5ef-1cce2ae472c4) | | Claude-3-Sonnet (POE) | ✅ | [share chat](https://poe.com/s/8AZS6YOx5PwENeyiMHOO) | | Llama-3.1-405B-T (POE) | ✅ | [share chat](https://poe.com/s/Mqn8FOzN1JRjzPzxw5x9) | | Google gemini | ✅ | [share chat](https://g.co/gemini/share/9694b9d51fc5) | --- ### 從文本辨識實體間關係 提示文字 ``` 步驟1: 從新聞粹取廢校的校名 (新聞略 ...) 步驟2: 廢校的校名作為 <label> 請詳細閱讀我提供的 Property, Statement 定義，以及上傳的檔案 Property 的 ID, label, description, Data type - Property: Property describes the data value of a statement ... 完整 Property 清單請看附檔 - Statement: A Statement is a piece of data about an item ... 提供 <label> 的 Property, Statement 關連 (可能多值) 輸出格式： - <label> - Property 的 ID (例如: P6), Property 的 label (例如: head of government) - Property 對應的欄位值 (需遵守 Property 的 Data type) ``` 參考資料：[Glossary](https://www.wikidata.org/wiki/Wikidata:Glossary) & [List of properties](https://www.wikidata.org/wiki/Wikidata:Database_reports/List_of_properties/all) --- 不同模型 **辨識實體間關係** 試驗結果 | 模型 | 結果 | 分享聊天 | | -------- | -------- | -------- | | ChatGPT-4o GPT | ✅ | [share chat](https://chatgpt.com/share/5538d94f-f4c2-4a09-b752-0566c210425f) | | Claude-3-Sonnet (POE) | 🙅 缺少廢校 | [share chat](https://poe.com/s/vcrZd4vw7kUekLZvZdtQ) | | Llama-3.1-405B-T (POE) | ✅ | [share chat](https://poe.com/s/pTWbQlTKogsoVHfARSBM) | | Gemini-1.5-Flash (POE) | 🙅 檔案截斷 | [share chat](https://poe.com/s/lUH9E3vRCmdsjtjKm7Bd) | 🙅 Claude: Conversation is 147% over the [length limit](https://support.anthropic.com/en/articles/7996848-how-large-is-claude-s-context-window) Try replacing the attached file with smaller excerpts. --- ### 檢查可靠來源 Prompt ``` 根據知識檔案建立內容品質的檢核表，並根據檢核表檢查網路文章內容的品質 以及是否可信 輸出格式：根據檢核項目做成表格 欄位分別是檢核項目、參照的新聞片段、評價、詳細解釋 (如果部份檢核項目無法評估，則直接回答無法評估) 最後並給予綜合評價 使用台灣常用的繁體中文回答 ``` 知識檔案來源：[維基百科:可靠來源 - 維基百科，自由的百科全書]( https://zh.wikipedia.org/zh-tw/Wikipedia:%E5%8F%AF%E9%9D%A0%E6%9D%A5%E6%BA%90) --- Prompt 如果不支援知識檔案 (1/2) ``` 將文章內容改成可執行稽核的檢核表 ''' (手動貼上文章) ''' ``` [share chat](https://chatgpt.com/share/6f57a734-6265-4508-bd16-4b504fce6b3d) --- Prompt 如果不支援知識檔案 (2/2) ``` 依據網路文章稽核綜合檢核表，檢查我等一下提供給你的新聞文章 輸出格式：根據檢核項目做成表格 欄位分別是檢核項目、參照的新聞片段、評價、詳細解釋 (如果部份檢核項目無法評估，則直接回答無法評估) 最後並給予綜合評價 使用台灣常用的繁體中文回答 ``` --- ``` 網路文章稽核綜合檢核表 1. 來源可靠性評估 確認網站的權威性和聲譽 評估網站的所有權和資金來源(如政府、學術機構、商業組織等) 確認作者的專業背景和資格 檢查網站是否有明確的編輯政策或內容審核機制 確認網址是否來自可信的域名(.edu, .gov等) 評估網址結構是否專業,避免使用個人網頁或可疑域名 2. 內容品質與驗證 檢查文章是否有明確的發布日期 評估文章的寫作風格是否專業、客觀 確認文章是否提供引用來源或參考文獻 檢查文章內容是否有明顯的錯誤或不一致之處 確認內容是否反映當前情況或最新研究 在其他可靠網站上交叉檢查關鍵資訊 比較多個來源,確認資訊的一致性 尋找其他專家或權威機構的相關評論 3. 中立性與偏見檢查 評估文章是否呈現多方觀點 檢查是否有明顯的政治、商業或其他偏見 確認是否清楚區分事實陳述和意見評論 評估是否平衡報導各方意見 確認是否有聲明文章可能存在的偏見或利益衝突 4. 技術與安全性檢查 確認網址是否使用安全連接(https) 確認網頁加載正常,沒有明顯的技術問題 檢查網站是否有惡意軟件或可疑的彈出窗口 評估網站的整體設計和用戶體驗是否專業 確認網站是否提供聯繫方式或反饋機制 5. 多媒體與互動內容審核 檢查圖片、視頻等是否有適當的來源標註 評估多媒體內容是否與文本內容相符 確認多媒體內容沒有明顯的篡改或誤導 檢查是否清楚標明贊助或廣告內容 評估評論區(如果有)的質量和管理情況 6. 特定類型內容考量 新聞報導: 評估是否遵循新聞道德準則,確認記者背景 學術內容: 確認是否引用peer-reviewed研究,由專家撰寫 政府資訊: 確認是否來自官方網站,提供相關文件下載 評論類文章: 確認作者的專業背景和立場 7. 維基百科特定要求 避免引用其他維基百科條目作為來源 對於非中文來源,確認是否提供原文供讀者查證 避免使用自行翻譯的內容作為唯一來源 評估該網路文章是否適合作為維基百科的參考來源 8. 綜合評估 檢查同一資訊是否在多個獨立可靠來源中出現 確認網站是否明確說明資訊來源和編輯方針 評估是否提供足夠的背景資料以支持文章內容 綜合以上各點,對文章的整體可靠性做出判斷 考慮如何在引用時適當說明來源的性質和可靠程度 注意事項: 保持批判性思維,對來源進行獨立評估 避免依賴單一來源,特別是在重要或具爭議性的議題上 定期更新檢核方法,以適應變化的網絡環境 ``` --- #### 模型試驗結果 GPT 為例 (1/2) input: [批高虹安自己要檢討！館長轟「低級錯誤」：妳丟的是所有人的臉](https://tw.news.yahoo.com/%E6%89%B9%E9%AB%98%E8%99%B9%E5%AE%89%E8%87%AA%E5%B7%B1%E8%A6%81%E6%AA%A2%E8%A8%8E-%E9%A4%A8%E9%95%B7%E8%BD%9F-%E4%BD%8E%E7%B4%9A%E9%8C%AF%E8%AA%A4-%E5%A6%B3%E4%B8%9F%E7%9A%84%E6%98%AF%E6%89%80%E6%9C%89%E4%BA%BA%E7%9A%84%E8%87%89-013507956.html)  --- #### 模型試驗結果 GPT 為例 (2/2) **綜合評價** 這篇新聞報導來源於三立新聞網，具有一定的公信力。文章詳述了高虹安的事件背景及法律判決，並引用了知名網紅館長的意見，內容具有時效性。然而，**文章主要引用單一來源的意見，缺乏多樣性和證據的詳細引用**。此外，文章帶有評論性質，可能存在偏見。 **建議** 為提高文章質量，可以**增加更多不同來源的意見和證據引用**，並保持中立客觀的報導風格。 --- #### 不同模型 **檢查可靠來源** 試驗結果 | 模型 | 結果 | 分享聊天 | | -------- | -------- | -------- | | ChatGPT-4 GPT``*`` | ✅ | [share chat](https://chatgpt.com/share/3d8daa5a-73ac-4513-929b-709f9ae093e9) | | Claude-3-Haiku (POE)``*`` | ✅ | [share chat](https://poe.com/s/DwdEtx0DWQKFdLX8ZsIU) | | Llama-3.1-405B-T (POE) | 🙅 | [share chat](https://poe.com/s/UbbzRxlzzVhHp7LBwRs0) | | Google gemini | ⛔ 拒絕評論 | [share chat](https://g.co/gemini/share/3b2430b7c5b9) | | perplexity | 🙅 | [share chat](https://www.perplexity.ai/search/yi-ju-wang-lu-wen-zhang-ji-he-J0jPmtPWSXuMpBdgYQPvCA#0) | 符號 ``*`` 使用 GPT 支援知識檔案、🙅 代表沒有提到單一觀點 --- ### 改善實體完整性 提示文字 ``` 對於新聞有興趣的使用者，查找資料時，根據 Property 清單，還需要哪些 Property 但是新聞內容沒有提到？ 輸出表格格式 欄位： 1. Property 的 ID (例如: P6) 2. Property 的 label (例如: head of government) 3. 推薦程度，用 1~5 顆星排序 4. 解釋原因 ``` ---  --- ### 資訊取用：Wikidata 未來計劃 {%youtube r7Qbb1yuLkE %} --- 1. 開發 AI 增強型知識圖譜系統: 開發多語言嵌入模型向量嵌入模型和知識圖譜 RAG 系統，讓 LLMs 可以直接取用知識圖譜。 2. 擴展支持多語言和數據品質: 增加多語言支持，使用 LLMs 改進數據品質，包括檢測惡意編輯和完善本體論。 3. 促進開放協作和技術應用: 開放原始碼和 API，鼓勵開發者使用維基數據，讓機構建立自己的知識圖譜。 4. 加強社區參與和 AI 輔助貢獻: 平衡人工智慧與人類的編輯。參與 Linux Foundation [Gen AI 計劃](https://genaicommons.org/)，加強開源社區合作。 --- ### 小結：盤點現有流程 ```mermaid graph LR; A[閱讀新聞] --> B[檢查可靠度] B --> G{是否可靠?} G -->|是| C[從文本辨識實體] C --> D[實體間關係] D --> E[改善實體完整性] E --> F[更多新聞來源] F --> |交叉驗證內容| A G -->|否| H[尋找其他替代來源] H --> F O -.->|提供背景知識| C %% 註解 classDef main fill:#f9f,stroke:#333,stroke-width:2px; class B,C,D,E main; classDef sub fill:#FEEA00,stroke:#333,stroke-width:2px; class O sub; O[知識檔案]:::sub ``` --- ### 機器人小字典 * 電腦幻覺 * 知識檔案 * 檢索增強生成 (RAG, Retrieval-Augmented Generation) --- #### 電腦幻覺  (C) 圖片來源：[蒼藍鴿](https://twitter.com/bluepigeon0810/status/1766729699026489744) --- #### 解決電腦幻覺 * 知識檔案 * 檢索增強生成 (RAG, Retrieval-Augmented Generation) * Google Grounding  (C) 來源：[Building RAG\-based LLM Applications for Production](https://www.anyscale.com/blog/a-comprehensive-guide-for-building-rag-based-llm-applications-part-1) --- ### 使用 GAI 輔助工作流程 代理人工作流程 (agentic workflow)  [維基數據知識鍛造機器人](https://www.coze.com/store/bot/7398558642460573703?bid=6dc409j907007&panel=1) --- 技能 / 外掛 / 知識檔案 (maximum of 10,000 segment per unit)  --- 技能 (角色設定) 提示 ``` # 角色 你是一位充滿熱情的資料科學家。你的主要專長是協助用戶解決所有關於 WikiData、從新聞本文非結構化資料轉化為結構化資料的問題。 ## 技能 ### 技能1：判別網頁內容的可靠性 - 你有能力判斷根據使用者提供的連結，抓取文章標題、作者、內容，依據知識檔案提供的準則，回答使用者網頁內容的可靠性。 ### 技能2：搜尋不同來源 - 你有能力根據使用者提供的連結的標題、內容重要摘要，搜尋不同來源的新聞。 ### 技能3：從文本摘要 - 從使用者提供的連結的標題與內容，摘要重要內容 ### 技能4：從文本摘要辨識核心的 property - 從使用者提供的連結的摘要重要內容，依據知識檔案提供的 list of property 提供最多三個核心的 property 若查無相關知識，請一律回答「很抱歉，我們目前無法找到與您詢問的內容相關的具體資料。」。 ### 技能5：從核心的 property (即以下的 label) 辨識最多五個相關的 property - 詳細閱讀我提供的 Property, Statement 定義，以及上傳的檔案 Property 的 ID, label, description, Data type - Property: Property describes the data value of a statement and can be thought of as a category of data, for example, "color" for the data value "blue". Properties, when paired with values, form a statement in Wikidata. Properties are also used in qualifiers. Properties have their own pages on Wikidata and are connected to items, resulting in a linked data structure. 完整 Property 清單請看附檔 - Statement: A Statement is a piece of data about an item, recorded on the item's page. A statement consists of a claim (a property-value pair such as "Location: Germany", together with optional qualifiers), augmented by references (giving the source for the claim) and a rank (used to distinguish between several claims containing the same property; "normal" by default). Wikidata makes no assumptions about the correctness of statements, but merely collects and reports them with a reference to a source. The term "statement" is often used interchangeably with "claim", but technically it only becomes a statement once at least one reference has been added. 提供 label 的 Property, Statement 關連 (可能多值) 輸出格式： - label - Property 的 ID (例如: P6), Property 的 label (例如: head of government) - Property 對應的欄位值 (需遵守 Property 的 Data type) ### 技能6：改善實體完整性 - 對於新聞有興趣的使用者，查找資料時，根據 Property 清單，還需要哪些 Property 但是新聞內容沒有提到？ 輸出表格格式 欄位： 1. Property 的 ID (例如: P6) 2. Property 的 label (例如: head of government) 3. 推薦程度，用 1~5 顆星排序 4. 解釋原因 ``` ---      (C) Cozy (GPT-4o) --- #### No code 或 Low code 的流程管理平台 | 名稱 | 授權 | | -------- | -------- | | [Dify\.AI](https://dify.ai/) | [Apache 2\.0](https://github.com/langgenius/dify/blob/main/LICENSE) | | [Langflow](https://www.langflow.org/) | [MIT](https://github.com/langflow-ai/langflow/blob/main/LICENSE) | | [Flowise](https://flowiseai.com/) | [Apache 2\.0](https://github.com/FlowiseAI/Flowise/blob/main/LICENSE.md) | | [n8n](https://n8n.io/) | [ Sustainable Use License](https://github.com/n8n-io/n8n/blob/master/LICENSE.md) & <br> n8n Enterprise License　``*`` | ``*`` 非 Open Source License --- ### 真實世界的資料 * [《刺客教條：暗影者》成國際問題？彌助維基被爆故事史實化、作者把黑奴買賣推給日本人](https://tw.news.yahoo.com/%E3%80%8A%E5%88%BA%E5%AE%A2%E6%95%99%E6%A2%9D%EF%BC%9A%E6%9A%97%E5%BD%B1%E8%80%85%E3%80%8B%E6%88%90%E5%9C%8B%E9%9A%9B%E5%95%8F%E9%A1%8C%EF%BC%9F%E5%BD%8C%E5%8A%A9%E7%B6%AD%E5%9F%BA%E8%A2%AB%E7%88%86%E6%95%85%E4%BA%8B%E5%8F%B2%E5%AF%A6%E5%8C%96%E3%80%81%E4%BD%9C%E8%80%85%E6%8A%8A%E9%BB%91%E5%A5%B4%E8%B2%B7%E8%B3%A3%E6%8E%A8%E7%B5%A6%E6%97%A5%E6%9C%AC%E4%BA%BA-023954970.html) * [《刺客教條：暗影者》團隊公開致日本社群的訊息 強調遊戲為虛構作品 上市前將持續改進](https://gnn.gamer.com.tw/detail.php?sn=271226)  Made with DALL-E --- ## 結論 * **條目資料評估**：從 ORES 評估維基百科的文章修訂品質，演進到 Lift Wing 更通用的模型託管平台、提升資料評估的效率。 * **工作流程的改進**：運用生成式 AI 來輔助編輯，辨識文本中的實體和實體間的關係，檢查內容的可靠性，並改善資料的完整性。 * **未來的發展方向**：增加多語言支持、連結開源社區、增強知識圖譜、平衡 AI 與人類編輯