# 大型語言模型實作讀書會第七組
## 報告主題: [Quality and Safety for LLM Applications](https://learn.deeplearning.ai/quality-safety-llm-applications)
## 報告日期 113/2/6
## PM:顏珮帆

每週課程問題的收集與整理
---
**第一週(12/26)問題收集 (匯整日12/21 BY Ding):**

* 補充資料：

* [資料下毒攻擊如何癱瘓機器學習模型](https://www.cio.com.tw/how-to-disable-the-machine-learning-model/)

* 問題：

1. 模型規模與預訓練的資料量是否有最佳比例關係？
2. RLHF的的資料規模應該要準備多少呢？
3. 讓LLM多輪對話似乎可以讓它反省或提升輸出內容的安全。不過多輪對話等於多調用幾次LLM。不知是否有固定輸出tokens數(例如200)，LLM計算一輪需要的時間(大概跟哪種模型和什麼硬體有關)的一些comment?
4. Karpathy的影片有提到LLM+OS的概念，希望能有多一些這方面的分享。
5. 除了LangChain，有沒有類似的平台或工具，即提供打造管理資料庫、擷取、prompt管理的平台？
6. 關於第二個影片提到的Data poisoning，如何即時察覺餵給LLM的資料是錯誤的?如何防治?
7. 語言模型為何要使用擲骰子的方法？這與 ChatGPT 有何關聯？
8. 語言模型如何學習文字接龍？這對於 ChatGPT 的運作有何影響？

**第二週(01/02)問題收集 (匯整日12/26 BY Bruce Huang):**

* 補充資料：

* [使用 OpenAI 的 Chat Completion API（副7](https://studyhost.blogspot.com/2023/12/openai-chat-completion-api.html?fbclid=IwAR1R2CeOqQE1z2b_DmGQgrP7qzB-7iVy22D4aV3BnALRSLznc5e0j89e-mo_aem_AebiFcBOT8beGVUPYsCkvebqVEnitzNaR0skuHl0OppDY5r1OaQsPcXSS-xwFZhHaFE&m=1)

* 問題：
1. Sys prompt的語句順序是否會造成結果不同？（組長
2. 承1. 如果會，那放在開頭的prompt影響較大還是反過來呢？（組長
3. 導入openai，需要什麼樣過程才能讓它自動化，是否需要有一套設定工具做workflow的管理，如nodered或其它。將詢問導向不同的results的處理，然後回應適合的結果？（副2
4. Prompt 能辨別語氣，Chatbot的交談中也可以自動辨別語氣而調整回答嗎？（PM

**第三週(01/09)問題收集 (匯整日01/01 BY Zack):**

* 補充資料：

* 無

* 問題：

1. 有沒有手段可以評估prompt的長短與效率呢？

**第四週(01/16)問題收集 (匯整日01/08 BY 俊凱):**

**第五週(01/23)問題收集 (匯整日01/15 BY Yen):**

**第六週(01/30)問題收集 (匯整日01/22 BY 佳駿):**

**第七週(02/06)問題收集 (匯整日01/22 BY Leia|Ding):**

**第八週(02/13)問題收集 (匯整日02/05 BY Yi-Wei):**

待辦事項
---
1. 自我介紹與後續競賽專案角色填寫
2. 每週小組會議時間
3. 實體聚會
4.