---
#該區塊是此page style設定，更動時注意!
slideOptions:
slideNumber: true #顯示頁碼
# type: slide #投影片模式
tags: LLM,LangChain,TAIA,HIT #設定標籤
disqus: hackmd #允許讀者在文件下方留下評論

---

[TOC]

---

大型語言模型實作 讀書會-第六組
===

## 報告主題：[Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)
## 報告日期： 113/1/30

### 每週資料彙整
### 每週會議時間 (TBD)：每週四 21:00~21:30

### 組長副組長清單

| | 中文名字 | LINE 姓名| 問題搜集 |
| -------- | -------- | -------- | ------|
| 組長 | 林士桓 | 林士桓(Sean Lin) | 12/26 |
| 副組長 | 周君諦 | Peter Chou | 12/26 |
| 副組長 | 邱曉玲 | | 1/2 |
| 副組長 | 謝曉惠 | 曉惠 | 1/9 |
| 副組長 | 陳正哲 | | 1/16 |
| 副組長 | 張益銘 | York | 1/23 |
| 副組長 | 王天舟、林士桓 | | 1/30 |
| 副組長 | 朱昱誠 |朱 | 2/6 |
| 副組長 | 怡如 | | 2/20 |

# 每週學習記錄
## 12/19 第一次讀書會說明

- [讀書會說明](https://hackmd.io/s-ywY45mRICfWhZDgWB4PQ?both#/=80%x)
- [八周課程內容簡介](https://gamma.app/docs/-vsoxoexxs6v3qzp?mode=doc=80%x)
- [**學習紀錄-google共編**](https://docs.google.com/spreadsheets/d/1b5frS7nqzr22xfA3kMQQ49EbchN6t3r5/edit#gid=1007208352)

---

## 12/26 【80 分鐘快速了解大型語言模型】
[LLM讀書會-快速瞭解大型語言模型(第1週)錄影](https://zoom.us/rec/share/9D2cDtmOlVRfGP-GIkd5RYG7PWtng3SxjD9ztMxaErT9R1NQS3aAupjOE3-ZiI2d.g_FYj_sSe7b31ZZ8)
密碼: Taia#2023

::::spoiler :pencil:**12/26 其他筆記連結**
:::info
- [1226課程-紘嘉的預習筆記](https://hackmd.io/@wQJtnj7sQEagWAEtO8foqw/hongallm_preview1)
- [1226課程-志傑的預習筆記](https://hackmd.io/@2mTdQRyeS2K6yC1CpWBIiQ/ByQJRGdUp)

:::
::::

### 李弘毅老師-80分鐘快速了解大型語言模型
See -> [80分鐘快速了解大型語言模型](https://youtu.be/wG8-IUtqu-s?si=zixD9AzNaDI1vWaC)

--> [李宏毅課程簡報](https://drive.google.com/file/d/1QxQz3cjJPjwE4PfO5eXtnj736jAZPK1P/view)
--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/HkRBvXEPT)

### Intro to Large Language Models
See -> [Intro to Large Language Models](https://youtu.be/zjkBMFhNj_g?si=lMQVupjunafqtFVa)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/S14cTwrwp)

**提問** (同步試算表中的提問內容)
::::info
:::spoiler 1. 大型語言模型RLHF提到的Alignment 是什麼意思？
在大型語言模型的訓練過程中，"Alignment"（對齊）是一個關鍵概念，它指的是使模型的行為與人類的價值觀和期望保持一致。這個概念在開發像 ChatGPT 這樣的高級 AI 系統時尤為重要，因為它們需要理解和適應廣泛且多樣的人類語境和需求。

**Alignment 關注的主要方面**
- 價值觀和道德原則：確保模型的回應和行為反映出普遍接受的道德和倫理標準。
- 安全性和可靠性：保證模型不會產生有害、誤導性或不恰當的輸出。
- 用戶意圖的理解：讓模型能夠準確地理解並適應用戶的意圖和上下文。
- 文化和語境適應性：使模型能夠適應不同的文化背景和語境，並尊重多樣性。

**達成 Alignment 的方法**
1. 數據集和標記：使用多元化和包容性的數據集，並確保數據標記過程考慮了道德和文化多樣性。
2. 持續監督和反饋：通過人類的監督和持續的反饋循環來調整和完善模型。
3. 公平性和偏見測試：定期進行模型的公平性和偏見評估，以確保其輸出不會不公正地歧視某些群體。
4. 透明性和解釋性：提高模型的透明度，使其決策過程更容易被理解和審查。
5. 政策和法規遵循：遵守相關的數據保護和隱私法規，並確保模型符合法律和社會標準。

->
:::

:::spoiler 2. 什麼是RLHF(Reinforcement Learning from Human Feedback)?
++[觀看 李宏毅Reinforcement Learning 101](https://youtu.be/XWukX-ayIrs?si=OWgPUt6tZQgkmTws)++
要實現 Reinforcement Learning from Human Feedback (RLHF) 涉及幾個關鍵步驟。這個過程結合了傳統的強化學習和人類的直接反饋，以改進模型的性能和行為。以下是實施 RLHF 的一般步驟：

1. 數據收集
初始數據集的創建：使用人工標記的數據集開始，這些數據應涵蓋你的模型需要處理的各種情境和問題。
示範：專業人士或目標用戶群體提供模型應該如何在特定情況下回應的示範。
2. 監督學習階段
預訓練模型：使用監督學習方法訓練你的模型，使其能夠模仿人類的決策過程。
模型評估：定期評估模型性能，以確保它按照預期學習和回應。
3. 強化學習階段
報酬函數設計：根據人類反饋創建一個報酬函數，該函數反映模型輸出的質量。
訓練：使用強化學習算法根據報酬函數訓練模型。在這一階段，模型會試圖最大化其在這個報酬函數下的表現。
4. 人類反饋循環
持續反饋：讓人類評估模型的輸出，提供正面或負面的反饋。
模型調整：根據這些反饋調整模型的行為。這可能涉及調整報酬函數或重新訓練模型。
5. 迭代改進
持續監測和評估：持續監測模型性能並定期進行評估。
反饋整合：將新的人類反饋整合到訓練過程中。

:::

:::spoiler 3. 何謂檢索增強生成(RAG)?
檢索增強生成（Retrieval-Augmented Generation，簡稱 RAG）是一種自然語言處理技術，結合了信息檢索（Retrieval）和文本生成（Generation）的方法。這種技術通常用於大型語言模型，以提升其回答問題和生成文本的能力。以下是 RAG 的一些關鍵要點：

### RAG 的工作原理

1. **信息檢索階段**：當模型收到一個查詢（例如一個問題）時，它首先執行信息檢索任務。這意味著模型會從一個大型的文本數據庫中尋找與查詢相關的文檔或信息片段。

2. **文本生成階段**：檢索到相關信息後，模型利用這些信息來生成回答或文本。在這一階段，模型結合了原始查詢和檢索到的信息，以生成一個連貫、準確的回答或文本。

### RAG 的應用

- **問答系統**：RAG 可以用於增強問答系統的準確性，尤其是在需要外部知識的情況下。

- **內容創建**：在生成文章、報告或其他文本時，RAG 可以提供相關信息和背景，使生成的內容更豐富、準確。

- **對話系統**：RAG 可以用於提高聊天機器人的對話質量，使其回答更加信息豐富且相關。

### RAG 的優勢

- **信息豐富性**：通過整合外部信息，RAG 可以生成更加準確和詳細的回答。

- **靈活性**：RAG 允許模型在面對不熟悉的查詢時，能夠從其數據庫中檢索相關信息，從而提高其適應性。

- **深度和準確性**：相較於僅依賴預訓練知識的模型，RAG 能夠提供更深入和準確的見解。

### 技術挑戰

- **數據庫的質量和範圍**：RAG 模型的性能很大程度上取決於其檢索數據庫的質量和全面性。

- **檢索與生成的協調**：檢索到的信息必須與生成過程協調一致，以確保生成的文本相關且連貫。

- **處理錯誤信息**：RAG 需要能夠處理檢索階段可能引入的錯誤或不準確的信息。
:::

:::spoiler 4. ChatGPT要做到領域內的回答需要多少的資料量才可以？回答的內容是否也僅限於提供的資料內？

:::

:::spoiler 5.RL的設計上要怎麼設計？

:::

::::

---

## 1/2 【ChatGPT Prompt Engineering for Developers】
[2024/1/2 LLM讀書會第2週錄影](https://zoom.us/rec/share/dqGDZdVvp8M4qgDe5ok5nvmzfaskW108Ty5Z2DJkUsbPn-aC_-dWKVJT4z3_iDJa.hClHugwoLID_wpgA)
密碼: #LLM1313677

see -> [ChatGPT Prompt Engineering for Developers](https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/rJbxnZKDp)

--> [第四組紘嘉筆記](https://hackmd.io/@wQJtnj7sQEagWAEtO8foqw/hongallm_preview2)

--> [曉玲主筆](https://hackmd.io/@my1eZv_ESXav6PaDtO-Rig/rkFWMxavp)

**提問** (同步試算表中的提問內容)
:::info
1. 是否有更好的方法解決幻覺這塊？ ->海妖之歌
2. 如何解決
:::

---

## 1/9 【Building Systems with the ChatGPT API】
see -> [Building Systems with the ChatGPT API](https://learn.deeplearning.ai/chatgpt-building-system/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/HJyzfD5DT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

---
## 1/16 【LangChain for LLM Application Development】
see -> [LangChain for LLM Application Development](https://learn.deeplearning.ai/langchain/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/S1vAQw5Dp)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 1/23 【LangChain: Chat with Your Data】
see -> [LangChain: Chat with Your Data](https://learn.deeplearning.ai/langchain-chat-with-your-data/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/SJu04v9DT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 1/30 報告日【Building Generative AI Applications with Gradio】
see -> [Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/ByuIBw9P6)
--> [Demo](#)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 2/6 【Quality and Safety for LLM Applications】
see -> [Quality and Safety for LLM Applications](https://learn.deeplearning.ai/quality-safety-llm-applications)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/rJQAHDcwT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 2/20 【Finetuning Large Language Models】
see -> [Finetuning Large Language Models](https://learn.deeplearning.ai/finetuning-large-language-models/)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/BydHUwcPa)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

---
# 期末專題 (TBD)
(建議每組PM,SA,前端,後端,領域專家及資料工程師,原則上限10個人)

## 陪伴聊天機器人
簡述：一款專為舒緩憂鬱症症狀而設計的陪伴型聊天機器人APP，這款應用程序通過提供情感支持和心理健康資源來幫助用戶。結合先進的人工智慧技術，如自然語言處理和情感分析，這款機器人能夠理解和回應用戶的感受，提供個性化的對話和建議。它還可以進行基本的心理健康教育，介紹緩解壓力和焦慮的技巧。此外，該機器人還提供鏈接到專業的心理健康服務，以便用戶在需要時尋求專業幫助。這款APP旨在為患有憂鬱症的人提供一個隨時可用、非判斷性的聆聽者，幫助他們感受到支持和理解。

### 解決痛點

1. **情感孤立和支持不足**：許多患有憂鬱症的人面臨缺乏理解和情感支持的問題。此聊天機器人提供一個隨時可用的、同情心的聆聽者，減少他們的孤立感。
2. **心理健康資源的匱乏**：許多人可能無法輕易接觸到心理健康專業人士或不知道如何尋求幫助。這款應用可以提供心理健康教育和專業資源的連結。
3. **自我管理技巧的缺乏**：提供緩解壓力和焦慮的自我幫助技巧，幫助用戶學會自我管理其症狀。
4. **保護當事人隱私**：許多人面對憂鬱的狀況難以言喻，多半無法直接透露，利用AI機器人協助敞開使用者心防

### 技術架構
AWS, openapi, langchain, RAG...

1. **自然語言處理(NLP)**：使用先進的NLP技術來分析用戶的語言，理解他們的情感狀態和需求。
2. **情感分析**：通過情感分析來評估用戶的心情和情感狀態，從而提供更為個性化的回應。
3. **機器學習與深度學習**：利用機器學習和深度學習技術進行持續學習和改善，以提高對話的相關性和有效性。
4. **使用者行為分析**：追蹤和分析用戶的互動數據，以優化應用的效能和用戶體驗。
5. **安全性和隱私**：確保數據的安全性和用戶隱私的保護，遵守相關的數據保護法規。

### 技術障礙

1. **準確的情感分析**：準確識別和回應用戶情感的挑戰，特別是在涉及微妙和複雜的情感表達時。
2. **個性化回應**：開發一個可以真正理解並針對個別用戶需求提供個性化建議的系統。
3. **數據安全與隱私保護**：確保用戶數據的安全，並處理隱私問題，尤其是在處理敏感的心理健康信息時。
4. **界定範圍和責任**：確定機器人的功能範圍，以避免替代專業心理健康服務，並清楚定義其在用戶心理健康管理中的角色和責任。
5. **技術可及性和普及性**：確保應用對所有潛在用戶，包括不同語言和文化背景的用戶，都是可及和適用的。

## 智能客服機器人
簡述：一個針對電子商務平台的智能客服機器人將提供即時、高效且個性化的客戶服務體驗。利用先進的人工智慧技術，包括自然語言處理（NLP）和機器學習，這個機器人能夠理解並回應客戶的查詢，從基本的商品資訊查詢到複雜的訂單處理問題。它能夠24小時全天候提供服務，減少客戶等待時間，並能夠從歷史數據學習，不斷提高問題解決的準確性和效率。此外，智能客服機器人還能夠識別需要轉接給人工客服的複雜案例，確保客戶問題得到適當且及時的解決。這將極大提升客戶滿意度，同時也減輕了人工客服的工作負擔。

### 解決痛點

1. **客服效率**: 自動化回答常見問題，減輕人工客服的負擔，提升整體客服效率。
2. **24/7服務**: 提供全天候服務，確保即使在非工作時間也能快速回應客戶需求。
3. **個性化體驗**: 通過學習客戶行為和偏好，提供更個性化的購物和客服體驗。
4. **多語言支持**: 支持多種語言，擴大服務範圍，覆蓋更廣泛的客戶群體。
5. **客戶滿意度**: 通過快速有效的問題解決，提高客戶滿意度和品牌忠誠度。

### 技術架構

1. **自然語言處理(NLP)**: 用於理解和處理自然語言用戶查詢。
2. **機器學習與深度學習**: 用於不斷學習客戶行為，並改善回答質量和準確性。
3. **數據庫管理**: 存儲和檢索客戶數據、訂單歷史和常見問題答案。
4. **用戶界面(UI)**: 簡單直觀的界面，讓客戶輕鬆與機器人互動。
5. **API集成**: 與現有的電商平台、庫存管理系統和物流追蹤系統集成。

### 技術障礙

1. **語言理解準確性**: 確保機器人能夠準確理解多樣化且有時模糊不清的用戶查詢。
2. **個性化推薦的挑戰**: 開發高效的算法來提供個性化的用戶體驗和建議。
3. **多語言支持**: 跨越語言障礙，開發多語言支持功能。
4. **安全性和隱私問題**: 確保所有客戶數據的安全性和隱私保護，遵守相關法律法規。
5. **無縫人工轉接**: 當遇到複雜問題時，平滑地將客戶轉接到人工客服，確保客戶體驗不受影響。

## 保險智能問答
簡述：一款專門為電子商務平台上的保險產品而設計的智能問答服務，旨在簡化和優化客戶購買保險的體驗。這項服務運用先進的人工智慧技術，包括自然語言處理（NLP）和機器學習，來準確理解及回應關於保險產品的各種查詢。無論客戶對保險條款的疑問、保險覆蓋範圍的詳情，還是保費計算方式的解釋，這個智能問答系統均能提供迅速而精準的答案。
此系統還能根據客戶的具體需求和情況推薦最合適的保險產品，幫助他們清晰了解各種保險選擇之間的區別。這不僅提升了客戶的購買體驗，也有助於提高轉化率和客戶滿意度，同時減輕人工客服的工作壓力。通過這種方式，電商平台能夠提供更全面和專業的保險諮詢服務，增強用戶黏性。

### 解決痛點

1. **複雜的保險資訊理解**：消除客戶對保險產品複雜條款的理解障礙，提供清晰、易懂的解釋和資訊。
2. **個性化保險建議**：根據客戶的特定需求和情況，提供個性化的保險產品推薦。
3. **快速響應客戶查詢**：減少客戶等待時間，提供即時回答，提升客戶滿意度。
4. **提高轉化率**：透過專業且針對性的建議，促進客戶對保險產品的理解和購買意願。
5. **減輕客服負擔**：自動化常見問題的回答，減少人工客服的工作壓力。

### 技術架構

1. **自然語言處理（NLP）**：用於處理和理解客戶的自然語言查詢。
2. **機器學習與深度學習**：分析客戶數據和行為，提供個性化推薦和改善問答質量。
3. **數據庫管理**：存儲保險產品資訊、客戶查詢歷史和偏好設定。
4. **使用者界面（UI）**：設計直觀且友好的使用者界面，以提升客戶互動體驗。
5. **API集成**：與電商平台的其他系統（如商品展示、購物車、支付系統）進行整合。

### 技術障礙

1. **準確理解複雜查詢**：準確處理和回答關於複雜保險條款的查詢。
2. **個性化推薦算法**：開發高效的算法以提供精準的個性化保險產品推薦。
3. **多語言和方言支持**：為不同語言和方言的用戶提供準確的問答服務。
4. **數據安全與隱私保護**：保護客戶的個人和交易數據，符合相關法律和規範。
5. **持續學習與優化**：機器人需要不斷學習和適應新的保險產品及市場變化，以保持其問答的準確性和相關性。

---

# 常用連結
- [學習記錄表](https://docs.google.com/spreadsheets/d/1s1E5I_CgYgIF343VGNCscZy10_fSikVnn6C4baiEzek/edit#gid=1159507635)
- [八周課程內容簡介](https://gamma.app/docs/-vsoxoexxs6v3qzp?mode=doc=80%x)

---
# 參考文獻
1. [Prompt Inhect Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g)

2. [Getting Started with Gemini Pro on Google AI Studio](https://www.youtube.com/watch?v=HN96QDFBD0g)

3. [使用 AutoGPTQ 和 transformers 让大语言模型更轻量化](https://huggingface.co/blog/zh/gptq-integration)

4. [Getting Started with Gemini Pro on Google AI Studio](https://www.youtube.com/watch?v=HN96QDFBD0g)

---

# 學習資源(自我提升)
## 5分鐘快速上手的教學
- [影片 I built a GPT Investment Banker using this 312 PAGE document](https://youtu.be/u8vQyTzNGVY?si=aFVjAcrskkhkTXGL)

## HuggingFace
- [HuggingFace 101](https://huggingface.co/learn/nlp-course/zh-TW/chapter1/1)
- [Gradio 簡介](https://huggingface.co/learn/nlp-course/zh-TW/chapter9/1?fw=pt)

## LangChain 系列([攻略與整合](https://hackmd.io/@aia-llm-group6/BJ0uYuBPp))
- [Building LLM-Powered Web Apps with Client-Side Technology](https://blog.langchain.dev/building-llm-powered-web-apps-with-client-side-technology/)

## Blog / 教學文件
- [Prompt Engineering Guide](https://www.promptingguide.ai)

## 論壇資源
- [DeepLearning.AI 論壇](https://community.deeplearning.ai/c/introductions/409)
- [Discord - Learn AI Together](https://discord.gg/xu4m7jXC)

# [**Markdown 語法大全**](https://hackmd.io/@eMP9zQQ0Qt6I8Uqp2Vqy6w/SyiOheL5N/%2FBVqowKshRH246Q7UDyodFA?type=book)