# 大型語言模型實作讀書會第六組
## 報告主題: [Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)
## 報告日期 113/1/30
## PM:herman

[TOC]

---

大型語言模型實作 讀書會-第六組
===

## 報告主題：[Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)
## 報告日期： 113/1/30

### 每週資料彙整
### 每週會議時間 (TBD)：每週四 21:00~21:30

### 組長副組長清單

| | 中文名字 | LINE 姓名| 問題搜集 |
| -------- | -------- | -------- | ------|
| 組長 | 林士桓 | 林士桓(Sean Lin) | 12/26 |
| 副組長 | 周君諦 | Peter Chou | 12/26 |
| 副組長 | 邱曉玲 | | 1/2 |
| 副組長 | 謝曉慧 | | 1/9 |
| 副組長 | 陳正哲 | | 1/16 |
| 副組長 | 張益銘 | York | 1/23 |
| 副組長 | 王天舟、林士桓 | | 1/30 |
| 副組長 | 朱昱誠 |朱 | 2/6 |
| 副組長 | 怡如 | | 2/20 |

# 每週學習記錄
## 12/19 第一次讀書會說明

- [讀書會說明](https://hackmd.io/s-ywY45mRICfWhZDgWB4PQ?both#/=80%x)
- [八周課程內容簡介](https://gamma.app/docs/-vsoxoexxs6v3qzp?mode=doc=80%x)
- [**學習紀錄-google共編**](https://docs.google.com/spreadsheets/d/1b5frS7nqzr22xfA3kMQQ49EbchN6t3r5/edit#gid=1007208352)

---

## 12/26 【80 分鐘快速了解大型語言模型】

::::spoiler :pencil:**12/26 其他筆記連結**
:::info
- [1226課程-紘嘉的預習筆記](https://hackmd.io/@wQJtnj7sQEagWAEtO8foqw/hongallm_preview1)
- [1226課程-志傑的預習筆記](https://hackmd.io/@2mTdQRyeS2K6yC1CpWBIiQ/ByQJRGdUp)

:::
::::

### 李弘毅老師-80分鐘快速了解大型語言模型
See -> [80分鐘快速了解大型語言模型](https://youtu.be/wG8-IUtqu-s?si=zixD9AzNaDI1vWaC)

--> [李宏毅課程簡報](https://drive.google.com/file/d/1QxQz3cjJPjwE4PfO5eXtnj736jAZPK1P/view)
--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/HkRBvXEPT)

### Intro to Large Language Models
See -> [Intro to Large Language Models](https://youtu.be/zjkBMFhNj_g?si=lMQVupjunafqtFVa)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/S14cTwrwp)

**提問** (同步試算表中的提問內容)
::::info
:::spoiler 1. 大型語言模型RLHF提到的Alignment 是什麼意思？
在大型語言模型的訓練過程中，"Alignment"（對齊）是一個關鍵概念，它指的是使模型的行為與人類的價值觀和期望保持一致。這個概念在開發像 ChatGPT 這樣的高級 AI 系統時尤為重要，因為它們需要理解和適應廣泛且多樣的人類語境和需求。

**Alignment 關注的主要方面**
- 價值觀和道德原則：確保模型的回應和行為反映出普遍接受的道德和倫理標準。
- 安全性和可靠性：保證模型不會產生有害、誤導性或不恰當的輸出。
- 用戶意圖的理解：讓模型能夠準確地理解並適應用戶的意圖和上下文。
- 文化和語境適應性：使模型能夠適應不同的文化背景和語境，並尊重多樣性。

**達成 Alignment 的方法**
1. 數據集和標記：使用多元化和包容性的數據集，並確保數據標記過程考慮了道德和文化多樣性。
2. 持續監督和反饋：通過人類的監督和持續的反饋循環來調整和完善模型。
3. 公平性和偏見測試：定期進行模型的公平性和偏見評估，以確保其輸出不會不公正地歧視某些群體。
4. 透明性和解釋性：提高模型的透明度，使其決策過程更容易被理解和審查。
5. 政策和法規遵循：遵守相關的數據保護和隱私法規，並確保模型符合法律和社會標準。

->
:::

:::spoiler 2. 什麼是RLHF(Reinforcement Learning from Human Feedback)?
++[觀看 李宏毅Reinforcement Learning 101](https://youtu.be/XWukX-ayIrs?si=OWgPUt6tZQgkmTws)++
要實現 Reinforcement Learning from Human Feedback (RLHF) 涉及幾個關鍵步驟。這個過程結合了傳統的強化學習和人類的直接反饋，以改進模型的性能和行為。以下是實施 RLHF 的一般步驟：

1. 數據收集
初始數據集的創建：使用人工標記的數據集開始，這些數據應涵蓋你的模型需要處理的各種情境和問題。
示範：專業人士或目標用戶群體提供模型應該如何在特定情況下回應的示範。
2. 監督學習階段
預訓練模型：使用監督學習方法訓練你的模型，使其能夠模仿人類的決策過程。
模型評估：定期評估模型性能，以確保它按照預期學習和回應。
3. 強化學習階段
報酬函數設計：根據人類反饋創建一個報酬函數，該函數反映模型輸出的質量。
訓練：使用強化學習算法根據報酬函數訓練模型。在這一階段，模型會試圖最大化其在這個報酬函數下的表現。
4. 人類反饋循環
持續反饋：讓人類評估模型的輸出，提供正面或負面的反饋。
模型調整：根據這些反饋調整模型的行為。這可能涉及調整報酬函數或重新訓練模型。
5. 迭代改進
持續監測和評估：持續監測模型性能並定期進行評估。
反饋整合：將新的人類反饋整合到訓練過程中。

:::

:::spoiler 3. 何謂檢索增強生成(RAG)?
檢索增強生成（Retrieval-Augmented Generation，簡稱 RAG）是一種自然語言處理技術，結合了信息檢索（Retrieval）和文本生成（Generation）的方法。這種技術通常用於大型語言模型，以提升其回答問題和生成文本的能力。以下是 RAG 的一些關鍵要點：

### RAG 的工作原理

1. **信息檢索階段**：當模型收到一個查詢（例如一個問題）時，它首先執行信息檢索任務。這意味著模型會從一個大型的文本數據庫中尋找與查詢相關的文檔或信息片段。

2. **文本生成階段**：檢索到相關信息後，模型利用這些信息來生成回答或文本。在這一階段，模型結合了原始查詢和檢索到的信息，以生成一個連貫、準確的回答或文本。

### RAG 的應用

- **問答系統**：RAG 可以用於增強問答系統的準確性，尤其是在需要外部知識的情況下。

- **內容創建**：在生成文章、報告或其他文本時，RAG 可以提供相關信息和背景，使生成的內容更豐富、準確。

- **對話系統**：RAG 可以用於提高聊天機器人的對話質量，使其回答更加信息豐富且相關。

### RAG 的優勢

- **信息豐富性**：通過整合外部信息，RAG 可以生成更加準確和詳細的回答。

- **靈活性**：RAG 允許模型在面對不熟悉的查詢時，能夠從其數據庫中檢索相關信息，從而提高其適應性。

- **深度和準確性**：相較於僅依賴預訓練知識的模型，RAG 能夠提供更深入和準確的見解。

### 技術挑戰

- **數據庫的質量和範圍**：RAG 模型的性能很大程度上取決於其檢索數據庫的質量和全面性。

- **檢索與生成的協調**：檢索到的信息必須與生成過程協調一致，以確保生成的文本相關且連貫。

- **處理錯誤信息**：RAG 需要能夠處理檢索階段可能引入的錯誤或不準確的信息。
:::

:::spoiler 4. ChatGPT要做到領域內的回答需要多少的資料量才可以？回答的內容是否也僅限於提供的資料內？

:::

:::spoiler 5.RL的設計上要怎麼設計？

:::

::::

---

## 1/2 【ChatGPT Prompt Engineering for Developers】
see -> [ChatGPT Prompt Engineering for Developers](https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/rJbxnZKDp)

--> [第四組紘嘉筆記](https://hackmd.io/@wQJtnj7sQEagWAEtO8foqw/hongallm_preview2)

--> [曉玲主筆](https://hackmd.io/@my1eZv_ESXav6PaDtO-Rig/rkFWMxavp)

**提問** (同步試算表中的提問內容)
:::info
1. 是否有更好的方法解決幻覺這塊？ ->海妖之歌
2. 如何解決
:::

---

## 1/9 【Building Systems with the ChatGPT API】
see -> [Building Systems with the ChatGPT API](https://learn.deeplearning.ai/chatgpt-building-system/lesson/1/introduction)

--> [5分鐘精簡筆記(曉惠主筆)](https://hackmd.io/@aia-llm-group6/HJyzfD5DT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

---
## 1/16 【LangChain for LLM Application Development】
see -> [LangChain for LLM Application Development](https://learn.deeplearning.ai/langchain/lesson/1/introduction)

--> [5分鐘精簡筆記(正哲主筆)](https://hackmd.io/@aia-llm-group6/S1vAQw5Dp)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 1/23 【LangChain: Chat with Your Data】
see -> [LangChain: Chat with Your Data](https://learn.deeplearning.ai/langchain-chat-with-your-data/lesson/1/introduction)

--> [5分鐘精簡筆記()](https://hackmd.io/@aia-llm-group6/SJu04v9DT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 1/30 報告日【Building Generative AI Applications with Gradio】
see -> [Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/ByuIBw9P6)
--> [Demo](#)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 2/6 【Quality and Safety for LLM Applications】
see -> [Quality and Safety for LLM Applications](https://learn.deeplearning.ai/quality-safety-llm-applications)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/rJQAHDcwT)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

## 2/20 【Finetuning Large Language Models】
see -> [Finetuning Large Language Models](https://learn.deeplearning.ai/finetuning-large-language-models/)

--> [5分鐘精簡筆記](https://hackmd.io/@aia-llm-group6/BydHUwcPa)

**提問** (同步試算表中的提問內容)
:::info
1. 問題一
2. 問題二
:::

---
# 期末專題 (TBD)

## 陪伴聊天機器人

## 智能客服機器人

## 保險智能問答

---

# 常用連結
- [學習記錄表](https://docs.google.com/spreadsheets/d/1s1E5I_CgYgIF343VGNCscZy10_fSikVnn6C4baiEzek/edit#gid=1159507635)
- [八周課程內容簡介](https://gamma.app/docs/-vsoxoexxs6v3qzp?mode=doc=80%x)

---
# 參考文獻
1. [Prompt Inhect Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g)

2. [Getting Started with Gemini Pro on Google AI Studio](https://www.youtube.com/watch?v=HN96QDFBD0g)

3. [使用 AutoGPTQ 和 transformers 让大语言模型更轻量化](https://huggingface.co/blog/zh/gptq-integration)

4. [Getting Started with Gemini Pro on Google AI Studio](https://www.youtube.com/watch?v=HN96QDFBD0g)

---

# 學習資源(自我提升)
## 5分鐘快速上手的教學
- [影片 I built a GPT Investment Banker using this 312 PAGE document](https://youtu.be/u8vQyTzNGVY?si=aFVjAcrskkhkTXGL)

## HuggingFace
- [HuggingFace 101](https://huggingface.co/learn/nlp-course/zh-TW/chapter1/1)
- [Gradio 簡介](https://huggingface.co/learn/nlp-course/zh-TW/chapter9/1?fw=pt)

## LangChain 系列([攻略與整合](https://hackmd.io/@aia-llm-group6/BJ0uYuBPp))
- [Building LLM-Powered Web Apps with Client-Side Technology](https://blog.langchain.dev/building-llm-powered-web-apps-with-client-side-technology/)

## Blog / 教學文件
- [Prompt Engineering Guide](https://www.promptingguide.ai)

## 論壇資源
- [DeepLearning.AI 論壇](https://community.deeplearning.ai/c/introductions/409)
- [Discord - Learn AI Together](https://discord.gg/xu4m7jXC)

# [**Markdown 語法大全**](https://hackmd.io/@eMP9zQQ0Qt6I8Uqp2Vqy6w/SyiOheL5N/%2FBVqowKshRH246Q7UDyodFA?type=book)