---
# System prepended metadata

title: 窮人版 ChatGPT - 筆記
tags: [AI 小道具]

---

# 窮人版 ChatGPT - 筆記


###### tags: `AI 小道具`


## Source
**Hung-yi Lee,【生成式AI】窮人如何低資源復刻自己的 ChatGPT (April 22, 2023)**
https://www.youtube.com/watch?v=rK_rZFew1yc

## Note
provided by Dada @230423 02:00 

* 1. 介紹
![](https://i.imgur.com/m8mHCXt.png)

* 2. 架構
![](https://i.imgur.com/V4IdHmj.png)

* 3. 範例
![](https://i.imgur.com/j5vTdJt.png)

* 4. 其它架構: Standford Alpaca
![](https://i.imgur.com/iRXwSpm.png)

* 5. 其它架構: Vicuna
![](https://i.imgur.com/0VJq3yO.png)

* 6. 其它架構: Vicuna  >  特色
![](https://i.imgur.com/B7oI2km.png)

* 7. LLM 架構比較表
![](https://i.imgur.com/8FzV8fN.png)

* 8. Lamma  >  License
➡️ Meta 的 LLaMA 有 License 申明使用限制
➡️ 故: 若拿 LLaMA 的 pre-train model 商用恐有違法之嫌
![](https://i.imgur.com/gd8N1YA.png)

* 9. 其它架構: Dolly
![](https://i.imgur.com/74jQrEv.png)

* 10. 比較 Vicuna 與 Alpaca 
➡️ Vicuna 相對 Alpaca 而言更好
➡️ 大概是因為 Vicuna 的 fine-tune 步驟來自人類提問 (share GPT)
➡️ 而 Alpaca 的提問 (prompt) 來自 LLM 模型, 非人類主動提問
![](https://i.imgur.com/bUIedej.png)

* 11. GPT-4 在 RL 任務上的應用
![](https://i.imgur.com/fUjHtjl.png)

* 12. GPT-4 在 RL 任務上的應用  >  Cont.
➡️ 叫 ChatGPT 給自己對提問的回答打分數 (滿意度評分)
![](https://i.imgur.com/wNfRyy0.png)

* 13. GPT-4 用途討論
➡️ HYL: 我的想法是
GPT-4 當老師 (照樣照句) 比 當學生 (打分數、產生 [問題+答案] 組合的評分) 更有效率
![](https://i.imgur.com/8LfTO7G.png)

* 14. GPT-4 用途討論  >  範例
➡️ 拿最常見 (最頻繁出現) 的 GPT-4 或 ChatGPT 回覆, 當成 (理論上的) 最佳 output
![](https://i.imgur.com/BUHvJNe.png)
