---
# System prepended metadata

title: AI . FREE Team 讀書會 - 2023/05/20
tags: [AIfreeteam]

---

# AI . FREE Team 讀書會 - 2023/05/20
###### tags: `AIfreeteam`

## 第一個主題：復刻大型語言模型案例
- 講者：國維
### Contents
Stanford Alpaca
* 這是一個實驗，和微軟合作的實驗
* 語言模型專有名詞

### 國維的學習流程
ChatGPT --> Alpaca Official Papaer --> Paper: Instruction Tuning with GPT-4

### 窮人如何復刻自己的 ChatGPT
- 動機: 資安
- 需要有一個現成的 Pre-Trained Model
- Bert 算喔!
- API 可以 Access 到 ChatGPT
- 以 ChatGPT 當作老師，開始做 Knowledge Distillation
- 用結果做 Knowledge Distillation
- 問題/任務/答案都交給 ChatGPT
- Microsoft 的實驗: Alpaca, Vicuna
- LLaMA 是不能商用的
- Dolly2.0

### Paper: Instruction Tuning with GPT-4
- 大型語言模型(LLM)評估方式還在探索
- Amazon Mturk
- HHH 指標：Helpfulness, Honesty, Harmlessness
- 土耳其的西洋棋機器人
- 8張80GB A100

宇星
---
![](https://hackmd.io/_uploads/Bku8PrUrh.png)
李宏毅 -> StanfordAlpaca -> Microsoft GPT-4

## 動機
- 復刻動機是因為要保持商業機密(政治因素)
- 拉馬是什麼? META LLaMa

## ChatGPT
ChatGPT來跟自己的Pre-trained模型一起訓練，ChatGPT來進行問題和任務的發想

## Alpaca
LLaMa -> Alpaca 
一個$500($100 training)


## Vicuna
將ShareGPT的資料進到LLaMa來進行
一個$300

## 如何評估
利用BenchMark去做Fintune，並用GPT-4去做評估，並且GPT-4是最棒的，Vicuna是人跟數據用的，所以他表現好

2. HHH指標
利用Amazon Mturk進行人工評估

![](https://hackmd.io/_uploads/HysRqrIrn.png)

LLava


想詢問的問題
Self-Instruct P7
Alpaca 掛掉的原因?
GPT4 如何評估
Why 這麼貴 (是500萬還是500塊?)
![](https://hackmd.io/_uploads/S1byYBLBh.png)
Alpaca 的大小多大，第 12 頁寫 13B，13Billion?


---
## 第二個主題：boosted trees (Adaboost, XGboost)
- 講者：喻甯

Tree-based Methods
Adaboot XGBoost
## Simple Trees
- Classification Tree vs. Regression Tree
- Impurity
- Purning

## Random Forests
- Based on decision tree
- Step 1: Bootstrapped set
- Step 2: Simple Tree
- Step 3: Prediction --> 多數決?我猜 ^_^
    - Random Forest 就像是民粹的群眾w
- Step 4: Evaluation

## Adaboost
- RF: No depth limit, Same weight, Order doesn't matter
- Adaboost: Dumps(weak learner), Different Weight, Order does matter

## XGBoost
- 會記取前面的教訓
- 8-32片樹葉
- Gain 看起來是 Gini Gain，是透過分割前後的 Similarity 相減得知


宇星
---
## Simple Tree
- Classification tree
- Regression tree

1. Bootstrapped set
![](https://hackmd.io/_uploads/rJ33yLUr2.png)
預測Profit程度

2. Simple Tree
Which is proper by decision tree?
- 下回分曉
首先可以先隨便取


3. Predicitions
形成很多數，並進行Performanace評價
Bootstrap the data and make predictions

4. Out of the bag set
Testing data，事前可以先分


## Adaboost
![](https://hackmd.io/_uploads/rkpql8ISn.png)

錯誤分類加重去加強測試看表現如何
比較可以做標準化的動作

## XGboost
![](https://hackmd.io/_uploads/rJmPZILH3.png)

XGboost會成長
Extreme Gradient boosting(8-32 leaves)
放入迭代的概念?
從一片葉子猜一個字做為出發
![](https://hackmd.io/_uploads/BkFxzIIHh.png)
決策樹
1. Similarity Score
2. 看Gain的大小，Gain比較高來畫(左+右-上面)
3. 剪枝，比較兩個方法哪一個比較好
![](https://hackmd.io/_uploads/SkqhG8IS3.png)
4. 算殘差來進行評估
5. XGboost的公式來進行計算用以逼近利於描述該資料的線，算出最相似的線
6. 總結步驟
![](https://hackmd.io/_uploads/HJXumUIrn.png)
Gamma幫助決定樹的大小



## 想問的問題
權重是什麼意思?喔懂了
Order 是什麼概念?

Q1: 錯誤分類是什麼? expensive越高是否profit越高，如果是，如果否
二元分類的問題


Q2: 標準化標準了什麼東西?


Q7: Gradient Boost 是什麼XDDD
從一個初始值+learning rate *預測值　＝　新資料集（４個值的逼近值）

Q3: Tree裡面的資料類型有什麼限制嗎?
![](https://hackmd.io/_uploads/By1EMU8r2.png)
數值的 回歸樹/分類樹
喻甯開了一個 150 怎麼選的坑XD

Q4: Gain怎麼來的?
- Similarity 用來算葉子的相似度有多高
- Gain(左+右-上面)，且如果有最下層就直接看最下層，選擇比較高的Gain來劃分


Gamma怎麼設定?
Gamma隨心情設定，應該會有策略的剪法，lamda可以更簡單把大的數字剪掉
補充：通常越深入，gain 會越小，所以其實會根據想要樹有多深(如8層)，來決定 gamma (感謝補充

Q5: 這個看起來好像在Regression找那條線?
每種方法都會有兩個Classification和Regression兩種分法。

Q6: 決策樹是不是可以做到跟Number partitioning(數字分區)一樣的功能?
![](https://hackmd.io/_uploads/SkVHSLIr2.png)
![](https://hackmd.io/_uploads/SJQUH8Ur2.png)
分支上的創意設計，需要有不同變數去做輔佐，設計來讓他能解決這類最佳化問題(有可能)。


