# AI . FREE Team 讀書會 - 2023/05/20
###### tags: `AIfreeteam`

## 第一個主題：復刻大型語言模型案例
- 講者：國維
### Contents
Stanford Alpaca
* 這是一個實驗，和微軟合作的實驗
* 語言模型專有名詞

### 國維的學習流程
ChatGPT --> Alpaca Official Papaer --> Paper: Instruction Tuning with GPT-4

### 窮人如何復刻自己的 ChatGPT
- 動機: 資安
- 需要有一個現成的 Pre-Trained Model
- Bert 算喔!
- API 可以 Access 到 ChatGPT
- 以 ChatGPT 當作老師，開始做 Knowledge Distillation
- 用結果做 Knowledge Distillation
- 問題/任務/答案都交給 ChatGPT
- Microsoft 的實驗: Alpaca, Vicuna
- LLaMA 是不能商用的
- Dolly2.0

### Paper: Instruction Tuning with GPT-4
- 大型語言模型(LLM)評估方式還在探索
- Amazon Mturk
- HHH 指標：Helpfulness, Honesty, Harmlessness
- 土耳其的西洋棋機器人
- 8張80GB A100

宇星
---
李宏毅 -> StanfordAlpaca -> Microsoft GPT-4

## 動機
- 復刻動機是因為要保持商業機密(政治因素)
- 拉馬是什麼? META LLaMa

## ChatGPT
ChatGPT來跟自己的Pre-trained模型一起訓練，ChatGPT來進行問題和任務的發想

## Alpaca
LLaMa -> Alpaca
一個$500($100 training)

## Vicuna
將ShareGPT的資料進到LLaMa來進行
一個$300

## 如何評估
利用BenchMark去做Fintune，並用GPT-4去做評估，並且GPT-4是最棒的，Vicuna是人跟數據用的，所以他表現好

2. HHH指標
利用Amazon Mturk進行人工評估


LLava

想詢問的問題
Self-Instruct P7
Alpaca 掛掉的原因?
GPT4 如何評估
Why 這麼貴 (是500萬還是500塊?)
Alpaca 的大小多大，第 12 頁寫 13B，13Billion?

---
## 第二個主題：boosted trees (Adaboost, XGboost)
- 講者：喻甯

Tree-based Methods
Adaboot XGBoost
## Simple Trees
- Classification Tree vs. Regression Tree
- Impurity
- Purning

## Random Forests
- Based on decision tree
- Step 1: Bootstrapped set
- Step 2: Simple Tree
- Step 3: Prediction --> 多數決?我猜 ^_^
- Random Forest 就像是民粹的群眾w
- Step 4: Evaluation

## Adaboost
- RF: No depth limit, Same weight, Order doesn't matter
- Adaboost: Dumps(weak learner), Different Weight, Order does matter

## XGBoost
- 會記取前面的教訓
- 8-32片樹葉
- Gain 看起來是 Gini Gain，是透過分割前後的 Similarity 相減得知

宇星
---
## Simple Tree
- Classification tree
- Regression tree

1. Bootstrapped set
預測Profit程度

2. Simple Tree
Which is proper by decision tree?
- 下回分曉
首先可以先隨便取

3. Predicitions
形成很多數，並進行Performanace評價
Bootstrap the data and make predictions

4. Out of the bag set
Testing data，事前可以先分

## Adaboost

錯誤分類加重去加強測試看表現如何
比較可以做標準化的動作

## XGboost

XGboost會成長
Extreme Gradient boosting(8-32 leaves)
放入迭代的概念?
從一片葉子猜一個字做為出發
決策樹
1. Similarity Score
2. 看Gain的大小，Gain比較高來畫(左+右-上面)
3. 剪枝，比較兩個方法哪一個比較好
4. 算殘差來進行評估
5. XGboost的公式來進行計算用以逼近利於描述該資料的線，算出最相似的線
6. 總結步驟
Gamma幫助決定樹的大小

## 想問的問題
權重是什麼意思?喔懂了
Order 是什麼概念?

Q1: 錯誤分類是什麼? expensive越高是否profit越高，如果是，如果否
二元分類的問題

Q2: 標準化標準了什麼東西?

Q7: Gradient Boost 是什麼XDDD
從一個初始值+learning rate *預測值　＝　新資料集（４個值的逼近值）

Q3: Tree裡面的資料類型有什麼限制嗎?
數值的 回歸樹/分類樹
喻甯開了一個 150 怎麼選的坑XD

Q4: Gain怎麼來的?
- Similarity 用來算葉子的相似度有多高
- Gain(左+右-上面)，且如果有最下層就直接看最下層，選擇比較高的Gain來劃分

Gamma怎麼設定?
Gamma隨心情設定，應該會有策略的剪法，lamda可以更簡單把大的數字剪掉
補充：通常越深入，gain 會越小，所以其實會根據想要樹有多深(如8層)，來決定 gamma (感謝補充

Q5: 這個看起來好像在Regression找那條線?
每種方法都會有兩個Classification和Regression兩種分法。

Q6: 決策樹是不是可以做到跟Number partitioning(數字分區)一樣的功能?
分支上的創意設計，需要有不同變數去做輔佐，設計來讓他能解決這類最佳化問題(有可能)。