---
# System prepended metadata

title: 1.Federated Learning(退選)
tags: [多媒體網路]

---

# 1.Federated Learning(退選)
退選

# 2.Non-IID learning(未到)
未到


# 3.Knowledge Distillation知識蒸餾
## 報告 薛弘旻
模型
適合資源受限環境壓縮技術

teacher-student架構將大模型知識轉移到更小的模型，

Teacher model:
    通常是大型且性能優秀的學習模型，不限於正確答案
    
    
軟標籤提供透過溫度餐調整
讓溫度圖更平滑
操作過程會損失?
分硬損失和軟損失

接竟會靠近0或1
增加題集讓預測接近
學生模型模擬老師模型的思考過程
 T值(temperature)越大效果越好
 teacher model 轉換蒸餾(壓縮)
 
 
基於回應
基於特徵的知識 用於影像分割
基於關係
    


    
## Q&A
1. P.6 --> softmax:輸出是0-1的區間
參數(function?)調整溫度輸出(?
2. P.7 --> 硬損失是什麼?
KL demergern(?
3. P.9 -->是否有自己跑過程式，Dataset(資料集)用哪個?
    cifar10 分辨馬的圖片(有10種物件要分辨是不是馬)

4. (P.9)
    teacher model 是用哪一個? --> KD(知識蒸餾)，是用CNN的model，有好幾層convolution

5. (p.15) ![1000032735](https://hackmd.io/_uploads/HJNmEhW-ge.jpg)

    圖表的橫軸、縱軸分別是什麼?
    * 橫軸 --> 10個物件(labels)
    * 縱軸 --> 準確率(accuracy)，最高是1

6. 前面說 T值越大 準確率越高，但後面說Temperature= 4,5,6時，5會最佳

----------
# 4.Model Evaluation Mertrics for Machine Learing模型評估指標
[簡報連結](https://www.canva.com/design/DAGl0UjweVI/0cAC8PthANHiQwJw9zrGSw/edit?utm_content=DAGl0UjweVI&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton)
## 報告
* 黃金鼠
平均絕對誤差
對異常直不敏感
sse 殘差平方和
confusion matrix

f1 score
適合正負樣本不平衡的情況

ROC curve and AUC
0.5=亂猜
<0.5比亂猜還差，反預測
ndcg
用在搜尋引擎


* 聿庭
確認預測值 = 實際值的準確程度
回歸模型、分類模型

* 回歸模型
MAE
MAPE
無法處理 分母等於0的情況
SSE
MSE
RMSE
R平方 主要是0~1，越接近1越好
* 分類模型
ROC curve and AUC



* 41

* 517
評估機器學習性能與有效性的指標，確保簡潔
分類與迴歸是監督式學習
群集分析(切割式與階層式) 非監督式
 自變數 因變數
 找兩者的關係，建立適當的數學模型來描述
 平均值誤差: 用於解釋誤差指數
 平均絕對百分比誤差: 
 sse殘差平方和:值越小越準，預測與實際差多少
 MSE均方誤差:原始單位的平方
 RMSE均方根誤差:易解讀，大誤差敏感
 R² 接近1越好，
 評估指標
 Accuracy: 適合正負樣暪平均的情況，不平均會有誤導
 confusion matric:適合分類問題(正樣本與負樣本定義)
 正樣本(屬於)負樣本(不屬於)
 Precision 正樣本預測值
 recall 較敏感...
 f1 score:不能在乎答對多少，適合正負樣本不均的使用
 FPR 假陽率:越低越好
 TPR 真陽率:越高越好
 
 ROC value...: 適合樣本不均的
 CG:每個物件關聯性組合
 NDGG:排序準確性(適合收尋引擎)
 RI:0~1 1是分群與真實一致，公式:全部分之都屬於與都不屬於
 MI:衡量資訊分群程度
 CV error: 驗證過程的平均誤差，適用監督式模型
 BLEU: 比較n-gram重疊情況，適用文本類模型(?
 
## Q&A
1. ==重點!!!(p.33)==
![image](https://hackmd.io/_uploads/rJKzc2-Wel.png =30%x)

P.16 頁右圖是multi labels(我查不到multi labels一樣的圖)，Targer = true，Output = predict
support是誰麼意思
recall是怎麼算的
* 0.89=17/(17+2)
* 0.86=12/(12+2)
confusion matric(混淆矩陣)有四種排列組合(預測predict對真實true對、預測錯)，但很多應用是multi label(多個物件答案較複雜)，recall跟precision要會算(從矩陣推得)
accuracy是對角線相加除以總數
# 5.Transfer Learning轉移學習

## 報告(登偉)
* 黃金鼠

* fine tuning
* 欲
* multitasking leA
domain
* 聿庭
Fine tuning --> 微調
Multitask Learning --> 共享能力


* 41
    * 轉移學習，將以訓練好的模型轉移到另一個新模型
    * source domain -- 已存在的知識或以學習到的
    * target domain 欲學習、訓練
    * multitasking learning
        讓 model 同時學習很多東西
        e.g. 翻譯要有很多種語言(同時學習)
    * source classifier vs feature extractor?
      
* 517

## Q&A
1. 實作用什麼model?
resnet18

2. (p.13) 什麼是Epoch?
從第一層跑到結果出來。一次就是一個 epoch，會將所有 data 測試一次做越多次通常準確率越高，前幾次提升較高，後會漸少，加上震盪不會永遠更高
![image](https://hackmd.io/_uploads/B1dgGa-Zeg.png)
epoch, loss, accuracy 

validation Accuracy:訓練過程中的驗證
* dataset包含
    * training
    * validation
    * testing

* overfitting-->太遷就幾個資料集，為了幾個資料彎曲曲線，但也會判斷幾個資料

# 6.Natural language processing自然語言處理
## 報告(智傑)
* 黃金鼠
    應用在機器翻譯情感分析郵件分類聊天機器人
    規則式
        正表達式
        語法樹
    機器學習 特徵工程  特徵建構提取
        監督式
        非監督式
        半監督式
        強囃學習
多模態融合
低資源語言支援

* 聿庭

1. 規則式

2. BNF語法

機器學習
BMI
1.6m
特徵提取--> BMI
3. 深度學習
自然語言處理，CNN可以處理空間上的上下文，RNN 處理時間上的上下文

未來發展
多模態融合-->反諷語氣 機器不懂 拍一部影片
低資源語言支援 --> 阿美族語 保存文化
* 41

* 517
## Q&A





-----------------------------------
:::warning
# 報告注意事項
1. 資料最後要放上參考資料來源
2. 不清楚的知識，可以保留原文後面放上中文
   ex : 硬損失跟軟損失的差別? 
    專有名詞的定義與差異要搞懂
3. 圖表單位與名稱要標示
4. 應該要用成功案例來說明(要放最佳結果的圖表)
5. 確定後再下結論
6. 要會解釋圖表上的數值是怎麼來的
:::







