# 1.Federated Learning(退選) 退選 # 2.Non-IID learning(未到) 未到 # 3.Knowledge Distillation知識蒸餾 ## 報告 薛弘旻 模型 適合資源受限環境壓縮技術 teacher-student架構將大模型知識轉移到更小的模型， Teacher model: 通常是大型且性能優秀的學習模型，不限於正確答案 軟標籤提供透過溫度餐調整 讓溫度圖更平滑 操作過程會損失? 分硬損失和軟損失 接竟會靠近0或1 增加題集讓預測接近 學生模型模擬老師模型的思考過程 T值(temperature)越大效果越好 teacher model 轉換蒸餾(壓縮) 基於回應 基於特徵的知識 用於影像分割 基於關係 ## Q&A 1. P.6 --> softmax:輸出是0-1的區間 參數(function?)調整溫度輸出(? 2. P.7 --> 硬損失是什麼? KL demergern(? 3. P.9 -->是否有自己跑過程式，Dataset(資料集)用哪個? cifar10 分辨馬的圖片(有10種物件要分辨是不是馬) 4. (P.9) teacher model 是用哪一個? --> KD(知識蒸餾)，是用CNN的model，有好幾層convolution 5. (p.15) ![1000032735](https://hackmd.io/_uploads/HJNmEhW-ge.jpg) 圖表的橫軸、縱軸分別是什麼? * 橫軸 --> 10個物件(labels) * 縱軸 --> 準確率(accuracy)，最高是1 6. 前面說 T值越大 準確率越高，但後面說Temperature= 4,5,6時，5會最佳 ---------- # 4.Model Evaluation Mertrics for Machine Learing模型評估指標 [簡報連結](https://www.canva.com/design/DAGl0UjweVI/0cAC8PthANHiQwJw9zrGSw/edit?utm_content=DAGl0UjweVI&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton) ## 報告 * 黃金鼠 平均絕對誤差 對異常直不敏感 sse 殘差平方和 confusion matrix f1 score 適合正負樣本不平衡的情況 ROC curve and AUC 0.5=亂猜 <0.5比亂猜還差，反預測 ndcg 用在搜尋引擎 * 聿庭 確認預測值 = 實際值的準確程度 回歸模型、分類模型 * 回歸模型 MAE MAPE 無法處理 分母等於0的情況 SSE MSE RMSE R平方 主要是0~1，越接近1越好 * 分類模型 ROC curve and AUC * 41 * 517 評估機器學習性能與有效性的指標，確保簡潔 分類與迴歸是監督式學習 群集分析(切割式與階層式) 非監督式 自變數 因變數 找兩者的關係，建立適當的數學模型來描述 平均值誤差: 用於解釋誤差指數 平均絕對百分比誤差: sse殘差平方和:值越小越準，預測與實際差多少 MSE均方誤差:原始單位的平方 RMSE均方根誤差:易解讀，大誤差敏感 R² 接近1越好， 評估指標 Accuracy: 適合正負樣暪平均的情況，不平均會有誤導 confusion matric:適合分類問題(正樣本與負樣本定義) 正樣本(屬於)負樣本(不屬於) Precision 正樣本預測值 recall 較敏感... f1 score:不能在乎答對多少，適合正負樣本不均的使用 FPR 假陽率:越低越好 TPR 真陽率:越高越好 ROC value...: 適合樣本不均的 CG:每個物件關聯性組合 NDGG:排序準確性(適合收尋引擎) RI:0~1 1是分群與真實一致，公式:全部分之都屬於與都不屬於 MI:衡量資訊分群程度 CV error: 驗證過程的平均誤差，適用監督式模型 BLEU: 比較n-gram重疊情況，適用文本類模型(? ## Q&A 1. ==重點!!!(p.33)== ![image](https://hackmd.io/_uploads/rJKzc2-Wel.png =30%x) P.16 頁右圖是multi labels(我查不到multi labels一樣的圖)，Targer = true，Output = predict support是誰麼意思 recall是怎麼算的 * 0.89=17/(17+2) * 0.86=12/(12+2) confusion matric(混淆矩陣)有四種排列組合(預測predict對真實true對、預測錯)，但很多應用是multi label(多個物件答案較複雜)，recall跟precision要會算(從矩陣推得) accuracy是對角線相加除以總數 # 5.Transfer Learning轉移學習 ## 報告(登偉) * 黃金鼠 * fine tuning * 欲 * multitasking leA domain * 聿庭 Fine tuning --> 微調 Multitask Learning --> 共享能力 * 41 * 轉移學習，將以訓練好的模型轉移到另一個新模型 * source domain -- 已存在的知識或以學習到的 * target domain 欲學習、訓練 * multitasking learning 讓 model 同時學習很多東西 e.g. 翻譯要有很多種語言(同時學習) * source classifier vs feature extractor? * 517 ## Q&A 1. 實作用什麼model? resnet18 2. (p.13) 什麼是Epoch? 從第一層跑到結果出來。一次就是一個 epoch，會將所有 data 測試一次做越多次通常準確率越高，前幾次提升較高，後會漸少，加上震盪不會永遠更高 ![image](https://hackmd.io/_uploads/B1dgGa-Zeg.png) epoch, loss, accuracy validation Accuracy:訓練過程中的驗證 * dataset包含 * training * validation * testing * overfitting-->太遷就幾個資料集，為了幾個資料彎曲曲線，但也會判斷幾個資料 # 6.Natural language processing自然語言處理 ## 報告(智傑) * 黃金鼠 應用在機器翻譯情感分析郵件分類聊天機器人 規則式 正表達式 語法樹 機器學習 特徵工程 特徵建構提取 監督式 非監督式 半監督式 強囃學習 多模態融合 低資源語言支援 * 聿庭 1. 規則式 2. BNF語法 機器學習 BMI 1.6m 特徵提取--> BMI 3. 深度學習 自然語言處理，CNN可以處理空間上的上下文，RNN 處理時間上的上下文 未來發展 多模態融合-->反諷語氣 機器不懂 拍一部影片 低資源語言支援 --> 阿美族語 保存文化 * 41 * 517 ## Q&A ----------------------------------- :::warning # 報告注意事項 1. 資料最後要放上參考資料來源 2. 不清楚的知識，可以保留原文後面放上中文 ex : 硬損失跟軟損失的差別? 專有名詞的定義與差異要搞懂 3. 圖表單位與名稱要標示 4. 應該要用成功案例來說明(要放最佳結果的圖表) 5. 確定後再下結論 6. 要會解釋圖表上的數值是怎麼來的 :::