以下整理幾種主流的 PEFT 方法，適合只更新少量參數快速微調大型模型： 🔹 LoRA（Low‑Rank Adaptation） 核心理念：保持預訓練參數不動，於 Transformer 層中注入低秩矩陣 (A, B)，僅更新這些矩陣 效能：參數效率高（<1%），在 GPT‑3 等模型上能減少多達 10,000 倍的可訓練參數，提速 3 倍，且不影響推論延遲 🔹 Adapter（適配器） 核心理念：於每層 Transformer 內加入瓶頸結構（down → up projection），只訓練這些瓶頸層 {index=3}。 效能：更新約 0.5–8% 參數，表現接近 full‐tuning，支援多任務切換

tuning image 🔍 圖示解讀 Feature‑based：Transformer 全部凍結，只利用 embedding 訓練 classifier。 Fine‑tuning I：Transformer 凍結，僅新增的 Fully Connected 層可更新。 Fine‑tuning II：整個模型包含所有 Transformer 層均可更新。 三種預訓練 Transformer 使用方式比較 1. Feature‑based approach（特徵提取方式） 流程：使用預訓練好的 Transformer 處理已標註的訓練資料，取得 embedding（通常是某一層 hidden state）。

kuse連結

▌大型語言模型(LLM)入門(1小時30分) 30分鐘-語言模型簡介：https://lihi.cc/Y2Y77 40分鐘-沒有炒作的LLM介紹：https://lihi.cc/yaRgV 10分鐘-LLM工作原理：https://lihi.cc/vsfpw 10分鐘-什麼是語義搜索：https://lihi.cc/XKt59 重點整理 ▌Transformer架構(1小時30分) 30分鐘-GPT是什麼？(3Blue1Brown)：https://lihi.cc/GDQWe

# GDG 台中三月活動筆記 {%hackmd r1xgQqz3kl %} {%hackmd Bk-T-hGnkg %}

2025/02/13 :::info smolagents ::: 連結 https://www.youtube.com/watch?v=IOdi5kTTvDU&ab_channel=龍龍AI與程式實戰 https://github.com/huggingface/smolagents 2025/02/12

softmax 講解影片 1.李政軒 2.王木头学科学

收錄資料科學（DS）的術語；按照英文字母序排列；提供比較詳盡的定義、實例、圖解、引註，術語之間有交互連結。 [!Warning] 部分定義使用 ChatGPT 生成，但經過團隊成員人工改寫。 目錄 E ETL ETL 是「提取、轉換、載入」三個步驟的縮寫，這三個步驟是資料處理過程中的關鍵階段。ETL 是指將資料從多個來源提取出來，轉換為適合分析或儲存的格式，然後將其載入到資料倉庫或其他資料儲存系統中。以下是每個步驟的簡要說明：

主題：Keras 放映影片：Video_2024-08-14_115653._類神經網路_03.mp4 播放完畢 搭配講義：DL Lecture 01 (How to construct an NN - Part) 分工主持人： @Ot4v6SRLSZ2amlJNMb6Ynw 教學組領讀人： @sin-iu-ho 編譯組： @sin-iu-ho @munin 紀錄組 文字組： @munin

https://github.com/philipz/docker_practice https://philipzheng.gitbook.io/docker_practice

README 貢獻指南 讀書會 ML 讀書會2024-09-14 ML 2024-09-21 ML 2024-09-28 ML 2024-10-12 ML DL 讀書會

wget cURL gdown — Google Drive API yt-dlp — 下載 YouTube bc — 計算機 cal — 月曆 lorem-ipsum-cli NPM Conda Pip