# KNN 介紹（包含原理）以及應用
## KNN 演算法簡介 (約 2-3 頁) - A
- 投影片 1：標題頁
- 簡報標題：K 近鄰 (KNN) 演算法詳解與應用
- 您的姓名/機構
- 日期
- 投影片 2：什麼是 KNN 演算法？
- KNN 是一種基礎的機器學習技術，可用於分類和回歸任務。
- 基於距離的演算法，概念直觀。
- 沒有顯式的訓練階段，屬於惰性學習 (Lazy Learning)。
- 投影片 3：KNN 的基本原理
- 距離度量： 計算新數據點與現有數據點之間的距離 (例如：歐氏距離、曼哈頓距離等)。
- K 值的選擇： 決定考慮最近的 K 個鄰居。
- 預測方式：
- 分類： 基於 K 個最近鄰居的多數投票決定新數據點的類別。可以根據距離進行加權投票。
- 回歸： 計算 K 個最近鄰居目標值的平均值 (或加權平均值) 作為預測值。

## KNN 的原理細節 (約 5-7 頁) - A

- 投影片 4：距離度量
- 詳細介紹常用的距離度量方法 (歐氏距離、曼哈頓距離等)，並說明其適用情境。
- 可以加入不同距離度量公式的視覺化解釋。
- 投影片 5：K 值的影響
- K 值過小： 可能導致決策邊界不穩定，容易受到雜訊影響，可能過度擬合 (Overfitting)。
- K 值過大： 可能導致決策邊界過於平滑，可能忽略局部模式，可能欠度擬合 (Underfitting)。
- 投影片 6：投票機制與加權
- 解釋多數投票在分類中的應用。
- 說明如何根據距離對鄰居的投票進行加權，以更重視近鄰的影響。
- 投影片 7：KNN 的預測過程
- 用流程圖或步驟化的方式詳細說明 KNN 如何對新數據點進行分類或回歸。
- 投影片 8：超參數調整：K 值的選擇
- 強調 K 值是 KNN 的主要超參數，其選擇至關重要。

## KNN 的優點與缺點 (約 5-7 頁) - B

- 投影片 9：KNN 的優點 (一)
- 簡單易懂，易於實作，適合初學者。
- 無需訓練階段，可以直接使用數據進行預測。
- 非參數化，不對數據分佈做假設，能捕捉複雜的關係。
- 投影片 10：KNN 的優點 (二)
- 在小型數據集上表現良好。
- 能適應新的數據，無需重新訓練 (但計算成本可能增加)。
- 單一超參數 (K)，調整相對直接。
- 多功能性，可用於分類和回歸。
- 投影片 11：KNN 的缺點 (一)
- 記憶體需求高，需要儲存整個訓練數據集。
- 計算成本高，預測時需要計算與所有訓練數據點的距離，尤其是在大型數據集上。
- 對不相關特徵敏感，假設所有特徵同等重要。
- 投影片 12：KNN 的缺點 (二)
- 維度災難，在高維度數據中距離的意義減弱，可能導致過度擬合。
- K 值的選擇挑戰，性能對 K 值非常敏感。
- 可擴展性問題，不適用於極大型數據集。
- 投影片 13：KNN 的缺點 (三)
- 對離群值敏感，可能影響決策邊界。
- 無法提供特徵重要性的洞察。
- 在不平衡類別數據上表現不佳。

## KNN 如何處理異常值 (約 3-5 頁) - B

- 投影片 14：KNN 與異常值
- KNN 基於距離，因此容易受到異常值的影響。
- 投影片 15：基於距離的異常值檢測
- 可以利用 KNN 檢測異常值：計算每個數據點到其第 K 個最近鄰居的距離，距離較大的點可能是異常值。
- 投影片 16：異常值對決策邊界的影響
- 異常值可能拉偏決策邊界，尤其是在稀疏數據或複雜幾何形狀的數據中。
- 投影片 17：優化 KNN 以處理異常值
- 增加 K 值：考慮更多鄰居，降低單個異常值的影響。
- 加權鄰居：給予更近的鄰居更高的權重。
- 預處理：使用其他異常值檢測方法 (如基於距離、密度的方法、LOF) 移除異常值。
- 投影片 18：專門的異常值檢測演算法
- 介紹基於 KNN 的異常值檢測演算法：KNN-Distance，KNN-Density，KNN-LOF。
## 如何選擇 KNN 算法中的 K 值 (約 5-7 頁) - C

- 投影片 19：選擇最佳 K 值的必要性
- 強調 K 值的選擇對 KNN 的性能至關重要。
- 投影片 20：通用經驗法則
- 介紹一些啟發式方法，例如 K = sqrt(N) / 2 (訓練樣本數 N 的平方根除以 2)。
- 投影片 21：奇數 vs. 偶數
- 建議在二元分類中選擇奇數 K 值以避免平票。
- 投影片 22：交叉驗證
- 詳細介紹K 折交叉驗證的步驟和原理，用於評估不同 K 值的性能。
- 投影片 23：錯誤率 vs. K 值圖
- 說明如何繪製錯誤率與 K 值的關係圖，找到錯誤率最低的 K 值。
- 投影片 24：準確度 vs. K 值圖
- 說明如何繪製準確度與 K 值的關係圖，找到準確度最高的 K 值。
- 投影片 25：實驗與迭代
- 強調實驗的重要性，從小的 K 值開始逐步增加並觀察性能變化。
- 投影片 26：大型數據集的考量
- 對於大型數據集，較大的 K 值可能計算成本很高，需要在性能和成本之間權衡。
- 投影片 27：離群值敏感性
- 較小的 K 值對離群值更敏感，較大的 K 值可能平滑邊界但錯過局部模式。
- 投影片 28：領域知識
- 有時領域知識可以指導 K 值的選擇。

## 通過實驗找到最佳 K 值 (約 5-7 頁) - C

- 投影片 19：選擇最佳 K 值的必要性
- 強調 K 值的選擇對 KNN 的性能至關重要。
- 投影片 20：通用經驗法則
- 介紹一些啟發式方法，例如 K = sqrt(N) / 2 (訓練樣本數 N 的平方根除以 2)。
- 投影片 21：奇數 vs. 偶數
- 建議在二元分類中選擇奇數 K 值以避免平票。
- 投影片 22：交叉驗證
- 詳細介紹K 折交叉驗證的步驟和原理，用於評估不同 K 值的性能。
- 投影片 23：錯誤率 vs. K 值圖
- 說明如何繪製錯誤率與 K 值的關係圖，找到錯誤率最低的 K 值。
- 投影片 24：準確度 vs. K 值圖
- 說明如何繪製準確度與 K 值的關係圖，找到準確度最高的 K 值。
- 投影片 25：實驗與迭代
- 強調實驗的重要性，從小的 K 值開始逐步增加並觀察性能變化。
- 投影片 26：大型數據集的考量
- 對於大型數據集，較大的 K 值可能計算成本很高，需要在性能和成本之間權衡。
- 投影片 27：離群值敏感性
- 較小的 K 值對離群值更敏感，較大的 K 值可能平滑邊界但錯過局部模式。
- 投影片 28：領域知識
- 有時領域知識可以指導 K 值的選擇。

- 投影片 29：實驗設計模式
- 重申交叉驗證是主要的實驗方法。
- 強調錯誤率/準確度 vs. K 值圖的視覺化作用。
- 介紹自舉法 (Bootstrap Method) 在二元分類中選擇 K 值。
- 提及啟發式方法作為初始 K 值的選擇。
- 投影片 30：實驗步驟 (詳細)
- 數據準備：預處理、歸一化、劃分訓練集和驗證集。
- 模型訓練：使用不同的 K 值訓練 KNN 模型。
- 性能評估：使用交叉驗證或驗證集評估性能 (準確度、錯誤率、精確度、召回率、F1 分數等)。
- 視覺化：繪製性能指標與 K 值的關係圖。
- 選擇：選擇性能最佳的 K 值。
- 驗證：在獨立的測試集上驗證選擇的 K 值。

## 自動化 K 值選擇的工具 (約 3-5 頁) - C

- 投影片 19：選擇最佳 K 值的必要性
- 強調 K 值的選擇對 KNN 的性能至關重要。
- 投影片 20：通用經驗法則
- 介紹一些啟發式方法，例如 K = sqrt(N) / 2 (訓練樣本數 N 的平方根除以 2)。
- 投影片 21：奇數 vs. 偶數
- 建議在二元分類中選擇奇數 K 值以避免平票。
- 投影片 22：交叉驗證
- 詳細介紹K 折交叉驗證的步驟和原理，用於評估不同 K 值的性能。
- 投影片 23：錯誤率 vs. K 值圖
- 說明如何繪製錯誤率與 K 值的關係圖，找到錯誤率最低的 K 值。
- 投影片 24：準確度 vs. K 值圖
- 說明如何繪製準確度與 K 值的關係圖，找到準確度最高的 K 值。
- 投影片 25：實驗與迭代
- 強調實驗的重要性，從小的 K 值開始逐步增加並觀察性能變化。
- 投影片 26：大型數據集的考量
- 對於大型數據集，較大的 K 值可能計算成本很高，需要在性能和成本之間權衡。
- 投影片 27：離群值敏感性
- 較小的 K 值對離群值更敏感，較大的 K 值可能平滑邊界但錯過局部模式。
- 投影片 28：領域知識
- 有時領域知識可以指導 K 值的選擇。

- 投影片 31：自動化 K 值選擇的優勢
- 提高效率，避免手動調整的繁瑣。
- 更客觀地評估不同 K 值的性能。
- 投影片 32：GridSearchCV
- 詳細介紹 GridSearchCV 的原理和使用方法 (遍歷指定的 K 值範圍，使用交叉驗證評估)。
- 投影片 33：RandomSearchCV
- 介紹 RandomizedSearchCV 的原理和優勢 (從 K 值範圍中隨機抽樣)。
- 投影片 34：交叉驗證函數 (cross_val_score)
- 說明如何使用 scikit-learn 的 cross_val_score 進行自動化的交叉驗證評估。
- 投影片 35：其他 Python 庫
- Hyperopt：基於貝葉斯優化的超參數調整庫。
- Optuna：提供更高效搜索策略的超參數優化庫。
- TPOT：自動化機器學習工具，也可用於 K 值選擇。
- 投影片 36：實際應用範例
- 可以引用 DataCamp 或 IBM Watson Studio 的教程作為實際操作的例子。

## KNN 的應用領域 (約 3-5 頁) - A

- 投影片 37：金融領域
- 股票市場預測：基於歷史數據分析預測股價。
- 信用評分與欺詐檢測：預測信用worthiness 和檢測欺詐活動。
- 投影片 38：醫療保健領域
- 醫療診斷：分析患者數據、基因表達和症狀模式以預測健康問題 (例如：乳腺癌預測)。
- 基因表達分析：結合基因演算法分析微陣列基因表達數據。
- 投影片 39：推薦系統
- 內容推薦：基於用戶偏好和物品特徵推薦產品或內容 (例如：Amazon, Hulu, Netflix)。
- 投影片 40：其他應用領域
- 圖像處理：圖像分類 (基於像素值等特徵比較)。
- 農業：氣候預測和土壤水分參數估計。
- 電腦視覺：模式識別 (例如：人臉識別)。
- 汽車製造：市場分析 (比較新車原型與現有模型以預測市場成功)。
- 缺失值填補：估計數據集中的缺失值。
- 模式檢測：檢測信用卡使用或客戶購買習慣中的可疑模式。

## reference
[KNN 介紹（包含原理）以及應用 - EN](https://www.perplexity.ai/search/knn-jie-shao-bao-han-yuan-li-y-aEUfZb7VQ3uI5VACBdHuDA)
[KNN 介紹（包含原理）以及應用 - ZH-TW](https://hackmd.io/@huan242144/rJ4Wg9bn1e)

## 彩蛋
* 聽說做越多頁 分數越高

## Jobs 分配

| 工作 | 人數 | 成員 |
| ---- | ------| -------- |
|A(15) | 2 | Text |
|B(12) | 1 | Text |
|C(19) + sample cdoe | 3 | Text |
|報告 | 2 | Text |