常見評價指標：Accuracy、Precision、Recall、F1、ROC-AUC 與 PR-AUC

--- title: 常見評價指標：Accuracy、Precision、Recall、F1、ROC-AUC 與 PR-AUC date: 2020-01-09 is_modified: false disqus: cynthiahackmd categories: - "智慧計算 › 人工智慧" tags: - "AI/ML" - "模型評估" - "算術數學" - "煉丹常識" - "Published" --- {%hackmd @CynthiaChuang/Github-Page-Theme %} 當評估（Evaluation）一個模型的好壞時，不能總是依靠體感來挑選，因此需要一些量化指標去判定它的好壞。常見的量化指標有 **Accuracy**、**Precision**、**Recall** 與 **F1-Measure**。有時也會使用 **ROC-AUC** 與 **PR-AUC** 來評估在相同資料集下的表現結果。  ## 名詞定義假定一個具體場景作為例子： > 假如現在有 100 筆檢體進行流感快篩，其中已知 70 位為正常人、30 位為流感病患。快篩目的是找出所有的流感病患，現在快篩結果顯示 50 人罹患流感，但這 50 人之中僅有 16 位真的罹患流感，其他 34 位屬於正常人但被誤判的情況。 依照此情境我們可以繪製出下列表格： | | 被診出罹患流感 | 未被診出罹患流感 | | |-----| ------------ | ------------ | --- | | **病人** | 16 人（TP） | 14 人（FN） | 30 人 | | **正常人** | 34 人（FP） | 36 人（TN） | 70 人 | | | 50 人 | 50 人 | 依此假設情境，我們可以先來定義 **True Positives**、**True Negatives**、**False Positives**、**False Negatives** 這四個名詞解釋。 ### **TP，True Positives** 其中第一個 True，表示分類正確，第二個 Positives 表示在此次篩檢將此檢體歸為 Positives，也就是被診出罹患流感的狀況。因此，True Positives 就是**診斷正確，且此人被診斷為有病**，簡單來說就是，==病人被診出罹患流感==。在本情境中共有 16 人。 ### **TN，True Negatives** 同理，第二個 Negatives 表示此次篩檢將此檢體**未**被診出罹患流感的狀況。因此，True Negatives 就是**診斷正確，且此人被診斷為正常**，換句話說就是，==正常人沒有診出患病==。在本情境中共有 36 人。 ### **FP，False Positives** 其中第一個 False，表示分類錯誤。因此，False Positives 就是**診斷錯誤，且此人被診斷為有病**，也就是，==正常人被誤診成罹患流感==。在本情境中共有 34 人。 ### **FN，False Negatives** **診斷錯誤，且此人被診斷為正常**，即，==病人但並沒有被檢出罹患流感==。在本情境中共有 14 人。 接下來各個指標的計算，都是基於 TP、TN、FP、FN 這四種狀況進行排列組合： ## Accuracy 中文譯作**準確率**，其定義是：對於給定的測試資料集，分類器正確分類的樣本數與總樣本數之比。白話來說就是，**模型預測正確數量所佔整體的比例**。其公式為： $$ Accuracy =\cfrac{TP+TN}{TP+TN+FP+FN} $$ 依照假定場景我們可計算： $$ Accuracy =\cfrac{16+36}{16+36+34+14} = 0.52 $$ 雖然這是最常見的衡量指標，但對於**資料正反例不平衡**的狀況下，如：肺炎、癌症檢測…等，Accuracy 指標幾乎不具參考價值。以罕見疾病檢測來說，有 100 個樣本，有 99 位是 Negative（未患病），只有 1 個 Positive（患病）。假設現在有一模型，針對所有樣本預測輸出全是 Negative，則此模型的 Accuracy 高達 $\frac{99}{100} = 0.99$。Accuracy 雖高，但這個模型幾乎報廢不能使用的。 ## Precision 先來張經典圖，方便大家想像： <img src="https://i.imgur.com/1MKvczU.png" alt="Precision and recall"> Precision and recall（圖片來源: <a href="https://en.wikipedia.org/wiki/Precision_and_recall">維基百科</a>） 在 Accuracy 不具參考價值的狀況下，就會採用 Precision 和 Recall 兩個指標，這兩個指標都是專注被預測為 Positive 的資料，但卻又各有所好。以 Precision 來說，中文譯名為**精確率**。顧名思義，這個指標更在意的是在預測為 Positive 的結果中，其精確性是多少。白話來說就是，**被預測為 Positive 的資料中，有多少是真的 Positive**。其公式為： $$ Precision =\cfrac{TP}{TP+FP} $$ 依照假定場景我們可計算，**被診斷成有病的人中，有多少位是真的病人**： $$ Precision =\cfrac{16}{16+34} = 0.32 $$ 在一般的應用中，如果更在乎的是預測出來的結果，就可以採用這個指標。看到的一個例子是**門禁系統**，它更在乎的是有否讓未經許可的人進去（也就是 FP 越小越好） ## Recall 以 Recall 則被譯為**召回率**。我的理解是它是原本是 Positive 的資料，它能夠召回多少，也就是說**在原本 Positive 的資料中被預測出多少**。其公式為： $$ Recall =\cfrac{TP}{TP+FN} $$ 依照假定場景我們可計算，**在病人中真的被診斷出來的比例**： $$ Recall =\cfrac{16}{16+14} = 0.53 $$ 如果你的應用場景更偏向在意是否觸及了所有的 Positive case，例如：廣告投放它更在意的是你是否觸及了所有的潛在客戶（Positive case），寧可錯殺也不放過 XDDD ## F1-score 不過一般來說，這兩個指標通常不可兼得。如果你的模型夠貪婪，想預測出更多的 Ground Truth 為 Positive 的例子，那們它可能會發生誤判，雖然產生較高的 Recall，但也導致 Precision 下降。反之，若是模型都保守地預測，那麼 Precision 或許會很高，但 Recall 就會相對較低。在兩者難以取捨的情況下，衍伸出另一個指標 F1-score，它 Precision 與 Recall 調和平均數，其公式為： $$ \cfrac{2}{F_1} = \cfrac{1}{P} + \cfrac{1}{R} $$ 調整後： $$ F_1 = \cfrac{2PR}{P+R} = \cfrac{2TP}{2TP+FP+FN} $$ 依照假定場景我們可計算 F1-score： $$ F_1 = \cfrac{2*16}{2*16+34+14} = 0.4 $$ F1 中，認為 Precision 與 Recall 的權重是一樣，因此有人將其一般化，列出了這樣的公式： $$ F_\beta = (\beta^2 + 1) * \cfrac{PR}{\beta^2*P+R} $$ ## ROC-AUC （Area Under Curve）也就是指 ROC 曲線下方的面積，在說明 AUC 前我們先看看 ROC 空間，這個空間就是以 False Positive Rate 為 X 軸，True Positive Rate 為 Y 軸，其公式定義如下： $$ FPR = \cfrac{FP}{FP+TN}， TPR = \cfrac{TP}{TP+FN} $$ 因此在空間中若存在一點離左上角越近的點預測準確率越高。反之，離右下角越近的點，預測越不準。 <img src="https://i.imgur.com/G5CdWgG.png" alt="ROC Space"> ROC空間的4個例子（圖片來源: <a href="https://zh.m.wikipedia.org/zh-tw/ROC%E6%9B%B2%E7%BA%BF">維基百科</a>） 以這張圖為例，用 A、B 與 C 三不同的模型進行預測，並將結果繪製在 ROC 上，依此圖判斷最好的結果是 A 模型，反之，最糟糕的預測是 C 模型甚至劣於隨機分類。 上述 ROC 空間裡的單點，是指給定特定分類模型一個閾值後得出的預測結果。但對於同一個分類模型來說給定不同的閾值，會影響到模型的準確率，進而得到不同的 FPR 和 TPR。因此 ROC 曲線指的是，將同一模型不同閾值所得到的結果一一繪製在 ROC 空間中，所得到的曲線。關於這曲線的好壞與空間中單點一樣，若曲線越靠近左上角表示其效能越好。除了肉眼判斷外，也可以引入 AUC （Area Under Curve，曲線下面積）做為模型優劣的指標。一般來說，AUC 必在 0~1 之間，**AUC 值越大的分類器，正確率越高**。 - **AUC = 1** 若線下面積為 1，代表這是一個完美分類器。當你採用這個模型時，你可以找到至少一個閾值能得出完美預測。不過絕大多數情況下完美分類器是不存在。 - **0.5 < AUC < 1** 表示這個模型妥善設定閾值的話，能有預測價值。 - **AUC = 0.5** 跟隨機猜測沒兩樣，模型沒有是預測價值的。 - **AUC < 0.5** 比隨機猜測還差；但只要總是反預測而行，就優於隨機猜測。一般使用 ROC-AUC 是為了克服資料不平衡所採用的指標，因為在繪製 ROC 空間所採用的 X 軸與 Y 軸是以實際表現來衡量。在網路上看到一個例子：在所有資料中，90 % 為 Negative（未患病）、10 % 為 Positive（患病）。在計算 FPR 時只關心 90 % Negative 有多少是被錯誤預測，與那 10 % 毫不相關。同理，計算 TPR 時，只關心 10 % 病患是否有被正確診斷，也那 90% 毫不相關。也因為是由實際表現出發，可以避免樣本不平衡的問題。不過雖說 ROC-AUC 可以不受資料變動或是不平衡的影響，但不平衡的資料可本身就有較高的初始值，在使用時要特別注意。 ## PR-AUC 另外還有一個曲線，就是以 Recall 為 X 軸，Pecision 為 Y 軸，曲不同的閾值所畫的曲線。同樣的，也是線下面積越大越好，或是說曲線越靠近**右上角**越好。 ## 參考資料 1. [Precision and recall｜Wikipedia](https://en.wikipedia.org/wiki/Precision_and_recall) 2. [ROC曲線｜維基百科](https://zh.m.wikipedia.org/zh-tw/ROC%E6%9B%B2%E7%BA%BF) 3. [准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure｜ArgCV](https://blog.argcv.com/articles/1036.c) 5. [精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？｜知乎](https://www.zhihu.com/question/30643044) 6. [ROC曲线和PR(Precision-Recall)曲线的联系｜SEAN是一只程序猿](http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html) 7. [Precision and recall｜Wikipedia](https://en.wikipedia.org/wiki/Precision_and_recall#F-measure) 8. [【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC｜知乎](https://zhuanlan.zhihu.com/p/46714763) {%hackmd @CynthiaChuang/Github-Page-Footer %}