###### tags: `yolov5 Doc`
# 4. Validation Graph 意義

Reference :

[深度學習-物件偵測:You Only Look Once (YOLO)](https://chih-sheng-huang821.medium.com/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E7%89%A9%E4%BB%B6%E5%81%B5%E6%B8%AC-you-only-look-once-yolo-4fb9cf49453c)
[影像辨識常見的IOU、AP、mAP是什麼意思?](http://yy-programer.blogspot.com/2020/06/iouapmap.html)
[精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？](https://www.zhihu.com/question/30643044)

## Confusion Matrix

會顯示每個類別預測與實際的結果
( 以下為二類別分類的 confusion matrix ( class:(1,2) )

- T : true ( 分類正確 )
- F : False (分類錯誤)
- N : Negative (正類別)
- P : Positive (負類別)


如果為多分類，會使用分類到該類別的機率取代 positive & negative


<br>

---

## Recall & Precision

### Recall ( 召回率/查全率 )

- 全部類別 $C_i$ 的資料被正確預測的機率

$$Recall=\frac{預測正確且為類別 C_i 的 sample}{實際為類別 C_i 的所有 sample}=\frac{TP}{FN+TP}$$

### Precision (精準率/查準率)

- 全部被預測為類別 $C_i$ 的資料是正確 $C_i$ 的機率

$$Precision=\frac{預測正確且為類別 C_i 的 sample}{預測為類別 C_i 的所有 sample}=\frac{TP}{FP+TP}$$

### Recall vs Precision

- **Recall 高 Precision 低**: 預測出某類別的機率高，但預測錯的機率也可能很高
- **Precision 高 Recall 低** : 預測錯的機率低，但可能沒預測出來的機率高
- F1 score 為兩者的調和平均數，算是一個可以比較概括的評估此模型
<br>

---

## IOU / Confidence

### (1). IOU

是指 "正確預測的 bounding box" 與 "真正的 bounding box"
的 [交集] 除以 [聯集]，IOU 太低表示距離實際預測結果太遠，
通常 threshold = 0.5

<font color=red>! 確認一個物件是否被偵測常用 IOU 當作判斷依據 </font>



<br>

### (2). Confidence

是 "此物件為類別 $C_i$ 的條件機率" 乘上 IOU 值
能代表此物件辨識的好壞

(設定 threshold 判別)

$$Confidence = Prob(Class_i|Object)*IOU$$

<br>

---

## P Curve
就是Confidence和準確度(Precision)的關係。
當Confidence為0.814時準確度達1▼

<br>

---

## R Curve
就是Confidence和查全率 Recall 的關係
當 Confidence = 0.58 時，Recall 皆為 0 ▼


<br>

---

## PR Curve
`P` : Precision `R` : 表Recall。
`AP` : 平均精度，為PR曲線下的面積，以R in range( 0 : 1 : 0.1 )作為IoU，滿足這個R值的最大P作為Pi，求11個Pi的平均數。
`mAP` : 各類別AP的平均值。
`IoU` : 也稱作交並比，表檢測框(detection box)和真實標籤(ground truth)的比值，為評價邊界框正確性的度量指標。
$$IoU值=\frac{預測框大小∩真實框大小}{預測框大小∪真實框大小}$$
`0.437 mAP@0.5 (IoU=0.5)` : 即將IoU設為0.5時，mAP為0.437

<br>

---

## F1-Confidence Curve
`F1` : 精確度P和召回率R的調和平均數 (精確度P:預測為陽性、預測正確。召回率R:實際為陽性的預測裡預測正確的。)
取峰值為最好，意義為在高峰值對應的confidence(x軸)最能優化P和R。

$$F1=2*\frac{Recall*Precision}{Recall+Precision}$$

圖解:
最下面的all classes 0.45 at 0.329的意思為:
當confidence為0.329時最能優化F1，此時的F1為0.45。所以很明顯我們的結果欠佳。
(網路上看到的結果▼)