## 硬體測試紀錄表格 ### RTX - 4060(單執行/雙執行/多執行(同時發送10個請求) | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 總推論FPS | | ------------------------ | --------------------- | ---------------------- | --------------- | | LEDA _ AutoEncoder | 1.45 / 1.45 / 2.30 | 0.90 / 1.00 / 2.49 | 425 / 850 / 4250 | | LEDA _ Classification | 1.41 / 1.27 / 2.37 | 0.11 / 0.16 / 0.43 | 657 / 1314 / 6570 | | YOLOv8 _ Classification | 3.74 / 3.40 / 7.24 | 14.79 / 15.45 / 29.3 | 53 / 106 / 530 | | YOLOv8 _ ObjectDetection | 10.27 / 11.83 / 40.61 | 20.12 / 21.59 / 45.84 | 32 / 64 / 320 | | YOLOv8 _ Segmentation | 12.81 / 21.35 / 40.79 | 62.14 / 56.66 / 105.71 | 13 / 26 / 130 | ### Quadro RTX 3000(單執行/雙執行/多執行(同時發送10個請求) | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 總推論FPS | | ------------------------ | --------------------- | ---------------------- | --------------- | | LEDA _ AutoEncoder | 1.79 / 1.89 / 2.78 | 0.80 / 0.75 / 0.98 | 386 / 772 / 3860 | | LEDA _ Classification | 1.61 / 1.33 / 2.96 | 0.22 / 0.27 / 0.31 | 546 / 1092 / 5460 | | YOLOv8 _ Classification | 1.72 / 2.11 / 3.37 | 12.8 / 12.82 / 14.94 | 68 / 136 / 680 | | YOLOv8 _ ObjectDetection | 9.02 / 8.29 / 61.99 | 16.97 / 17.32 / 22.36 | 38 / 76 / 380 | | YOLOv8 _ Segmentation | 17.11 / 14.42 / 95.17 | 41.96 / 46.53 / 66.04 | 16 / 32 / 160 | ### EOS(單執行/雙執行/多執行(同時發送4個請求) | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 總推論FPS | | ------------------------ | --------------------- | ---------------------- | --------------- | | LEDA _ AutoEncoder | 16.24 / 14.88 / 17.2 | 48.9 / 65.92 / 93.73 | 15 / 30 / 60 | | LEDA _ Classification | 6.24 / 7.79 / 12.73 | 1.21 / 1.17 / 3.24 | 134 / 268 / 536 | | YOLOv8 _ Classification | 13.57 / 18.62 / 16.95 | 155.09 / 146.41 / 142.17 | 5 / 10 / 20 | | YOLOv8 _ ObjectDetection | 31.93 / 57.07 / 82.24 | 138.24 / 111.11 / 151.61 | 5 / 10 / 20 | | YOLOv8 _ Segmentation | 34.63 / 49.48 / 81.02 | 175.84 / 203.43 / 309.97 | 4 / 8 / 16 | ### Smart Camera (NV晶片) (單執行/雙執行/多執行(同時發送5個請求) #### *yolo_seg最多三線程 | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 總推論FPS | | ------------------------ | --------------------- | ---------------------- | --------------- | | LEDA _ AutoEncoder | 14.64 / 14.38 / 23.07 | 51.66 / 67.37 / 100.21 | 15 / 24 / 38 | | LEDA _ Classification | 11.49 / 9.07 / 17.46 | 1.08 / 1.19 / 2.13 | 79 / 194 / 252 | | YOLOv8 _ Classification | 14.15 / 15.08 / 16.55 | 164.32 / 162.77 / 153.56 | 5 / 10 / 25 | | YOLOv8 _ ObjectDetection | 33.44 / 55.71 / 133.32 | 138.64 / 124.03 / 154.63 | 5 / 10 / 15 | | YOLOv8 _ Segmentation | 41.79 / 59.89 / *82.33 | 176.89 / 198.51 / *250.08 | 4 / 6 / *8 | ### CPE(單執行/雙執行/九執行) ***YOLO_OD吃的資源比較多,一次請求吃兩個處理器,所以最多只能測4線程** | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 推論FPS | | ------------------------ | ----------------- | ------------------ | --------- | | LEDA _ AutoEncoder | 2.08 / 2.17 / 3.86 | 0.72 / 0.80 / 2.9 | 357 / 710 / 1335| | LEDA _ Classification | 0.89 / 0.95 / 2.93 | 0.44 / 0.52 / 1.55 | 751 / 1354 / 2031| | YOLOv8 _ Classification | 1.59 / 1.77 / 4.56 | 0.52 / 0.67 / 1.57 | 474 / 818 / 1472| | YOLOv8 _ ObjectDetection | 19.73 / 21.9 / 25.4 | 5.23 / 9.65 /11.5 | 40 / 63 / 108| | YOLOv8 _ Segmentation | 38.13 / 50.28 / 102.1 | 28.58 / 41.85 / 158.72 | 15 / 22 / 34.5 | ### AIC100PRO(單執行/雙執行/十執行) | 模型名稱 | 推論秒數(ms) | 前後處理秒數(ms) | 推論FPS | | ------------------------ | ----------------- | ------------------ | --------- | | LEDA _ AutoEncoder |1.77 / 1.81 / 1.99|0.57 0.46 / 0.76|427 / 879 / 3633 | | LEDA _ Classification |0.7 / 0.73 /1.11 |0.31 / 0.34 / 0.53| 991 / 1858 / 6107| | YOLOv8 _ Classification |1.44 / 1.44 / 1.83|0.40 / 0.46 / 0.74|540 / 1049 / 3898| | YOLOv8 _ ObjectDetection |17.5 / 18.03 /23.71 |6.99 / 6.6 / 12.41|40 / 80 / 272| | YOLOv8 _ Segmentation |18.02 / 27.54 / 66.4 |12.94 / 30.45 / 131.25|32 / 34 / 46|