硬體測試紀錄表格

RTX - 4060(單執行/雙執行/多執行(同時發送10個請求)

模型名稱	推論秒數（ms）	前後處理秒數（ms）	總推論FPS
LEDA _ AutoEncoder	1.45 / 1.45 / 2.30	0.90 / 1.00 / 2.49	425 / 850 / 4250
LEDA _ Classification	1.41 / 1.27 / 2.37	0.11 / 0.16 / 0.43	657 / 1314 / 6570
YOLOv8 _ Classification	3.74 / 3.40 / 7.24	14.79 / 15.45 / 29.3	53 / 106 / 530
YOLOv8 _ ObjectDetection	10.27 / 11.83 / 40.61	20.12 / 21.59 / 45.84	32 / 64 / 320
YOLOv8 _ Segmentation	12.81 / 21.35 / 40.79	62.14 / 56.66 / 105.71	13 / 26 / 130

Quadro RTX 3000(單執行/雙執行/多執行(同時發送10個請求)

模型名稱	推論秒數（ms）	前後處理秒數（ms）	總推論FPS
LEDA _ AutoEncoder	1.79 / 1.89 / 2.78	0.80 / 0.75 / 0.98	386 / 772 / 3860
LEDA _ Classification	1.61 / 1.33 / 2.96	0.22 / 0.27 / 0.31	546 / 1092 / 5460
YOLOv8 _ Classification	1.72 / 2.11 / 3.37	12.8 / 12.82 / 14.94	68 / 136 / 680
YOLOv8 _ ObjectDetection	9.02 / 8.29 / 61.99	16.97 / 17.32 / 22.36	38 / 76 / 380
YOLOv8 _ Segmentation	17.11 / 14.42 / 95.17	41.96 / 46.53 / 66.04	16 / 32 / 160

EOS(單執行/雙執行/多執行(同時發送4個請求)

模型名稱	推論秒數（ms）	前後處理秒數（ms）	總推論FPS
LEDA _ AutoEncoder	16.24 / 14.88 / 17.2	48.9 / 65.92 / 93.73	15 / 30 / 60
LEDA _ Classification	6.24 / 7.79 / 12.73	1.21 / 1.17 / 3.24	134 / 268 / 536
YOLOv8 _ Classification	13.57 / 18.62 / 16.95	155.09 / 146.41 / 142.17	5 / 10 / 20
YOLOv8 _ ObjectDetection	31.93 / 57.07 / 82.24	138.24 / 111.11 / 151.61	5 / 10 / 20
YOLOv8 _ Segmentation	34.63 / 49.48 / 81.02	175.84 / 203.43 / 309.97	4 / 8 / 16

Smart Camera (NV晶片) (單執行/雙執行/多執行(同時發送5個請求)

*yolo_seg最多三線程

模型名稱	推論秒數（ms）	前後處理秒數（ms）	總推論FPS
LEDA _ AutoEncoder	14.64 / 14.38 / 23.07	51.66 / 67.37 / 100.21	15 / 24 / 38
LEDA _ Classification	11.49 / 9.07 / 17.46	1.08 / 1.19 / 2.13	79 / 194 / 252
YOLOv8 _ Classification	14.15 / 15.08 / 16.55	164.32 / 162.77 / 153.56	5 / 10 / 25
YOLOv8 _ ObjectDetection	33.44 / 55.71 / 133.32	138.64 / 124.03 / 154.63	5 / 10 / 15
YOLOv8 _ Segmentation	41.79 / 59.89 / *82.33	176.89 / 198.51 / *250.08	4 / 6 / *8

CPE(單執行/雙執行/九執行)

*YOLO_OD吃的資源比較多，一次請求吃兩個處理器，所以最多只能測4線程

模型名稱	推論秒數（ms）	前後處理秒數（ms）	推論FPS
LEDA _ AutoEncoder	2.08 / 2.17 / 3.86	0.72 / 0.80 / 2.9	357 / 710 / 1335
LEDA _ Classification	0.89 / 0.95 / 2.93	0.44 / 0.52 / 1.55	751 / 1354 / 2031
YOLOv8 _ Classification	1.59 / 1.77 / 4.56	0.52 / 0.67 / 1.57	474 / 818 / 1472
YOLOv8 _ ObjectDetection	19.73 / 21.9 / 25.4	5.23 / 9.65 /11.5	40 / 63 / 108
YOLOv8 _ Segmentation	38.13 / 50.28 / 102.1	28.58 / 41.85 / 158.72	15 / 22 / 34.5

AIC100PRO(單執行/雙執行/十執行)

模型名稱	推論秒數（ms）	前後處理秒數（ms）	推論FPS
LEDA _ AutoEncoder	1.77 / 1.81 / 1.99	0.57 0.46 / 0.76	427 / 879 / 3633
LEDA _ Classification	0.7 / 0.73 /1.11	0.31 / 0.34 / 0.53	991 / 1858 / 6107
YOLOv8 _ Classification	1.44 / 1.44 / 1.83	0.40 / 0.46 / 0.74	540 / 1049 / 3898
YOLOv8 _ ObjectDetection	17.5 / 18.03 /23.71	6.99 / 6.6 / 12.41	40 / 80 / 272
YOLOv8 _ Segmentation	18.02 / 27.54 / 66.4	12.94 / 30.45 / 131.25	32 / 34 / 46