# Triton

ref :
https://www.youtube.com/watch?v=m-eaFJ5GK94

## AI Inference Workflow

## AI Inference 困難點
1. 多種不同的框架和格式

## Triton 核心功能

* 支援多數主流框架
* Tensorflow
* Pytorch
* ONNX
* TensorRT
* 支援任何 Query Type
* Real Time
* Batch
* Streaming
* Ensemble
* 支援任何平台
* X86
* ARM
* Linux / Windows / Virtualization
* Public Cloud / Edge / Embedded
* DevOps & MLOps
* 整合 K8s、KServe、Prometheus 和 Grafane
* 效能監控
* Performance & Utilization
* 模型優化和分析並產出最佳化報告
* 優化延遲和吞吐量


## Triton Architecture


## Feature

## Model Control API
* None
* 啟動 Server 時載入本地資料夾內所有模型
* POLL
* 啟動 Server 後，持續檢查是否有新的模型，有的話就 load model
* EXPLICT
* 啟動 Server 時不載入模型，透過 modelcontrol API 去 load model


## Triton Custom Backend

* 可串接自行開發的框架

## Model Ensembling


## Triton Inference server metrics for autoscaling

* 下圖範例為兩個配有 8 張 GPU 的 Server，每個 GPU 對應一組 model，

**未使用 Triton** : 無法有效利用，如下圖右，特定 GPU 使用率較高，無法有效分配運算資源


**使用 Triton** : 可同時載入所有 model 在同一 GPU 上，透過 Load Balance 方式自動分配

** 單一時間同一 model 被大量使用，可以同時分配到所有 GPU 上來推論，如下圖右所示


## Dynamic Batching Scheduler

* 最多支援到 batch 32
* 可以設定動態接收一段時間內的 batch，而不是每次都1個batch 1個 batch 跑



## Concurrent Model Execution
* 當你有多個同樣的 model 時，可用此功能來加速 Inference
* 每個 instance = model
* 當 request 數量 > instance 數量時，會先讓每個 instance 執行一次，剩下再分配到第二回合，以此類推


## Concurrent Modedl Execution ResNet 50 & Deep Recommender
* 部署多種 instance， request queue 會根據開啟的 instance 數量來分配

* instance 需要自行設定數量
* triton 會自動最佳化去幫你分配資源


## Model Analyzer

* 高 Throupt = 高 batch size = 高延遲
* 透過 Model Analyzer 可得到最分析報告來優化
* 增加可靠度，避免 GPU OOM
* 幫助判斷是否需要新增硬體資源


## Model Navigator

* 透過 tensorflow 和 pytorch 訓練出來的東西，會自動幫你轉換成 ONNX TRT，自動執行 Model Analyzer，並生成 helm chart


# 進階功能

## Multi-Instance GPU (多執行個體 GPU)

* 支援 NVIDIA H100、A100 以及 A30 系列
* 最多可切成 7 個執行個體
* 各自完全獨立且具備個別的高頻寬記憶體、快取和運算核心


## 1 A100 - 7 Model Instances Using MIG

* 可透過 Load Balancer，平均分配到每個 GPU


## Triton on A100 with MIG

* 透過增加 MIG instances 數量來提高 Throughput

* 透過增加 MIG instances 數量來減少 Latency

* 透過 MIG 方式，可大幅增加 Throughput

## DeepStream - Triton Pipeline


## Triton - DeepStream Deployment

## AI - Edge to Cloud Platform