# AI模型的理想化和實用性妥協 - 賴志銘(Vincent)

{%hackmd @HWDC/BJOE4qInR %}

>#### 》[議程介紹](https://hwdc.ithome.com.tw/2024/session-page/3225)
>#### 》[填寫議程滿意度問卷｜回饋建言給辛苦的講者](https://forms.gle/qcxKTAXtWkHpnvTo8)

---

[TOC]

---

## 最簡單的解法？

* 加 GPU
* CPU
* memory
* rewrite with C++

## Python 的部分

* 重構、解決程式相互依賴
* 程式
* 套件相依
* 改非同步
* 提升 IO 效能

## C#

* 資料處理
* 清洗
* 過濾
* 整合
* 改非同步
* 併發處理、資料存取

### async 比較

## 再回到 Python (Model) 的部分

* 讓 Model 變小
* 重新審視 feature
* 是否可以減少不必要的 feature
* 檢視模型準確度

## 又回到 C# 的部分

* 用 C# 跑模型
* ONNX

## Open Neural Network eXchange
* 開放標準
* 互操作性
* 支援多種模性

[netron.app](https://netron.app)

## 改善結果

* request 量兩倍以上 (on k8s)
* memory 使用率少 20% 以上
* cpu 使用率較高 (較不浪費)
* 通常運算時間減少 (10 ~ 20%)

---
大家早安，投影片[底加](https://reurl.cc/vvQEWo)