# GPU choice 2019
今年可選擇產品多了很多,怎選擇好?機器怎麼選擇?GPU有哪些?
選擇下一代4830AT,可以搭配起手勢如2080ti,四張或者八張,都是很好的價格入門
一張就是四萬內.
一定要選A,至少有T(10g網路) [拓樸網路介紹](https://reurl.cc/06mMA)
以效能跟戰鬥力最猛的,肯定是8片的Titan RTX,這個有24g GPU ram.
深度學習能力簡直猛到爆
價格到了82990含稅.比起以前2.6萬上下的1080ti貴了許多,但比Titan V 9.7萬便宜.

數據都可以反覆透過 (更多數據[聯繫我們](http://www.honghutech.com/about-us/contact-us))
新版 http://gpu2.easyapi.com/
舊版https://chuanli.easyapi.com/
來選擇與思考
gpu ram要求不高的,可以用[2080ti單風扇](https://www.leadtek.com/eng/products/graphics_cards(1)/WinFast_RTX_2080_Ti_CLASSIC_11G(10819)/detail)入門.預算更低也可以採用[2080(8g)](https://www.leadtek.com/eng/products/graphics_cards(1)/WinFast_RTX_2080_CLASSIC_8G(10815)/detail),用於教學尚可.

gpu ram要求高的,選擇[titan rtx](http://www.honghutech.com/nvidia-titan-rtx)入門.或者Quadro RTX 5000 (16g ram,[聯繫我們](http://www.honghutech.com/about-us/contact-us)）.或者Quadro RTX 6000(24g, 約4000美元,[聯繫我們](http://www.honghutech.com/about-us/contact-us)).或者就是直攻Tesla V100 32gb Pcie.

* 以原本1080ti 8張跑resnet 50約1336 張/s(FP32)~1575(FP32+16) https://bit.ly/2CVp9an (鴻鵠自己測試)
* 現在4張2080ti 1036張/s(FP32)~1618張/s(4顆),1650張/s(nvlink)就超越了過去的8張1080ti.
* Titan RTX 2張 ,FP32為630張/s,FP16為1162張/s

都可以做為選擇思路
* 雖然現在的8張2080ti跑resnet 50,是2529張/s(FP16),比起單張466張/s倍數比率5.42較為不佳,應該是[p2p](https://www.pugetsystems.com/labs/hpc/P2P-peer-to-peer-on-NVIDIA-RTX-2080Ti-vs-GTX-1080Ti-GPUs-1331/)關閉的關係.
* 去年1080ti x8,跑restnet 50,可以達到1801張/s(FP16),是單顆的263張/s的6.84倍,倍數效益稍差.
* 2080ti跑resnet 152,8張是715張/s(FP16).單張是167張/s,倍數是4.28效益更不好一些
* Tesla v100 32gb sxm2 x8,搭配nvlink,2149張/s(FP16,Resnet 152).單張則為304張/s. 倍數是7.06 效果是非常好.

RTX 2080ti (核心4352)=Titan RTX(4608),差別在於ram,11gb vs 24gb,2080ti少了256核心
RTX 6000(核心4608)=RTX 8000(核心4608), 24gb vs 48gb
都是滿血圖靈4608核!!

至於Quadro RTX 6000(24gb),以及未來的Quadro RTX 8000(48gb)
都是滿血圖靈TU102,8000的多了48gb ram,基本上batch size提高,深度學習速度幾乎是翻倍
這張價格應該在1萬美,有ram高度需求的醫療影像等等,是可以考慮

價格便宜的多卡主機
還是可以回到4820A,甚至不用4820AT,採用E5系列cpu.
同樣有充足的8+8pin可以接卡,外搭專用gpu上蓋.

8顆titan rtx實際運作狀況 https://youtu.be/kRVFDg-G5gs
跑resnet152(更深層的神經網絡,FP32是721張/s,FP16可以到1190張,加上nvlink可以到1230張/s (v100 32gb sxm2 x8,2149張/s,resnet152,FP16)
溫度落在85-86C 還行

Honghutech M1
 

單顆cpu,可以搭配到4顆GPU,可選擇2080ti*4,[Titan Rtx](http://www.honghutech.com/nvidia-titan-rtx)*4,GV100,Quadro RTX 5000,6000,8000等

4020AT,4830AT

然而,在新版機器的加持下,[hyperplane](https://lambdalabs.com/products/hyperplane)的機器(v100 32gb sxm2 x8),在resnet50將可以達到6006張/s,比Titan RTX x8 3692張/s,2080ti x8 2529張/s,1080ti x8 1801張/s.簡直是巨幅的跳升
然而比拚單精度Fp32,差異就沒有那麼巨幅. v100 x8 3136張/s,Titan RTX x8 2196張/s,2080ti x8 1762張/s,1080ti x8 1431張.
在resnet152下,也是大 http://chuanli.info/

* 2018.12.30首個Titan RTX深度學習評測結果出爐：2019年你該選擇哪款GPU？ http://bangqu.com/38wjKK.html
* [各種gpu比較表](https://docs.google.com/spreadsheets/d/1PpjPnBpLN2TyX49LphGTPPZkA6A-cIUqGUacgm3yMc0/edit?ts=5bebd122#gid=0) 單張 鴻鵠內部不對外

* [Titan RTX TensorFlow Benchmarks](https://lambdalabs.com/blog/titan-rtx-tensorflow-benchmarks/) 單張卡比較

[我們自己實測 2080ti vs v100](http://honghu.wengscafe.de:35703/Benchmarks_MXNet_ImageNet2012_ResNet50.html)

* 另一種角度,
2080ti 36990x8=295920(含稅),買不起一張Tesla V100 32GB (1萬美).或者快要買得起一張.
* titan rtx x8 82990x8=663920(含稅). 得花2.243倍金額換更高的計算力.相當於兩張v100價格.
* titan rtx x4 82990x4=331960(含稅). 可以買得起一張tesla v100.
* rtx2080ti x4 36990x4=147960(含稅). 搭配honghutech M1 效益不錯.
* titan rtx x2 82990x2=165980(含稅). 搭M1或者其他的工作站,30萬上下.

結論:https://lambdalabs.com/blog/titan-rtx-tensorflow-benchmarks/
如果 11 GB 的 GPU 內存足夠滿足你的訓練需求（能滿足大部分人），RTX 2080 Ti 是最適合做機器學習/深度學習的 GPU。因爲相比於 Titan RTX、Tesla V100、Titan V、GTX 1080 Ti 和 Titan Xp，2080Ti 有最高的性價比。

如果 11GB 的 GPU 內存滿足不了你的訓練需求，Titan RTX 是最適合做機器學習/深度學習的 GPU。但是，在下結論之前，試試在半精度（16 bit) 上的訓練速度。損失一定的訓練準確率，能有效地把 GPU 內存翻倍。如果在 FP16 半精度和 11GB 上的訓練還是不夠，那就選擇 Titan RTX，否則就選擇 RTX 2080 Ti。在半精度上，Titan RTX 能提供 48GB 的 GPU 內存。

如果不在乎價錢且需要用到 GPU 的所有內存，或者如果產品開發時間對你很重要，Tesla V100 是最適合做機器學習/深度學習的 GPU。

搭配排程軟體 2萬 單節點 K8S UI.