# 你相信服務上 Kubernetes 真的比 VM 好管理？ - 邱宏瑋 (hwchiu)

{%hackmd @sre-conf/SybJShjx0 %}

> 從這開始

###### tags: `SRE Conference` `2024`
## 講者資訊
個人網站：https://www.hwchiu.com/
投影片：https://speakerdeck.com/hwchiu/does-kubernetes-is-really-easy-than-vm-for-cluster-administrator

## Call for paper KCD Taipei 2024
> [linkedin - Cloud Native Taiwan User Group 的 Post 連結](https://www.linkedin.com/posts/cloudnative-taiwan_coscup-2024-activity-7180534424466341890-DpUR/)

https://blog.coscup.org/2024/03/coscup-2024-coscup-2024-call-for.html

CFP Deadline: 2024/05/09
會出現在 CNCF
有好棒棒獎章
Broadcom 收購VMWare 但是價格翻倍

四種架構
1. application on bm
2. application/container on vm
3. application/container in k8s on bm
4. application/container in k8s on vm

- VM 上架 node 比 bare-metal 上架，效能一定會減損
- CERN 組織曾調較 VM，從 20% 降到 5%，仍是無法避免

[IBM加碼混合雲管理，以64億美元收購雲端基礎架構工具業者HashiCorp](https://www.ithome.com.tw/news/162514)

難說某一天，open source 不 open 了

vm 正在萎縮，但有時還是需要。

## k8s 的痛點

kubetools: https://collabnix.github.io/kubetools/
k8s 生態系爆炸性擴張，要追完，頭很痛。睡一覺起來，redis 就沒了

multi-tenancy 不是很支援 (kubecon-na 2022, apple 的 talk)

開發者要學習超多

Resources
- pod 有 overcommit，很少人用 Guranteed pod
- 在 busy 下可能導致 node 爆炸不穩
- P95 & P99問題變多
- Request / Limited(cgroup)

## Exclusive Cost
vm 4 cores -> 永遠相同
contaienr 4 cores
- cpu 會換來換去，會有 cache miss 與 context switch
- NUMA

:fire:必看!!!!!!!
- [Kubernetes Enhancement Proposals (KEPs) Kubernetes Contributors](https://www.kubernetes.dev/resources/keps/)
- [kubernetesenhancements Enhancements tracking repo for Kubernetes](https://github.com/kubernetes/enhancements)
- [enhancementskepssig-node1287-in-place-update-pod-resourcesREADME.md at master · kubernetesenhancements](https://github.com/kubernetes/enhancements/blob/master/keps/sig-node/1287-in-place-update-pod-resources/README.md)

k8s support node swap (1.28 Beta) [:link:KEP-Ref](https://github.com/kubernetes/enhancements/tree/3feb698013b4c227686a972e1da7e93e5fd0dcee/keps/sig-node/2400-node-swap)

## Live migration
VM 不太會中斷，客戶無感，很漂亮

k8s
- 需要 drain node
- pod ip changed, 所有 tcp 連線重建
- double drain nodes 時，可能會有 pod 被多次犧牲
- unexpected node crash:
- only work well on stateless application
- [2268-non-graceful-shutdown](https://github.com/kubernetes/enhancements/tree/3feb698013b4c227686a972e1da7e93e5fd0dcee/keps/sig-storage/2268-non-graceful-shutdown): statefulset 直接卡死在上面，沒有所謂的 self-heal。kubelet 已經掛了，`kubectl delete` 沒有用，只能加上 `--force --grace-period=0` 強制

node 如果 40 秒都沒有回應，會被標為 not ready
pod 預設 300 秒才會在 not ready node 離開
-> 因此 pod 需要 340 秒後，才會 redeploy

## how to evaluate
- opensource changed issues: 如果 opensource 付費後的轉移成本
- stateless / stateful choose
- too many backing services to maintain: k8s 版本更迭超快
- certificates (Bonus but not a mandatory):
- 熟悉 k8s 不是只有 yaml 而已 (要跟著版本去看 spec)
- Design documents and proposals: Keps, cni, cri, csi, containerd
- 會 container 不代表 k8s

:link: tsmc it Community meetup
週四夜在陽明交大工程三館
技術交流

---

====以下聊天區====


巨巨
巨巨巨
大！！
大肌肌
邱牛先跪<(_ _)>
ᕦ(ò_óˇ)ᕤ
請問如何成為巨巨