# 遠傳電信擁抱數位轉型新技術如何兼顧系統穩定經驗分享 - 謝逸凡 (Ivan)

{%hackmd @sre-conf/SybJShjx0 %}

> 從這開始

###### tags: `SRE Conference` `2024`

> 企業面對數位轉型(在有舊系統下，轉移到新系統)
> 需要怎樣的平台來解決問題

有新有舊，缺乏服務系統的統整性與全觀性。
散兵作戰，出問題，就跟救火隊一樣
明天就要！全部都要！

## 資訊部門的維運挑戰.
- 維運斷層: 技術人員新舊混合，彼此都找不到錯誤
- 各自為政: 缺乏跨部門合作，常見每個元件都回報正常，但服務卻不work
- 缺乏佐證
- 導入問題 : 技術導入只有少數人知道, 增加單點風險.
- 掌控不足: 一線單位無法判斷事件，二線又不敢放權。一線人員都是新人，要學一堆 heavy 的知識

## **客戶在意的是服務非平台**
- Bussiness Transaction
- Application
- Hybrid IT Infrastructure

影響服務效能的原因:
- 服務經過每層都要有不同的 SLI

平台：以客觀的方式，讓所有人(包含 Boss) 知道「現在發生什麼事」

1. collect data
2. find pattern
3. define root cause. Create Dashboard
4. build flowchart/SOP

### 三層 dashboard
- (服務面) 業務關鍵指標: 終端用戶與系統工程師溝通使用、區分單點或全面
- 服務系統儀表板 (E2E):
- 各系統的集中監控；各單位需提出自己的，確認責任歸屬
- 精簡化監控指標
- 圖形化取代文字 (綠燈/黃燈/紅燈)
- 以抽象固定維運體系，才不會因技術變更而更換架構
- **(心態)** 反覆修改、確保大家願意提供、維持最新
- **(出事)** 確認監控，盯沒有監控的團隊，盯久了該團隊就會自動補
- 標準化監控準則，在 dashboard 上面把 golden rule 寫出來，讓新手老手都能 follow 同個流程
- 以攜碼為例, 把15個service全部拉出來, 確認哪裡出問題.
- 平台儀表板
- 一線人員經驗不足，給予 need to know，先不要 know how
- 先確認維運，再考慮技術移轉

## 事件
**每個事件都要有 owner**

### 優化 threshold 減少無效簡訊
> alert 太多，導致手機沒電
- 利用統計/ai 優化，減少無效簡訊
- 事件恢復正常自動結單；但若是一段時間內，有重覆事件，則不會自動結單
- 自動化 SOP 修正 disk/os 之類的。從自動事件處理，到 crontab，避免緊急下的系統不穩定

### 根因報告優化監控
[Book: 邱強《零錯誤》- 根本原因四要項](https://www.eslite.com/product/1001122732681944080006)
> 要解決問題不是抓戰犯
- 不合標準
- 發生在失效過程早期
- 在管理階層控制下
- 處理它可"最有"防止事件再發生.

## Summary
核心是人, 是溝通, 透過一個資訊透明的溝通平台更有效率.

- edge to edge monitor tool
- 權責清楚資訊透明，跨部們溝通 easy

---
招募區是什麼啦XD
他沒國泰有錢
=====以上招募區========
找人打傳說可以算招募嗎?
=====以下聊天區==============

還沒開始就有招募了嗎
(ゝ∀･)
你們壞壞...
筆記是用倉頡欸
我是大易使用者！
ㄅ半參上
倉頡使用者路過

為什麼 PPT 上的監控圖還是這麼老舊
8年前在電信業用的是那些 現在怎麼還是阿~
是圖隨便抓 還是真的是用這個~
~~能動就別動啊~~
真的 `電信業` 的確有這個心態

kubernetes 是文字耶

怎麼已經開始聊天了xD

五速嘴

比較重點是第一堂跟下午的內容嗎？ -> 技術底的分享的話，是，所以矽谷牛工作坊爆棚
現在可以臨時進去嗎
> 邱牛就是讚

這個邱牛是我認識的邱牛ㄇ

所以這麼多問題到底是什麼問題XD

我不管好壞都丟綠燈給你，你怎麼辦?
管你什麼燈
總之黃燈輝~
> 薪水給他亮個紅燈好了
> 半夜還是會被 call 起來的吧？
靜默處理 確實現在一堆AP端都會這樣
incident report 就會揭露這個問題了

20幾個on call的陣容好堅強

共筆的大家怎麼都能預知要講什麼？ 太強惹

一堆燈，密集恐懼發作

怎麼一時 WebSphere 一時 WebLogic？

大家平日真的會有人專責一直看監控的燈號嗎? 還是有人回報或收到告警才會去看
有在監控告警也沒用，AP端都懶得管一直丟東西上去

聽到的是會輪班負責監控

我們會收到信 然後把信刪掉
等真的被 report 的時候再去看
不然平常放忙著開發哪有時間看 ：）
XD

來了 SUPER工程師 但是薪水只有一份

講者好像很怕新人學會很多東西之後就會跑了XD
因為真的會跑
> 薪水開太低學了這麼多不跑是不是傻

延伸問一個大家SRE的流動率如何?
:0我昨天有聽到有人去養老的

電信都是在找戰犯
怎麼可能是解決問題
解決問題不要找戰犯 各位共勉之
如果是解決問題就好了 世界上就不會有"壞人了"
養老？那邊可以養老？

電信其實還蠻適合養老的
學長學弟 很明顯

做ERP的公司評價如何