# 從緊急事件，談 SRE 應變能力的培養
###### tags: `DevOpsDays Taipei 2018` `9/12` `14:00~14:40` `Track A`

{%hackmd zjE8rohhTBKEAPwdaLV11Q %}

> Slide: https://rickhw.github.io/2018/09/12/DevOps/DevOpsDaysTaipei2018-Emergency-And-Incident-Management/
> 問題也整理在 Blog.

## 簡介SRE

- **S**ite
- **R**eliability
- **E**ngineering

## 用電影來說「緊急事件」
薩利機長：哈德遜奇蹟
> SOP 在事件當下，不見得是唯一標準
> 復興航空意外是一個不按照標準程序執行的人為意外，其實這例子舉的不對。

## 事件當下的應變 （事後補救）: 行動與策略

==止血==是事件當下的**第一行動**

> Things break, that's life.
### 止血原則：減法原則，不要加變因(東西)
> 減法原則
>

### 止血超過一段時間，怎麼辦？
#### 現場調查

問題的拆分案例: 分而治之

理解系統如何運作不能讓你成為專家
只有理解（調查）系統為何不能運作才會.

#### 現場溝通：對內、對外
溝通要有方法
釐清問題時：請用圖來溝通
* 紅 尾
* 黑 頭
* 綠 方向未來
* 藍 問題點，討論

溝通時要注意的（口語，白板，Ｍ）

事件中溝通的**反模式**
ex:一直問：問題找了沒？

案例： slack https://status.slack.com/2018-06/142edcb9e52c7663

#### 策略劇本

整理事件紀錄
> 通常整理的人會學到很多東西

在事件當下要考慮人性
* 時間點（上班，週末，白天晚上..）
* 體力，食物，精神支持與鼓勵

> 沒有什麼大神，雷踩多了就是大神
> > 神寫的系統是不會有雷的，除了索爾

## 架構，探索，管理（事前預防）

不能把運氣當策略

平時應該思考：
* 永遠保持謹惕

### 了解系統架構
這邊談的是：已經落地的架構。
系統架構的抽象概念
* 隱藏實作
* 具體角色的可視性存取性
* 關注服務相依性
* 要有清楚的使用者定義
* 要可以講故事，說出商業價值
* 平時溝通就應該就這樣做

### 系統架構：現場的實踐
不管用什麼架構，要能用最少資源，把架構落地

降雨量是什麼？vs 網路流量是什麼？

### 分散式系統的謬論

思考：監控指標怎麼來的？
經過測試探索發現來的。

## 管理
==建立標準化作業流程==
溝通的先行要件：名詞標準化

## 新創事業的發展階段

---
> 場外聊天室，歡迎在下方喇賽

SRE有這職缺嗎？很多啊XD
> 感覺台灣比較少
> >舊的公司比較少啦, 你知道在公司要create 新的title, 遠遠比create 新的工作難得多.
> >
>賣肝人生 (菸)
> 很多公司在徵啊 https://github.com/DevOpsTW/jobs/issues
> 或者在 fb.sre.tw 社團內也常常有公司在貼求才
> 有新鮮的肝想試試看嗎
> 歡迎新鮮人喔
> https://goo.gl/HDhyJt

中午我們備援Server啟動，我還花時間看到底怎麼回事orz......
我早上出門前都還在解今天凌晨切換的Bug.. (啊，我戒煙了)

按照SOP 某種程度上就是讓第一線的人免於背負責任.
SOP 不是那麼萬惡不赦啊 >.<

有簡報分享嗎？好快, 來不及拍
> Rick 一般會後都會分享...專心聽吧
> Rick 一定會分享，甚至會寫成文章，所以專心聽吧！

簡報應該會後都會分享，大會也有錄影。

> Slide: https://rickhw.github.io/2018/09/12/DevOps/DevOpsDaysTaipei2018-Emergency-And-Incident-Management/