---
# System prepended metadata

title: '91APP Way: 91APP 在 AWS 上的 SRE 實踐之路'
tags: [SRE2022]

---

# 91APP Way: 91APP 在 AWS 上的 SRE 實踐之路

主筆：Brian (11:30)


###### tags: `SRE2022`


---
**Brian**

agenda
1. how 91 app implement devops in aws
2. architech of sre as service

## 公司方向：自己開發、自己維運

sre focus on"
1. 異常處理
3. slo
4. 軟體工程

sre實踐原則
1. 專注在溝通流程、api介面
2. focus on,smsged serviece


### how
1. 事件處理與管理流程標準話
2. 使用高可靠的監控系統
    - cloud watch 全家桶：blabla, aws athena
    - 不監控監控系統
5. 提高運行平台的可靠度：k8s 平台化
    - rancher, grafana
6. 降低系統複雜度
    - 服務依賴與邊界
    - 推動基礎架構標準化
    - 網狀變星狀
7. 標準化
    - 開發維運治理
    - aws 資源作業規範
    - 引入其他概念與技術
8. 

## pt2 => 
降低application team 使用的門檻與複雜度
1. 開發制度化
2. 維運制度化

### how
1. 平台概念藍圖
2. manage service as api
3. 把規範變可實作規格
4. ?
5. ?

#### 3
規範=>gap=>落地 gap超大
讓規範落地
1. 專注在分析需求、讓規範變規格的人
    2. 類似rfc
3. 用技術實踐規格的人
4. ？

core: 規範 -> 規格 -> solution/tools




---
Charlie

part 1
91 的大方向：
- 以 well arti 為基礎
- 自己開發自己維運 (feature / dev team) 沒 SRE


異常處理：從 “發生” 到 “發現” 怎麼處理
1. 以象限分問題等級
2. 把問題發生處理流程導入到全公司 (Product -> CS -> PR)

用 athena 看 application Log (不要再去監控監控系統，善用 managed service)
降低系統複雜度
要有明確的架構資源規範 (遵守遊戲規則是另外一個問題)

part 2 IPO 後
降低app team 使用 op service 的門檻跟複雜度
善用 managed service

規範 --> Gap -->規格 讓規範變成規格

所有語言都有統一的 build 流程

規範 -> 規格 -> solution

---

**Gimmy**

91APP 黃冠元 Rick 架構設計部 Sr. Manager

91APP 用 AWS 

- SRE 關注
    - 人管系統，系統管服務
    - 溝通流程
    - 盡可能用 Management Service
- 事件標準化
    - 分問題：RD 搞壞，SRE 搞壞都有可能
- 使用高可靠的監控系統
    - **關注在「服務業務」而不是「維護監控服務」**
    - 用 Log Athena
- 提高運行平台可靠度
    - 導入 K8s
    - 平台化
    - 自建網站給內部申請權限等
- 推動基礎架構標準化
    - 乾跳太快
- 標準化/規範化
    - 開發維運治理
    - AWS 資源作業規範
- 多規範或標準如何讓大家遵守？
    - 開發制度化
    - 製作符合規範的 SDK, API, 工具等給開發團隊使用 



**規範 -> 規格 -> solution 或 tool**


--- 
## Chris

### Agenda
1. 早期到IPO
2. IPO之後

### 問題
異常處理
監控機制
系統可靠程度

- 事件處理與管理標準化

- 選擇監控機制
服務業務
不要監控 監控系統

- 提高平台可靠度
平台化

- 降低系統架構複雜度
基礎架構標準化
網狀變星狀

- 標準化與規範化
#### 這麼多規範和標準如何落地？
使用軟體工程讓SRE任務規模化
降低APP Team使用OP Service的門檻
Managed Services as API

規範變規格
API化 => 讓RD可以更簡單使用
SDK/Lib/Framework
Tools: ex. CLI

log Shipper by Sidecar Pattern

- 開發維運治理
全都標準化就對了
直接幹一個CLI出來

### 核心
規範 -> 規格 -> tool / solution


### Ref
91App blog: https://www.91app.tech/blog/
Enterprise Roadmap to SRE - Google - Site Reliability Engineering: https://sre.google/resources/practices-and-processes/enterprise-roadmap-to-sre/?