# Observability with Grafana - 劉宇哲(Ben Liu)

{%hackmd @DevOpsDay/B1cnefOI0 %}

#### 》[議程介紹](https://devopsdays.tw/2024/speaker-page/1500)
#### 》[填寫議程滿意度問卷｜回饋建言給辛苦的講者](https://forms.gle/xNaC9XEcDb6LwPXY7)

> [今日的 Slide](https://github.com/ben-liu-ikala/devopsdays_observability_with_grafana)

> 共筆從這開始

## LGTM
L: Loki：對應到 Log
G: Grafana: Dashboard 的 UI 工具，在 Grafana 8.0 後的版本就有導入 Alert
T: Tempo：對應到 Trace
M: Mimir：將 Prometheus 包在裡面，Prometheus 本身沒有對 Long-Term Storage 做優化, 但 Mimir 可以選擇更便宜的ＯＳＳ（例如 AWS S3, GCP GCS等)作為長期持久性的替代方案
> 或許可以考慮 [Thanos](https://landscape.cncf.io/?item=observability-and-analysis--observability--thanos)?
> 黑科技之一。ＸＤ

## Observability

通過在火箭內設置很多 sensor, 能即時傳出很多遙測資料進行監測.

資料可行性與理解認知程度的四象限圖

- Known Ubknowns
假設我是一個 oncall 人員，不知道程式內容，但是可以觀測到狀態，可以做即時的預防

- Unknown Knowns
假設我是一個開發人員，我知道程式和流量不能超過 100 RPS，可以設定阻擋策略(熔斷機制)例如70就先斷掉

- Unknown Unknowns
有個程式完全壞掉了，但是完全不知道為什麼，那怎麼辦？盡可能讓 Unknown Unknowns 問題越來越少

## Lunch Choice Simulator

在公司，中午的時候，大家坐電梯一起去吃飯，這個 team 有四個人，每個人都要想，今天要吃什麼，其他人去決定，同意還是不同意，會得到 API response， true or false，開出三隻 endpoint，透過按鈕的方式

- 如果多數同意的店家會變成綠色
- 不然就是紅色
- 平手就不會變色


Lunch Choice Simulator 模擬快速地發出同意跟請求

Dashboards 看到什麼？

- 什麼食物在這間公司最受歡迎
- 團隊的決策效益好不好？
- 是不是大家都有投票
- 每個食物被提出來的次數


Grafana Tempo 產生的 R.E.D.指標以及 Service map

通過 Tempo 的 span metric generator 產生的 metrics data

通過 Tempo 查詢系統的 trace 資料

某個 trace 的 span 細節

通過 span 連結至對應的 log

- 為什麼不用 Datadog？
- 我很抱歉，我沒錢
- Grafana 是相對有性價比的

###### tags: `DevOpsDays Taipei 2024`

----
共筆聊天室