# 在K8s上實現全棧監控 - 賴政州 Steven

{%hackmd @DevOpsDay/BJXaW1_k6 %}

> 從這裡開始寫

package: https://toleadafulfillinglife.com/full-stack-monitoring-for-kubernetes/

- fluentbit傳送到Loki存放: 收集Pods跟Nodes的Log送給Loki
- OpenTelemetry傳送到Tempo存放: 可以根據Trace ID追蹤上下游, Log會有Trace ID可以反查, 找到服務之間的關係

用sidecar去部署otc-containter

要先安裝Ingress Controller 讓我們可以設定外部訪問進入 K8s 集群的路由，在 Kubernetes 中是類型為 LoadBalancer 的 Service。

## YAML Files

1. 使用prometheus-community/kube-prometheus-stack Helm分成Ingress、Valeus的檔案

這邊是設定各namespace可以收到metric

prometheus:
  prometheusSpec:
    serviceMonitorSelectorNilUsesHelmValues: false
    serviceMonitorNamespaceSelector: {}
    serviceMonitorSelector: {}

這邊是告警規則

additionalPrometheusRules:
  - name: custom-rules
    groups:
      - name: AllInstances
        rules:
          - alert: InstanceDown
            expr: up == 0
            for: 1m
            annotations:
              title: 'Instance {{ $labels.instance }} down'
              description: '{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 1 minute.'
            labels:
              severity: 'critical'

2. open-telemetry 使用 open-telemetry/opentelemetry-operator 跟 grafana/tempo
Open telemetry 會使用 webhook做驗證，所以要先安裝cert-manager
部署OpenTelemetryCollector

3. Loki 使用 grafana/loki-stack

若要看 fluent-bit 其它可以設定的 values 可以用此指令：

helm show values fluent/fluent-bit > fluentbit-all-values.yaml

### Q&A:

1. AlertManager跟Grafana Alerts的差異是什麼？
2. 可以解釋一下[這邊](https://github.com/knowledge420/full-stack-monitoring-for-kubernetes-devopsdays2023/blob/main/fluentbit-configmap.yaml)的data session底下設定的意思嗎？

#### 回覆問題1：
* Grafana Alerts與Alert Manager都是針對metrics做告警的工具。
* Grafana Alerts可以在介面上設定Alert Rules及通知Channel。
* Alert Manager是為了Prometheus metrics告警而存在的工具，有預設的Alert Rules，且其通知Channel route規則可以做群組這樣比較複雜的設定。
* 所以結合兩者優點同時一起用是可以的。
* [Grafana Alerting vs AlertManager: A Comparison of Two Leading Monitoring Tools](https://alexandrev.medium.com/grafana-alerting-vs-alertmanager-a-comparison-of-two-leading-monitoring-tools-5e262446a5f9)

#### 回覆問題2：

以下做了大概說明，有些英文字面上的意思就沒有再註釋了，若有疑問可以再來信，謝謝您的參與。

data:
  custom_parsers.conf: | # 自定義的日誌解析Parser
    [PARSER]
        Name        spring_pattern
        Format      regex
        Regex       ^(?<time>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}:\d{3}) \[(?<loglevel>\w+)\] \[(?<user>.+?)\] \[(?<thread>.+?)\] \[(?<traceId>.+?)\] \[(?<spanId>.+?)\] \[(?<trace_flags>.+?)\] (?<class>\w+).(?<method>\w+):(?<line>\d+): (?<message>.+)$
        Time_Key    time
        Time_Format %Y-%m-%d %H:%M:%S:%L
  fluent-bit.conf: | # 自定義的fluentbit設定檔
    [SERVICE] # 定義fluentbit本身服務啟動的參數
       Daemon Off
       Flush 1
       Log_Level info
       Parsers_File custom_parsers.conf
       HTTP_Server On
       HTTP_Listen 0.0.0.0
       HTTP_Port 2020
       Health_Check On
    [INPUT] # 定義tail插件去哪裡抓取日誌
       Name tail
       Path  /var/log/pods/*/*/*.log
       multiline.parser docker, cri
       Tag var.* # 為日誌貼標方便做其它fluentbit功能，如FILTER
       Mem_Buf_Limit 5MB # 緩存上限5MB
       Skip_Long_Lines On # 日誌太長就跳過，確保fluentbit穩定性，日誌越長，緩存需求越高
	   # 下方開始有多種FILTER，是fluentbit提供的插件，Name是插件名稱
    [FILTER]
       Name kubernetes # 收集Kubernetes日誌
       Match kube.* # 應用於標籤為"kube.*"的日誌
       Merge_Log On # 合併日誌
       Keep_Log Off # 不保留原日誌
       K8S-Logging.Parser    On # 預設日誌解析
       K8S-Logging.Exclude On # 預設排除特定日誌
    [FILTER]
       Name nest # 對JSON日誌進行結構調整
       Match kube.*
       Operation lift # JSON結構調整的一種操作名稱
       Nested_under kubernetes
       Add_prefix   kubernetes_ # 將被操作的Key加上前綴字
    [FILTER]
       Name grep # 搜尋過濾日誌
       Match kube.*
       Exclude kubernetes_container_name fluent-bit # 排除fluentbit自己的日誌
    [FILTER]
       Name     throttle # 日誌限流
       Match    *
       Rate     800
       Window   3
       Print_Status  true
       Interval 30s
    [OUTPUT] # 這裡依照架構設計fluentbit後面接的Storage是Loki
       name loki
       match *
       host loki.tracing.svc
       port 3100
       labels job=fluentbit # 日誌標籤加入job標籤，其值為fluentbit
       label_keys $trace_id # 將traceId作為標籤加入日誌標籤
       auto_kubernetes_labels on # yaml定義的label加入日誌標籤
    [OUTPUT]
       Name stdout # 將日誌也傳到stdout
       Match *

另外再補充 [otel-collector-sidecar.yaml](https://github.com/knowledge420/full-stack-monitoring-for-kubernetes-devopsdays2023/blob/main/otel-collector-sidecar.yaml)：

receivers: # 定義來源接收方式
  otlp: # 使用OTLP協議
    protocols: # 支持的傳輸協定
      grpc: # 支持gRPC傳輸協定
      http: # 支持HTTP傳輸協定

processors: # 定義traces處理方式
  batch: # 批次處理
  memory_limiter: # 記憶體限制
    limit_mib: 400 # 記憶體最多可用400 MiB
    spike_limit_mib: 100 # 限制記憶體不應該突增超過100 MiB，否則捨棄
    check_interval: 5s # 每5秒檢查一次

exporters: # 定義輸出方式
  logging: # 日誌輸出
  otlp: # 使用OTLP協議
    endpoint: tempo.tracing.svc.cluster.local:4317 # 輸出端點，這裡依照架構設計Collector後面接的Storage是Tempo
    tls: # TLS協議
      insecure: true # 允許不安全傳輸
    sending_queue: # 消息隊列
      num_consumers: 4 # 消費者數量
      queue_size: 100 # 隊列大小
    retry_on_failure: # 失敗是否重試
      enabled: true

service: # 定義上方所宣告的receivers, processors, exporters要使用哪些
  pipelines: # 工作管道
    traces: # 這邊只定義使用OpenTelemetry的traces功能，OpenTelemetry也有提供logs與metrics功能
      receivers: [otlp] # 使用的receiver
      processors: [memory_limiter, batch] # 使用的processor
      exporters: [logging, otlp] # 使用的exporter

### 留言板

Steven：

祝大家中秋節快樂☺️

活動當天因擔心影響工作坊進度，
若實作有問題於活動當時沒有為您解答的，或是有其他問題想提問都可以寄信到此：
[e-mail]
我會為您解答，一同學習，推廣技術。

謝謝您的參與❤️