Try   HackMD

Elastic Observability 實作體驗營 @ DevOpsDays Taipei 2022

本頁面縮網址： https://hackmd.io/@estraining/DevOpsDaysTaipei2022
講者： 喬叔 (Joe Wu)
Facebook 粉絲頁： 喬叔 - Elastic Stack 技術交流

這份文件，已於 2023.09 將版本從 8.4.1 更新至 8.9.0。

行前準備

操作電腦需求

  • 最少 16GB 以上的 RAM
  • 最少 30GB 以上的 Disk Space
  • MacOS, Linux, Windows 皆可，但請不要用太舊的作業系統

:exclamation:請注意，由於這次工作坊執行的 docker containers 數量眾多，記憶體的要求較高，如果記憶體不到 16GB 的話幾乎很難順利運作，若是要開雲端主機的話，可以參考 - 如果要使用雲端主機，可以設定-SSH-Tunnel-來存取 的設定方式。

準備執行環境

請先在電腦中安裝以下所需的執行環境：

  • Docker
  • Docker Compose (安裝說明)
  • Python3 (安裝說明)
  • Git (會簡單的 git clone, git pull, git checkout 即可。)

準備好 Docker Images

這次的工作坊，使用的是 Elastic 在 GitHub 所提供的 apm-integration-testing 開源專案。

因為在操作時會需要 build Docker image 以及下載一些 Elastic Stack 的 Docker images，為了避免工作坊的時間被佔用在處理 build & download，建議請大家先完成以下的步驟。

:exclamation:請注意，喬叔有特別為了這次工作坊進行一些準備，所以請直接到喬叔 fork 出來的 GitHub 專案進行下載 https://github.com/joecwu/apm-integration-testing/，不要下載到 Elastic 官方版的哦！

  1. 取得 apm-integration-testing 的檔案。

可使用 git clone 的指令，或是直接下載 Zip 壓縮檔。

git clone https://github.com/joecwu/apm-integration-testing.git
  1. 準備好 Docker Images

有以下兩種選擇，自行 build 或是直接抓喬叔準備好的 docker images.

2-1. 自行 build:
在專案的根路徑下，執行以下 compose.py build 的指令，以建立及下載所需要使用到的 Docker images：

Mac or Linux：

./scripts/compose.py build --release --with-opbeans-java --with-opbeans-ruby --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.9.0

Windows：

python .\scripts\compose.py build --release --with-opbeans-java --with-opbeans-ruby --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.9.0

2-2. 直接使用喬叔 build 好的 docker image

Mac M1：

docker-compose -f ./docker-compose-arm64.yml pull

有一些 opbeans 的 docker base image，是使用 AMD64 所建置，所以使用 Mac M1 或 M2，請開啟 Rosetta 以正常模擬 AMD64 的執行環境來運行這些 Containers。

Linux：

docker-compose -f ./docker-compose-linux.yml pull

Linux 版本還保持在 8.4.1 ，若要使用 8.9.0 請自行 build。

Windows：

docker-compose -f ./docker-compose-windows.yml pull

Window 版本還保持在 8.4.1 ，若要使用 8.9.0 請自行 build。

其他平台

其他平台需自行 build，否則 opbeans-go 和 opbeans-rum 會無法成功執行。

  1. 確認 Docker Images 已被成功建置及下載。

使用 docker images 指令，確認有存在下列 Docker Images.

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

  1. 多確認是否能正常運作 Docker Cotainers

使用自行 build，請用：docker-compose up -d

若是使用另外的 yml 檔，請指定 -f 參數：docker-compose -f ./docker-compose-linux.yml up -d

請確認 containers 都能正常運作 (狀態為 healthy)，若有問題，可先參考 FAQ

嘗試執行，確認系統資源能足夠啟動這些 Containers

docker-compose up -d

並使用 docker ps 確認 containers 都有正常的運作：

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

可以透過 http://localhost:5601 存取 Kibana，確認 Elastic Stack 服務有正常啟動。

登入帳密為 admin 與 changeme

若遇到任何問題，歡迎透過 FB 粉絲頁 喬叔 - Elastic Stack 技術交流 與我聯繫。

Elastic APM Integration Test 簡介

APM Integration Testing 是一個公開在 GitHub 的開放原始碼的專案，這個專案主要語言是用 Python 撰寫，並且使用 Docker 來運作 Elastic Stack 的各種服務以及 opbeans 這個 Demo 專用的庫存管理系統，讓我們能夠擁有一個 Elastic APM 所需要執行的情境，並且能夠將當中的某些元件替換成真實運作的版本，可以協助開發人員進行 debug，或是協助整合測試 (Integration Test) 所需使用的複雜的環境。

包含的角色

以下幾種角色，是 APM Integration Testing 的 Docker Containers 運作起來時，裡面有的角色：

  • Elastic Stack
    • Elasticsearch
    • Kibana
    • APM Server
    • Heartbeat
    • Filebeat
    • Metricbeat
    • Packetbeat
  • opbeans 庫存管理系統的各種語言版本的實作，並且埋入 APM Agent
    • opbeans-go
    • opbeans-java
    • opbeans-ruby
    • opbeans-dotnet
    • opbeans-node
    • opbeans-python
    • opbeans-php
  • opbeans 所使用到的 Database 或是 Cache 等服務
    • PostgreSQL
    • Redis
  • 針對 opbeans 庫存管理的系統，使用 apm-agent-rum-js，實作 Real User Monitoring
    • opbeans-rum
  • 自動模擬存取流量的 opbeans-load-generator
  • 專門製造錯誤情況發生，讓壓測能更擬真的 Dyno. (僅支援 opbeans-python)

運作示範

下圖是 Kibana > Observability > Trace > Service Map 的截圖。

請留意，每個 opbeans 即是一個完整的 web 專案，本身就可以獨立運作，但是當 apm-integration-testing 透過 docker-compose 啟動時，如果同時執行超過一種以上的 opbeans-XXX，會在執行時隨機存取其他 opbeans-XXX，創造出 service 與 service 之間互相溝通的存取，以模擬多層次或是分散式架構系統的運作情境。

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

任務一：將 apm-integration-test 運作起來

1. 準備執行環境

請確認電腦已安裝好下列必要的執行環境：

2. 安裝指令

2.1 自行 build & start

透過執行 compose.py start 產生並執行 docker-compose.yml。

Mac or Linux:

./scripts/compose.py start --release --with-opbeans-java --with-opbeans-ruby --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.4.1

Windows:

python .\scripts\compose.py start --release --with-opbeans-java --with-opbeans-ruby --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.4.1

如果系統資源不足，跑不動太多的 Containers 的話，可以減少一些 --with-opbeans-{XXX}。
建議最少要啟動 opbeans-node 及 opbeans-rum。

例如：

Mac or Linux:

./scripts/compose.py start --release --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.4.1

Windows:

python .\scripts\compose.py start --release --with-opbeans-python --with-opbeans-go --with-opbeans-node --with-opbeans-rum --with-filebeat --with-metricbeat --with-heartbeat 8.4.1

由於 opbeans-dotnet .Net 的版本在 Apple M1 系列 CPU 建置時可能會有問題，所以我們這次直接略過不使用 opbeans-dotnet 版本，若你是 Windows 的環境，且硬體資源充足，想嘗試的話，還是可以加入 --with-opbeans-dotnet

2.2 直接拉 Docker Image (略過 build)

請記得拉最新的 main branch 的 code

Mac M1：

docker-compose -f ./docker-compose-arm64.yml up -d

Linux：

docker-compose -f ./docker-compose-linux.yml up -d

Windows：

docker-compose -f ./docker-compose-windows.yml up -d

其他平台需自行 build，否則 opbeans-go 和 opbeans-rum 會無法成功執行。

3. 確認安裝完成

使用 docker-compose ps -a 或是 docker ps -a 查看執行中的 containers。

4. 登入 Kibana

Kibana: http://localhost:5601
預設管理者帳號：admin
預設密碼：changeme

5. 查看 Kibana > Stack Monitoring

進入 Kibana > Stack Monitoring，可以成功查看 Elasticsearch Cluster 正常的運作，同時也有 Kibana 正在運作中。

任務二：收集 Opbeans 各服務所產生的 Logs

1. 設定 filebeat.yml

修改 ./docker/filebeat/filebeat.yml

在 ## autodiscover 的區塊裡，填加以下的設定。

filebeat.autodiscover:
  providers:
    - type: docker
      templates:
        - condition:
            contains:
              docker.container.name: "opbeans-"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              include_lines: ['^{']
              tail_files: true
              processors:
              - add_tags:
                  tags: [json]
                  target: "parser_type"
              - decode_json_fields:
                  fields:
                    - message
                  target: ""
                  overwrite_keys: true
                  add_error_key: true
              - drop_fields:
                  fields:
                    - service
                    - event
                    - url
                    - error
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
              fields_under_root: true
        - condition:
            contains:
              docker.container.name: "opbeans-"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              multiline.pattern: '^[[:blank:]]'
              multiline.negate: false
              multiline.match: after
              exclude_lines: ['^{']
              processors:
              - add_tags:
                  tags: [no_json]
                  target: "parser_type"
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "kibana"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "elasticsearch"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "metricbeat"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "heartbeat"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "filebeat"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.name: "apm-server"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              json.add_error_key: true
              json.overwrite_keys: true
              json.keys_under_root: true
              processors:
              - rename:
                  fields:
                   - from: "error"
                     to: "error_apm_server"
                  ignore_missing: false
                  fail_on_error: true
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true
        - condition:
            contains:
              docker.container.image: redis
          config:
            - module: redis
              log:
                input:
                  type: container
                  paths:
                    - /var/lib/docker/containers/*/${data.docker.container.id}-json.log
        - condition:
            contains:
              docker.container.image: "postgres"
          config:
            - module: postgresql
              log:
                input:
                  type: container
                  paths:
                    - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
        - condition:
            and:
              - not:
                  contains:
                    docker.container.name: "apm-server"
              - not:
                  contains:
                    docker.container.name: "filebeat"
              - not:
                  contains:
                    docker.container.name: "heartbeat"
              - not:
                  contains:
                    docker.container.name: "kibana"
              - not:
                  contains:
                    docker.container.name: "metricbeat"
              - not:
                  contains:
                    docker.container.name: "opbeans-"
              - not:
                  contains:
                    docker.container.name: "postgres"
          config:
            - type: container
              paths:
                - "/var/lib/docker/containers/*/${data.docker.container.id}-json.log"
              tail_files: true
              processors:
              - copy_fields:
                  fields:
                  - from: docker.container.labels.org_label-schema_name
                    to: event.dataset
                  fail_on_error: false
                  ignore_missing: true

2. 重新啟動 Filebeat

docker-compose restart filebeat

3. 查看 Log 以確認 Filebeat 運作是否正常 (Optional)

docker-compose logs -f filebeat

4. 進入 Kibana 查看 Containers 的 Logs。

接下來，可以進入 Kibana (http://localhost:5601) 在 Observability > Logs > Stream (http://localhost:5601/app/logs/stream) 查看是否 Log 有成功傳送到 Elasticsearch 中。

可以在搜尋框中，嘗試打入 event.dataset: opbeans-，自動完成的功能會列出目前有的 event.dataset 的值供選取，如果有成功將 opbeans-node, opbeans-python, opbeans-go…這些服務的 Logs 收集到，就可以針對這些服務進行篩選。

任務三：收集 Opbeans 各服務所產生的 Metrics

1. 設定 metricbeat.yml

修改 ./docker/metricbeat/metricbeat.yml

在 metricbeat.monitors 的部份配置以下設定：

metricbeat.modules:
  - module: golang
    metricsets: ["expvar", "heap"]
    period: 10s
    hosts: ["${APM_SERVER_PPROF_HOST:apm-server:6060}"]
    heap.path: "/debug/vars"
    expvar:
      namespace: "apm-server"
      path: "/debug/vars"
  - module: docker
    metricsets: ["container", "cpu", "diskio", "healthcheck", "info", "memory", "network"]
    hosts: ["unix:///var/run/docker.sock"]
    period: 10s

在 metricbeat.autodiscover 的部份配置以下設定：

metricbeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true
      templates:
        - condition:
            contains:
              docker.container.image: "redis"
          config:
            - module: redis
              metricsets: ["info", "keyspace"]
              hosts: "${data.host}:6379"
        - condition:
            contains:
              docker.container.image: "postgres"
          config:
            - module: postgresql
              metricsets: ["database", "bgwriter", "activity"]
              hosts: ["postgres://${data.host}:5432?sslmode=disable"]
              password: verysecure
              username: postgres
        - condition:
            contains:
              docker.container.image: "kafka"
          config:
            - module: kafka
              metricsets: ["consumergroup", "partition"]
              period: 10s
              hosts: "${data.host}:9092"
        - condition:
            contains:
              docker.container.image: "logstash"
          config:
            - module: logstash
              metricsets: ["node", "node_stats"]
              period: 10s
              hosts: "${data.host}:9600"

2. 重新啟動 Metricbeat

docker-compose restart metricbeat

3. 從 Kibana 以確認 Metricbeat 運作是否正常

接下來，可以進入 Kibana 在 Observability > Infrastructure > Inventory (http://localhost:5601/app/metrics/inventory) ，切換 Show 為 Docker Containers 查看是否 Metricbeat 有成功傳送資料到 Elasticsearch 中。

任務四：收集 Opbeans 各服務所產生的 Traces

這個部份由於需要改 Code，這次 Workshop 時間有限，不在這邊練習，目前執行的版本，已經都實作好 APM Agents 的部份，同時 APM Server 也透過 Elastic Agent 在運作了。

除了參考 Elastic 官方 APM 的說明文件，可以配合從 Elastic GitHub 搜尋 opbeans- ，查看目前所執行的 opbeans 各種語系專案的實作方式。

例如 opbeans-node 的 NodeJS 的 server.js 實作參考。

任務五：監控 Opbeans 的服務運作狀態 (Uptime)

設定 heartbeat.yml

修改 ./docker/heartbeat/heartbeat.yml

在 heartbeat.monitors 的部份配置以下設定：

heartbeat.monitors:
  - type: http
    name: onedoggo training web
    schedule: '@every 60s'
    urls: ["https://training.onedoggo.com/"]
    check.response.status: 200
    tags: ["3rdParty"]
    fields:
      env: production
  - type: http
    name: "opbeans web"
    schedule: '@every 10s'
    urls: [
      "http://opbeans-node:3000",
      "http://opbeans-java:3000",
      "http://opbeans-python:3000",
      "http://opbeans-go:3000",
      "http://opbeans-ruby:3000"
      ]
    check.response.status: 200
    tags: ["web", "opbeans"]
    fields:
      env: production

另外在 heartbeat.autodiscover 的部份配置以下設定：

heartbeat.autodiscover:
  providers:
    - type: docker
      templates:
        - condition:
            contains:
              docker.container.image: redis
          config:
            - type: tcp
              name: "${data.docker.container.name}"
              hosts: ["${data.host}:${data.port}"]
              schedule: "@every 1s"
              timeout: 1s
              tags: ["DB", "container"]
        - condition:
            and:
              - contains:
                  docker.container.image: opbeans
              - not:
                  contains:
                    docker.container.name: opbeans-load-generator
          config:
            - type: http
              name: "${data.docker.container.name}"
              urls: ["http://${data.host}:${data.port}"]
              schedule: "@every 5s"
              timeout: 1s
              tags: ["opbeans","container"]

重新啟動 Heartbeat

docker-compoes restart heartbeat

從 Kibana 以確認 Heartbeat 運作是否正常

接下來，可以進入 Kibana 在 Observability > Uptime > Monitors (http://localhost:5601/app/uptime) 查看是否 Heartbeat 的 monitors 有成功傳送到 Elasticsearch 中。

加強版設定

增加 heartbeat.monitors 的配置：

  • 從 container 外部對於 Redis 的監控
  • 從 container 外部存取 opbeans web 的監控
heartbeat.monitors:
  - type: http
    name: onedoggo training web
    schedule: '@every 60s'
    urls: ["https://training.onedoggo.com/"]
    check.response.status: 200
    tags: ["3rdParty"]
    fields:
      env: production
  - type: http
    name: "opbeans web"
    schedule: '@every 10s'
    urls: [
      "http://opbeans-node:3000",
      "http://opbeans-java:3000",
      "http://opbeans-python:3000",
      "http://opbeans-go:3000",
      "http://opbeans-ruby:3000"
      ]
    check.response.status: 200
    tags: ["web", "opbeans"]
    fields:
      env: production
  # - type: http
  #   name: "opbeans web public access"
  #   schedule: '@every 10s'
  #   urls: [
  ## localhost 要換成 IP，否則 Docker Container 內部存取 localhost 會是錯誤的。
  #     "http://localhost:3000",
  #     "http://localhost:3001",
  #     "http://localhost:3002",
  #     "http://localhost:3003",
  #     "http://localhost:8000"
  #     ]
  #   check.response.status: 200
  #   tags: ["web", "opbeans"]
  #   fields:
  #     env: production
  - type: tcp
    name: redis healthcheck
    schedule: '@every 5s'
    hosts: ["redis:6379"]
    tags: ["DB"]
    fields:
      env: production

任務六：設定異常時的主動通知 - Alert

1. Service Level Indicator & Objective - 1

建立新的 Alert，選擇 Rule Type 為 Uptime monitor status，並依照需求填入設定。

依需求建立 Web Uptime SLI-1

Actions 的部份，以 Index 為例，建立新的 Index Connector：

Document to index 的 index document 簡單範例：

{
    "rule_id": "{{rule.id}}",
    "rule_name": "{{rule.name}}",
    "alert_id": "{{alert.id}}",
    "context_message": "{{context.message}}"
}

2. Service Level Indicator & Objective - 2

建立新的 Alert，選擇 Rule Type 為 APM Latency threshold，並依照需求填入設定。

依需求建立 Web Latency SLI-2-1

依需求建立 Web Latency SLI-2-2

Document to index 的 index document 使用一樣的簡單範例：

{
    "rule_id": "{{rule.id}}",
    "rule_name": "{{rule.name}}",
    "alert_id": "{{alert.id}}",
    "context_message": "{{context.message}}"
}

3. 建立完成後，可以在 Manage Rules 的頁面查看結果。

在 Kibana > Alert > Manage Rules (右上角) 可以查看 Rules 設定結果。

使用 Elastic Observability 查找問題的技巧

別忘記內建的 Dashboard

  • [Metricbeat Docker] Overview ECS
  • [Filebeat PostgreSQL] Overview ECS
  • [Metricbeat PostgreSQL] Database Overview

利用 Machine Learning

  • Logs
    • Anomalies: 主要是針對 log entry rates (輸入率) 來進行異常的判斷。
    • Categories: 依照收集到的 Logs 進行分類，前且顯示總數量、Datasets 的來源、並且借由 Trend (趨勢) 的變化及數量來快速判斷異常的狀況。

FAQ

執行 composer.py 時 Docker build 出現 GPG error

docker 出現 GPG error: At least one invalid signature was encountered 相關問題及解決辦法。

There are a few reasons why you encounter these errors:

There might be an issue with the existing cache and/or disc space. In order to fix it you need to clear the APT cache by executing: sudo apt-get clean and sudo apt-get update.

The same goes with existing docker images. Execute: docker image prune -f and docker container prune -f in order to remove unused data and free disc space.

If you don’t care about the security risks, you can try to run the apt-get command with the –allow-unauthenticated or –allow-insecure-repositories flag. According to the docs:

Ignore if packages can’t be authenticated and don’t prompt about it. This can be useful while working with local repositories, but is a huge security risk if data authenticity isn’t ensured in another way by the user itself.

Finally, on MacOS, where Docker runs inside a dedicated VM, you may need to increase the disk available to Docker from the Docker Desktop application (Settings -> Resources -> Advanced -> Disk image size).

執行以下指令會將你的 Docker 環境清空，包含 images, dangling build caches, containers，請確認後再操作。

docker container prune
docker image prune -a 
docker system prune
docker system df

啟動時，容器異常中止

查看 docker-compose logs {container_name} 時，發現以下的錯誤：

exec /usr/bin/dumb-init: exec format error

這代表該 Docker Image 不是用對應的 platform 所建置，需自行 build imgae 才能使用。

啟動時，發生 unhealthy 的錯誤

ERROR: for opbeans-node  Container "907fc7a0c9be" is unhealthy.

ERROR: for opbeans-load-generator  Container "24e4d86c54ed" is unhealthy.
ERROR: Encountered errors while bringing up the project.
Traceback (most recent call last):
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/./scripts/compose.py", line 31, in <module>
    main()
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/./scripts/compose.py", line 17, in main
    setup()
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/scripts/modules/cli.py", line 213, in __call__
    self.args.func()
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/scripts/modules/cli.py", line 590, in start_handler
    self.build_start_handler("start")
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/scripts/modules/cli.py", line 782, in build_start_handler
    self.run_docker_compose_process(docker_compose_cmd + up_params)
  File "/Users/joecwu/projects/joecwu/apm-integration-testing/scripts/modules/cli.py", line 476, in run_docker_compose_process
    subprocess.check_call(docker_compose_cmd)
  File "/Users/joecwu/.pyenv/versions/3.9.2/lib/python3.9/subprocess.py", line 373, in check_call
    raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command '['docker-compose', '-f', '/Users/joecwu/projects/joecwu/apm-integration-testing/docker-compose.yml', 'up', '-d']' returned non-zero exit status 1.

有可能是當下某一些有相依性的 service 還沒有正常的啟動，可以先重新使用 docker-compose 啟動一次試試，看看是否有改善。

docker-compose up -d

若是依然有服務沒辦法正常啟動，可使用 docker ps -a 查看沒有正常啟動的服務是哪些，並進一步使用 docker logs {{DockerContainerName}} 查看錯誤訊息。

opbeans-dotnet 在 Apple M1 無法啟動

使用 docker logs localtesting_8.4.1_opbeans-dotnet 查看，發現以下錯誤：

Failed to resolve full path of the current executable [/proc/self/exe]

在這次 Workshop 中，若是使用 Apple M1，我們先不啟用 opbeans-dotnet

如果已經啟動過，但想要清空環境，重新再來

先清除所有正在運作中的 containers，以下方式二擇一：

  1. 使用 composer.py
./scripts/compose.py stop
  1. 使用 docker-compose
docker-compose down

如果有需要，可以一併刪除已產生的 docker volume.

docker volume rm apm-integration-testing_esdata
docker volume rm apm-integration-testing_pgdata

如果要使用雲端主機，可以設定 SSH Tunnel 來存取

~/.ssh/config 的參考設定如下：

Host gcptunnel
    HostName <my.gcp.host.ip>
    IdentityFile ~/.ssh/google_compute_engine           <--- yours may differ
    User jamie                                          <--- yours probably differs
    Compression yes
    ExitOnForwardFailure no
    LocalForward 3000 127.0.0.1:3000
    LocalForward 3001 127.0.0.1:3001
    LocalForward 3002 127.0.0.1:3002
    LocalForward 3003 127.0.0.1:3003
    LocalForward 3004 127.0.0.1:80
    LocalForward 5601 127.0.0.1:5601
    LocalForward 8000 127.0.0.1:8000
    LocalForward 9200 127.0.0.1:9200
    LocalForward 9222 127.0.0.1:9222

以上述的例子，設定完成後，執行 ssh gcptunnel 即可將本機的 port 轉接到雲端主機。

參考資料

以上有關 .yaml 檔的修改，已 commit 在喬叔 GitHub 的 2022-devopsdays-workshop branch 之中，可以直接 git checkout 2022-devopsdays-workshop，或是點此下載。

Last changed by 
 
Joe's ES Training
喬叔的 Elastic Stack 專業教育訓練
0
3
1827

Read more

HWDC 2024 - 當 Elasticsearch 遇上 AI

:::

Oct 9, 2024
DevOpsDays Taipei 2023 工作坊 - 如何在 Elasticsearch 實現敏捷的資料建模與管理

如何在 Elasticsearch 實現敏捷的資料建模與管理

Sep 25, 2023
Elastic Observability 實作體驗營 2023

本頁面縮網址： https://hackmd.io/@estraining/DevOpsDaysTaipei2022 講者： 喬叔 (Joe Wu) Facebook 粉絲頁： 喬叔 - Elastic Stack 技術交流

Sep 18, 2023
(行前準備) Elastic Observability 實作體驗營 @ DevOpsDays Taipei 2022

本頁面網址： https://hackmd.io/@estraining/DevOpsDaysTaipei2022講者： 喬叔 (Joe Wu)Facebook 粉絲頁： 喬叔 - Elastic Stack 技術交流

Sep 12, 2023
Read more from Joe's ES Training
Published on HackMD