Elasticsearch 確認資料比數正確 作法：透過定期（每天）檢查 Elasticaearch 以及 log 檔案的筆數是否一致 全部放在同一個 index 每天以一個 document存放 程式碼流程 先掃過一遍有哪些專案

ES 儲存排除特定節點 Outline 設定 測試 使用心得 設定

檢查 /etc/yum.repos.d裡面的檔案是否有指定路徑/mnt/iso 去指定路徑檢查看有沒有檔案，如果沒有的話就要用mount mount dev/cdrom/ /mnt/iso

ElastAlert系統面 安裝流程 安裝python3 安裝gcc yum -y group install "Development Tools" yum -y install python3-devel

請先準備MAC或Linux-based的電腦，如果是Windows的同仁，建議可裝VM [Class 1] 課程大綱 1. ansible 概念基本介紹 2. ansible 重要檔案說明 3. 實作playbook [Class 2] 課程大綱 上週重要回顧 4. ansible 模組介紹與實作 :door: 5. ansible 目錄結構 :door:

K8S - ES secretes 1. 帳號密碼 kubectl create secret generic elastic-credentials --from-literal=password=密碼自訂 --from-literal=username=elastic --namespace=logging-v8 2. 憑證 先透過一般模式產生 .p12 檔案 kubectl create secret generic elastic-certificates --from-file=/home/phuser/EFK-v7/elasticsearch/elastic-certificates.p12 --namespace=logging-v8

k8s 設定 local volume 建置 Local Persistent Volumes 1. 建立 StorageClass kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer

elastic helm 部署 將 images 調整成私人repo 快速測試還沒有 pv 將elastic的 persistent 改為 false 一個節點只會有一個 pod 討論區

如何用 elastic helm 的 values.yaml 進行 es 設定 一、基本運作 1. 直接寫在values.yaml的最外層，設定環境變數 esJavaOpts: "-Xmx1g -Xms1g" clusterName: "elasticsearch" networkHost: "0.0.0.0" 2. 寫在 esConfig esConfig: elasticsearch.yml: |

elasticdump nodejs 安裝 (PROD一台、STAGING一台) npm: https://www.footmark.info/linux/centos/centos7-setting-nodejs-yum/ nvm: https://www.footmark.info/linux/centos/nvm/ """EPEL安裝：此方式預設安裝的 Node.js 版本較舊""" $ yum install epel-release $ yum install nodejs $ node -v #v6.17.1

官方文件 Alert type Any type - Match on any event matching a given filter Frequency type - Match where there are X events in Y time Spike type - Match when the rate of events increases or decreases Flatline type - Match when there are less than X events in Y time Blacklist type - Match when a certain field matches a blacklist Whitelist type - Match when a certain field matches a whitelist

Elasticsearch migrate to oss盤點 User elasticsearch.yml [相容] jvm.options [相容] log4j2.properties [相容] elasticsearch.keystore [相容] setting/mapping/template/analyzer kibana space kibana saved object

Kibana Chapter 1.Discover 2.Visualize 3.Dashboard 3.Canvas 3.Graph data connection 3.Elastic Maps 4.Metrics 4.Logs

專案功能： EFK基本環境架設 ILM機制 中文全文檢索功能 EFK Tools Log從正式環境抄回研發雲 機器搬遷，資料migration OpenDistro 套用(elasticsearch-oss 遷移)

Elasticsearch 結合realm + LDAP 出處：User Impersonation with X-Pack: Integrating Third Party Auth with Kibana 簡介 X-Pack Security 提供 authentication and authorization via RBAC authentication:認證，透過Elasticsearch原生的realm來做管理 authorization:有哪些權限

snapshot backup_unit: index or cluster incremental backup Remote repository ways: S3 HDFS Azure GCS other platform, e.g.,shared file system, like NFS

全文搜索 目錄 簡介 匹配查詢 多詞查詢 布林查詢 布林與match的等價關係 對查詢子句設權重 分析控制

PUT _ilm/policy/delete_policy { "policy": { "phases": { "delete": { "min_age": "7d", "actions": { "delete": {} } }