EFK安裝與建置(1/4) 前提: EFK是三個opensource組成,透過三個軟體的搭配去監控與分析資料。 為了蒐集不同類型與格式的log,進行資料的轉換(ETL),將數據呈現在不同的圖型上。 可以針對log去做監控和分析及記錄。 **安裝順序:1-1.Elasticsearch和1-2.Kibana -> 2.td-agent -> 3.curator** 我們會先安裝Elasticsearch和Kibana並把服務起起來,可以進入elastic後台之後,再去安裝和起td-agent服務,透過td-agent抓到log餵給elastic,最後透過curator去管理elastic的索引。 1. ELK 與 EFK 的差別 ELK: Elasticsearch + Logstash + Kibana EFK: Elasticsearch + Fluentd + Kibana 補充:Logstash在效能表現上不如Fluentd,慢慢的被Fluentd(td-agent)取代 2. 介紹 Fluentd:最底層蒐集log的服務,透過Fluentd先在Elasticsearch建立索引,並把資料餵給elastic Elasticsearch:可以儲存log,在建立索引之後,是一個可以快速搜尋log內資料的引擎 elasticsearch-curator:去管理elasticsearch索引的工具,因為每天都會讀log儲存進elastic,要定期清除 Kibana:圖形化的工具,把elastic的資料隨著時間排列,透過不同的圖表(圓餅圖、直方圖)呈現 補充: Fluentd 在 Linux 中的套件名稱為 td-agent 3. 安裝版本 Elasticsearch v7.12.0 elasticsearch-curator-5.8.1-1 Kibana v7.12.0 td-agent-3.7.1-0.el7 4. 安裝Elasticsearch和Kibana %rpm –install elasticsearch-7.12.0-x86_64.rpm %rpm --install kibana-7.12.0-x86_64.rpm 5. 設定Elasticsearch和Kibana %vi /etc/elasticsearch/elasticsearch.yml %cat /etc/elasticsearch/elasticsearch.yml (kibana待補充) 6. 設定xpack(進入或連進elastic需要密碼) 在Elasticsearch: 6-1.設定完要開啟xpack安全性設定 6-2.產生使用者帳號和密碼 6-3.curl localhost:9200 打echo API 在kibana: 6-4.使用kibana Utility 把連到Elasticsearch 帳密存在kibana 的keystore裡面 6-5.http://ServerIp:5601/login 啟動後可以看到後台 7. 7 8. 8 9. 9 10. 10 11.