---
# System prepended metadata

title: EFK安裝與建置(4/4)

---

EFK安裝與建置（4/4）

前提：
EFK是三個opensource組成，透過三個軟體的搭配去監控與分析資料。
為了蒐集不同類型與格式的log，進行資料的轉換(ETL)，將數據呈現在不同的圖型上。
可以針對log去做監控和分析及記錄。

**安裝順序：1-1.Elasticsearch和1-2.Kibana -> 2.td-agent -> 3.curator**

我們會先安裝Elasticsearch和Kibana並把服務起起來，可以進入elastic後台之後，再去安裝和起td-agent服務，透過td-agent抓到log餵給elastic，最後透過curator去管理elastic的索引。

9. 
10. 
11. 10


14. td-agent介紹
主要結構是<source> 和 <match **>
<source>是取得log的來源，像是Debug Agent、HTTP port、forward

<match **>是針對資料做正則，決定輸出到哪裡，像是寫進file、塞到Database、餵給Elasticsearch

15. td-agent接收資料的方式
％vi /etc/td-agent/td-agent.conf

預設有三種接收方式
1.透過Debug Agent使用本機的方式去
<source>
 @type debug_agent
 bind 127.0.0.1
 port 24230
</source>

2.HTTP port接收
<source>
 @type http
 port 8888
</source>

3.接收別的td-agent傳進來
<source>
 @type forward
</source>

16. td-agent把資料傳送出去的方式
1.自己是client 傳給 log server
<match **>
  @type forward
  <server>
    name elastic-db
    host log-server
    port 24224
  </server>
</match>
2.儲存到db裡
<match **>
  @type mongo
  database lodge
  collection fluentd
  capped
  capped_size 100m
  host 127.0.0.1
  port 27017
  user <MONGO_USER>
  password <MONGO_PASS>
  time_key time
</match>
3.餵給elasticsearch
<match **>
  @type elasticsearch
  host localhost
  port 9200
  index_name fluentd
  type_name log
</match>

17. 來源是吃本地log，餵給elasticsearch的實作範例
<source>
  @type tail
  path /var/log/test1.log
  pos_file /var/log/td-agent/test1.log.pos
  tag td.test
  <parse>
    @type json
  </parse>
</source>
<match **>
  @type elasticsearch
  host localhost
  port 9200
  index_name fluentd
  type_name log
</match>

18. 相關指令
重啟
systemctl restart td-agent
啟動
systemctl start td-agent
把檔案丟到log server範例
https://hackmd.io/@efknice/Bk37NCBSI


相關文章（待補充）

Td-agent去接 elasticSearch 

https://blog.toright.com/posts/5133/%E7%94%A8-elasticsearch-fluentd-%E6%89%93%E9%80%A0-log-%E7%A5%9E%E5%99%A8%E8%88%87%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7.html 

Td-agent設定 

https://blog.idcf.jp/entry/elasticsearch1#%E3%83%AD%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E9%80%81%E4%BF%A1 

https://blog.yeshuanova.com/2019/12/fluentd_basic/ 

https://blog.csdn.net/qq_43812373/article/details/113859513 

-------------------
https://blog.toright.com/posts/5133/%E7%94%A8-elasticsearch-fluentd-%E6%89%93%E9%80%A0-log-%E7%A5%9E%E5%99%A8%E8%88%87%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7.html#Log_%E7%9A%84%E5%A5%BD%E6%9C%8B%E5%8F%8B_Fluentd

https://blog.idcf.jp/entry/elasticsearch1#%E3%83%AD%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E9%80%81%E4%BF%A1

https://blog.yeshuanova.com/2019/12/fluentd_basic/

https://cloud.tencent.com/developer/article/1642145

https://blog.bimap.com.tw/2021/06/07/fluentd-basic-concept

https://blog.toright.com/posts/5133/%E7%94%A8-elasticsearch-fluentd-%E6%89%93%E9%80%A0-log-%E7%A5%9E%E5%99%A8%E8%88%87%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7.html#google_vignette





