# rsyslog server (tls) 架設與使用

## 配置環境介紹
* LogServer
跑 ubuntu server , 預計佈署 rsyslog server 收計 AP 送來的Log資料。

* AppServer
透過 Docker 佈署的 Net Core 網站或跑其他應用程式，預計將 Docker 相關的 Log 轉送到上面的 LogServer。

## 前置準備
* ubuntu server 預設就有安裝 rsyslog 套件了，不過如果要支援 tls 傳輸的話需要在多裝一個套件。
`apt install rsyslog-gnutls`
這個動作 LogServer 跟 AppServer 都要安裝。

* 產生相關憑證

* 建立一個憑證中心的 ca 證 , 這邊假定是 `EriCaRoot.crt`
這檔案需要佈署到 LogServer 跟 AppServer
* 用上面憑證中心發行兩張憑證出來
* For LogServer
* `LogCert.crt` (憑證), `LogPrivkey.key` (私鑰)
* For AppServer
* `AppCert.crt` (憑證), `AppPrivkey.key` (私鑰)

* 佈署憑證檔案
這邊把憑證相關檔案都放到 `/etc/rsyslog.d/tls` 下面，後續設定檔會需要指定憑證的完整路徑，所以這路徑只是我喜歡放這邊，不是一定要放這邊，佈署完成後兩個主機上的狀況太概會是。(檔案權限都設定為 644)
* LogServer 的 /etc/rsyslog.d/tls 有三個檔案
`EriCaRoot.crt` 、 `LogCert.crt` 、 `LogPrivkey.key`
* AppServer 的 /etc/rsyslog.d/tls 有三個檔案
`EriCaRoot.crt` 、 `AppCert.crt` 、 `AppPrivkey.key`

## rsyslog 設定調整
* LogServer 部分
* 新增設定檔 /etc/rsyslog.d/01-tls.conf

    module(load="imtcp" # TCP listener
        StreamDriver.Name="gtls"
        StreamDriver.Mode="1" # TLS-only 模式
        StreamDriver.Authmode="x509/certvalid" # 驗證客戶端證書是否有效
        )
    
    # make gtls driver the default and set certificate files
    global(
        DefaultNetstreamDriver="gtls"
        DefaultNetstreamDriverCAFile="/etc/rsyslog.d/tls/EriCaRoot.crt"
        DefaultNetstreamDriverCertFile="/etc/rsyslog.d/tls/LogCert.crt"
        DefaultNetstreamDriverKeyFile="/etc/rsyslog.d/tls/LogPrivkey.key"
        )
    
        # start up listener at port 6514
        input(
        type="imtcp"
        port="6514"
        )
    
    # 定義模板：按主機名貯存日誌
    template(name="DynFileByHostname" type="string" string="/var/log/clients/%HOSTNAME%.log")
    
    # 定義模板：按 IP 地址貯存日誌
    template(name="DynFileByIP" type="string" string="/var/log/clients/%FROMHOST-IP%.log")
    
    # 或者按 IP 地址存储
    *.* ?DynFileByIP
    & stop

* AppServer 部分
* 新增設定檔 /etc/rsyslog.d/01-tls.conf

    global(
        DefaultNetstreamDriver="gtls"
        DefaultNetstreamDriverCAFile="/etc/rsyslog.d/tls/EriCaRoot.crt"
        DefaultNetstreamDriverCertFile="/etc/rsyslog.d/tls/AppCert.crt"
        DefaultNetstreamDriverKeyFile="/etc/rsyslog.d/tls/AppPrivkey.key"
        )

* 新增設定檔 /etc/rsyslog.d/01-tls.conf

    template(name="DockerLog" type="string" string="/var/log/docker.log")
    
    if $programname startswith 'docker-' then {
        
        action(type="omfile" dynaFile="DockerLog") # 本地寫入一份

        action(type="omfwd"                        # 設定送往遠端 LogServer
           queue.type="linkedlist"                 # 設定用記憶體當駐列，黨 LogServer 暫時離線時候 資料會緩存在記憶體中後續再重送
           queue.size="10240"                      # 最大駐列的紀錄筆數
           action.resumeRetryCount="-1"            # 重新傳送失敗上限限制(-1為無限次)
           queue.saveOnShutdown="on"               # rsyslog 服務停止時，駐列如果有東西沒送先存到檔案.
           queue.filename="docker_fwd"             # 拿來暫存的檔案名稱
           protocol="tcp"                          # 走 tcp 傳輸
           target="LogServer.eri.com.tw"           # 對應 LogServer 的 IP 或 域名
           port="6514"                             # 對應 LogServer 的 Port
           StreamDriver="gtls"                     # 設定 tls 傳輸
           StreamDriverMode="1"                    # tls 模式
           StreamDriverAuthMode="x509/certvalid")  # 驗證伺服器端證書是否有效

        # 上面的 action 可以寫很多個，以這邊的案例就是本地寫一份，異機在送一份 , 
        # 如果有多台 LogServer , 要同時送到多台就是 action 繼續給他家下去就對啦
        # 要設定成 App => LogServer1 => LogServer2 .... => LogServerN 這種多層傳輸也是可以的
        # 端看實際場景有沒有需要搞到這麼複雜。
        & stop                                     # 結束相關紀錄的處理

    }

* 重啟 rsyslog 服務

  systemctl restart rsyslog.service

## 調整 docker 的 Log 設定
docker 沒特別設定預設啟動 container 時，Log是會送到本地的 json，每個 container 各自立的資料，位置在 `/var/lib/docker/containers/...` 下面，可以透過設定 `/etc/docker/daemon.json` 把所有的 log 都送往本地的 rsyslog 處理。設定範例如下:

  {
    "log-driver": "syslog",
    "log-opts": {
      "tag": "{{.DaemonName}}-{{.Name}}"
    } ,
    //..........略
  }

調整後透過 `systemctl restart docker.service` 讓設定生效。
這邊注意調整過 `daemon.json` 影響的只有調整後啟動的容器，之前啟動的 Log 還是維持在 json 模式，需要把容器銷毀重啟才會改用新的設定。如果是用 docker-compose.yaml 啟動的容器，處理上就很簡單，先 down 在 up 就搞定了。
`docker compose down && docker compose up -d`

## 設定日誌輪替(logrotate)
完成上面設定後 AppServer , 所有的 Docker Container 的 Log 應該就都會往本機 rsyslog 發送然後寫入 /var/log/docker.log 裡面了。然後再轉送到 LogServer 的 /var/log/clients/...下面，但預設 log檔會一直長大，這時候就需要另外一個機制日誌輪替(logrotate)，這大部分的 Linux 發行版預設都有安裝了，我們只要調整設定讓他多去處理我們新增的日誌檔案目標就好。
### 調整範例
* LogServer
編輯 `/etc/logrotate.d/rsyslog` 加入 `/var/log/clients/*.log`

     ...略
     /var/log/clients/*.log
     {
        rotate 4
        weekly
     ...略

* AppServer
編輯 `/etc/logrotate.d/rsyslog` 加入 `/var/log/docker.log`

     ...略
     /var/log/clients/*.log
     {
        rotate 4
        weekly
     ...略

### 後續處理
`/etc/logrotate.d/rsyslog` 預設是一週切一個檔案(weekly)保留4份(rotate 4)，大約就保留一個月左右的紀錄量。如果要改變保留份數或
改變切割方式例如要一天切一個，用日期當檔名，設定的內容可能就會變成。

    ....略
    daily
    missingok
    rotate 180
    dateext
    dateformat -%Y-%m-%d
    ....略

## 使用心得
* 容器化佈署是現在的趨勢，一整個系統可能被分割為多個容器，甚至於會分散部署在多台的伺服器上。
1. 透過上面的配置過程，可以有效的將日誌做集中的管理。
2. 透過 TLS 憑證的授權確保 rsyslog server不會被濫用。
3. rsyslog server 提供的操作只有單向的寫入，以資安層面來說就算 AppServer 被攻陷，駭客也最多也只能清除 AppServer 上那份 Log，LogServer 上的不會被破壞。
4. 透過 日誌輪替(logrotate) ，可以針對 AppServer、LogLogServer 做不同的保留策略。例如 AppServer 保留7天 (做短期緩衝), LogLogServer 保留半年(或更長)。
後續日誌存放空間是否充足的問題，就只要把關注點放在 LogLogServer 處理就可以。
* 上面簡化略過了一些憑證產生與logrotate的細部說明，這些部分有需要可以另外在研究。