網路服務維運
安全實務

分享我在前公司維運工程師工作的勸退相關經驗

林博仁 0w0/
（前）中信安科技維運工程師

https://hackmd.io/@brlin/operations-security-talk-presentation

我是誰$ whoami

• （前）網路發展協會社長、講師、雜工
• （成功存活了四年才被開除的）中信安科技維運工程師
• （剛跳槽成功的）晟鑫科技軟體應用工程師

#Ubuntu #KDE #Snapcraft #L10N-TW

免責聲明Disclaimer

因為以下原因演說內容僅供參考：

• 可能不代表典型的維運工程師工作
• 有些東西可能不符合現代的安全實務
• 有些東西可能是夢到、自身經驗或是朋友說的，與我先前的雇主不一定有關係如有雷同，那就雷同

維運工程師Operations engineer是在做什麼工作？

• 確保服務service正常運行
• 確保伺服器server不被入侵
• 與工程師配合開發新功能/服務與設計架構以完善服務
• 開通Provision與部署開發development、測試test與生產production環境

維運工程師會用到些什麼？

遠端管理主機的工具

• 要能夠保存多主機的連接設定檔profile
• 主機密碼不明文保存

相關工具與技能：

• OpenSSH 客戶端
  • 連線多工(ControlMaster)
• MobaXterm
• XSHELL

自動化Automation

• 減少繁複的人工作業
• 使部署環境一致化

相關工具與技能：

• （主要是 Bash 的）Shell 腳本shell script
• Ansible/Chef/Terraform
• YAML 標記語言

調閱運行紀錄log

• 快速定位服務問題
• 提早發現潛在問題與最佳化細節

相關工具與技能：

• 運行紀錄查詢方式：
  • journalctl
  • Windows 事件檢視器
• 運行紀錄分析工具：GoAccess
• 中心化運行紀錄管理系統：Graylog、ELK Stack

GoAccess

GoAccess (dashboard)

規劃服務架構

• 確保服務的高可用high-availability(HA)
• 讓其他維運工程師能夠快速掌握架構

相關工具與技能：

• PlantUML
• Draw.io

PlantUML 架構圖範例

監控服務與主機狀態

• 定期採集服務、通訊埠、儲存、網路等層面的各種監控指標數據
• 如果出現非預期的結果就發送告警讓維運人員進行應對

相關工具與技能：

• Hostmonitor
• ZABBIX
• Prometheus

ZABBIX 主機網路延遲監控範例

Postman Web 服務回應監控範例

撰寫服務與基礎建設的維運文件

• 包含但不限於架構、服務建置流程、服務通訊埠ㄅㄨˋ號、功能驗證、常用命令與檔案路徑等相關資訊
• 確保專案的永續性

相關工具與技能：

• Markdown
• HackMD(CodiMD)

操作 RESTful/GraphQL API

• 測試服務功能是否正常
• 調用第三方服務 API 來實作自動化功能
  • Telegram 機器人 API
  • GitHub/GitLab API

相關工具與技能：

• curl
• Postman

自來源碼source code建構軟體

• 加入預建構pre-built軟體沒有的功能
• 針對執行環境最佳化
• 滿足客戶的機車需求

源碼建構的基本流程

以基於 GNU Autotools 軟體建構系統的軟體為例：

1. 產生軟體建構配置程序autogen.sh
2. 配置軟體建構細節./configure
3. 建構軟體make
4. 安裝軟體make install

English

• 閱讀要維護之服務的原文技術文件
• 看服務運行紀錄與配置檔

相關工具與技能：

• Google 翻譯
• LLM 大語言模型(ChatGPT/Gemini/…)

用水晶球
通靈主管或客戶的意思

不解釋。

資訊安全

同時也是你飯碗的安全

堡壘機(Bastion host)

• 業務服務器遠端管理服務不直接對外
• 避免密碼被窮舉爆破
• 管理並紀錄維運工程師的操作行為

虛擬私人網路Virtual Private Network(VPN)

監控
Monitoring

要監控什麼？

• 服務可用性
• 伺服器資源使用量
• 雲平台費用
• …

案例：堡壘機中毒

• 某同事所使用的堡壘機於凌晨五點時大量登入業務伺服器
• 應對方式：Ansible 全業務主機批量取消防火牆白名單

案例：VPS 機房新開通伺服器被埋木馬

• 新開通的伺服器每十五分鐘跟一個可疑的 IP 地址建立連線
• PAM 程式庫被調包
• 跟乾淨系統比對全系統檔案的指紋

案例：VPS 機房主機被人為重開機之後埋木馬

• 凌晨 3~5 點某業務服務器突然被重開機
• 檔案異動告警被觸發，服務啟動腳本被插命令啟動 DDoS agent
• IPMI/BMC

1. 機房透過 IPMI 重啟伺服器
2. 使用開機碟開機獲得系統權限
3. 安裝惡意程式
4. 重開回受害系統

勸退

為何當一個維運工程師可能不是個好出路？

有 輪值(on-call)

• 要當輪班星人在下班/假日期間應對告警
• 手機不能離身，筆電也在在附近
• 手放在方向盤鍵盤上才叫做加班

※依各公司政策不同

有補休 / 加班費？

• 都說可以申請加班費，但是沒人不讀空氣真的去申請
• 補休價值觀爭議：加班加深夜/假日，補休補平日

※依各公司政策不同

（待遇）有落差

• 正規行業→待遇普通(?)
• 待遇好的→高機率賭博博奕、博彩、波菜行業

※依各公司政策不同

如何識別可能涉及賭博的公司

• 出差會到包含但不限於下列國家：
  • 菲律賓
  • 柬埔寨
  • 杜拜
• 出差前需要跟公司申請離職(???)然後在當地入職另一間不同名字的公司
• 薪資透過加密貨幣支付

※友人經驗轉述，僅供參考

沒惹

本簡報	更多資訊