Firmware Fuzzing: The State of the Art

Abstract

• 目標：統整IoT韌體模糊測試的方法，分析這些工作，總結現有的缺點。
• 方法：設計幾個研究問題，提取出關鍵字，用這些關鍵字搜尋文獻。
• 結果：fuzzing分為基於現實世界的和模擬的，基於模擬的fuzzing是未來的主流；現有的模糊測試針對的漏洞是內存損壞漏洞；韌體的fuzzing比一般的軟體困難很多。
• 結論：透過分析不同方法的優缺點，為模糊測試技術提供指南和意見。

Introduction

• 測試IoT設備的方式很多，如靜態分析、符號執行、模糊測試、機器學習的檢測等，模糊測試是研究最多的方法之一。
• Fuzzing生成測試的方式有兩類：generation-based methods and mutation-based methods。
• generation-based透過對輸入格式、環境、協議建模，生成滿足規範的測試。
  • Peach, Sulley, MoWF
• mutation-based透過改變現有的有效測試來生成新的測試。
  • AFL, Honggfuzz, BuzzFuzz

Research Method

Research Questions

1. 韌體fuzzing執行環境為何？
2. 韌體fuzzing檢測到的主要漏洞有哪些？
3. 韌體fuzzing和一般fuzzing有什麼差異？

Study Selectoin

• 蒐集IEEE、ACM、SpringerLink(科學界的學術資源平台)和Google Scholar中，和"firmware fuzzing", "IoT security", "firmware simulation"有關的論文。
  • 經過過濾，蒐集了37篇，選擇了其中12篇和模糊測試有關的來分析問題。

Result

Simulation-based fuzzing is the mainstream in the future

• 因為韌體的架構多樣性和各種外部設備，早期的韌體模糊測試都是在真實設備上進行。
  • RPFuzzer(路由器)
  • IOTFuzzer(IoT通信)
  • FreeRTOS(嵌入式設備)
• 真實設備成本高，覆蓋率低，重心轉為模擬上。
  • QEMU
  • Avatar(外設用真實設備)
  • SURROGATES(Avatar改良)
  • Avatar2(Avatar改良)
  • FIRMADYNE(完整系統模擬)
  • FIRM-AFL(FIRMADYNE改良)
  • FirmAE(FIRMADYNE改良)
  • Laelaps(concolic外部設備輸入)
  • P2IM(外部設備建模)
  • DICE(外部設備建模)
  • HALucinator(外部設備抽象)

Memory corruption vulnerabilities are the primary detection targets

• 基於真實設備上的模糊測試，得到的資訊是有限的，無法確切判斷漏洞的類型。
  • RPFuzzer(監控CPU偵測DoS漏洞，Log分析系統崩潰、重啟和zombie process)
  • IOTFuzzer(目標就是發現IoT設備的內存損壞漏洞)
• 模擬可以得到執行時的更多資訊。
  • Avatar、SURROGATES、Avatar2是框架，沒有漏洞檢測的功能。
  • FIRMADYNE、FirmAE有自動動態分析，包含訊息洩漏、緩衝溢出、命令注入等。
  • FIRM-AFL、HALucinator、P2IM、DICE使用AFL作為模糊器，檢測內存損壞漏洞。
  • Laelaps使用PANDA插件檢測內存損壞漏洞。
• 現階段重點大多放在模擬上面，因此模糊測試不專注於發現漏洞，而是使用代碼覆蓋率來表示外部設備輸入生成的能力。

Firmware fuzzing faces more difficulties than general software fuzzing

• 基於真實設備的Fuzzing，不像一般的軟體，可能難以得到Binary檔案。
• 基於模擬設備的Fuzzing，無法達到一般軟體模糊測試的速度。
  • FIRM-AFL就是想改善性能，結合了全系統模擬和用戶模式模擬，但還是很慢。
• 韌體的Binary比一般軟體更複雜，因為需要考慮和底層的互動。
  • 這也導致在靜態分析、符號執行等技術上的挑戰。如符號執行需要適應特定的指令集和架構。
• 韌體的輸入更複雜。
  • 外部設備的輸入可能是麥克風、鏡頭、重力感測器等，以圖像、聲音為基礎轉換為數值輸入。
    • 可能需要特定編碼解碼。
  • 也可能是無線、藍芽等通訊輸入。
    • 需要了解通訊方面的協議並改成Packet的結構。
  • 更重要的輸入是中斷，這需要確定輸入時間、輸入值和環境。
    • Laelaps、P2IM、DICE都對模糊測試新增中斷的支援。

Discussion

• 基於真實設備的fuzzing很難發現多種類的漏洞，但基於模擬的卻受限於架構的低擴展性。
• 基於模擬的fuzzing重於解決外部設備輸入的問題，生成有效的測試輸入，而非檢測漏洞。
• 目前基於模擬的fuzzing沒有充分利用模擬器豐富的資訊來判斷漏洞。
  • 目前只有FIRMADYNE和Laelaps有利用這些資訊來檢測漏洞。
  • 未來可以將漏洞檢測的工具以插件的方式放到模擬平台上，提供漏洞檢測的能力。
• 許多的模糊測試生成各種外部設備的輸入其實沒有實際意義，如果針對通訊協議去建模也許更好。

Conclusion

• 本論文目的是總結現有的IoT Fuzzing技術並進行評估。
• 分別對基於真實設備和模擬的Fuzzing做分析。
• 充分利用模擬器中的訊息有助於發現更多漏洞。

tags: paper