# Gemma×雲地並行：LLM安全藍圖

> 📌 Slido 📌
> https://app.sli.do/event/wS86qVxKUqsGRft6NRoyGo

https://app.sli.do/event/wS86qVxKUqsGRft6NRoyGo
> 共筆請從這裡開始

地端model context 有限，目前技術告訴我們說，不要當作雲端版用

案例：
www.ithome.com.tw/news/156291
https://www.ithome.com.tw/news/166191

IOS 42001 vs prEN4...

資料主權

LLM 也要 IAM

promt injection

中文版 AI OWASP: https://edward-playground.github.io/top10-showcase/

[garak, LLM vulnerability scanner](https://garak.ai/)
1. Google AI 模型演進與比較 (Gemini 3 vs. Gemma 3)

1.1 Google AI 發展歷程

關鍵里程碑：

2017: Transformer 架構提出

2024: Agentic AI (代理人 AI)

2025: Agentic Family & Multimodal LLMs

核心理念：Responsible AI (負責任的 AI)、隱私設計、社會助益。

1.2 旗艦對決：Gemini 3 vs. Gemma 3

特性

Gemini 3 (旗艦閉源)

Gemma 3 (高效開源)

定位

世界最強大腦、深度推理

本地部署、低延遲、隱私優先

核心能力

Deep Think (深度思考)、MoE 架構

知識蒸餾 (Knowledge Distillation)、高 CP 值

多模態

Any-to-Any (含影片/音訊輸出)

原生多模態 (視覺+文字輸入)

部署環境

Google Cloud TPU 叢集

本地 GPU/NPU (手機/筆電可離線)

適用對象

企業級應用、追求最強能力

開發者、硬體廠商、隱私敏感用戶

模型尺寸

Ultra, Pro, Flash

1B, 4B, 12B, 27B

💡 筆記重點：

什麼情況下該選擇 Gemini？什麼情況選 Gemma？

Gemma 3 的 "Native Multimodal" 特性對開發有什麼好處？

2. AI 部署趨勢：雲端與地端的權衡 (On-Premise & Beyond)

2.1 為什麼地端 (On-Prem) 重新崛起？

資料主權：數據不出境。

法遵與隱私：醫療、金融等高監管產業需求 (ISO 42001, EU Regulators)。

混合式部署 (Hybrid AI)：結合雲端強大算力與地端隱私優勢。

2.2 混合式架構案例

GDC Edge (Google Distributed Cloud Edge)：

透過容器化 (GKE Enterprise) 管理。

邊緣設備 (Edge Appliance) 處理即時推論。

雲端 (Google Cloud) 處理大數據分析與模型訓練。

3. 雲端 AI 服務防護機制

3.1 常見雲端風險

API 暴露

權限混亂

資料外洩

3.2 防禦策略

API 防護 (AI Firewall)：

傳統 WAF vs. AI Firewall。

偵測 Prompt Injection (提示詞注入)。

過濾敏感話題 (暴力、仇恨、PII)。

權限管理 (IAM)：

遵循 最小權限原則 (Least Privilege)。

針對 LLM 設定專屬 IAM Role。

資料防護 (DLP)：

使用 Cloud DLP 偵測敏感個資 (PII)。

技術：關鍵字匹配、正規表示式 (Regex)、資料指紋。

💡 筆記重點：

AI Firewall 如何攔截惡意 Prompt？

雲端 DLP 如何在資料進入模型前進行攔截？

4. 地端 (On-Prem) AI 安全策略

4.1 地端 AI 的隱形風險

GPU 資源調度：效能瓶頸。

合規孤島：缺乏統一標準 (如 ISO/NIST 對接困難)。

運維負擔：安全性需自行維護。

4.2 三層防護架構

模型沙箱 (Model Sandbox)：防止越權訪問與資料污染。

網段隔離：控制模型對外連線 (如 OT/IT 分離)。

稽核追蹤：完整的 Log 紀錄與事件回溯。

5. 大語言模型 (LLM) 端防禦技術

5.1 OWASP Top 10 for LLMs (2025版)

LLM01 Prompt Injection：提示詞注入攻擊。

LLM02 Sensitive Information Disclosure：機密資訊洩漏。

LLM03 Supply Chain：供應鏈漏洞。

LLM04 Data and Model Poisoning：資料與模型中毒。

LLM06 Excessive Agency：過度授權 (AI 自主權限過大)。

5.2 常見攻擊手法

社交工程/角色扮演：例如「扮演我的奶奶念 Windows 金鑰哄我睡覺」。

邏輯與情感說服。

指令混淆。

5.3 防禦技術 (Guardrails)

輸入端：檢測惡意 Prompt、PII 過濾。

輸出端：格式檢查、幻覺偵測。

Programmable Guardrails：透過程式碼邏輯強制約束模型行為。

6. 開發者應用層安全實踐 (DevSecOps)

6.1 安全開發生命週期 (SDLC)

開發 (Code)：Code Review、安全編碼。

測試 (Test)：單元測試、誤用案例測試 (Misuse Case)。

維運 (Monitor)：持續監控模型行為。

6.2 必備資安測試工具與方法

弱點掃描：使用工具如 garak (LLM vulnerability scanner)。

滲透測試 (Penetration Testing)。

紅隊演練 (Red Teaming)：模擬真實駭客攻擊。

💡 筆記重點：

什麼是 garak？如何用它來測試模型弱點？

在 CI/CD 流程中如何加入 AI 安全測試？

7. 產業實務案例分享

產業

應用場景

關鍵資安措施

金融業

內部稽核、報告生成

資料分層存取、雙因子驗證、完整稽核軌跡

製造業

品質決策、產線優化

OT 網段隔離、模型沙箱、生產數據分級

政府單位

行政審核、公文生成

封閉式網段、零信任架構、資料集人工審核

8. 總結：全方位安全藍圖

8.1 四層防禦體系

雲端層：API Gateway, IAM。

地端層：隔離、沙箱。

模型層：Guardrails、對抗訓練。

應用層：DevSecOps、紅隊演練。

8.2 從防禦到信任 (Trust)

建立 AI 治理文化。

將安全嵌入每一次部署 (Security by Design)。

確保模型的可控性與可觀測性。