---
# System prepended metadata

title: 內容安全與過濾：生成式 AI 在端與雲混合的安全實踐分享 - Elizabeth Wan

---

# 內容安全與過濾：生成式 AI 在端與雲混合的安全實踐分享

###### 本議程將深入探討 Azure 的內容過濾與安全工具的功能與應用，重點展示如何在端側設備上實現高效的內容安全管理。透過 Azure Content Filter、Safety 和 RAI 工具的詳解，與會者將了解如何在多種場景下應用這些工具來提升數據安全和用戶體驗。議程中也會結合聯想在內容安全案例，展示 Azure 方案在端雲混合的實際應用中的成效與價值。

#### 講者：Elizabeth Wan
Senior AI Technical Specialist, Microsoft

>###### 讓我們一起編輯留存今日的複習資源。

> 請從這裡開始
* AI Content Safety
    * Harm
        * prompt輸入內容檢測
        * 分為仇恨、性、暴力、自我傷害四類
        * 個別給予分數值
        * 防止不當資訊透過服務傳入/傳出
        * 多國語言支援
        * Text,Image內容偵測
    * security
        * jailbreak、prompt injection(北捷智能客服事件)
        * Azure產品：Prompt Shield
            * 可偵測直接輸入、上傳文件內容之注入內容
        * Azure產品：Protected material detection
            * 受著作權保護內容
        * Azure產品：Azure OpenAI Studio
            * 自行測試
            * 監控事件        
    * Quailty
        * 防止AI幻覺(groundedness)
        * 糾正AI幻覺相關內容
        * custom category
            * 宗教、政治、民族禁忌
            * 白名單/黑名單 相關輸出控制
* Text, Image都支援
* hate, sexual, self-harm, violence檢測等級
* DAN檢測
* python risk identify tool(PyRIT)-自定義威脅檢測工具，已開源(github [https://github.com/Azure/PyRIT.git])
* Smart DEvice AI Solution場景
    * 智能助手
    * f2f即時翻譯
    * 文生圖，圖生影像
    * 個人推薦內容
    * 生產力輔助
    * 個資安全防護