# 生成式AI自動化測試方法:運用蛻變測試提升信心 - 陳曉瑜 (Julia) {%hackmd @HWDC/BJOE4qInR %} >#### 》[議程介紹](https://hwdc.ithome.com.tw/2024/session-page/3239) >#### 》[填寫議程滿意度問卷｜回饋建言給辛苦的講者](https://forms.gle/91wVmHWHEPrVRvGk7) Prompt 模組化，打造雲端架構師的人設 - 角色 - 用途 - 格式 - 注意事項 - 超過範圍 - 回答風格 RAG 資料架構 - 知識庫生成 - 即時問答 自然語言回覆集團員工雲端技術及上雲策略相關問題 面對RAG應用的生成式AI計數所帶來的挑戰 - 不透明性 - 不確定性 - 濫用風險 - 道德與偏見 測試重要 AI 回覆不同，過往多半依靠人工測試判斷結果提高信心 蛻變測試 (Ｍetamorphic Testing) - blackbox testing methodology 1. 定義蛻變關係 2. 生成初始 Q&A 集 3. 生成修改後的 Q&A 集 4. 設計 prompt 比較兩次回覆的相似度 5. 判定相似度閥值 6. 結論與報告呈現 整合LLM判斷相似度自動化測試流程圖 LLM協助產生Q&A -> 雲端諮詢平台 -> 輸入預設問題 <-> 驗證回覆 ... 擷取畫面 -> 擷取回覆 擷取回覆 --> LLM協助產生Q&A Azure Open AI 判斷相似度 使用 LLM 驗證 LLM? 利用文本相似度分析整合測試流程圖 新增回覆答案進行中文斷詞處理 -> 將結果向量化 -> 餘弦相似度 自動化測試需注意費用的控制 - 雲端大語言模型 保留對話上下文 -> 增加 token 數 -> 增加成本 Prompt Injection 可以參考這個[提示注入](https://www.promptingguide.ai/zh/risks/adversarial) - 直接性：通過輸入特定的命令或問題 - 間接性：含糊或多義的語言設計問題 如何預防 Prompt Injection 1. 字元轉換 2. 限制使用者能力 3. 檢查使用者輸入格式 4. 定期的模型審查清理資料 利用信任繞過限制 - 扮演過世祖母念出 Windows 金鑰 [參考資料 - 馬斯克看完大笑！他用1荒謬話術騙AI聊天機器人 拿到Windows啟動碼](https://tech.udn.com/tech/story/123454/7247719)