加速 AI 部署之路：Azure AI Foundry 暨模型表現評測工具

Azure AI Foundry 的 Model Catalog 專為開發者和工程師設計，讓您可以輕鬆快速地部署和管理各式各樣的生成式 AI 模型。本次分享將帶您深入了解如何利用 Model Catalog 加速 AI 工作流程，從選擇和自定義預建模型，到在 Azure 平台上大規模部署。我們將探討模型管理的最佳實踐、無縫的應用整合，以及如何優化您的 AI 管道，提升生產效率。

講者：Yvonne Shih

台灣微軟雲端解決方案架構師

讓我們一起編輯留存今日的複習資源。

背景：每個組織已經不會使用單一模型，逐漸導向多模型應用整合
從傳統的MLOps -> GenAIOps
過去只談準確，逐漸往合作、整合資產，組合關鍵component

Image Not Showing Possible Reasons
The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted
Learn More →

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

以Azure AI Foundry的Model Catalog找尋適用的Model，完成多模型選用。

選用Model完成後，運用AI Model Fine-tuning進行模型微調。

安全：BYO Storage, VNet，讓企業模型都在自己的企業內網
非單一AI Agent建置服務完成AI服務。
Trend: Agentic, Multi models.

整體工作流程：

Model Catalog選定模型

Benchmark Metric進行模式篩選
Chat playground挑選合適的Prompt
Prompt flow建立適合的提示詞工作流程，可以整合多個不同的ai agent。
以evaluate進行Workflow串接後的效能。
Trace檢查log

AI Model fine-tune
串接 AI Agent Service
Azure Safety進行資安相關確認
佈署AI服務
Management Center確認AI workload