#DevDays 2025 Day1 ## Upgrade Your AI Opertating System ## 什麼是 Researcher Microsoft 365 Copilot 中的 **Researcher(研究員 Agent)** 是一個智慧助理功能, 能協助使用者蒐集、分析並整理資訊,來源包含: - 公開網路 - 組織內文件(Word、Excel、PowerPoint、Email、Teams、OneDrive 等) 它的目標是幫助你快速完成研究工作,並產生結構化報告,同時附上資訊來源。 --- ## 核心功能與優點 | 功能 | 說明 | |------|------| | **多來源蒐集資訊** | 從公開網路與組織內部文件中擷取資訊 | | **資訊分析與整理** | 自動分類、總結重點,產出可讀報告 | | **顯示來源與透明度** | 每份報告附上引用來源,便於追蹤可信度 | | **節省時間** | 減少手動搜尋、逐份文件閱讀與整理的時間 | | **整合 M365 應用程式** | 直接在 Word、PowerPoint 等文件中嵌入整理結果 | --- ## 使用方式(流程) 1. 在 Microsoft 365 Copilot 中啟用 **Researcher**。 2. 輸入研究主題或問題,例如: - 「AI 在教育的應用有哪些?」 - 「競品分析」 3. Researcher 可能會進一步詢問以釐清範圍。 4. 系統會從內部檔案 + 網路蒐集並分析資料。 5. 產生 **報告**,內容包含: - 重點見解 - 引用來源 - 建議的後續行動 你可以直接將報告插入 Word 或簡報,繼續編輯使用。 --- ## 注意事項與限制 - **需要授權**:部分功能須由公司/組織管理員啟用。 - **資訊品質差異**:網路資料可能不完全準確,需自行驗證。 - **數據精準性**:遇到非常量化或技術性問題時,專業資料庫仍較可靠。 - **語言與地區限制**:部分功能尚未在所有地區或語言全面開放。 介紹三種平台用的Agent(模式不同) Researcher Power App Copilot Studio 用在安全與合規報告的應用 ## The Everywhere Desktop # Azure Virtual Desktop (AVD) 介紹 ## 什麼是 Azure Virtual Desktop? Azure Virtual Desktop(AVD,以前稱為 Windows Virtual Desktop, WVD)是 **微軟 Azure 提供的雲端桌面與應用程式虛擬化服務**。 它允許使用者透過任何裝置、任何地點安全地存取 Windows 桌面與應用程式。 --- ## 核心功能 | 功能 | 說明 | |------|------| | **多使用者 Windows 10/11 體驗** | 支援多使用者同時登入同一個 Windows 10/11 session,降低成本。 | | **完整的桌面虛擬化** | 可提供完整桌面環境,或只發佈單一應用程式。 | | **整合 Microsoft 365 / Teams** | 針對 Teams 視訊會議、M365 應用程式進行最佳化。 | | **彈性擴展** | 根據需求彈性調整 VM 數量與規格。 | | **安全性與合規性** | 整合 Azure AD、多重驗證 (MFA)、條件式存取與 Intune 管理。 | | **降低成本** | 採用雲端計費,並支援現有 Windows/M365 授權降低額外支出。 | --- ## 架構概覽 1. **Azure 資源層** - VM(虛擬機器,運行 Windows 桌面或應用程式) - 儲存體(用於使用者設定檔 / FSLogix) 2. **控制平面 (由 Microsoft 管理)** - Broker:處理連線分派 - Gateway:安全通訊通道 - 診斷服務:監控與分析 3. **客戶端** - 使用者透過 **Remote Desktop Client (Windows, Mac, iOS, Android, Web)** 存取 --- ## 常見應用情境 - **遠端辦公 / 混合工作** 讓員工能隨時隨地安全存取公司桌面與系統。 - **應用程式虛擬化** 發佈單一企業應用(如 ERP、CAD 軟體)給外包或短期使用者,而不用配發完整電腦。 - **高安全性產業** 金融、醫療等需要數據留在雲端,不允許資料落地的場景。 - **教育 / 訓練** 學校或培訓機構提供臨時電腦桌面與應用給學生使用。 --- ## 優勢 - **整合性**:原生支援 Windows、Microsoft 365、Teams。 - **彈性**:可隨需求快速建立 / 刪除 VM,適應使用者數量變化。 - **安全性**:零信任架構、集中管理。 - **成本效益**:只需為實際使用資源付費。 --- ## 注意事項 - 需要 Azure 訂閱與相對應的 **Windows/Microsoft 365 授權**。 - **FSLogix** 是使用者設定檔的建議方案,確保登入快速、體驗一致。 - 性能依賴於 Azure VM 規格與網路延遲。 --- ## Trustworthy Transformation on the Human asistent Human-led,agent operated ## Unlocking the AI Opportunity in Asia ![image](https://hackmd.io/_uploads/S1HiL5J3xx.png) ![image](https://hackmd.io/_uploads/BkK3Lqk2ge.png) ## AI Foundry local - 應用場景 終端機 API SDK Ollama vs Foundry Local gguf ONNX 不同的model可以分別掛載CPU GPU 當 CLI使用,跑 turminal 客製化 Model 用Microsoft olive來做 可以轉換成cpu 的model之類的 當 API 來跑 application 用foundry service 也可以做Function calling Semantic Kernal 做RAG MCP Server Foundry local in github colpilot 安裝 AI toolkit 可以掛到vscode上面用 foundry loacal的model SLM 跟 LLM 混合使用 ![image](https://hackmd.io/_uploads/ry-e06ynee.png) ![image](https://hackmd.io/_uploads/HJIx061nxl.png) ![image](https://hackmd.io/_uploads/SkGZ0aJngx.png) ## 一、應用場景 - **終端機**(Edge / Local):可在本地端或邊緣設備執行模型 - **API**:透過 REST / gRPC 提供服務 - **SDK**:開發者可在程式中直接呼叫模型 --- ## 二、與其他框架的比較 - **Ollama vs Foundry Local** - Ollama:偏向輕量本地模型管理與推理 - Foundry Local:整合 Azure 生態,可同時做本地測試、客製化與雲端部署,偏企業級 - **模型格式支援** - `gguf`(多用於 LLaMA / 小模型社群分發格式) - `ONNX`(微軟主推,跨框架、跨平台的標準格式,搭配 ONNX Runtime) --- ## 三、模型運行與部署 - **硬體支援**:不同模型可分別掛載在 **CPU / GPU** - **操作方式**:可用 **CLI** 在 terminal 直接啟動 / 測試模型 - **API 化**:模型可以包裝成 **API service**,提供應用程式呼叫 - **Function Calling**:支援類似 OpenAI Function calling 的機制,模型能觸發外部函式/服務 --- ## 四、模型客製化 - **客製化流程**: - 使用 **Microsoft Olive** 工具進行最佳化 / 轉換 - 可將模型轉成 ONNX,並針對 CPU/GPU/Edge 最佳化 - 支援量化 (Quantization)、裁剪 (Pruning) 等效能調整 - **優點**: - 降低推理延遲 - 減少模型大小,方便在本地或 Edge 運行 - 保持與 Azure AI Foundry 雲端生態一致,隨時可上雲 --- ## 五、整體架構定位 - **Local / Edge**:適合隱私敏感、低延遲場景 - **Cloud (Azure AI Foundry)**:用於大模型訓練、微調與大規模推理 - **混合模式**: - Local:即時推理 - Cloud:集中管理、微調與監控 - **整合性**:Foundry Local 與 Azure Arc、AKS、ONNX Runtime 結合,形成端到端的 AI 研發與部署方案 --- ## 六、延伸應用 - **企業內部**:金融、醫療,要求資料不出境 - **製造業 / IoT**:工廠現場監控、即時品質檢測 - **開發者環境**:在筆電 / 開發機上先測試模型,再推送到 Azure --- ## 七、關鍵字速記 - **Foundry Local**:本地 AI 執行 / 測試 / 部署 - **Ollama**:社群本地推理工具 - **ONNX / ONNX Runtime**:跨平台通用推理格式與引擎 - **Microsoft Olive**:模型最佳化與轉換工具 - **Function Calling**:讓模型能執行外部函式 / API ## ERP AI轉型 Agentic ERP ![image](https://hackmd.io/_uploads/ryq_-0ynlg.png) ## AI 商務流程優化 Agent簡單到進階 檢索 問答 重複性任務 完全自動化 觸發器 指令說明 計畫行動 結果生成 自主工作流程 由人工監督 收集 分類 擷取 驗證(人工) 整合 資料辨識透過生成式AI,不用透過大量圖片&指定位置訓練 ## AI 驅動研發流程 Agentic DevOps - Plan 透過Azure MCP(custon instruction)建立feature & backlogs 評估專案異動量 評估時間跟建立Task - Code coding agent可以在雲端上直接異動及建立PR - Verify 掛上playwright MCP 在agent 直接跑UI測試 github copliot security 檢查關聯性 code sycnning 機敏資料掃描 卡控 - Operate Metrics SRE agent --- #DevDays 2025 Day2 ## Building AI Agents with Microsofct Tools - Pro Code (Microsoft 365 Agents Toolkit & SDEK) can fully control and customize plugin in applications with MCP. >MCP (模型上下文協議) 是一種開放協議,它規範了應用程式向大型語言模型 (LLM) 提供上下文的方式。它允許 AI 應用程式以一致的方式連接各種資料來源和工具,從而增強其功能和靈活性。 MCP 採用客戶端-伺服器架構: - MCP 主機:發起連線的應用程序,例如 AI 助理或 IDE。 - MCP 用戶端:主機應用程式內部的連接器,與伺服器保持一對一連線。 - MCP 伺服器:透過標準化 MCP 提供上下文和功能的服務。 - Microsoft 365 Agents Toolkit (VS Code Extension) - Copilot Studio ![image](https://hackmd.io/_uploads/ryGJoMfhee.png) ![image](https://hackmd.io/_uploads/BkiT5zfngg.png)