# <a id="ai-expo-2025-議程筆記-第一天-3月26日"></a>AI Expo 2025 議程筆記 - 第一天 (3月26日)

## <a id="今日議程表-點擊跳轉"></a>今日議程表 (點擊跳轉)

| 時間 | 議程 | 講師 |
| :-------- | :-------------------------------------------------------------------------------------------------- | :-------------------------------------------------------------------------------------------------- |
| 09:20-09:40 | [開幕典禮與貴賓致詞 (綜合摘要)](#ai-expo-2025-開幕致詞-綜合摘要) | 黃欽勇 (Digitimes), 郭智輝 (經濟部), 林宜敬 (數位發展部) |
| 09:40-10:10 | [The Way to Lifelong Learning in the Age of AI (AI 時代的終身學習之道)](#the-way-to-lifelong-learning-in-the-age-of-ai-ai-時代的終身學習之道) | Andrew Ng (DeepLearning.AI), 胡筱薇 (中原大學) |
| 10:10-10:30 | [需求趨動、應用為王 - 亞馬遜 AI 應用與獨門心法](#需求趨動應用為王-亞馬遜-ai-應用與獨門心法) | 王定愷 (Amazon Web Services - AWS) |
| 10:30-11:00 | **上午休息** | |
| 11:00-11:20 | [邁入邊緣 AI 時代: 裝置端推理驅動新一代創新應用](#邁入邊緣-ai-時代-裝置端推理驅動新一代創新應用) | 劉思泰 (Qualcomm) |
| 11:20-11:40 | 開源 AI 新紀元: AMD 創新開闢新生態，賦能多元化 AI 應用 (尚無筆記) | 林建誠 (AMD) |
| 11:40-12:00 | 智械未來：打造 Edge AI 新局面 (尚無筆記) | 佘裕宏 (宜鼎國際) |
| 12:00-13:10 | **中午休息** | |
| 13:10-13:30 | [企業如何建立自家 GPT](#企業如何建立自家-gpt) | 藍信彰 (神燈智能科技) |
| 13:30-13:50 | [Skyimizer AI 加速器 IP：釋放無限與優化的 AI 效能](#skyimizer-ai-加速器-ip釋放無限與優化的-ai-效能) | 連文力 (臺灣發展軟體科技 - Skyit/SkyMizer) |
| 13:50-14:10 | [企業 AI 應用全解析：從概念到實踐](#企業-ai-應用全解析從概念到實踐) | 任志石 (Google Cloud), 萬方志 (思想科技) |
| 14:10-14:30 | [AI 驅動•加速企業創新 (戴爾觀點)](#ai-驅動加速企業創新-戴爾觀點) | 梁榮華 (Dell Technologies) |
| 14:30-15:00 | **下午休息** | |
| 15:00-15:20 | [AI 代理革命：重塑企業未來的關鍵戰略](#ai-代理革命重塑企業未來的關鍵戰略) | 葉威廷 (GMI Cloud) |
| 15:20-15:40 | [Think a-Byte It: Navigating the Data Demands of AI with SSDs](#think-a-byte-it-navigating-the-data-demands-of-ai-with-ssds) | Avi Shetty (Solidigm) |
| 15:40-16:00 | [在 AI 嵌入式應用的新潛力 提案高效開發與最佳化技術](#在-ai-嵌入式應用的新潛力-提案高效開發與最佳化技術) | 王柏儒 (STMicroelectronics) |
| 16:00-16:30 | [台灣企業 AI 落地困境與展望](#台灣企業-ai-落地困境與展望) | 溫怡玲 (財團法人人工智慧科技基金會 - AIFT) |

---

## <a id="ai-expo-2025-開幕致詞-綜合摘要"></a>AI Expo 2025 開幕致詞 (綜合摘要)

這部分筆記綜合了開幕典禮中，來自 Digitimes 黃欽勇董事長、經濟部郭智輝部長，以及數位發展部林宜敬政務次長的致詞內容，勾勒出大會的核心關切與台灣 AI 發展的宏觀背景。

### <a id="演講基本資訊"></a>演講基本資訊

* **主要講者:**
* Digitimes 暨 IC 之音 黃欽勇 董事長
* 經濟部 郭智輝 部長
* 數位發展部 林宜敬 政務次長
* **時間:** 2025年3月26日 09:20-09:40 (根據議程推算)
* **場次:** AI Expo 2025 開幕典禮
* **形式:** 多位貴賓致詞

### <a id="內容摘要"></a>內容摘要

開幕致詞定調了 AI Expo 2025 的核心關懷：在全球 AI 浪潮與地緣政治變動下，台灣如何 leveraging 其半導體與 ICT 產業的既有優勢，結合軟體與應用創新，找到獨特定位並抓住龐大商機。講者們普遍強調 AI 對產業升級、經濟發展的重要性，並點出台灣在硬體製造、供應鏈方面的強項，但也關注人才培育、中小企業導入 AI 的挑戰，以及政府在創建良好生態系（算力、數據、人才、法規、資金）中所扮演的關鍵角色。同時，也隱含了對美中關係、國家戰略下台灣定位的深刻思考。

### <a id="主要章節"></a>主要章節

#### <a id="1-黃欽勇董事長致詞台灣在-ai-時代的定位與挑戰"></a>1. 黃欽勇董事長致詞：台灣在 AI 時代的定位與挑戰

* **演講主旨：** 探討台灣在全球 AI 發展與地緣政治下的獨特位置、挑戰與機會，強調硬體優勢，但也點出需思考的未知。
* **主要論點：**
* **台灣辦展不易：** 強調在台灣舉辦大型民間 AI 活動的難得與重要性。
* **台灣焦點地位：** 指出台灣是全球關注焦點，尤其在美中貿易戰與 AI 時代背景下。
* **AI Eating the World? Taiwan Eating AI?** 引用黃仁勳觀點，但提出台灣可憑藉半導體製造優勢（3奈米、2奈米製程需時長）反制，"做不出來就贏了"。
* **伺服器供應鏈關鍵角色：** 台灣（含台商在墨西哥製造）在全球伺服器供應鏈佔據 93% 的重要地位，是美國可能忽略的強項。
* **出口結構轉變：** 台灣出口中電子產品佔 65%，其中成長最快的是資通訊產品（46% 成長率），而非傳統認知的半導體。
* **複雜問題的九宮格分析法：**
* **地緣政治：** 需平衡美國（戰略依賴）與中國（地理鄰近、市場、多元創新模式如自駕車/機器人）的關係。
* **產業結構：** 需關注主力產業（電腦、手機）、敏感性產業（半導體）與新興產業（電動車、無人機）。Ecosystem（生產製造環境）變化，邊緣運算 (Edge Computing) / Last Mile 角色重要（提及宜鼎、研華）。
* **台灣自身：** 需面對自身挑戰 ("富貴險中求")，思考軟體發展的定位（是祝福或詛咒？與吳恩達觀點的對比），以及自身限制。
* **市場策略：** 關注主權 AI、人口市場優勢、應用區段（提及 Amazon 王定愷將分享）、市場區隔（中國的鄉村包圍城市策略）、商業模式創新（提及全球 AI 論文 50% 為中文）。
* **技術核心：** 從重視 Computing Power 轉向關注自行設計晶片 (Self-Designed Chips - Apple, Microsoft, Google) 及邊緣運算 (Edge Computing) 的核心性能意涵。
* **台灣優勢與期許：** 台灣在硬體、供應鏈具備良好條件，未來應強化 Edge Computing / Last Mile 價值，持續舉辦 AI Expo。
* **強調點：**
* 台灣伺服器供應鏈功能「很重要」。
* 台灣資通訊產品出口成長率驚人 (46%)。
* 台灣面對的問題複雜，沒有簡單答案，需在風險中求發展 ("富貴險中求")。
* Edge Computing 在未來產業結構中扮演「最關鍵的角色」。
* **技術應用：**
* 半導體製程 (3奈米, 2奈米)
* 伺服器製造
* AI (人工智慧)
* Edge Computing (邊緣運算)
* Self-Designed Chips (自行設計晶片)
* IoT (物聯網 - 隱含在智慧應用中)
* **經驗教訓/關鍵成功因素：**
* 台灣的半導體製造能力是核心競爭力。
* 供應鏈管理和地緣政治策略至關重要。
* 需務實評估自身優劣勢，尋找利基市場。
* **未來展望：**
* Edge Computing 是台灣未來發展的關鍵機會點。
* AI Expo 將持續舉辦，推動產業發展。
* **批判性思考與反思：**
* *未被提及的觀點：* 對於軟體發展是「詛咒」的觀點較為負面，未深入探討軟體人才培育、開源生態參與等策略如何克服挑戰。對於台灣中小企業如何參與 AI 革命著墨較少。
* *潛在限制：* 九宮格分析雖全面，但各因素間的相互影響與權重未深入闡述。對中國 AI 發展的描述較為概括。
* *個人啟發：* 台灣需在既有硬體優勢上，積極思考如何結合 AI 應用與邊緣運算，找到新的成長曲線。地緣政治是無法迴避的現實，需有靈活策略。

#### <a id="2-經濟部郭智輝部長致詞政府推動-ai-產業化的策略"></a>2. 經濟部郭智輝部長致詞：政府推動 AI 產業化的策略

* **演講主旨：** 強調 AI 對全球經濟的重要性，闡述經濟部在推動台灣 AI 產業化與產業 AI 化方面的政策與措施。
* **主要論點：**
* **AI 市場規模巨大：** 引用研究預估生成式 AI 市場將從 400 億美元成長至 1.5 兆美元 (2024-2030)，AI 已滲透各領域。
* **AI 應用價值：** 舉例 AI 在醫療領域的應用（判讀 X 光片、加速新藥開發）。
* **政府推動策略：** 目標是讓各行各業「懂得 AI 到會用 AI」，實現「AI 產業化、產業 AI 化」。
* **人才培育：** 提出「培育百工百業 20 萬 AI 人才」目標，輔以攬才及租稅優惠。舉辦智慧創新大賽，鼓勵產學合作。
* **中小企業 AI 導入挑戰：** 認知到中小企業（佔 98%）在數位轉型與 AI 導入上的困難（規模限制）。
* **政府輔導措施：** 透過工研院等法人機構，建立 AI 應用示範場域，協助各產業導入 AI。
* **台灣 AI 發展關鍵時刻：** 強調政府將扮演產業創新推動者，攜手各界打造 AI 生態系，提升國際競爭力。
* **專業術語：**
* **生成式 AI (Generative AI):** 指能創造新內容的 AI 技術。
* **AI 產業化:** 將 AI 技術本身發展成一個產業。
* **產業 AI 化:** 將 AI 技術應用於各行各業，提升效率與轉型。
* **AI 生態系 (AI Ecosystem):** 指包含技術、人才、資金、應用、法規等相互關聯的 AI 發展環境。
* **未來展望：**
* 持續推動 AI 技術在百工百業的創新應用。
* 打造完善的台灣 AI 生態系。
* 提升台灣產業的國際競爭力。
* **批判性思考與反思：**
* *未被提及的觀點：* 對於「20 萬 AI 人才」的具體定義、培育方法與時程未詳細說明。中小企業導入 AI 的具體困難（如數據、資金、技術門檻）及示範場域的細節著墨不多。AI 倫理與法規治理的挑戰未在此提及。
* *潛在限制：* 政策目標宏大，但實際執行成效、資源分配、跨部會協調等是關鍵。
* *個人啟發：* 政府已意識到 AI 的重要性並提出策略方向，企業應關注相關資源與計畫，思考如何參與及受益。中小企業尤其需要關注政府的輔導措施。

#### <a id="3-數位發展部林宜敬政務次長致詞打造-ai-發展的良好生態環境"></a>3. 數位發展部林宜敬政務次長致詞：打造 AI 發展的良好生態環境

* **演講主旨：** 強調 AI 創新的驅動力應來自民間自由競爭，政府的角色是利用政策工具創造有利的生態環境。
* **主要論點：**
* **AI 改變世界：** 認知到 AI 的變革力量，掌握 AI 者將主導未來。
* **創新來自民間：** 引用美、中大型 AI 模型皆來自民間企業的例子，主張 AI 發展應由市場驅動，而非政府主導。
* **政府五大政策工具：**
1. **算力 (Compute Power):** 提供免費算力給 AI 新創團隊，用於早期驗證想法。
2. **資料 (Data):** 努力開放政府資料（衛福、交通、環境、內政等），供新創團隊訓練模型，降低授權風險。
3. **人才 (Talent):** 與 AI 學校、資策會等合作，了解企業需求，並與國發會、經濟部、國科會等合作，分層次培育 AI 人才（應用型、模型訓練型、基礎研究型）。
4. **行銷 (Marketing):** 認為企業最需要的是訂單而非補助。透過舉辦 Demo Day、參與 AI Expo 等活動，協助新創企業找到訂單與市場。
5. **資金 (Funding):** 與國發會匡列 100 億台幣資金，計畫 10 年內投資台灣 AI 新創產業。
* **目標：** 透過五大工具，發展健全的台灣 AI 產業生態。
* **專業術語：**
* **大型語言模型 (LLM):** 如 ChatGPT, Llama, Gemini, GLM (智譜清言), 千問等。
* **開源模型 (Open Source Model):** 指程式碼或模型權重公開的模型。
* **AI 新創 (AI Startup):** 指專注於 AI 技術或應用的初創公司。
* **技術應用：**
* 政府開放資料 (Open Data)
* 雲端算力服務
* AI 模型訓練
* **合作模式：**
* 政府與法人單位（AI 學校、資策會）合作進行人才培育。
* 跨部會合作（數發部、國發會、經濟部、國科會）共同推動人才與資金計畫。
* 政府參與產業活動（Demo Day, Expo）協助企業行銷。
* **未來展望：**
* 建立強健的台灣 AI 產業生態系。
* 釋放台灣 AI 的豐沛創新能力。
* **批判性思考與反思：**
* *未被提及的觀點：* 對於政府開放資料的具體範圍、品質、更新頻率未說明。100 億資金的投資標準、機制與時程未細談。如何平衡「民間自由競爭」與「政府資源投入」可能產生的市場扭曲？
* *潛在限制：* 政策工具的落實效果有待觀察，需要持續的追蹤與調整。如何確保政府開放的資料真正符合產業需求且品質可用是一大挑戰。
* *個人啟發：* 政府從生態系角度切入，提供算力、數據、人才、市場、資金支持，對新創與中小企業是利多消息，應積極了解申請管道與參與機會。

### <a id="關鍵啟示-開幕致詞綜合"></a>關鍵啟示 (開幕致詞綜合)

1. **台灣 AI 發展的雙重引擎：** 台灣在全球 AI 競賽中，具備堅實的硬體製造（半導體、伺服器）與供應鏈基礎，這是獨特優勢；然而，要真正抓住 AI 機會，必須強化軟體應用、邊緣運算及生態系建構。
2. **政府扮演關鍵賦能者：** 政府從過去可能的主導角色，轉向更側重於提供基礎設施（算力、數據）、培育人才、鏈結市場與提供資金，旨在創造一個有利於民間創新的環境。
3. **數據是核心挑戰與機會：** 無論是企業內部應用或政府政策，數據的品質、整合、開放與安全都是 AI 成功的關鍵，也是目前台灣產業普遍面臨的挑戰。
4. **邊緣 AI 的潛力：** 多位講者不約而同地提到邊緣運算的重要性，顯示其為台灣硬體優勢結合 AI 應用的重要突破口。
5. **人才培育刻不容緩：** 從高階研究到普及應用，各層次的 AI 人才都是台灣發展 AI 的基石，政府與產業需共同努力。

### <a id="行動建議-開幕致詞綜合"></a>行動建議 (開幕致詞綜合)

1. **企業應評估自身定位：** 釐清在 AI 浪潮中的核心競爭力（硬體、軟體、應用、數據？），並結合產業趨勢（如 Edge AI）制定發展策略。
2. **關注政府資源：** 新創與中小企業應積極了解並利用政府提供的算力、數據、人才培育及資金補助計畫。
3. **強化數據治理：** 無論規模大小，企業都應開始盤點、整理內部數據，建立數據治理策略，為 AI 導入打好基礎。
4. **擁抱開放與合作：** 積極參與 AI 社群、開源項目，並尋求跨界合作（產官學研），共同建構生態系。
5. **持續學習與關注趨勢：** AI 技術與市場變化快速，企業與個人都需保持學習心態，關注國內外最新發展（如 DeepSeek、新模型發布、法規動態）。

---

## <a id="the-way-to-lifelong-learning-in-the-age-of-ai-ai-時代的終身學習之道"></a>The Way to Lifelong Learning in the Age of AI (AI 時代的終身學習之道)

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:**
* Andrew Ng (吳恩達), Founder of DeepLearning.AI
* 胡筱薇 (Anna Hu), 副教授, 中原大學智慧運算與量子資訊學院 (主持人/對談人)
* **時間:** 2025年3月26日 09:40-10:10
* **場次:** AI Expo 2025
* **形式:** 單一講者開場 + 雙人對談/問答

### <a id="內容摘要"></a>內容摘要

本場演講由 AI 領域的權威 Andrew Ng 探討 AI 時代終身學習的重要性與方法。他首先強調，儘管大型基礎模型投入巨大，但它們的普及反而降低了應用開發的門檻，為台灣各行各業帶來了前所未有的機會。他鼓勵大家積極投入 "Go and build"。接著，他指出開源模型正成為國家軟實力的一部分，影響力巨大，台灣雖人口不多，但憑藉硬體優勢和 AI 的賦能，小團隊也能發揮巨大潛力，AI 對台灣的經濟發展和民主維護至關重要。在與胡筱薇教授的對談中，深入探討了 AI 對人才技能的影響（通用 vs. 專業）、學習 AI 的關鍵（學會控制 AI、學寫程式的重要性、AI 輔助學習）、企業創新的模式轉變（快速原型開發、沙盒環境）以及對不同群體（父母、學生、領導者）的建議。核心理念是，在 AI 時代，持續學習、擁抱 AI 工具、勇於實踐是個人與組織成功的關鍵。

### <a id="主要章節"></a>主要章節

#### <a id="1-andrew-ng-開場分享ai-時代的機會與台灣的角色"></a>1. Andrew Ng 開場分享：AI 時代的機會與台灣的角色

* **演講主旨：** 闡述當前 AI 發展的興奮時刻，強調基礎模型的普及為應用開發帶來機會，並分析台灣在 AI 時代的潛力與挑戰。
* **主要論點：**
* **AI 應用的黃金時代：** 大型基礎模型（Foundation Models）的發展與普及（即使由少數大公司投入數十億美元開發），使得開發 AI 應用比以往任何時候都更容易、更便宜。
> "The tools that others have spent billions of dollars building makes it easier than ever before for any of us to build applications."
* **台灣的應用機會：** 台灣可以在工業自動化、製造、半導體、旅遊物流、醫療保健、退休照護等眾多優勢領域應用 AI，創造巨大價值。
* **行動呼籲：Go and Build!** 對學生、創業者、企業員工發出呼籲，鼓勵大家動手實踐。
* **對台灣的承諾：** 強調個人及 DeepLearning.AI 團隊對支持台灣發展的承諾 (每年多次訪台，在台設有團隊)。
* **開源模型的全球動態與軟實力：**
* 開源/開放權重模型（如 Llama, DeepSeek, Qwen）正改變全球 AI 格局。
* 這些模型已成為 AI 供應鏈的關鍵部分，被廣泛採用。
* 開源模型成為國家/公司施展「軟實力」的工具，因為模型的回答會潛移默化地影響全球使用者對國界、敏感議題、甚至文化的看法。
> "Open source of open-way models are when a company or a country takes an AI model or takes a piece of software and publishes it on the internet free for anyone to use... Open-way models are now a key part of the supply chain of AI..."
> "...the nation or the company that created that model then has tremendous influence on all the people around the world..."
* **AI 賦能小團隊/國家：**
* AI 能力使小型團隊（如 30-200 人）能勝過大數百倍的團隊，尤其在創業領域。
* 台灣雖人口規模不大 (23 million)，但結合傳統硬體/半導體優勢，若能全面擁抱 AI，將極具競爭力。
> "with BI capabilities definitely in the spot-up realm very small teams can outperform teams that are 100 times their size."
> "when a population embraces AI it makes you much more powerful..."
* **AI 對台灣的重要性：** 擁抱 AI 對台灣下一階段的經濟發展、民主保護和全民繁榮至關重要。

#### <a id="2-對談ai-時代的學習人才與創新"></a>2. 對談：AI 時代的學習、人才與創新

* **主題一：通用技能 vs. 專業技能 與 人才策略**
* **背景提問 (胡教授):** AI 工具普及（舉例 17 歲少年用 AI 學編程、開發 App 月入百萬美元），專業技能的價值是否改變？企業應如何調整人才策略？
* **Andrew Ng 回應：**
* **核心建議：學會控制 AI (Learn to control AI)。** 與其擔心被 AI 取代，不如學習駕馭 AI，讓自己更強大。
* **Prompting 是基礎技能：** 如今無法想像招聘不懂網路搜尋的人；未來不懂基本 AI Prompting 的人也很難被雇用。
* **全民學編程 (Learn to code):** 強烈建議幾乎每個人都應學習編程。AI 讓編程門檻降低 (AI-coding)，價值卻更高。
* *案例：* DeepLearning.AI 的行銷人員、律師 (Associate General Counsel) 都透過寫程式提升工作效率和表現。
* **10x 專業人士時代：** 過去軟體業有 "10x 工程師"，現在 AI 能讓更多職位（招聘、行銷、分析師等）出現 "10x 專業人士"，他們利用 AI 大幅提升生產力，並可能獲得更高回報。
> "One of the most important skills in the future is the ability to tell a computer exactly what you want it to do so that it will do it for you."
> "I think we're reaching the point where there's room now for pretty much everyone to learn to code."
> "it's a lot more 10x professionals... 10x engineers usually get paid maybe 3 times more than a 1x engineer..."

* **主題二：AI 時代的教育本質與學習方法**
* **背景提問 (胡教授):** 教育核心不僅是知識傳遞。AI 時代成功的學習要素 (Top 3 ingredients) 是什麼？
* **Andrew Ng 回應：**
* **雙重影響：** 1) 教育體系需幫助人們學習 AI； 2) AI 正在變革教育本身，能更好地傳遞教育。
* **AI 輔助學習 (實驗中):**
* *AI 助教：* 在教授 Python 時，讓學生用 AI Chatbot 輔助。AI 可即時幫助卡關的學生 "get unstuck"，提供提示 (hints) 而非直接給答案，促進自主學習。
* *AI 分身 (Avatar):* DeepLearning.AI 正在實驗用 Andrew Ng 的 Avatar 回答技術問題 (目前效果 "so-so")。
* **最終形態未知：** 承認目前仍在探索 AI 能帶來的最佳教育體驗，尚無定論。

* **主題三：企業 AI 技能培養與創新模式**
* **背景提問 (胡教授):** 公司應設計培訓計畫，還是透過實際專案 (hands-on projects) 培養員工 AI 技能？
* **Andrew Ng 回應：**
* **AI 加速原型開發 (Prototyping):** AI 對提升軟體工程師效率有幫助 (估計 30-50%)，但在「快速建立原型」方面，效率提升是 10 倍 (10x) 甚至更多。
* 原因是原型開發通常獨立、與舊系統整合需求低、安全/可靠性要求較低。
* **經濟學原理：成本下降，多做嘗試。** 原型開發成本大幅降低 (下降 10 倍)，意味著企業應建立更多原型，即使大部分會失敗 (Build 20, throw away 18)，因為找到成功的 2 個原型代價變低了。
> "AI is making prototyping much more efficient and this is changing the mechanisms by which we have to innovate..."
> "the improvement in the speed is not 30-50% it's like 10x faster..."
> "the cost of building prototypes just goes down by something like 10x and so what I'm seeing is smart businesses are reorganizing themselves to build a lot more prototypes..."
* **企業創新的挑戰與解方：建立沙盒環境 (Sandbox Environments)。**
* *挑戰：* 大公司擔心隨意開發的原型損害品牌、洩漏數據，因此設有層層審核機制 (隱私、法遵、人資、法務、品牌等)，拖慢創新速度 ("engineer takes one day to build a prototype then it takes six months to get the legal review")。
* *解方：* 創建受限的沙盒環境（無/有限敏感數據、不直接對外發布、限制品牌使用等），讓團隊在安全範圍內自由實驗、快速迭代，識別有潛力的原型後再投入正規開發流程。
> "what I see businesses do is create sandbox environments... when teams ... create a sandbox environment that is safe then we can let our teams do what they want in the sandbox..."
* **賦予行動自由 (Allowed to just do things):**
* 強調應教導孩子（和團隊）很多事情不需要請求許可，只要負責任、不傷害他人，就可以去嘗試。
* *案例：* 週一早餐討論想法，週二早上 7 點團隊成員（行銷人員）就主動做出原型發給他。這種執行速度是 AI 賦能的結果。
> "I think one of the most important lessons that I'm trying to teach my children is that you're allowed to just do things... you don't need to ask anyone for permission, you're allowed to just do it."
> "that velocity of execution AI is letting us move really fast... the teams that are able to execute quickly at speed will assist much better..."

* **主題四：印象深刻的企業 AI 轉型案例**
* **提問 (胡教授):** 合作過的公司中，哪個 AI 轉型案例最印象深刻？
* **Andrew Ng 回應：**
* 大型科技公司 (Google, Microsoft, Amazon, OpenAI) 走在最前面，因其數位化程度高、數據基礎好。
* 科技新創公司擁抱 AI 速度快。
* **非科技公司案例：AES (全球最大再生能源製造商之一)**
* CEO (Andrés Gluski) 要求高層 150 位主管學習 "Generative AI for Everyone" 課程。
* 高層主管親自學習 AI 知識。
* 團隊結合自身領域知識（大型風力/太陽能電站的獨特問題）與 AI，提出獨特應用，改善運營效率。
* 體現了由上而下 (Top-down leadership) 或由下而上 (Bottom-up innovation) 都能推動轉型。

* **主題五：給聽眾的鼓勵與建議**
* **提問 (胡教授):** 給現場的父母、學生、領導者一些建議。
* **Andrew Ng 回應：**
* **給父母：** 孩子們將擁有比我們當年更好的工具，應幫助他們擁抱這些工具，這將賦予他們終身力量。
* **給台灣所有人：** 台灣地位特殊，擁有硬體/半導體強項，但也面臨歷史挑戰時刻。應利用既有優勢，結合優秀的軟體工具 (AI)，讓全民學習 AI、有效運用 AI，推動轉型，並具備發揮軟實力的能力。這對台灣及世界的未來繁榮與民主至關重要。
> "Taiwan leverages the hardware's strengths and the strengths of all of its existing industries as well as frankly the strength of having a lot of really good software to use here... learn about the AI use it effectively, use it to drive this transformation..."

#### <a id="3-專業術語與強調點"></a>3. 專業術語與強調點

* **專業術語：**
* **Foundation Models (基礎模型):** 指經過大規模數據預訓練的 AI 模型，如 GPT 系列、Llama 等。
* **Generative AI (生成式 AI):** 能創造新內容的 AI。
* **Open-source / Open-weight Models (開源/開放權重模型):** 程式碼或模型參數公開的模型。
* **Soft Power (軟實力):** 指透過文化、價值觀、政策等非強制手段產生的影響力，此處指 AI 模型輸出的內容帶來的影響。
* **Prompting (提示工程):** 指設計輸入給 AI 模型的指令或問題，以獲得期望輸出的技能。
* **AI-coding / Co-coding (AI輔助編程):** 利用 AI 工具協助編寫程式碼。
* **10x Engineer/Professional (十倍工程師/專業人士):** 生產力遠超平均水平的個人。
* **Prototyping (原型開發):** 快速建立產品或功能的初步模型以供測試或展示。
* **Sandbox Environment (沙盒環境):** 一個受控、隔離的測試環境，用於實驗新程式碼或功能，降低風險。
* **AI Agent (AI 代理):** 能自主執行任務、與環境互動的 AI 系統 (在此次對談中隱含於未來趨勢)。
* **強調點：**
* 動手實踐的重要性 ("Go and build!")。
* 學習控制 AI 的必要性。
* 學習編程在 AI 時代的廣泛價值。
* 快速原型開發是企業創新的關鍵驅動力。
* 賦予團隊在安全範圍內嘗試的自由。
* AI 對台灣未來發展的戰略意義。

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI 普及降低應用門檻：** 大模型的發展並非只屬於大公司，其開放性（開源或 API）極大降低了各行各業開發 AI 應用的難度和成本。
2. **終身學習與技能轉變：** AI 時代，學習能力本身比特定知識更重要。學會使用 AI 工具（特別是 Prompting 和基礎編程）將成為基礎技能，能帶來 "10x" 的生產力提升。
3. **擁抱實驗與快速迭代：** AI 大幅加速了原型開發，企業應調整創新流程，鼓勵在安全環境（沙盒）中進行大量、低成本的實驗，容忍失敗以找到成功路徑。
4. **賦權與信任：** 領導者應賦予團隊使用 AI 工具和在規範內自主行動的權力，激發創新潛力。
5. **台灣的獨特機會：** 台灣應結合硬體優勢與 AI 應用，特別是在 Edge AI 領域，並意識到 AI 模型背後的文化與價值觀影響力（軟實力）。

### <a id="行動建議"></a>行動建議

1. **個人層面：**
* **學習 Prompting：** 將其視為如同網路搜尋一樣的基礎數位技能。
* **考慮學習基礎編程：** 即使非工程師，學習基礎編程結合 AI 輔助工具，也能大幅提升工作效率與價值。
* **持續學習：** 關注 AI 最新發展，積極嘗試新工具與應用。
2. **企業/組織層面：**
* **鼓勵全員學習 AI：** 將 AI 工具應用納入基本技能要求，提供學習資源。
* **建立原型文化：** 鼓勵團隊快速開發原型，接受失敗是創新過程的一部分。
* **設立沙盒環境：** 為 AI 實驗創建安全的測試空間，平衡創新速度與風險控制。
* **賦予行動權力：** 在明確規範下，允許團隊自主利用 AI 解決問題、進行創新。
* **尋找高價值應用場景：** 將 AI 應用於能產生最大影響力、解決核心痛點的業務流程。
* **關注開源模型與工具：** 利用開源資源降低開發成本，但需注意其潛在的偏見與影響力。

---

## <a id="需求趨動應用為王-亞馬遜-ai-應用與獨門心法"></a>需求趨動、應用為王 - 亞馬遜 AI 應用與獨門心法

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 王定愷, 總經理, Amazon Web Services (AWS) 台灣暨香港
* **時間:** 2025年3月26日 10:10-10:30
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

王定愷總經理分享了亞馬遜 (Amazon) 在 AI 領域超過 25 年的深厚經驗，強調其 AI 應用的核心理念是「從需求出發、解決問題」(需求驅動、應用為王)。他透過多個亞馬遜自身的實際案例，如進化的 Alexa、高度自動化的倉儲物流 (亂數入倉、機器人協作)、無人商店 Amazon Go、無人機送貨 Prime Air、AI 購物助理 Rufus、廣告內容生成及假評論偵測等，具體展示了 AI 如何解決實際業務挑戰、提升效率、降低成本並改善客戶體驗。他進一步闡述了亞馬遜聞名的「逆向工作法」(Working Backwards) 和客戶至上 (Customer Obsession) 的文化，如何驅動創新飛輪 (Flywheel)。最後，他介紹了 AWS 的 AI 服務架構 (算力層、平台層、應用層)，強調其提供多元模型選擇 (Platform of Choice) 和企業級安全治理的重要性，並呼籲企業重視數據戰略，打破數據孤島，實現數據民主化，為 AI 成功落地奠定基礎。

### <a id="主要章節"></a>主要章節

#### <a id="1-ai-在亞馬遜的廣泛應用-案例導向"></a>1. AI 在亞馬遜的廣泛應用 (案例導向)

* **演講主旨：** 展示 AI 在亞馬遜各業務線的深度應用，證明 AI 技術的價值來自於解決實際問題和滿足客戶需求。
* **亞馬遜 AI 歷史：** 強調 Amazon 使用 AI/機器學習/深度學習已超過 25 年。
* **核心觀點：**
> "在亞馬遜它是從需求開始，從解決問題開始。"
> "反過來想要用 AI 賺錢的，就請各位思考一下，你的 AI 協助了誰，解決了什麼問題。"
* **實務案例詳解：**
* **Alexa (智慧語音助理):**
* *演進：* 利用生成式 AI，實現更自然的語言交互、主動資訊彙整與建議、辨識不同使用者及習慣。
* *解決問題：* 提供更智能、個人化的語音服務體驗。
* **智慧倉儲 (Fulfillment Centers):**
* *特點：* 亂數入倉、高度自動化、機器人應用。
* *AI 應用：* 管理混亂庫存、優化入出庫與盤點、處理不同周轉期/保存期/跌價風險的貨品、自動化路徑規劃、人機協作 (75 萬台機器人)。
* *解決問題：* 解決人工作業無法應對的複雜性、降低人力成本、減少人為錯誤、提升效率與準確性。
> "亞馬遜是一個高度自動化的公司...因為它解決我們自己的問題。如果今天這個東西要人來做的話，不可能。"
* **Amazon Go (無人商店):**
* *場景：* 解決球賽/影劇中場休息時，購物排隊耗時問題。
* *AI 應用：* 電腦視覺、感測器融合，實現拿了就走 (Just Walk Out) 的無結帳購物體驗。
* *解決問題：* 消除結帳瓶頸，提升購物便利性與速度。
* **虛擬製作/攝影棚 (Virtual Production - Privateer?):** (講者提及 Privateer，但描述內容更像虛擬製作)
* *場景：* 解決外景拍攝受天氣、光線、地點限制，成本高、效率低的問題。
* *AI 應用：* 生成式 AI 創造各種虛擬場景 (歐洲古堡、原始森林、夕陽海邊、太空)。
* *解決問題：* 大幅降低影視製作成本、提高拍攝效率與彈性。
* **Prime Air (無人機送貨):**
* *現況：* 已獲美國 FAA 許可，非實驗性質。
* *AI 應用：* 精準導航、電腦視覺、邊緣計算 (Edge Computing)、障礙物規避、載重與航程管理、精準投遞。
* *解決問題：* 解決偏遠地區 (如科羅拉多大峽谷) 物流成本高、效率低的問題。
* **Rufus (AI 購物助理):**
* *功能：* 對話式購物、個性化推薦 (基於用戶描述、預算、場景)、購買提醒。
* *AI 應用：* 生成式 AI、自然語言處理、用戶畫像分析。
* *解決問題：* 解決網路購物資訊過載、選擇困難問題，提供精準、便捷、貼心的購物體驗。
* **廣告科技 (AdTech):**
* *AI 應用 (Creator):* 生成式 AI 快速生成廣告文案、圖像 (如牛肉麵)，方便客戶修改，提高創意生產力。
* *AI 應用 (Platform):* 生成式 AI 自動偵測、屏蔽虛假買家評論 (2022 年阻擋 2 億則)。
* *解決問題：* 提升廣告素材製作效率、維護平台評論可信度。

#### <a id="2-亞馬遜的創新心法逆向工作法與飛輪效應"></a>2. 亞馬遜的創新心法：逆向工作法與飛輪效應

* **核心理念：客戶至上 (Customer Obsession)**
> "我們對客戶有非常高的執著...從客戶的需求開始，以始為終的去 work backward。"
* **逆向工作法 (Working Backwards):**
* 從客戶問題或需求出發。
* 定義解決方案與使用者體驗。
* 倒推所需技術與資源。
* *實踐：* 常舉辦內部 Hackathon/Workshop，由員工自己挖掘痛點與商機。
* **創新飛輪 (Flywheel):**
* 解決問題 -> 優化服務/設計晶片 (提及自研 Trainium, Inferentia) -> 提供解決方案 -> 獲取客戶 -> 驅動更多需求 -> 解決更多問題...(循環加速)。
* 解釋了亞馬遜為何能跨足從賣書到發射衛星等廣泛領域。
* **組織文化與機制：** 強調整個創新過程涉及機制、技術、文化、組織等多方面配合。

#### <a id="3-aws-的-ai-服務架構與數據戰略"></a>3. AWS 的 AI 服務架構與數據戰略

* **AWS AI 架構 (三層):**
* **底層 - 算力層 (Infrastructure Layer):**
* 提供 GPU/自研晶片 (Trainium, Inferentia) 等算力。
* *觀點：* GPU 迭代快、折舊高，直接購買對企業是負擔，雲端提供彈性。強調要先找到問題（油礦/金礦），再找工具（鏟子 - AWS）。
* **中層 - 平台層 (ML & AI Services Layer):**
* 提供大型語言模型 (LLMs) 和管理工具 (如 Amazon Bedrock)。
* *關鍵價值：* 提供模型選擇性 (Platform of Choice)、數據安全 (Data Privacy)、資料治理 (Data Governance)、模型管理。解決企業使用公有 LLM 的數據外洩擔憂。
* **上層 - 應用層 (AI Applications Layer):**
* 基於底層和中層構建的具體 AI 應用 (如前述案例)。
* 強調解決問題、創造價值的應用。
* *模式：* AWS 也會將內部解決方案產品化對外提供。
* **數據戰略建議：**
* **數據是新石油，安全是基石 (Security is Job Zero)。**
* **打破數據孤島 (Break Down Data Silos):** 建立統一的數據湖 (Data Lake) 或數據倉庫，整合不同來源、格式的數據。
* **數據民主化 (Data Democratization):** 讓需要數據的人在合規前提下能方便地獲取數據，去創造價值，而非將數據鎖在少數人手中。
* **重要性：** 清晰的數據戰略是 AI、資安、數位轉型成功的基礎。

#### <a id="4-專業術語與強調點"></a>4. 專業術語與強調點

* **專業術語:**
* **生成式 AI (Generative AI):** 反覆提及，應用於 Alexa, 廣告生成等。
* **機器學習 (Machine Learning), 深度學習 (Deep Learning):** 構成 AI 基礎。
* **亂數入倉 (Random Stow/Binning):** 亞馬遜倉庫管理方式。
* **自動化 (Automation):** 貫穿倉儲、Amazon Go 等多個案例的核心。
* **電腦視覺 (Computer Vision):** Amazon Go, Prime Air 的關鍵技術。
* **邊緣計算 (Edge Computing):** Prime Air 無人機上應用。
* **逆向工作法 (Working Backwards):** 亞馬遜核心創新方法論。
* **客戶至上 (Customer Obsession):** 亞馬遜核心文化。
* **飛輪效應 (Flywheel Effect):** 解釋亞馬遜增長模式。
* **Trainium, Inferentia:** AWS 自研 AI 晶片。
* **Amazon Bedrock:** AWS 提供的管理和使用基礎模型的平台服務。
* **數據孤島 (Data Silos):** 指企業內部數據分散、不互通的狀況。
* **數據民主化 (Data Democratization):** 讓數據更易於被需要者訪問和使用。
* **強調點:**
* AI 的價值在於「解決問題」。
* 從「客戶需求」出發是創新的起點 (Customer Obsession, Working Backwards)。
* 「自動化」是提升效率、降低成本和錯誤的關鍵。
* 數據戰略 (安全、打破孤島、民主化) 是 AI 成功的基礎。
* 新創企業要思考能「解決多少人的問題」，決定了市場大小。

### <a id="關鍵啟示"></a>關鍵啟示

1. **應用為王，需求驅動：** AI 技術本身不是目的，其真正的價值在於解決實際的業務問題和客戶痛點。
2. **客戶至上文化的重要性：** 以客戶需求為中心的逆向工作法是驅動持續創新的強大引擎。
3. **數據是 AI 的燃料和基石：** 沒有良好治理和整合的數據，AI 應用難以成功。安全、打破孤島、民主化是數據戰略的關鍵。
4. **自動化是 AI 落地的重要方向：** AI 在重複性高、複雜度高或人力易出錯的環節，可透過自動化帶來顯著效益。
5. **雲平台加速 AI 導入：** 雲平台提供了彈性算力、多樣化模型選擇以及必要的安全和治理工具，降低了企業採用 AI 的門檻。
6. **內部問題解決方案可產品化：** 企業為解決自身問題而開發的 AI 解決方案，有可能轉化為對外服務的產品。

### <a id="行動建議"></a>行動建議

1. **回歸業務本質：** 企業在導入 AI 前，應先釐清要解決的具體業務問題或客戶痛點，而非為 AI 而 AI。
2. **採納逆向工作法：** 嘗試從終端使用者體驗或期望的業務成果出發，反推所需的 AI 功能與技術路徑。
3. **優先盤點與治理數據：** 投入資源進行數據盤點、清理、整合，建立數據湖或統一平台，並制定清晰的數據安全與治理策略。
4. **探索自動化機會：** 檢視內部流程，找出可透過 AI 自動化來降本增效、減少錯誤的環節（如倉儲、客服、內容生成）。
5. **善用雲平台資源：** 評估利用 AWS 等雲平台的 AI 服務（如 Bedrock、SageMaker）及算力資源，加速模型開發、部署與管理，並確保安全合規。
6. **從小處著手，迭代驗證：** 不必追求一步到位，可從解決特定小問題的應用開始，透過內部 Hackathon 或 Workshop 發掘潛力專案，快速驗證 AI 價值。
7. **新創思考市場規模：** 思考自己的 AI 解決方案能為多少人解決問題，以此評估潛在市場規模與發展方向。

---

## <a id="邁入邊緣-ai-時代-裝置端推理驅動新一代創新應用"></a>邁入邊緣 AI 時代: 裝置端推理驅動新一代創新應用

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 劉思泰 (ST Liew), 高通副總裁暨台灣、東南亞與紐澳區總裁, 美國高通公司 (Qualcomm)
* **時間:** 2025年3月26日 11:00-11:20
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

劉思泰總裁闡述了 AI 尤其是生成式 AI 帶來的巨大機遇，強調高通在行動技術、運算和連接方面的長期積累，使其在 AI 時代處於有利位置。他指出 AI 正在改變一切，從手機、汽車、PC 到 XR、工業物聯網和網路連接。演講的核心聚焦於「裝置端 AI」(On-Device AI) 的重要性，分析了其相較於純雲端 AI 的優勢，包括即時性、隱私保護、成本效益、個人化體驗和功耗效率。高通憑藉在低功耗運算方面的傳統強項，致力於推動 AI 在邊緣裝置的落地。他提到了模型小型化（如 Gemini Nano）和混合式 AI（雲端+裝置端協同）的趨勢，並認為這將進一步加速裝置端 AI 的普及。演講預示著 AI 將深度整合到消費者日常接觸的各類終端裝置中，改變人機互動模式。

### <a id="主要章節"></a>主要章節

#### <a id="1-ai-時代的機遇與高通的角色"></a>1. AI 時代的機遇與高通的角色

* **演講主旨：** 強調 AI 發展的快速步伐與巨大機遇，定位高通在行動技術與 AI 融合中的關鍵角色。
* **主要論點：**
* **AI 發展迅猛：** 形容當前 AI 發展如巨浪，需 "stay in front of the waves"。
* **高通的積累：** 40 年歷史，在移動技術、運算、連接 (Connectivity)、智慧手機領域有深厚基礎和持續創新。
* **長期 AI 研發：** 高通在 AI 領域已有十多年的研究投入 (早期手機中的 "好 AI" vs. 現在的生成式 AI "更好 AI")。
* **AI 改變一切 (AI is changing everything):**
* **手機 (Phones):** 已是 AI 應用的成熟載體 (拍照、音訊、遊戲、圖像處理、預測等)。
* **汽車 (Automotive):** 趨勢是軟體定義汽車 (Software Defined Vehicle)。高通提供 Snapdragon Digital Chassis 解決方案，AI 驅動座艙體驗 (Cockpit) 到自動駕駛 (ADAS)。語音控制將成為主要互動方式。
* **個人電腦 (PC):** AI PC 是新趨勢。高通去年推出 Snapdragon X Elite 平台，已有超過 80 款搭載高通晶片的 AI PC 正在設計中 (基於 Copilot+ PC)。
* **延展實境 (XR/VR/AR):** AI 將使 XR 互動更多模態 (語音、手勢、感覺)。
* **工業物聯網 (Industrial IoT):** AI 將深入機器人、無人機、工廠控制系統、POS 機等，提升效率與體驗。
* **網路連接 (Networking):** 5G + AI = 互聯智慧 (Connected Intelligence)。雲端與裝置端的連接是實現混合 AI 的基礎。

#### <a id="2-裝置端-ai-on-device-ai-的重要性與優勢"></a>2. 裝置端 AI (On-Device AI) 的重要性與優勢

* **演講主旨：** 強調 AI 運算從雲端走向裝置端的必然性與多重優勢。
* **主要論點：**
* **雲端 AI 的侷限：** 若全球數十億人、海量裝置同時進行 AI 查詢，雲端不堪重負 (每個 AI 查詢資源消耗約為普通搜尋的 8-10 倍)。
* **裝置端 AI 的必要性：** 是實現最佳 AI 體驗的關鍵。
* **裝置端 AI 的優勢：**
1. **即時性 (Immediacy/Responsiveness):** 本地處理，反應迅速。
2. **隱私 (Privacy):** 資料保留在本地端，不需上傳雲端，更安全。
3. **可靠性/成本 (Reliability/Cost):** 不依賴網路連接，減少傳輸成本。
4. **個人化 (Personalization):** 裝置可學習用戶習慣，提供客製化體驗。
5. **功耗效率 (Power Efficiency):** 關鍵優勢。高通利用其在行動裝置低功耗設計的 40 年經驗，確保裝置端 AI 的續航力。
> "耗電是一個非常重要的因素點...過去 40 年來，高通其中一個很大的優點，就是我們這種不斷的加強在運算方面，在續航就是省電上面做了很多 innovation。"
* **混合式 AI (Hybrid AI):** 最佳模式是「雲端 + 裝置端」協同工作 (Cloud + Edge cooperation)。雲端負責大型模型訓練與更新，裝置端負責即時推理與個人化。

#### <a id="3-技術趨勢與展望"></a>3. 技術趨勢與展望

* **模型小型化與高效化：**
* 趨勢是大型模型變得更小、更高效、更強大，使其能夠部署到終端裝置。
* *範例：* 提及 Gemini Nano (逐字稿中誤植為 Dixie?)，GPT-4o。
* 預期未來會看到更多小而強的模型出現。
* **人機介面 (UI) 的變革：** AI 將深度改變使用者與裝置的互動方式，從觸控、鍵盤走向語音、手勢、甚至感覺。
* **普及化：** 裝置端 AI 將進入各類產品，包括許多工業應用 (工廠、機器內部)。

#### <a id="4-專業術語與強調點"></a>4. 專業術語與強調點

* **專業術語:**
* **生成式 AI (Generative AI):** 驅動新體驗的核心技術。
* **裝置端 AI (On-Device AI / Edge AI):** 在使用者裝置本地運行的 AI。
* **混合式 AI (Hybrid AI):** 雲端 AI 與裝置端 AI 協同工作。
* **多模態 (Multimodal):** 指 AI 能處理多種輸入/輸出類型（文字、語音、圖像、手勢等）。
* **Snapdragon Digital Chassis:** 高通的汽車解決方案平台。
* **AI PC / Copilot+ PC:** 集成 AI 加速硬體和功能的個人電腦。
* **XR (Extended Reality):** 包含 VR, AR, MR 的總稱。
* **互聯智慧 (Connected Intelligence):** 5G 連接與 AI 能力的結合。
* **TOPS (Tera Operations Per Second):**衡量 AI 運算性能的單位 (雖然講者未直接用此單位比較，但其描述的效能提升隱含此概念)。
* **強調點:**
* AI 發展速度極快，需要跟上潮流。
* 高通在行動運算、連接和低功耗方面的長期優勢。
* 裝置端 AI 的五大優勢：即時、隱私、可靠/成本、個人化、功耗。
* 功耗效率是裝置端 AI 的關鍵考量，也是高通的強項。
* 混合式 AI 是未來主流模式。
* 模型小型化是推動裝置端 AI 的重要趨勢。

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI 正從雲端走向邊緣/裝置端：** 出於效能、隱私、成本、個人化等多重考量，將 AI 推理能力部署到終端裝置是明確的趨勢。
2. **混合 AI 架構是主流：** 未來的 AI 應用將是雲端（負責訓練、複雜任務）與裝置端（負責即時推理、個人化、隱私保護）協同工作的模式。
3. **功耗是 Edge AI 的關鍵：** 對於移動裝置和許多邊緣應用，低功耗設計是實現 AI 功能的核心挑戰與競爭力所在。
4. **模型持續進化：** AI 模型正朝著更小、更高效、能力更強的方向發展，這將加速 AI 在資源受限裝置上的部署。
5. **人機互動模式將被重塑：** AI 將使我們與裝置的互動方式更加自然、多元化（語音、手勢等）。

### <a id="行動建議"></a>行動建議

1. **硬體/裝置開發商：**
* 積極評估和整合具備 AI 加速能力的邊緣運算晶片 (如高通 Snapdragon 系列)。
* 將低功耗設計作為 AI 功能實現的核心考量。
* 設計支援多模態互動的產品。
* 關注模型小型化趨勢，選擇適合裝置能力的 AI 模型進行部署。
2. **應用程式/軟體開發商：**
* 開發利用裝置端 AI 能力的應用，提供更即時、個人化、注重隱私的體驗。
* 設計混合式 AI 應用，將適合的任務放在裝置端處理，複雜任務與雲端協同。
* 探索新的互動模式，如語音、手勢控制。
3. **企業/使用者：**
* 期待並選擇具備裝置端 AI 功能的產品（手機、PC、汽車等），以獲得更好的效能、隱私和個人化體驗。
* 了解混合 AI 模式，認識到數據可能在裝置端和雲端之間流動（需關注廠商的隱私政策）。
4. **投資者/產業觀察者：**
* 關注在 Edge AI 晶片、低功耗運算、模型壓縮與優化、以及相關應用領域具有優勢的公司。
* 將裝置端 AI 的普及視為驅動下一波硬體和軟體創新的重要力量。

---

## <a id="企業如何建立自家-gpt"></a>企業如何建立自家 GPT

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 藍信彰, 董事長, 神燈智能科技 (Senao Networks)
* **時間:** 2025年3月26日 13:10-13:30
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

藍信彰董事長探討了企業自建內部知識問答系統（類 GPT）的需求與挑戰。他指出，直接將企業內部資料餵給公有大型語言模型 (LLM) 如 ChatGPT 是困難且無效的，因為企業數據量相對太小，無法改變模型基於大量網路數據的統計性回答，且存在數據外洩風險。他詳細介紹了當前主流的解決方案：結合大型語言模型 (LLM) 與檢索增強生成 (RAG) 技術。演講拆解了 RAG 的工作流程，並深入探討了企業在採用開源 RAG 方案時面臨的兩大核心問題：資訊安全（外部資料上雲風險、內部權限管控缺失）和問答精準度不足。針對這些痛點，神燈智能提出了相應的解決方案，包括提供地端 (On-Premise) 部署選項以消除外部資安疑慮、開發嚴謹的權限管理機制以符合內部需求，並透過收購專業搜尋技術（提及台大吳家麟教授相關技術）及引入使用者回饋機制來大幅提升問答精準度。最後，介紹了其產品方案（企業級 GPT）的商業模式與預期效益。

### <a id="主要章節"></a>主要章節

#### <a id="1-企業自建-gpt-的需求與挑戰"></a>1. 企業自建 GPT 的需求與挑戰

* **演講主旨：** 說明企業為何需要內部知識問答系統，以及直接使用公有 LLM 的局限性。
* **核心問題：** 如何將企業內部的大量文件、資料轉化為員工可查詢、獲取內部知識的 AI 系統？
* **公有 LLM (如 ChatGPT) 的局限性：**
* **訓練成本高昂：** 需要海量資料、高不可攀的算力、專家與時間，非一般企業能負擔。
* **回答具統計性：** LLM 的回答基於其訓練數據中的普遍觀點（"統計上的大多數"），難以被小量的企業內部資料影響。
> "或多或少它都會有一個統計的這個要素在裡面...如果說網路上百分之九十五的人都認為答案是這樣子...他都會認為那個是正確答案。"
> "我們把企業的資料倒進去的話，那就是滄海一粟，所以影響不了它的答案。"
* **資安疑慮：** 將內部敏感資料上傳至外部平台存在風險 (後續詳述)。
* **結論：** 直接將內部文件導入公有 LLM 無法有效傳遞企業知識，需要替代方案。

#### <a id="2-rag企業自建-gpt-的主流方案"></a>2. RAG：企業自建 GPT 的主流方案

* **演講主旨：** 介紹檢索增強生成 (RAG) 作為結合 LLM 與企業內部知識的可行架構。
* **RAG (Retrieval-Augmented Generation) 架構與流程：**
1. **資料預處理 (Preprocessing):** 將企業文件分段 (Chunking)、理解語意、儲存至向量資料庫 (Vector Database)。
2. **問題理解 (Query Understanding):** LLM 理解使用者問題的語意，而非僅靠關鍵字。
3. **語意檢索 (Semantic Retrieval):** 將問題語意與向量資料庫中的文件片段進行比對，找出最相關的段落。
4. **內容增強 (Augmentation):** 將檢索到的相關段落（"小抄"）提供給 LLM。
> "這些資料有一點是說，你這個 LLM 你要回答問題之前，請我第一個小鈔給你，列了幾個重點，那是你看看重點再回答。"
5. **答案生成 (Generation):** LLM 參考提供的 "小抄" 及其原有知識，生成最終答案。
* **核心優勢：** 讓企業文件能有效影響 LLM 的輸出結果，降低幻覺 (Hallucination)，因為 LLM 有了具體的參考資料。
* **軟硬體考量：**
* **軟體：** 可採用各種 LLM (OpenAI, Llama, TAIIDE 等)，需持續評估選擇。神燈智能可協助客戶選擇。
* **硬體：** 依員工數、使用頻率、預算而定，可部署於雲端 (Cloud) 或地端 (On-Premise)。

#### <a id="3-企業導入-rag-的核心挑戰與解決方案"></a>3. 企業導入 RAG 的核心挑戰與解決方案

* **演講主旨：** 分析企業採用開源 RAG 方案時最常遇到的資安和精準度問題，並提出神燈智能的解決方案。
* **挑戰一：資安疑慮 (對外 & 對內)**
* **對外風險：** 擔心將公司機密資料上傳至外部雲端平台 (如使用 OpenAI API)。
* **對內風險：** Open Source 方案通常缺乏精細的權限管理機制，無法區分不同員工/角色的資料存取權限 (如查詢他人薪資)。
> "很多企業覺得說，我怎麼敢把我公司很多機密的資料放到雲端去...這是屬於對外的。另外還有一個是對內...我即便公司裡面的訊息也是有些人可以看有些人不能看...Open Source 的東西在這一方面通常都是欠缺的。"
* **神燈智能解決方案：**
* **提供地端部署 (On-Premise Solution):** 將系統部署在企業內部防火牆後，消除資料外洩疑慮。強調硬體成本不高 (十幾萬台幣起)。地端部署通常反應速度更快 (舉例：客戶從 OpenAI API 的 2 秒降至 0.2 秒)。
* **開發權限管理機制：** 建立符合企業需求的資料分級、權限分流機制，符合 ISO 27001 等標準。

* **挑戰二：問答精準度不足 (Accuracy)**
* **原因：** 企業內部資料量遠小於 LLM 的訓練數據量，導致 RAG 檢索到的 "小抄" 內容有限或不夠精確，影響最終答案品質。開源 RAG 的檢索算法通常較基礎。
* **神燈智能解決方案：**
* **收購專業搜尋技術：** 收購台大吳家麟教授創辦的「台智資訊 (?)」(推測應是指專精搜尋技術的公司)，引入其數十年積累的、適用於企業內部資料的先進搜尋演算法 (強調 PageRank 不適用於企業內搜尋)，提升 RAG 檢索的精準度至 95% 以上。
* **使用者回饋機制 (User Feedback Loop):** 建立機制讓使用者回饋答案品質，系統透過人工智慧或規則持續學習優化，越用越精準。

#### <a id="4-神燈智能企業級-gpt-方案介紹"></a>4. 神燈智能企業級 GPT 方案介紹

* **產品定位：** 提供解決資安與精準度問題的企業級內部知識問答系統。
* **部署選項：** 推薦地端部署。
* **商業模式：**
* **軟體：** SaaS 訂閱模式 (年費)，包含期間內的軟體更新。分教育版、企業版、專業版 (可二次開發)。
* **硬體：** 依需求建議，客戶自行採購或由神燈協助。
* **導入服務：** 一次性收費，提供顧問與教育訓練，確保順利導入 (強調導入輔導的重要性)。
* **成本概念：** 強調整體方案「不必到一百萬」。
* **預期效益：**
* **知識累積與傳承：** 企業 Know-how 不斷累積優化，降低人員流失衝擊 ("人走了，知識留下來")。
* **加速新人上手：** 新進人員可快速透過 AI 獲取所需資訊。
* **減少重複回答：** 解放資深員工回答重複問題的時間。
* **消除知識落差：** 打破部門或地域間的資訊隔閡。
* **多語言/多制度支持。**
* **衍生產品：** AI 客服系統 (因不涉機密，可雲端部署，導入簡單)。

#### <a id="5-專業術語與強調點"></a>5. 專業術語與強調點

* **專業術語:**
* **大型語言模型 (LLM - Large Language Model):** 如 ChatGPT, Llama 2, TAIIDE。
* **檢索增強生成 (RAG - Retrieval-Augmented Generation):** 核心技術架構。包含 Retriever, Augmenter, Generator。
* **向量資料庫 (Vector Database):** 儲存文件語意向量以供快速檢索。
* **語意檢索 (Semantic Search/Retrieval):** 基於意義而非關鍵字進行搜索。
* **地端部署 (On-Premise):** 將系統安裝在企業自己的伺服器內。
* **雲端部署 (Cloud Deployment):** 將系統部署在公有雲或私有雲平台。
* **開源 (Open Source):** 指程式碼公開的軟體。
* **SaaS (Software as a Service):** 軟體即服務的訂閱模式。
* **ISO 27001:** 資訊安全管理系統標準。
* **PageRank:** Google 使用的網頁排序演算法，講者強調其不適用於企業內部搜尋。
* **強調點:**
* 企業內部資料導入公有 LLM 無法有效影響結果且有資安風險。
* RAG 是當前企業自建知識庫的主流方案。
* 資安 (對內/對外) 和精準度是採用 RAG 的兩大痛點。
* 地端部署是解決外部資安疑慮的有效方法，且成本可控。
* 精準的權限管理對企業內部至關重要。
* 提升 RAG 精準度需要優化搜尋/檢索技術及引入使用者回饋。
* 企業導入 AI 系統需要循序漸進的流程與專業輔導。

### <a id="關鍵啟示"></a>關鍵啟示

1. **企業知識 AI 化需 RAG：** 對於希望利用內部文件建構 AI 問答系統的企業，RAG 結合 LLM 是目前最務實且主流的技術路徑。
2. **資安是首要考量：** 企業導入 AI 知識庫時，必須高度重視數據的內外部安全，地端部署和完善的權限管理是關鍵。
3. **精準度決定成敗：** RAG 系統的價值體現在其回答的精準度，這高度依賴於檢索階段的效能，需要優化搜尋演算法並結合回饋機制。
4. **導入非僅技術問題：** 成功的 AI 導入需要系統性的規劃，包含資料準備、人員訓練、流程設計和持續優化，專業的導入服務不可或缺。
5. **成本考量與效益預期：** 企業級 AI 知識庫的建置成本已相對可控，其效益體現在知識傳承、效率提升、降低溝通成本等多方面。

### <a id="行動建議"></a>行動建議

1. **評估內部需求：** 釐清企業內部是否有大量文件資料需要轉化為可供 AI 查詢的知識庫，以及主要的應用場景（內部查詢、客服等）。
2. **審慎評估資安需求：** 根據資料敏感性，決定採用雲端或地端部署方案，並確保供應商能提供符合企業內部規範的權限管理功能。
3. **關注 RAG 方案的精準度：** 詢問供應商其 RAG 系統在檢索和生成方面的技術細節、優化方式（如使用的搜尋引擎、是否支援回饋學習）及預期精準度。
4. **規劃導入流程：** 參照講者建議，成立推動小組，分階段進行資料準備、人員培訓和系統上線，並尋求有經驗的廠商提供導入輔導。
5. **準備數據資料：** 開始盤點、整理、標準化企業內部文件，為導入 RAG 系統做準備。
6. **從特定部門或應用試點：** 可先選擇一個資料相對完整、需求明確的部門或應用場景進行試點，驗證效益後再擴大推廣。

---

## <a id="skyimizer-ai-加速器-ip釋放無限與優化的-ai-效能"></a>Skyimizer AI 加速器 IP：釋放無限與優化的 AI 效能

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 連文力, 創辦人暨技術長, 臺灣發展軟體科技 (Skyit - Sky Mizer)
* **時間:** 2025年3月26日 13:30-13:50
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

連文力技術長從 AI 發展歷史切入，特別是 ChatGPT 和 Llama 等大型語言模型 (LLM) 的出現，如何引爆了對半導體產業的巨大需求。他指出，儘管 AI 模型演進迅速，但傳統 IC 設計週期長（18-24 個月），難以跟上 AI 發展步伐。然而，LLM 的運算特性（低運算強度、高記憶體頻寬需求）與傳統 CNN 等 AI 模型不同，為新的硬體架構帶來機會。Skyit (SkyMizer) 正是基於對 AI 軟體（特別是 LLM）的深刻理解（源於其編譯器背景），設計出專為 LLM 優化的 AI 加速器 IP (Skyimizer)。他介紹了 SkyMizer 的核心設計理念：透過先進的壓縮技術（量化、稀疏化）大幅縮小模型尺寸，降低記憶體頻寬壓力，並採用創新的、由編譯器驅動的硬體指令集架構 (MIV) 來實現高效能、低功耗、小面積的 AI 推理。演講強調了其 IP 在模型壓縮比和維持精準度方面的領先優勢。

### <a id="主要章節"></a>主要章節

#### <a id="1-ai-發展對半導體的驅動力與挑戰"></a>1. AI 發展對半導體的驅動力與挑戰

* **演講主旨：** 回顧 AI (特別是 LLM) 發展歷程，說明其對半導體產業帶來的巨大需求增長預期，以及 AI 快速迭代對 IC 設計週期構成的挑戰。
* **AI 里程碑與影響：**
* ChatGPT (2022年底) 引爆大眾對 AI 的認知。
* Llama (Meta), Alpaca 等小型化模型的出現，證明大型模型能力可轉移至終端裝置 (手機、邊緣設備)。
* **巨大市場潛力：** 若所有邊緣裝置 (PC, 手機, 汽車, 電視等，數量遠超 iPhone) 都需要 AI 能力，將帶動半導體需求呈指數級增長 (預估 10 年百倍)。
> "如果想像一下這數十億台的電腦每一台都需要 AI 運算能力的話，那對於 IC 跟半導體的量，實際上對整個產業來說可能是 iPhone 的甚至三代到五代以上。"
* **IC 設計的挑戰：**
* **設計週期長：** 傳統 IC 設計需 18-24 個月。
* **AI 演進快：** 過去 AI 模型 (如 CNN) 迭代速度快 (可能每 100 天就有代差)，導致 IC 設計出來即落後，投資風險高。
* **LLM 帶來的轉機：** LLM 發展似乎讓 AI 演進步伐稍緩 (模型架構相對穩定)，與 IC 設計週期（配合消費電子產品發布週期，約 18 個月）逐漸匹配，為 AI IC 設計帶來機會。
> "AI 的發展腳步開始放慢慢了下來，開始逐漸地跟我們半導體跟我們 IC 設計逐漸 match。"
* **最新進展 (Gemini 時代):**
* Gemini 1.0 -> 1.5 (多模態輸入輸出)。
* Gemini 2.0/2.5 (逐字稿版本可能有誤，但指更新的版本) 可能引入觸覺等新模態。
* 預期 Gemini 4.0 將整合更多能力。
* AI IC 設計速度提升：從 18-24 個月縮短至 6 個月，有望跟上 AI 模型發展。

#### <a id="2-ai-算力需求的演變與硬體設計的脫節"></a>2. AI 算力需求的演變與硬體設計的脫節

* **演講主旨：** 分析從摩爾定律到 AI 時代，硬體製造能力、設計能力與軟體發展速度之間的差距，並點出 AI 對算力需求的爆炸性增長。
* **歷史回顧：**
* **摩爾定律 (Moore's Law):** 電晶體密度約 18 個月翻倍 (製造能力)。
* **設計能力滯後 (SOC Gap):** IC 設計能力（尤其 SOC 整合）跟不上製造能力的提升。
* **軟體更滯後：** 軟體開發效率遠遠落後於硬體發展速度。
* **AI 時代的顛覆：**
* **算力需求爆炸：** AI 模型訓練對算力的需求遠超摩爾定律 (約每 3.5 個月翻倍)。
* **慾望無窮：** 即使模型訓練資料耗盡，人類對 AI 能力的需求仍在驅動算力需求持續增長。
* **AI 帶來的正向循環：**
* AI 技術反過來可以加速硬體設計 (AI for EDA) 和軟體開發 (AI for Coding)。
* 硬體設計能力的提升，又能更好地滿足 AI 算力需求，形成正向循環。
> "這是一個新的摩爾定律，新的半導體定律正在壓倒過去的摩爾定律。" (指 AI 驅動的加速循環)

#### <a id="3-llm-的運算特性與-skymizer-的設計哲學"></a>3. LLM 的運算特性與 SkyMizer 的設計哲學

* **演講主旨：** 分析 LLM 與傳統 AI 模型在運算特性上的差異，並闡述 SkyMizer 如何針對 LLM 特性進行優化設計。
* **運算特性比較 (Instruction Density vs. Memory Bandwidth):**
* **CPU:** 低指令密度 (2-8 指令/byte), 低帶寬需求。
* **GPU/DSP (for CNN):** 高指令密度 (~300 指令/byte), 高帶寬需求 (80-100 GB/s)。
* **LLM:** **極低指令密度 (1.5-2 指令/byte)**, **極高記憶體帶寬 (Memory Bandwidth) 需求**。
> "歷史上從來沒有出現過這樣的應用...我們就需要新的硬體架構。"
* **LLM 推理的瓶頸：** 記憶體帶寬成為主要瓶頸，而非計算本身。
* **SkyMizer 核心策略：模型壓縮 (Model Compression)**
* **目標：** 大幅縮小模型尺寸，減輕記憶體帶寬壓力，進而提升效率、降低功耗和面積。
* **方法：** 採用先進的量化 (Quantization) 和稀疏化 (Sparsity) 技術。
* **成果：**
* 量化：宣稱比開源方案效果更好，精準度損失 < 4%。
* 稀疏化：壓縮比達 17.8% (即保留 17.8% 的權重)，宣稱領先。
* 整體：模型越小，所需記憶體越小，晶片面積越小，功耗越低。

#### <a id="4-skymizer-技術架構與優勢"></a>4. SkyMizer 技術架構與優勢

* **設計理念：編譯器驅動的硬體設計 (Compiler-Driven Hardware Design)**
* Skyit 背景是軟體/編譯器公司，因此從軟體角度出發設計硬體。
* 先設計優化的編譯器，再根據編譯器的需求設計硬體指令集和架構。
* **指令集架構 (ISA): MIV (Mizer Instruction for VLIW-like)**
* 類似 VLIW (超長指令字)，但針對 LLM 的稀疏運算和記憶體存取進行優化。
* 特色：有效利用硬體線路 (circuit utilization)、有效利用晶片面積 (area utilization)。
* 宣稱面積效率比 RISC-V 高 10% 以上。
* **核心優勢：**
* **高效能：** 針對 LLM 優化，利用壓縮和 MIV 架構。
* **低功耗 & 小面積：** 模型壓縮和高效架構帶來的好處。
* **高精度：** 壓縮後仍能維持高精準度。
* **靈活性：** 可支援不同 AI 模型。

#### <a id="5-專業術語與強調點"></a>5. 專業術語與強調點

* **專業術語:**
* **LLM (Large Language Model):** 大型語言模型。
* **ChatGPT, Llama, Alpaca, Gemini:** 具體的 LLM 名稱。
* **多模態 (Multimodal):** 處理多種資料類型。
* **IC (Integrated Circuit), 半導體 (Semiconductor):** 晶片。
* **IP (Intellectual Property):** 指可授權的矽智財，此處指 AI 加速器設計。
* **SOC (System on Chip):** 系統單晶片。
* **EDA (Electronic Design Automation):** 電子設計自動化 (IC 設計工具)。
* **指令密度 (Instruction Density):** 每單位資料量所需的計算指令數。
* **記憶體帶寬 (Memory Bandwidth):** 記憶體數據傳輸速率。
* **量化 (Quantization):** 降低模型參數精度的壓縮技術 (e.g., FP32 -> INT8)。
* **稀疏化 (Sparsity):** 移除模型中不重要參數的壓縮技術。
* **編譯器 (Compiler):** 將高階程式語言轉譯成機器碼的軟體。
* **指令集架構 (ISA - Instruction Set Architecture):** CPU 能理解執行的指令集合。
* **VLIW (Very Long Instruction Word):** 一種處理器架構。
* **MIV (Mizer Instruction for VLIW-like):** Skyit 自創的 ISA 名稱。
* **強調點:**
* LLM 對半導體產業帶來百年一遇的巨大商機。
* LLM 的運算特性 (低計算密度、高帶寬需求) 與以往 AI 模型不同，需要新的硬體架構。
* 模型壓縮是應對 LLM 帶寬瓶頸的關鍵策略。
* SkyMizer 的編譯器驅動設計方法是其核心競爭力。
* SkyMizer IP 在壓縮比、精度維持、功耗面積方面具有優勢。

### <a id="關鍵啟示"></a>關鍵啟示

1. **LLM 運算特性重塑硬體需求：** 與傳統偏重計算的 AI 模型不同，LLM 推理更依賴記憶體帶寬，這為專門優化的新型 AI 加速器帶來了機會。
2. **模型壓縮是關鍵技術：** 為了在資源有限的邊緣裝置上運行日益龐大的 LLM，並克服帶寬瓶頸，高效的模型壓縮技術（量化、稀疏化）至關重要。
3. **軟硬體協同設計 (Co-design) 的重要性：** Skyit 的案例表明，從軟體（編譯器）角度出發來指導硬體架構設計，可以針對特定應用（如 LLM）達到更好的優化效果。
4. **AI IC 設計加速：** 在 AI 技術的輔助下，IC 設計週期正在縮短，更能適應快速變化的 AI 市場需求。
5. **台灣 IP 公司的機會：** 在 AI 帶動的半導體新浪潮中，專注於特定 AI 加速（如 LLM 推理）的 IP 公司具有發展潛力。

### <a id="行動建議"></a>行動建議

1. **IC 設計/系統廠：**
* 在為 AI 應用（特別是 LLM）選擇硬體方案時，需關注其對記憶體帶寬的優化能力，而非僅看原始計算性能 (TOPS)。
* 評估採用專為 LLM 優化的 IP（如 SkyMizer）或晶片，以提升終端裝置的 AI 推理效率、降低功耗。
* 關注模型壓縮技術的發展，並將其納入 AI 部署流程。
2. **AI 軟體/應用開發商：**
* 了解不同硬體平台的特性（CPU, GPU, NPU, LLM 加速器），為模型選擇合適的部署目標。
* 利用模型壓縮工具（如量化、稀疏化）優化模型，使其能在邊緣裝置上高效運行。
* 與硬體/IP 廠商合作，進行軟硬體協同優化。
3. **投資者/產業分析師：**
* 關注專注於 LLM 推理加速、模型壓縮技術、以及軟硬體協同設計的半導體/IP 公司。
* 追蹤 AI 對不同硬體架構（CPU, GPU, NPU, 新型加速器）需求的變化趨勢。

---

## <a id="企業-ai-應用全解析從概念到實踐"></a>企業 AI 應用全解析：從概念到實踐

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:**
* 任志石 (Rich Shih), 合作夥伴工程師, Google Cloud
* 萬方志 (Anderson Huang), 技術總監, 思想科技 (Think Cloud)
* **時間:** 2025年3月26日 13:50-14:10
* **場次:** AI Expo 2025
* **形式:** 雙講者 (Google Cloud + 合作夥伴)

### <a id="內容摘要"></a>內容摘要

本場演講由 Google Cloud 與其合作夥伴思想科技 (Think Cloud) 聯合呈現，旨在解析企業導入 AI 應用的歷程與實踐方法。Google Cloud 的 Rich Shih 首先介紹了其 Gemini 系列模型的演進（強調多模態與快速迭代），以及 Vertex AI 平台作為企業級 AI 開發與部署的一站式解決方案，並強調了 Google 對合作夥伴生態系的重視。接著，思想科技的 Anderson Huang 分享了他們作為 Google Cloud 合作夥伴的經驗與能力（One Google Solution），並展示了多個實際的企業 AI 應用案例（Workspace 管理工具、電商物流優化、汽車維修助手）。他深入探討了企業導入 AI 時面臨的核心挑戰，特別是數據品質與整合問題（數據孤島），並強調了「AI Ready Data」和數據治理的重要性。他說明了為何 Gemini 模型適合企業應用（性價比、多模態、低幻覺），並介紹了 Gemini Code Assist 和 Vertex AI Agent Builder 等工具如何加速開發。最後，他呼應 Andrew Ng 的觀點，強調 AI 專案應從小處著手、自動化繁瑣任務，並結合領域專家與 AI 專家，並提出思想科技能提供務實的導入服務。

### <a id="主要章節"></a>主要章節

#### <a id="1-google-cloud-的-ai-平台與模型-rich-shih"></a>1. Google Cloud 的 AI 平台與模型 (Rich Shih)

* **演講主旨：** 介紹 Google Cloud 在生成式 AI 領域的核心模型 Gemini 系列及其企業級 AI 平台 Vertex AI，並強調合作夥伴的重要性。
* **Gemini 模型家族：**
* **演進：** 從 Gemini 1.0 Pro -> 1.5 Pro / Flash -> (提及 2.0/2.5，強調快速迭代，僅用數月)。
* **核心能力：** 多模態 (Multimodal) 輸入輸出 (文字、圖像、影音)。
* **版本選擇：**
* **Gemini Pro:** 通用，性價比高。
* **Gemini Flash:** (推測) 速度更快或成本更低。
* **Gemini Ultra:** (未直接提及，但為完整體系一部分) 最高能力。
* **應用：** 講者自述使用 Gemini Pro 寫郵件，效果極佳。
* **Vertex AI 平台：**
* **定位：** 端到端的企業級 AI / ML 平台。
* **功能：**
* **Model Garden:** 提供 Google 自研及超過 130 種第三方/開源模型供選擇。
* **開發環境：** 提供工具進行模型定制、開發。
* **部署與管理：** MLOps 功能，支持模型部署、監控。
* **安全性：** 強調企業級安全與數據隱私保護。
* **核心價值：** 提供一站式服務，簡化企業 AI 開發與部署流程。
* **合作夥伴生態系 (Partner Ecosystem):**
* **重要性：** Google Cloud 高度重視合作夥伴，認為他們是服務本地客戶的關鍵。
* **要求：** 對夥伴有嚴格要求 (本地技術投入、熟悉 Google 服務、快速學習能力)。
* **One Google 概念：** 期望夥伴能整合 Google 多種產品 (Search, Workspace, AI, Ads) 提供整合方案。
* **引薦思想科技 (Think Cloud):** 介紹其為早期、經驗豐富、具備多項專業認證的 Google Cloud 合作夥伴。

#### <a id="2-企業-ai-落地實踐與挑戰-anderson-huang-萬方志"></a>2. 企業 AI 落地實踐與挑戰 (Anderson Huang / 萬方志)

* **演講主旨：** 分享思想科技在協助企業導入 AI 的實務經驗，強調數據治理的重要性，展示實際案例，並介紹 Google AI 工具如何加速應用落地。
* **思想科技介紹：**
* 超過 15 年 Google 合作經驗 (從 Search Appliance -> Workspace -> Cloud)。
* 服務範圍涵蓋亞太、歐美、澳紐。
* 擁有多項 Google Cloud 專業認證 (Specialization)，特別是 AI/ML 領域。
* 具備 "One Google Solution" 整合能力。
* **企業 AI 應用案例：**
* **Mazer Console:** 簡化 Google Workspace 後台管理的 AI 助手。
* **跨國電商物流優化:** (影片展示，細節未詳述) 利用 Google Maps 與 AI 進行成本或路徑優化。
* **汽車維修助手:**
* *場景：* 汽車技師需查閱大量車主手冊進行維修。
* *方案：* 使用 Gemini 2.0 (應指 Pro) 建立內部知識庫問答系統 (RAG 應用)。
* *效益：* 技師可透過自然語言查詢維修步驟、零件資訊等，提升效率與準確性。
* **企業導入 AI 的核心挑戰：數據問題**
* **普遍現象：** 很多企業追逐新模型、新技術，但忽略基礎。
* **數據孤島 (Data Silos):** 企業內部數據分散在不同系統 (ERP, CRM, MES, PLM...)，格式不一，難以整合。
* **數據品質 (Data Quality):** 數據可能不完整、不一致、不及時、不標準。
* **IDC 數據佐證：** 64% 製造業 AI 專案因數據問題而延遲或失敗。
* **核心觀點：數據治理是 AI 成功的基石。**
> "如果你的數據不夠精準、不夠乾淨、不 update，再怎樣厲害的技術、再高的 computing power 都很難達到好的效果。" (引述其集團內部 AI 專家觀點)
> "百分之六十的時間投入在數據，數據的整合。"
* **AI Ready Data:** 強調需要完整、一致、及時、標準化、且與業務流程相關的數據。
* **數據治理的效益：** 經過治理的數據能讓 AI 模型學習更有效、更精準，降低對複雜模型或高算力的依賴，減少開發成本與時間。
* **為何選擇 Google Gemini 進行企業應用？**
* **性價比與速度：** 在速度和價格上表現優異 (引用圖表，但圖表本身未顯示)。
* **多模態能力：** 能處理多種數據類型，符合企業多元數據需求。
* **各領域均衡表現：** 在多數領域表現達中上水平，比在特定領域頂尖但其他領域普通的模型更適合廣泛的企業應用。
* **低幻覺 (Low Hallucination):** 處理幻覺問題表現較好 (引用圖表)。
* **加速開發的 Google 工具：**
* **Gemini Code Assist:**
* *應用：* 輔助開發人員寫程式、做 Code Review。
* *效益：* 大幅縮短 Code Review 時間，提高開發效率 (引用內部導入經驗)。
* **Vertex AI Agent Builder (AgenSpace?):** (講者口語用 AgenSpace，但功能描述接近 Agent Builder)
* *定位：* 針對企業內部知識管理和 AI 生成需求的產品/框架。
* *效益：* 能夠快速 (四週內) 交付 AI 專案。
* **成功導入 AI 的關鍵要素 (呼應 Andrew Ng):**
1. **從小處著手 (Start Small):** 不求一步到位，從能成功的小需求開始。
2. **自動化繁瑣任務 (Automate Tedious Tasks):** 優先解決重複性、低價值的工作，而非直接想取代職位。
3. **結合領域專家與 AI 專家 (Combine Domain & AI Experts):** 必須結合業務知識和 AI 技術，才能找到真正有價值的應用點。
* **思想科技的價值主張：** 提供務實、經驗豐富的 AI 導入服務與合作。

#### <a id="3-專業術語與強調點"></a>3. 專業術語與強調點

* **專業術語:**
* **Gemini (Pro, Flash, Ultra):** Google 的旗艦大型語言模型系列。
* **Vertex AI:** Google Cloud 的企業級 AI/ML 平台。
* **Model Garden:** Vertex AI 中提供預訓練模型的庫。
* **Multimodal (多模態):** 處理多種數據類型 (文、圖、音、影)。
* **Grounding (溯源):** 追溯 AI 結論來源的能力。
* **Assistive Search (輔助搜尋):** 利用 AI 強化企業內部搜尋能力。
* **Enterprise Search:** 企業內部搜尋系統。
* **RAG (Retrieval-Augmented Generation):** 檢索增強生成 (隱含在汽車維修助手中)。
* **Customer Sentiment Analysis (客戶情緒分析):** 分析客戶反饋中的情緒。
* **Knowledge Base (知識庫):** 儲存結構化或非結構化知識的系統。
* **AI Agent:** AI 代理人/智能體。
* **Data Governance (數據治理):** 管理數據品質、安全、合規等的流程與政策。
* **Data Silos (數據孤島):** 數據分散無法互通。
* **AI Ready Data:** 符合 AI 模型使用需求的高品質數據。
* **Code Assist (程式碼助手):** AI 輔助編程工具。
* **Vertex AI Agent Builder:** Google Cloud 用於建立 AI Agent 的工具。
* **One Google Solution:** 提供整合 Google 多項產品的解決方案。
* **強調點:**
* Gemini 模型的快速迭代與多模態能力。
* Vertex AI 作為企業 AI 平台的重要性。
* 合作夥伴在 AI 落地中的關鍵作用。
* **數據品質和數據治理是企業 AI 成功的最大關鍵。** (反覆強調)
* AI 專案應務實，從小處著手，結合領域知識。
* Gemini Code Assist 和 Agent Builder 能顯著加速開發。

### <a id="關鍵啟示"></a>關鍵啟示

1. **數據基礎先於模型追新：** 企業導入 AI 最應優先關注的是數據的品質、整合與治理，而非盲目追逐最新的 AI 模型。沒有好的數據，再強的模型也難以發揮價值。
2. **平台化加速 AI 落地：** 像 Vertex AI 這樣的企業級 AI 平台，透過提供模型選擇、開發工具、部署管理及安全保障，能有效降低企業導入 AI 的門檻與複雜度。
3. **AI Agent 是重要方向：** 從輔助搜尋、客服優化到程式碼生成，利用 AI Agent 自動化任務、整合內外部資訊是明確的應用趨勢。
4. **合作夥伴價值凸顯：** 對於缺乏內部 AI 專家的企業，尋找像思想科技這樣有經驗、懂技術、懂行業的合作夥伴，是成功導入 AI 的重要途徑。
5. **務實導入策略：** AI 專案應從解決具體、可衡量的小問題開始，逐步建立成功案例與內部信心，並始終結合業務需求與 AI 技術。

### <a id="行動建議"></a>行動建議

1. **進行數據健康檢查：** 企業應立即評估內部數據現狀，識別數據孤島、品質問題，並制定數據治理策略，為導入 AI 做好準備。
2. **評估企業級 AI 平台：** 了解 Google Vertex AI 等平台的功能，評估其是否能滿足企業在模型選擇、開發、部署、安全方面的需求。
3. **探索 Gemini Code Assist：** 讓開發團隊試用 Code Assist 等工具，評估其對提升開發效率和程式碼品質的實際效益。
4. **識別 Agent 應用場景：** 思考內部有哪些重複性高、耗時的工作（如客服、報告生成、內部知識查詢、Code Review）可以透過 AI Agent 來實現自動化或輔助。
5. **尋找合適的合作夥伴：** 若內部資源不足，應尋找具備 Google Cloud AI 專業認證且有相關行業經驗的合作夥伴（如思想科技）進行諮詢與合作。
6. **啟動小型試點專案：** 選擇 1-2 個痛點明確、數據相對可用的應用場景，與合作夥伴共同規劃並執行一個可在短期（如 4 週）看到初步成果的試點專案。

---

## <a id="ai-驅動加速企業創新-戴爾觀點"></a>AI 驅動•加速企業創新 (戴爾觀點)

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 梁榮華 (Ray Liang) - (逐字稿介紹為叡揚科技，但內容表明為 Dell 代表，此處以 Dell 觀點記錄)
* **時間:** 2025年3月26日 14:10-14:30
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

本演講從硬體與系統整合商 (Dell) 的角度，探討企業如何實際導入 AI 並加速創新。講者首先指出 AI 從早期應用發展到生成式 AI，再到企業實際部署的進程，並強調 AI 應用應聚焦於能產生最大影響力的環節 ("Amplifying AI")。接著分享了 Dell 自身的 AI 導入歷程，包含如何基於自身獨特優勢（直銷模式、服務數據、供應鏈、研發能力）來識別高價值應用場景（如銷售輔助、客服優化、供應鏈管理），以及如何建立數據基礎、選擇合適工具（自建/購買/合作）。演講中展示了 Dell 內部使用的 AI 工具實例 (Sales Chat, Next Best Action, Code Assist)，並特別強調數據基礎 (Data Foundation) 和將數據視為產品 (Data as a Product) 的重要性。最後，介紹了 Dell 針對 AI 工作負載提供的從邊緣到核心的基礎設施解決方案 (AI Factory)，特別是與 Nvidia 合作的最新產品（如 AI 工作站）和針對 AI Agent 的平台規劃，以及透過 PowerScale 整合優化 RAG 應用的方案，並以客戶案例佐證其價值。

### <a id="主要章節"></a>主要章節

#### <a id="1-企業-ai-導入的現狀與挑戰"></a>1. 企業 AI 導入的現狀與挑戰

* **演講主旨：** 概述 AI 技術發展階段，指出企業導入 AI 應聚焦高影響力應用，並分析企業在落地過程中面臨的普遍挑戰。
* **AI 進程：** Pre-GenAI -> GenAI 興起 -> Enterprise AI 實施。
* **Amplifying AI 概念：** 不應所有流程都導入 AI，應聚焦於對企業「最有影響力」、「最有回饋」的環節，將投資花在刀口上。
* **企業導入現況 (Dell 調查)：** 65% 的企業已將 POC (概念驗證) 導入生產環境。
* **主要挑戰：**
* **成本 (Cost):** GPU 等硬體成本高昂 (舉例 Nvidia GPU 價格被炒高)。
* **數據品質 (Data Quality):** 開源模型直接使用效果不佳，需要大量校調，數據品質是關鍵。
* **價值不明 (Value):** 如何衡量 AI 導入的具體效益 (ROI)。
* **供應商整合 (Vendor Integration):** 管理多個 AI 相關供應商的複雜性。
* **邊緣 AI (Edge AI) 的探索：** 企業對 AI PC 等邊緣設備的興趣增加，希望在本地端實現 AI 應用以省錢、提效。

#### <a id="2-dell-的-ai-實踐內部導入經驗分享"></a>2. Dell 的 AI 實踐：內部導入經驗分享

* **演講主旨：** 以 Dell 自身為例，分享企業應如何思考和實踐 AI 導入。
* **核心問題框架：**
1. **做哪些 (What to do?):**
* 我的獨特之處 (What makes us unique?)：基於公司核心優勢思考。
* 要解決什麼問題 (What problems to solve?): 必須是業務驅動 (Business Owner)。
* 哪些流程需改變 (What processes to change?)。
2. **怎麼做 (How to do it?):**
* 識別高價值用例 (Identify use cases)。
* 建立數據基礎 (Build data foundation) - **極其重要**。
* 選擇工具/方案 (Build / Buy / Partner)。
* **Dell 的獨特之處 (What makes Dell unique?):**
* **直銷模式 (Direct Go-to-Market):** 直接了解客戶需求。
* **服務數據 (Service Data):** 掌握詳細的產品維修記錄。
* **研發能力 (R&D):** 從終端到資料中心的全線產品。
* **供應鏈能力 (Supply Chain):** 強大的供應鏈管理（曾是疫情期間少數有貨的廠商）。
* **Dell 的 AI 應用實例 (內部工具):**
* **Sales Chat:** 銷售輔助工具，利用 RAG 提供產品資訊、銷售策略等 (展示了查詢 PowerEdge Management 功能的 Demo)。但也提到管理層會追蹤使用頻率，對員工造成壓力。
> "...本來我應該是很開心的...為什麼不是很開心...現在每兩個禮拜都會去 track 員工到底一個禮拜用幾次...沒有用到這樣子，我就會跟你老闆說...你回去看他是不是趕快把他 fire 掉..." (半開玩笑地描述壓力)
* **Next Best Action (NBA):** 客服/維修專家系統，根據維修記錄和環境資訊，建議維修人員下一步最佳行動，提高首次修復率。
* **內部 Code Assist 平台：** 在內部隔離環境中使用的 AI 輔助編程工具，保障 IP 安全。
* **供應鏈 AI (Supply Chain AI):** 不僅看缺料，還分析前端銷售趨勢、客戶購買習慣 (捆綁銷售)，進行更全面的預測與備料，實現端到端優化。
* **關鍵心法：數據即產品 (Data as a Product)**
* 企業應將內部數據視為核心資產和可供複用的產品。
* 建立統一的數據平台 (Data Foundation)，讓不同部門、新成立的 AI/創新部門都能方便取用，打破數據孤島。
* 需要工具 (Analytics Engine) 和流程 (Management) 支持。

#### <a id="3-dell-的-ai-解決方案ai-factory"></a>3. Dell 的 AI 解決方案：AI Factory

* **演講主旨：** 介紹 Dell 為企業提供的從邊緣到核心的 AI 基礎設施與服務。
* **核心概念：AI Factory**
* 提供經過驗證的設計 (Validated Designs)，整合 Dell 硬體、軟體與合作夥伴技術 (如 Nvidia)。
* 涵蓋從數據準備、模型訓練、調優到推理部署的全流程。
* **最新產品與技術 (結合 GTC 2024 內容)：**
* **AI 工作站 (AI Workstation):** 桌上型系統 (提及 PowerEdge XE9680? 或新的工作站型號)，對標 Nvidia DGX Workstation，提供強大本地算力給開發者，強調 Dell 提供更全面的企業級支援 (Support, Portfolio Integration)。
> "(客戶問) 欸，我到底要去跟客戶說要買 DGX 還是買這一台？...很簡單，有信仰的去買 DGX...務實的買這一台...你為了信仰，他就算沒有 Support 你還是會買...但是如果說你今天需要 Support...你可以上來 Dell 來幫你維修..."
* **數據中心級方案：** 更新 PowerEdge 伺服器、PowerScale 存儲等，支援最新 Nvidia GPU (如 H100, B200 - 未明說但隱含)。
* **AI Agent 平台整合：** 計劃將 Nvidia NIM (Nvidia Inference Microservices) 整合到 Dell AI 解決方案中，提供 Agent Runtime 和數據管理能力。
* **RAG 優化：PowerScale + Nvidia NeMo Retriever：** Dell PowerScale (NAS 存儲) 與 Nvidia NeMo Retriever 微服務整合，加速 RAG 應用中向量數據庫的檢索速度和準確性。宣稱是目前市場獨有方案。
> "...採用 PowerScale 讓你們更快的去找到相關的檔案，也更準確。"
* **客戶案例佐證：**
* **MosaicML (已被 Databricks 收購):** 使用 Dell AI Factory 進行模型訓練。
* **Ansys:** 工程模擬軟體公司，使用 Dell + Google Cloud 方案。
* **Ford:** 使用 Dell AI Factory。
* **Samsung SDS:** IT 服務外包商，使用 Dell AI Factory。
* **Element Critical:** 託管服務提供商，使用 Dell 平台提供 GPU 資源。
* **市場定位：** 強調 Dell 在 AI 基礎設施各領域（伺服器、存儲、PC）的領導地位，致力於幫助客戶成功落地 AI。

#### <a id="4-專業術語與強調點"></a>4. 專業術語與強調點

* **專業術語:**
* **POC (Proof of Concept):** 概念驗證。
* **Production Environment:** 生產環境。
* **RAG (Retrieval-Augmented Generation):** 檢索增強生成 (體現在 Sales Chat 等應用)。
* **Data Foundation:** 數據基礎設施/平台。
* **Data as a Product:** 將數據視為可管理、可複用的產品。
* **Next Best Action (NBA):** 下一步最佳行動（客戶服務/維修）。
* **AI Factory:** Dell 提出的 AI 基礎設施整體解決方案概念。
* **Validated Design:** 經過驗證的、整合的硬體軟體配置方案。
* **Nvidia DGX:** Nvidia 的 AI 伺服器/工作站品牌。
* **Nvidia NIM (Nvidia Inference Microservices):** 用於部署優化後 AI 模型的微服務。
* **Nvidia NeMo Retriever:** 用於 RAG 的 Nvidia 微服務。
* **PowerEdge:** Dell 伺服器產品線。
* **PowerScale:** Dell 的橫向擴展 NAS 存儲產品線。
* **強調點:**
* AI 導入應聚焦高價值、高影響力的業務環節。
* 企業自身的獨特優勢是尋找 AI 應用點的基礎。
* **數據基礎 (Data Foundation) 是企業 AI 成功的絕對關鍵。**
* 將數據視為產品進行管理和共享。
* Dell 提供從邊緣到核心、整合軟硬體與合作夥伴技術的 AI Factory 解決方案。
* Dell 方案強調務實、企業級支援與整合能力。
* 與 Nvidia 的緊密合作，快速將最新 AI 技術整合到 Dell 平台。

### <a id="關鍵啟示"></a>關鍵啟示

1. **務實聚焦高價值 AI 應用：** 企業不應為 AI 而 AI，而應從自身核心優勢與業務痛點出發，識別能帶來最大效益的應用場景。
2. **數據基礎決定 AI 成敗：** 建立統一、高質量的數據平台是企業成功導入 AI 的前提，應將數據視為核心資產來管理。
3. **內部實踐引領外部方案：** Dell 的案例表明，通過解決自身內部問題來開發和驗證 AI 工具與平台，可以更好地理解客戶需求並提供有效的解決方案。
4. **基礎設施是 AI 落地的保障：** 高效、可靠、可擴展且易於管理的 AI 基礎設施（硬體+軟體+服務）對於支撐複雜的 AI 工作負載至關重要。
5. **生態合作加速創新：** 系統整合商（如 Dell）與技術領導者（如 Nvidia）以及應用開發商的緊密合作，能夠加速最新 AI 技術的落地與應用。
6. **邊緣與核心協同：** 未來的 AI 部署將是邊緣（如 AI PC、工作站）與數據中心/雲端協同的模式，需要端到端的解決方案。

### <a id="行動建議"></a>行動建議

1. **進行內部 AI 策略盤點：** 參考 Dell 的提問框架，思考公司的獨特優勢、核心業務痛點，識別最有潛力的 AI 應用領域。
2. **評估並投資數據基礎設施：** 檢視公司現有的數據管理狀況，考慮建立統一的數據平台，並採用「數據即產品」的思維。
3. **選擇合適的部署模式與工具：** 根據應用需求、數據敏感性、成本、內部能力等因素，選擇合適的部署模式（雲、地端、混合）和工具（自建、購買、合作）。
4. **關注基礎設施供應商的整合能力：** 在選擇伺服器、存儲等基礎設施時，考慮其與主流 AI 平台（如 Nvidia）的整合度、效能優化能力以及企業級支援服務。
5. **探索 AI Factory 或類似概念：** 了解像 Dell AI Factory 這樣的整合解決方案，評估其是否能簡化 AI 基礎設施的部署與管理。
6. **關注 RAG 性能優化方案：** 如果 RAG 是重要應用，應關注能提升檢索效率的存儲或軟體方案（如 PowerScale + NeMo Retriever）。
7. **從內部應用開始試點：** 可以先從內部工具（如銷售輔助、客服知識庫、開發助手）開始導入 AI，積累經驗並驗證效益。

---

## <a id="ai-代理革命重塑企業未來的關鍵戰略"></a>AI 代理革命：重塑企業未來的關鍵戰略

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 葉威廷 (Alex Yeh), 創始人暨執行長, GMI Cloud
* **時間:** 2025年3月26日 15:00-15:20
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

葉威廷執行長探討了 AI 代理 (AI Agent) 的興起及其對企業的顛覆性潛力。他將 GMI Cloud 定位為「AI 界的 Shopify」，旨在降低 AI 技術門檻，讓創業者和企業能快速、輕鬆地部署 GPU 資源和利用 AI 模型，特別是構建 AI Agent。他認為當前 AI Agent 的發展階段類似於早期互聯網或電商平台的爆發前夕，預示著巨大的變革。演講中列舉了 AI Agent 的多種應用場景，從個人助理（會計、郵件搜索）到企業級應用（市場競爭分析、內部數據分析與整合 SAP/Salesforce 等系統）。他特別強調了本地部署對於數據隱私和安全的重要性，並展示了 GMI Cloud 平台如何支持用戶快速選擇 GPU、模型（如 Llama, Mistral, Qwen）並透過 API 構建私有 AI Agent，確保數據不外流。最後，他分享了一個僅有 10 人的新創公司利用 AI Agent 實現千萬美元級營收的驚人案例，強烈呼籲企業和個人積極擁抱 AI Agent，否則將面臨被淘汰的風險。

### <a id="主要章節"></a>主要章節

#### <a id="1-ai-agent-的時代來臨與-gmi-cloud-的定位"></a>1. AI Agent 的時代來臨與 GMI Cloud 的定位

* **演講主旨：** 宣告 AI Agent 時代已經到來，並介紹 GMI Cloud 如何賦能創業者和企業抓住此機遇。
* **GMI Cloud 介紹：**
* **全稱：** General Machine Intelligence Hub。
* **定位：** Nvidia Cloud Partner (NCP)，專注於 AI 推理 (Inference) 的雲服務商，自稱「全球最大推理雲」、「AI 界的 Shopify」。
* **目標：** 讓任何人都能快速、低成本地部署 GPU 和使用 AI 模型，特別是 AI Agent。
* **AI Agent 的重要性：**
* 引用 Jensen Huang 的關注點。
* 認為 AI Agent 是當前 AI 發展的核心趨勢，如同 2021 年的市場爆發點。
* 類比：如同早期網站建設 (從複雜到簡單)、電商平台 (Shopify/蝦皮讓開店變容易)，GMI Cloud 要讓創建 AI Agent 變得簡單。
> "AI Agent...我認為現在市場很像是 2021 年的時候，就是一個大爆發。"
> "我們做的事情也是 Shopify for AI，我是希望可以讓任何一個人可以快速的去使用 AI，它不再複雜，不再昂貴。"

#### <a id="2-ai-agent-的應用場景與潛力"></a>2. AI Agent 的應用場景與潛力

* **演講主旨：** 展示 AI Agent 在個人和企業層面的多樣化應用潛力，激發聽眾對其價值的想像。
* **核心能力：** 自動化 (Automation)、效率提升 (Efficiency)、創新 (Innovation)。
* **應用場景舉例：**
* **個人助理：**
* 簡易會計、資訊彙整與發送。
* 智能郵件搜索 (找到「找不到」的郵件)。
* **企業應用：**
* **市場/競爭分析：** 自動搜集競品資訊、流量、銷售數據。
* **內部數據分析：** 連接 SAP, Salesforce, Oracle 等系統，快速回應老闆/主管的數據分析需求 (取代分析師數天的工作，縮短至 5-10 分鐘)。
* **主動洞察：** AI Agent 可主動發掘企業主可能忽略的關鍵資訊 ("有什麼資料是我應該知道的?")。
* **創意發想輔助。**
* **客服機器人 (隱含)：** 整合語音 (Whisper) 和文字模型。
* **宗教/文化傳播：** 舉例客戶想做 "AI Jesus"，將聖經導入模型提供問答服務。

#### <a id="3-解決方案gmi-cloud-平台與本地部署優勢"></a>3. 解決方案：GMI Cloud 平台與本地部署優勢

* **演講主旨：** 強調企業自建 AI Agent 時數據隱私的重要性，並展示 GMI Cloud 如何提供安全、便捷的部署方案。
* **公有雲 LLM 的痛點：**
* **數據隱私風險：** 上傳到公有雲 (如 OpenAI API) 的數據可能被用於再訓練，或無意中洩漏給他人。對金融、保險、醫療等敏感行業尤其不適用。
> "數據事實上不掌握在你的手上，對於企業的話可能是蠻不安全讓你用，因為你上傳的所有數據全部都餵到這個 AI 模型裡面...對於可能是敏感性的這個資訊敏感性的企業...不想要讓它傳到外面。"
* **GMI Cloud 解決方案：**
* **全球多節點部署：** 在台灣、泰國、美國、日本等地設有伺服器。
* **支持本地/私有化部署：** 允許用戶在本地或指定區域部署 GPU 集群和模型，確保數據不外流。
> "你可以在本地直接快速部署你支持的 LLM...因為是在本地部署，所以它的資料全部都是在 installed location...所以你的資料完全不會外傳到任何的地方。"
* **平台易用性 (IaaS + MaaS):**
* **IaaS (基礎設施即服務):** 提供 GPU 資源選擇。
* **MaaS (模型即服務):** 提供 API 化的模型調用，支持多種開源模型 (Llama, Mistral, Qwen 等)。用戶只需簡單點擊、獲取 API Key 即可使用。
* **簡化開發：** 任何前端工程師都能基於 API 快速搭建應用界面。
* **Demo 展示：**
* **場景：** 分析 PDF 格式的 Tesla 年報。
* **過程：** 透過簡單 Demo 頁面上傳 PDF -> 向部署在本地的 AI Agent 提問 (中文/英文) -> AI Agent 回答年報亮點、提取特定資訊 (Pin assignment, 尺寸, 特性) -> (未來可擴展) 生成圖表、PPT。
* **強調：** 整個過程由一位工程師在十幾小時內完成，證明開發的便捷性。數據完全在本地處理。

#### <a id="4-ai-agent-的顛覆性影響與行動呼籲"></a>4. AI Agent 的顛覆性影響與行動呼籲

* **演講主旨：** 透過實際案例強調 AI Agent 帶來的巨大生產力提升，並呼籲聽眾立即行動。
* **客戶案例 (震撼性)：**
* 某 GMI Cloud 客戶，公司僅 10 人 (6 位工程師，0 銷售)。
* 成立僅數月，利用 AI Agent 開發的產品/服務。
* 單月營收已達 1000-1200 萬美元。
* **結論：** 小團隊利用 AI Agent 可以創造出過去無法想像的巨大價值。
> "他說我們公司十個人...六位工程師，沒有一個銷售...一個月營收已經到達一千多萬美金...這是一個非常可怕的事情，就是我覺得過去無法想像的。"
* **行動呼籲：立即擁抱 AI Agent**
* AI Agent 不是遙遠的未來，而是正在發生的現實。
* 現在是使用 AI 的最佳時機。
* **警示：** 不使用 AI 的人將被使用 AI 的人淘汰。
> "AI 是不會把你的工作取代掉，可是導入 AI 的人士會把你的工作取代掉。"
* **鼓勵嘗試：** 利用 GMI Cloud 等平台，在沙盒環境中快速建立、測試自己的 AI Agent 或新創想法。技術門檻已大幅降低。

#### <a id="5-專業術語與強調點"></a>5. 專業術語與強調點

* **專業術語:**
* **AI Agent (AI 代理/智能體):** 能夠自主理解、規劃、執行任務的 AI 系統。
* **Inference (推理):** AI 模型根據輸入數據進行預測或生成輸出的過程。
* **NCP (Nvidia Cloud Partner):** Nvidia 的雲端合作夥伴認證。
* **IaaS (Infrastructure as a Service):** 基礎設施即服務。
* **MaaS (Model as a Service):** 模型即服務。
* **API (Application Programming Interface):** 應用程式介面。
* **LLM (Large Language Model):** 大型語言模型 (提及 Llama, Mistral, Qwen)。
* **本地部署/私有化部署 (Local/Private Deployment):** 將系統部署在企業內部或私有環境。
* **沙盒 (Sandbox):** 用於實驗和測試的安全隔離環境。
* **強調點:**
* AI Agent 革命已經開始，潛力巨大。
* GMI Cloud 致力於降低 AI Agent 的開發和部署門檻 ("Shopify for AI")。
* **數據隱私和安全**是企業採用 AI Agent 的關鍵考量，本地部署是重要解決方案。
* 利用現有平台和 API，開發 AI Agent 已變得相對簡單快速。
* **小團隊可以透過 AI Agent 實現巨大成功。**
* **不採用 AI 將面臨被淘汰的風險。** (反覆強調)

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI Agent 是下一個風口：** AI 的發展重點正從單純的模型能力轉向能夠自主執行任務的 AI Agent，這將帶來新一輪的應用爆發。
2. **數據隱私驅動本地部署需求：** 企業對數據安全的擔憂，使得能夠在本地或私有雲環境部署 AI 模型和 Agent 的解決方案變得越來越重要。
3. **AI 開發門檻正在降低：** 透過 MaaS 和易用的 API，即使是非 AI 專業的開發者也能相對快速地構建和部署 AI Agent 應用。
4. **小團隊迎來彎道超車機會：** AI Agent 的賦能效應顯著，使得小型、敏捷的團隊有可能憑藉創新應用挑戰大型企業。
5. **緊迫性：不進則退：** AI Agent 的發展速度極快，不積極擁抱和探索的企業或個人，可能很快在競爭中處於劣勢。

### <a id="行動建議"></a>行動建議

1. **企業決策者：**
* 將 AI Agent 納入企業數位轉型戰略的核心，思考如何利用 Agent 自動化流程、分析數據、提升效率。
* 優先考慮支持本地或私有化部署的 AI 平台，確保數據安全與合規。
* 鼓勵內部團隊（即使是前端工程師）利用現有工具（如 GMI Cloud 平台）進行 AI Agent 的快速原型開發與實驗。
2. **技術/開發團隊：**
* 學習和掌握主流 LLM 的 API 調用方法。
* 熟悉 AI Agent 的基本概念和開發框架 (如 LangChain, AutoGPT 等，雖然未明說，但屬相關領域)。
* 探索如何將 AI Agent 與現有企業系統 (SAP, Salesforce 等) 進行整合。
* 評估 GMI Cloud 等 MaaS 平台，加速 AI Agent 的部署與迭代。
3. **創業者/個人：**
* 利用 AI Agent 的低門檻特性，將創新的想法快速轉化為原型產品進行市場驗證。
* 關注 AI Agent 在特定垂直領域（如會計、客服、內容創作）的應用機會。
* 積極試用 GMI Cloud 等平台提供的免費或低成本資源。

---

## <a id="think-a-byte-it-navigating-the-data-demands-of-ai-with-ssds"></a>Think a-Byte It: Navigating the Data Demands of AI with SSDs

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** Avi Shetty, Senior Director, AI Market Enablement & Partnerships, Solidigm
* **時間:** 2025年3月26日 15:20-15:40
* **場次:** AI Expo 2025
* **形式:** 單一講者 (英文演講，逐字稿為中文口譯+部分英文原文)

### <a id="內容摘要"></a>內容摘要

Avi Shetty 總監探討了在 AI 工作負載中，數據儲存（特別是 SSD）所扮演的關鍵角色及其日益增長的重要性。他首先介紹了 Solidigm 公司（由 Intel NAND 與 SK Hynix 結合而成）及其在 SSD 技術上的領先地位（如 PCIe Gen4/5, NVMe, QLC, 高密度）。接著，他剖析了典型的 AI 數據管線（Data Pipeline）的六個階段（攝取、準備、訓練、調優、推理、歸檔），指出每個階段對儲存的需求（容量、效能、類型）各有不同。演講強調了三大趨勢：生成式 AI 的爆發、合成數據 (Synthetic Data) 的興起、以及 AI 向邊緣 (Edge) 的遷移，這些趨勢都極大地增加了對高效能、高密度、高效率儲存的需求。他詳細比較了不同儲存類型（DAS vs. NAS）及技術（HDD vs. TLC vs. QLC SSD）在 AI 場景下的適用性，並透過一個具體案例（50PB 存儲方案）展示了高密度 QLC SSD 在大幅縮減機架空間和功耗方面的巨大優勢。最後，他重點介紹了 Solidigm 與 Nvidia 在 GTC 2024 上發布的創新液冷 SSD 技術，該技術能實現高效散熱與熱插拔，為未來更高功耗的 AI 伺服器（甚至無風扇設計）鋪平道路。演講總結強調了儲存是 AI 基礎設施的關鍵瓶頸，Solidigm 致力於透過創新和合作夥伴關係提供高效能、高密度的儲存解決方案。

### <a id="主要章節"></a>主要章節

#### <a id="1-solidigm-公司與-ssd-技術概覽"></a>1. Solidigm 公司與 SSD 技術概覽

* **演講主旨：** 介紹 Solidigm 的背景、市場地位及其在 SSD 技術方面的創新。
* **公司背景：** 2021 年 12 月成立，由 Intel 的 NAND/SSD 業務與 SK Hynix 合併而成，是 SK Hynix 的全資子公司。
* **技術傳承與創新：** 繼承 Intel 和 SK Hynix 的技術積累（超過 30 年）。
* 率先推出 PCIe Gen 4/5 NVMe SSD。
* 率先推出 QLC (Quad-Level Cell) SSD。
* 2024 年 Q3 推出全球最高密度 SSD (122TB - 應指 61.44TB D5-P5336，可能口誤或指未來產品)。
* **全球佈局：** 在全球 13 個地區設有製造、設計、銷售據點，包括台灣。

#### <a id="2-ai-數據管線-data-pipeline-與儲存需求"></a>2. AI 數據管線 (Data Pipeline) 與儲存需求

* **演講主旨：** 分析 AI 工作負載從數據產生到應用的完整流程，並闡述各階段對儲存的不同需求。
* **AI 數據管線六階段：**
1. **數據攝取 (Data Ingest):** 收集原始數據。
2. **數據準備 (Data Prep):** 清洗、轉換、標註數據 (ETL)。
3. **模型訓練 (Training):** 使用準備好的數據訓練模型 (通常在大型、多 GPU 環境)。
4. **模型調優 (Tuning):** 微調模型以適應特定任務。
5. **模型推理 (Inference):** 使用訓練好的模型進行預測或生成。
6. **數據歸檔 (Archive):** 長期儲存數據和模型。
* **儲存需求特點：**
* **數據量持續增長：** 管線的每一步都會產生更多數據，需要更大容量和更高效能的儲存。
* **數據溫度變化：** 不同階段對數據訪問頻率和延遲要求不同（熱數據 vs. 冷數據）。
* **工作負載差異：**
* **攝取/準備/歸檔：** 通常需要高密度、高帶寬的網路附加儲存 (NAS/Object Store)，關注 $/TB。
* **訓練/調優/推理：** 通常需要低延遲、高 IOPS 的直接附加儲存 (DAS)，關注效能。

#### <a id="3-驅動儲存需求的-ai-趨勢"></a>3. 驅動儲存需求的 AI 趨勢

* **演講主旨：** 指出生成式 AI、合成數據和邊緣 AI 是推動儲存需求增長的三大關鍵趨勢。
* **趨勢一：生成式 AI (Generative AI):** 模型的參數和數據集規模爆炸性增長，對儲存容量和效能提出更高要求。
* **趨勢二：合成數據 (Synthetic Data):** 由 AI 生成的數據，用於補充或替代真實世界數據，以解決數據稀疏、隱私等問題。合成數據的產生和儲存進一步加大了數據量。
> "Synthetic Data is ... AI itself generated data ... during the entire process of the AI workflow."
* **趨勢三：邊緣 AI (Edge AI):** 出於隱私、安全、即時性 (Time to market) 等原因，AI 運算向邊緣遷移。邊緣裝置對儲存的效能、容量、功耗和空間效率要求更為嚴苛。
> "Edge growth will demand storage performance and capacity with maximum power and space efficiency."

#### <a id="4-ai-儲存解決方案das-vs-nas-ssd-的優勢"></a>4. AI 儲存解決方案：DAS vs. NAS & SSD 的優勢

* **演講主旨：** 比較不同儲存架構和技術在 AI 場景下的適用性，重點突出高密度 SSD 的優勢。
* **儲存架構：**
* **DAS (Direct-Attached Storage):** SSD 直接連接 CPU/GPU。適用於需要極低延遲 (Latency) 和高 IOPS 的場景（如訓練、推理快取）。
* **NAS/Object Store (Network-Attached):** 透過網路連接。適用於需要高密度、高帶寬 (Bandwidth) 的場景（如數據湖、歸檔），關注 $/TB 和吞吐量。
* **Solidigm 產品組合：** 提供適用於 DAS (不同接口、容量) 和 NAS (高密度 QLC) 的全系列 SSD 產品。
* **高密度 QLC SSD 優勢案例 (對比 HDD)：**
* **場景：** 為 12 台 Nvidia H100 伺服器配置 50PB 儲存容量。
* **傳統方案 (HDD + TLC Cache):** 需要 9 個機架，功耗約 54kW。
* **Solidigm QLC SSD 方案:** 僅需 1 個機架，功耗約 2kW。
* **效益：**
* **空間節省：** 9:1 的機架縮減。
* **功耗降低：** 節省約 96% 的儲存功耗 (52kW)。節省的電力可用於增加更多計算單元 (GPU) 或降低整體能耗。
* **擴展性：** 單機架方案提供了未來擴展數據容量的空間。
> "A 9 to 1 rack reduction and an opportunity to scale... 52 watts of additional power, either you can save power or you can add more compute using the same power budget."

#### <a id="5-前沿技術液冷-ssd-liquid-cooled-ssd"></a>5. 前沿技術：液冷 SSD (Liquid-Cooled SSD)

* **演講主旨：** 介紹 Solidigm 與 Nvidia 合作推出的創新液冷 SSD 技術及其意義。
* **發布背景：** 在 GTC 2024 上宣布。
* **技術挑戰：**
* 傳統伺服器中 SSD 通常位於前端，依靠風扇散熱，並需支持熱插拔。
* 液冷方案可能影響熱插拔便利性。
* **Solidigm 解決方案：**
* **全球首款雙面散熱液冷 SSD 設計：** 單一冷板 (Cold Plate) 同時冷卻 SSD 正反面。
* **創新熱傳導機制：** 冷板接觸正面，透過內部導熱機制同時冷卻背面元件。
* **彈簧加載熱插拔機構 (Spring-loaded hot-swapping mechanism):** 在液冷條件下實現便捷的熱插拔，減少停機時間。
* **產品形態：** 展示了基於 D7-P5310 SSD 的 E1.S 形態液冷方案 (影片展示，型號可能與口述 D7-P5101 有出入，需確認)。
* **核心優勢/未來潛力：**
* **實現無風扇 AI 伺服器 (Fanless AI Servers):** 液冷可有效管理 SSD 散熱，減少對風扇的依賴，降低噪音和功耗。
* **提升散熱效率：** 應對未來更高功耗的 SSD 和 AI 伺服器。
* **數據中心效率優化：** 減少對昂貴空調基礎設施的依賴。

#### <a id="6-結論與呼籲"></a>6. 結論與呼籲

* **核心觀點：** 儲存是 AI 工作負載中的關鍵瓶頸，需要高效、高密度的解決方案。
* **Solidigm 的承諾：** 提供業界領先的高密度 SSD (如 61.44TB) 和創新技術 (如液冷 SSD)，幫助客戶構建更高效的 AI 資料中心。
* **強調合作夥伴關係：** 鼓勵與 Solidigm 合作，共同應對複雜的 AI 數據挑戰。
* **邀請參觀展位：** 邀請聽眾前往 Solidigm 展位了解更多資訊。

#### <a id="7-專業術語與強調點"></a>7. 專業術語與強調點

* **專業術語:**
* **SSD (Solid-State Drive):** 固態硬碟。
* **NAND Flash:** SSD 的儲存介質。
* **PCIe (Peripheral Component Interconnect Express):** 高速接口標準。
* **NVMe (Non-Volatile Memory Express):** 針對 SSD 優化的傳輸協議。
* **QLC (Quad-Level Cell):** 一種 NAND Flash 技術，每個單元儲存 4 位元，密度高。
* **TLC (Triple-Level Cell):** 每個單元儲存 3 位元。
* **HDD (Hard Disk Drive):** 傳統機械硬碟。
* **AI Data Pipeline:** AI 工作流程。
* **Data Ingest, Data Prep, Training, Tuning, Inference, Archive:** AI 管線各階段。
* **Synthetic Data:** 合成數據。
* **Edge AI:** 邊緣 AI。
* **DAS (Direct-Attached Storage):** 直接附加儲存。
* **NAS (Network-Attached Storage):** 網路附加儲存。
* **Object Store:** 物件儲存。
* **Latency:** 延遲。
* **IOPS (Input/Output Operations Per Second):** 每秒讀寫次數。
* **Bandwidth / Throughput:** 帶寬 / 吞吐量。
* **Density per Dollar ($/TB):** 每 TB 容量的成本。
* **Liquid Cooling:** 液體冷卻技術。
* **Cold Plate:** 液冷散熱板。
* **Hot-Swapping:** 熱插拔。
* **E1.S:** 一種 SSD 規格尺寸。
* **強調點:**
* 數據是 AI 的基礎。
* AI 各階段對儲存需求不同。
* GenAI, 合成數據, Edge AI 驅動儲存需求。
* 高密度 QLC SSD 在空間和功耗效率上優勢顯著。
* 液冷 SSD 是應對未來散熱挑戰的創新方向。
* 儲存是 AI 基礎設施的關鍵，需要專門優化。
* 合作夥伴關係對於應對複雜 AI 挑戰很重要。

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI 工作負載高度依賴儲存：** 隨著 AI 模型和數據集規模的增長，儲存的容量、效能和效率成為制約 AI 發展的關鍵因素。
2. **不同 AI 階段需要不同儲存策略：** 數據攝取/準備/歸檔階段側重高密度、高帶寬和低成本 ($/TB)，而訓練/推理階段則更看重低延遲和高 IOPS。
3. **高密度 SSD 是趨勢：** 相比傳統 HDD，高密度 SSD（尤其是 QLC）能夠在顯著縮小的物理空間和功耗預算內提供海量儲存容量，特別適合大規模 AI 資料中心。
4. **散熱成為新挑戰：** AI 伺服器和高密度 SSD 的功耗增加，使得散熱成為重要問題，液冷等先進散熱技術應運而生。
5. **儲存創新需緊跟 AI 發展：** 從接口協議 (NVMe)、NAND 技術 (QLC) 到散熱方式 (液冷)，儲存技術需要不斷創新以滿足 AI 應用的嚴苛需求。

### <a id="行動建議"></a>行動建議

1. **AI 基礎設施規劃者：**
* 在設計 AI 系統時，需仔細評估 AI 管線各階段的儲存需求（容量、IOPS、帶寬、延遲），選擇合適的儲存類型 (DAS/NAS) 和技術 (SSD/HDD)。
* 考慮採用高密度 QLC SSD 來優化大規模數據儲存的空間和功耗效率。
* 關注液冷等先進散熱技術在未來高功耗 AI 伺服器中的應用潛力。
2. **數據中心運營者：**
* 評估將現有基於 HDD 的儲存升級為高密度 SSD 的效益（空間、功耗、效能）。
* 在規劃新 AI 集群時，將高密度、高效率 SSD 納入考量。
3. **企業 IT 決策者：**
* 認識到儲存是 AI 投資回報率 (ROI) 的重要組成部分，選擇錯誤的儲存方案可能導致效能瓶頸或成本超支。
* 與 Solidigm 等專業儲存供應商合作，了解最新的 SSD 技術和解決方案。
4. **AI 研究人員/開發者：**
* 了解儲存性能對模型訓練和推理速度的影響，選擇或要求配置合適的儲存環境。
* 關注合成數據生成對儲存容量的需求。

---

## <a id="在-ai-嵌入式應用的新潛力-提案高效開發與最佳化技術"></a>在 AI 嵌入式應用的新潛力 提案高效開發與最佳化技術

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 王柏儒 (Po Ju Wang / Roger Wang), 技術行銷經理, 意法半導體 (STMicroelectronics)
* **時間:** 2025年3月26日 15:40-16:00
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

王柏儒經理聚焦於將 AI 導入資源極度受限的嵌入式系統，特別是微控制器 (MCU) 級別的應用，即所謂的「微邊緣 AI」(TinyML/Micro Edge)。他首先闡述了在邊緣端（尤其是微控制器端）運行 AI 的必要性與優勢，包括低延遲、數據隱私保護、低功耗、小尺寸及低成本。接著，他介紹了適用於 MCU 的典型 AI 應用場景，如異常偵測（預測性維護）、分類（家電模式識別）、回歸（功耗預測）、關鍵字喚醒、手勢識別、存在檢測等，並以智慧洗衣機節能案例說明其效益。演講重點介紹了意法半導體 (ST) 為嵌入式 AI 開發者提供的完整生態系統，涵蓋硬體（從低功耗到高效能的 STM32 MCU/MPU 系列，包括內建 NPU 的新型號 STM32N6）和軟體工具（STM32Cube.AI 用於模型轉換與優化，NanoEdge AI Studio 用於基於感測器數據的 AutoML，以及包含多種預訓練模型的 Model Zoo）。他強調這些工具旨在解決開發者面臨的挑戰，如缺乏 AI 知識、數據收集困難以及在 MCU 有限資源下實現效能與功耗目標。最後，他展示了 ST 提供的開發板、參考設計（如人臉辨識智慧門鎖、AI BMS），以及整合所有資源的 STM32 AI 生態系統入口網站。

### <a id="主要章節"></a>主要章節

#### <a id="1-微邊緣-ai-micro-edge-ai-tinyml-的興起與價值"></a>1. 微邊緣 AI (Micro Edge AI / TinyML) 的興起與價值

* **演講主旨：** 強調將 AI 推理能力部署到微控制器 (MCU) 等資源受限的嵌入式系統上的動機與好處。
* **區別於雲端/高階邊緣 AI：** 焦點是「微」邊緣，功耗、成本、尺寸是關鍵考量。
* **微邊緣 AI 的必要性與優勢：**
* **即時性/低延遲 (Latency):** 本地處理，無需網路傳輸，反應更快。
* **隱私安全 (Privacy/Security):** 數據在本地處理，不需上傳雲端，尤其適用於涉及個人隱私的應用。
* **低功耗 (Low Power):** MCU 本身功耗低，適合電池供電或對功耗敏感的應用。
* **小尺寸 (Small Size):** MCU 體積小，易於集成到各種小型化裝置中。
* **低成本 (Low Cost):** MCU 成本遠低於 MPU/GPU。
* **網路依賴性低：** 可在無網路或網路不穩定的環境下運行。
> "我們希望這個嵌入式系統能夠在本地端就能夠具備 AI 的功能...資料的傳輸可以降到非常非常小..."
> "AI 可以在本地端來做處理，好處就是我們更不用擔心個人的隱私是不是會被上傳到雲端上面去。"

#### <a id="2-微邊緣-ai-的應用場景與案例"></a>2. 微邊緣 AI 的應用場景與案例

* **演講主旨：** 展示 MCU 等級 AI 的實際應用範圍和潛力。
* **主要應用類型：**
* **異常偵測 (Anomaly Detection):**
* 應用：預測性維護 (如馬達震動監測)、設備狀態監測。
* 方法：學習正常狀態，偵測偏離。
* **分類 (Classification):**
* 應用：家電模式識別 (如冷氣風量)、物件偵測 (簡易型)、聲音事件偵測 (玻璃破碎、嬰兒哭聲)、手勢識別、活動識別 (坐、站、走)。
* 方法：將輸入數據歸類到預定義的類別。
* **回歸 (Regression):**
* 應用：預測數值 (如冰箱老化導致的功耗變化)。
* 方法：預測連續值。
* **適用行業/產品：** 智慧家庭、智慧城市、能源管理、工業 4.0、醫療照護、穿戴裝置、電池供電裝置。
* **實際案例：智慧洗衣機**
* 與某大型白色家電廠商合作。
* 利用 ST 的 AI 技術進行洗衣過程優化。
* 預估可節省 15-40% 的電力。
* **更多範例：** 鼓勵參考 ST 官網 AI 專區 (提供超過 50 種案例)。

#### <a id="3-應對開發挑戰st-的-ai-生態系統"></a>3. 應對開發挑戰：ST 的 AI 生態系統

* **演講主旨：** 介紹 ST 為應對嵌入式 AI 開發挑戰所提供的硬體平台與軟體工具。
* **開發者面臨的挑戰：**
* **缺乏 AI 專業知識 (Know-how)。**
* **數據收集困難 (尤其是異常數據)。**
* **MCU 資源限制 (記憶體、算力)。**
* **功耗限制嚴格。**
* **模型部署與優化複雜。**
* **ST 的硬體平台：**
* **STM32 微控制器 (MCU):** 涵蓋從低功耗到高效能的廣泛產品線 (M0 到 M7 核，以及最新的 U5/H5/H7 高效能系列)。
* **STM32 微處理器 (MPU):** 更高算力需求。
* **車規 MCU。**
* **感測器 (Sensors):** 提供數據來源。
* **內建 NPU 的 MCU (STM32N6):**
* 首次在 MCU 中集成 NPU (神經處理單元) 加速器。
* 基於 Arm Cortex-M7 (800MHz) + Ethos-U65 NPU。
* 強調 NPU 是獨立於 CPU 核心的硬體加速器。
* 具備高達 4MB Flash 和 2.3MB SRAM (口誤說 4.2MB Flash?)。
* 首次集成 MIPI CSI 接口，方便連接相機模組。
* 提供不帶 NPU 的版本 (STM32N6x5) 作為選擇。
* **ST 的軟體工具與生態系統 (STM32 AI Ecosystem)：**
* **發展歷程：** 從 2017 年開始投入，2019 年推出 Cube.AI，2021 年併購 Cartesiam (NanoEdge AI)。
* **核心工具：**
* **STM32Cube.AI:**
* **功能：** 將預訓練好的神經網路模型 (來自 TensorFlow, Keras, ONNX 等) 轉換、驗證並優化，生成適用於 STM32 MCU 的 C 程式碼。
* **優化：** 記憶體佔用優化、量化處理。
* **適用對象：** 有能力自行訓練模型的開發者 (Bring Your Own Model - BYOM)。
* **NanoEdge AI Studio:**
* **功能：** AutoML (自動化機器學習) 工具，特別適用於基於感測器數據的異常偵測和分類任務。
* **易用性：** 圖形化介面，開發者只需提供數據 (Bring Your Own Data - BYOD)，無需 AI 專業知識。
* **自動化：** 自動選擇最佳模型、進行訓練和部署。
* **應用：** 異常偵測 (AD)、n-類別分類 (N-Class Classification - NCC)、外插預測 (Extrapolation)。
* **STM32 Model Zoo:**
* 提供一系列針對 STM32 優化過的預訓練模型 (人體活動識別、物體偵測、聲音識別等)，可直接使用或作為開發起點。
* 開源，可在 GitHub 上找到。
* **STM32 AI Developer Cloud:**
* 提供雲端開發環境，方便使用者連接開發板、測試模型、使用工具。
* **整體流程：** 根據開發者的 AI 經驗和需求（自帶模型 vs. 自帶數據），選擇合適的工具鏈 (Cube.AI 或 NanoEdge AI Studio) 進行模型開發、優化與部署。

#### <a id="4-開發套件與參考設計"></a>4. 開發套件與參考設計

* **硬體開發套件 (Eval Kits / Discovery Kits):**
* 提供各種 MCU 開發板 (大板、小板如 SensorTile)。
* 整合感測器、相機模組 (如 Tube Camera)。
* 用於快速原型驗證和數據收集 (如馬達震動監測套件)。
* **參考設計 (Reference Designs / VAR - Value Added Reseller?):**
* **智慧門鎖 (Smart Lock):** 使用 STM32 MCU 實現本地人臉辨識 (Face ID)，可儲存 500-1000 張人臉，取代傳統外購模組方案。
* **AI BMS (Battery Management System):** 利用 AI 模型預測電池的 SOC (State of Charge) 和 SOH (State of Health)，提升準確性。輸入數據包括電壓、電流、溫度、充放電次數。

#### <a id="5-專業術語與強調點"></a>5. 專業術語與強調點

* **專業術語:**
* **嵌入式系統 (Embedded System):** 特定功能的專用計算機系統。
* **微控制器 (MCU - Microcontroller):** 功能相對簡單、資源有限的處理器。
* **微處理器 (MPU - Microprocessor):** 功能更強、資源更多的處理器。
* **微邊緣 AI / TinyML:** 在 MCU 等資源受限裝置上運行的 AI。
* **NPU (Neural Processing Unit):** 神經處理單元，專用於加速 AI 計算的硬體。
* **AutoML (Automated Machine Learning):** 自動化機器學習流程。
* **STM32Cube.AI:** ST 的 AI 模型轉換與優化工具。
* **NanoEdge AI Studio:** ST 的 AutoML 工具。
* **Model Zoo:** 預訓練模型的集合。
* **MIPI CSI:** 相機接口標準。
* **BMS (Battery Management System):** 電池管理系統。
* **SOC (State of Charge):** 電池充電狀態。
* **SOH (State of Health):** 電池健康狀態。
* **強調點:**
* AI 正走向資源極度受限的 MCU 端。
* 本地 AI 處理在隱私、功耗、成本方面有顯著優勢。
* ST 提供從硬體 (MCU/MPU/Sensor) 到軟體工具 (Cube.AI, NanoEdge AI) 的完整嵌入式 AI 生態系統。
* ST 的工具旨在降低嵌入式 AI 的開發門檻，即使沒有深厚 AI 背景也能入門。
* STM32N6 是 ST 首款內建 NPU 的 MCU，大幅提升 AI 處理能力。
* AutoML 工具 (NanoEdge AI) 特別適合基於感測器數據的應用。

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI 向微邊緣擴展：** AI 不再局限於雲端或高性能邊緣設備，正逐步滲透到成本、功耗、尺寸受限的 MCU 級嵌入式系統中。
2. **微邊緣 AI 價值獨特：** 在許多需要即時反應、保護隱私、低功耗運行的場景，MCU 上的 AI 提供了雲端方案難以比擬的優勢。
3. **生態系統是關鍵推動力：** 像 ST 這樣提供完整硬體平台、易用軟體工具、參考設計和模型庫的供應商，極大降低了開發者進入嵌入式 AI 領域的門檻。
4. **AutoML 簡化開發：** 對於缺乏 AI 專業知識但擁有數據的開發者，AutoML 工具（如 NanoEdge AI Studio）提供了一種快速實現 AI 功能的路徑，特別是在感測器數據分析方面。
5. **硬體加速是趨勢：** 在 MCU 中集成專用 AI 加速器 (NPU) 是提升微邊緣 AI 效能的重要方向。

### <a id="行動建議"></a>行動建議

1. **嵌入式系統開發者：**
* 評估現有或新產品中是否可以透過導入 AI（如異常偵測、模式識別）來增加價值或提升效能。
* 利用 ST 等廠商提供的免費工具 (如 STM32Cube.AI, NanoEdge AI Studio) 和開發板進行實驗和原型開發。
* 如果沒有 AI 背景但有感測器數據，可優先嘗試 AutoML 工具。
* 如果需要更高 AI 效能，考慮選用內建 NPU 的 MCU (如 STM32N6)。
2. **產品經理/決策者：**
* 將微邊緣 AI 視為產品創新的潛在方向，尤其是在智慧家居、穿戴裝置、工業感測、電池管理等領域。
* 評估本地 AI 處理在提升產品隱私性、即時性和降低運行成本方面的效益。
* 關注 MCU 供應商提供的 AI 生態系統支持。
3. **AI 模型開發者：**
* 了解 MCU 的資源限制（內存、算力），學習模型量化、剪枝等優化技術。
* 利用 Cube.AI 等工具將模型轉換並部署到目標 MCU 平台。
* 探索 Model Zoo 中是否有可用的預訓練模型。

---

## <a id="台灣企業-ai-落地困境與展望"></a>台灣企業 AI 落地困境與展望

### <a id="演講基本資訊"></a>演講基本資訊

* **講者:** 溫怡玲, 執行長, 財團法人人工智慧科技基金會 (AIFT)
* **時間:** 2025年3月26日 16:00-16:30
* **場次:** AI Expo 2025
* **形式:** 單一講者

### <a id="內容摘要"></a>內容摘要

溫怡玲執行長分享了人工智慧科技基金會 (AIFT) 對台灣產業 AI 化現況的年度調查結果與洞察。她指出，儘管企業對 AI 的認知度普遍提升（歸功於生成式 AI 的普及），但實際將 AI 導入核心業務流程並規模化的比例（約 30%）近幾年停滯不前，顯示出從「知道 AI」到「用好 AI」之間存在巨大鴻溝。調查從經營策略、人才、技術三個層面進行分析，發現資通訊產業雖領先但有放緩跡象（可能源於對自身不足的更深認知及 GenAI 應用局限），而製造業和政府機關則有所進步。核心挑戰依然是缺乏能實際解決問題的「實戰人才」、數據整合困難，以及難以評估 ROI。在應用方面，行銷內容生成等較易實現的場景最普遍，但產品創新應用較少。演講特別點出，目前對 AI 的理解多侷限於雲端生成式 AI，對邊緣/裝置端 AI 的認知和應用相對不足，而這恰恰是台灣硬體產業的機會所在。她建議重新思考算力部署策略（分散化以增強韌性），並強調未來 AI 發展需走向永續（Regenerative AI），關注開源生態、法規遵循與符合企業實際需求的應用模式。最後，她提醒台灣在享受當前 AI 硬體紅利的同時，需思考下一步的產業定位與新商業模式。

### <a id="主要章節"></a>主要章節

#### <a id="1-台灣產業-ai-化程度調查概覽-aift-survey"></a>1. 台灣產業 AI 化程度調查概覽 (AIFT Survey)

* **演講主旨：** 呈現 AIFT 年度調查結果，揭示台灣企業在導入 AI 過程中的進展、瓶頸與挑戰。
* **調查背景：** AIFT 自 2019 年起每年進行調查 (疫情期間曾暫停)，最新數據截至 2025 年 2 月。
* **企業 AI 成熟度四階段：**
1. **Unaware (未知/無感):** 缺乏數位化基礎，資料多為紙本或未整理。
2. **Conscious (有感):** 聽過 AI，可能開始準備導入。
3. **Ready (就緒):** 有 3-4 個 AI 專案導入營運系統，成為工作一部分。
4. **Scaling (擴展):** AI 已深入多數部門。
* **主要發現 (近三年趨勢)：**
* Unaware 比例顯著下降，Conscious 比例上升 (反映 AI 知名度提高)。
* **關鍵瓶頸：** Ready + Scaling 的比例始終維持在 30% 左右，從 Conscious 到 Ready/Scaling 的鴻溝難以跨越。
> "中間這條線很難跨過去。我知道 AI，跟我真正要落地到企業的應用，這個裡面有非常大的難題。"
* **三大評估層面得分：**
* **經營策略 (Strategy):** 需將 AI 與營運策略結合。
* **人才 (Talent):** 總體得分偏低 (31.5 分)，與大量培育的人才數量不成比例。
* **技術 (Technology):** 今年進步最大，尤其在數據整理方面。

#### <a id="2-不同產業與構面的-ai-導入分析"></a>2. 不同產業與構面的 AI 導入分析

* **產業別分析：**
* **資通訊 (ICT) 產業：** 持續領先，但指數微幅下降。
* *原因推測：* 對自身不足有更深體悟；生成式 AI 的應用場景對其核心業務幫助有限或已達階段性瓶頸。
* **製造業 & 政府機關：** 過去落後，今年進步較明顯，但整體指數仍偏低。
* **經營策略層面：**
* ICT 產業同樣呈現下降趨勢。
* **核心問題：** 生成式 AI 易於導入行銷、內部知識管理等輔助性工作，但難以直接契合許多台灣企業（尤其製造業）的核心營運流程。需要探索生成式 AI 之外的 AI 技術（如預測性、決策式 AI）及整合應用。
> "AI 不只是生成式 AI，它還有...預測的部分，還有非常多我們在過去經常所使用的一些 AI 技術，你應該從這個時間點我們開始要把它結合在一起..."
* **人才層面：**
* **普遍問題：** 缺乏完整的人才發展策略。誤將「上過課」等同於「具備實戰能力」。
> "我們會覺得上過 AI 的課就會變成 AI 人才...上課跟它真正能夠成為實戰人才並沒有直接的關係。"
* **關鍵需求：** 需要能將 AI 技術與企業流程、策略、資源結合的「實戰人才」。
* **培育方向：** 應重視內部人才的技能提升 (Reskilling / Upskilling)，而非僅依賴外部招聘。
* **技術層面：**
* **顯著進步：** 企業普遍開始整理資料。
* **最大弱點 (持續存在)：** 不知道如何「應用 AI 解決問題」，缺乏定義問題、找到合適應用場景的能力。

#### <a id="3-ai-應用現況挑戰與人才需求"></a>3. AI 應用現況、挑戰與人才需求

* **主要應用領域：**
* 最多：行銷應用、內容製作 (GenAI 易於導入)。
* 其次：優化營運流程 (如會議記錄、自動回信)。
* 較少：產品開發與創新 (難度較高)。
* **導入 AI 的影響：**
* 流程自動化、生產效率提升最為顯著。
* 員工增加 AI 相關技能。
* **導入 AI 的階段性 (PPEC 框架啟示)：**
1. **People (人才):** 盤點員工能力 (普遍進行中)。
2. **Process (流程):** 盤點流程、整理資料 (普遍進行中)。
3. **Product (產品):** 開發初期產品/服務 (難度較高，比例下降)。
4. **Position (定位):** 創造新商業模式、建立新生態地位 (最高階段，最少達成)。
* **最需要的人才能力：**
1. **評估技術與應用可行性 (Evaluation):** 判斷 AI 能否及如何解決實際問題。
2. **使用生成式 AI 工具 (GenAI Usage):** 基礎技能。
3. **數據處理與分析 (Data Handling):** 關鍵基礎。
4. **系統整合 (Integration):** 將 AI 融入現有系統。
* **核心：** 產業需要的是能「找問題、找數據、做整合」的實戰人才。
* **AI 模型使用方式：** 近 50% 企業透過現有資訊服務合作夥伴提供的方案導入 AI，顯示 SI/ISV 扮演關鍵角色。
* **算力資源使用：**
* 私有雲與公有雲使用比例相當，公有雲亦多。
* **盲點：對裝置端 AI (On-Device AI) 認知不足。** 許多人誤將手機上使用雲端 AI (如 ChatGPT App) 當作裝置端 AI，未能區分本地運算與雲端運算的差異及其在隱私、效能上的不同。
> "我們會以為我拿了這個 AI 手機，我去用 ChatGPT，請問你這個是用 On-Device AI 還是用公有雲...？還是在用公有雲。但是很多人會以為說，我這個就是 On-Device AI，所以我們的資訊是可以保密的..."
* **導入 AI 的主要考量因素：** 成本、效能、隱私與安全。
* **最大挑戰 (持續多年未變)：**
1. **缺乏實戰人才。**
2. **公司資料未即時整合。**
3. **ROI 難以評估計算。**

#### <a id="4-未來展望與建議"></a>4. 未來展望與建議

* **演講主旨：** 基於調查結果，提出對台灣 AI 發展的觀察、機會點與未來方向建議。
* **核心觀察：**
* AI 認知普及，但深度理解與落地應用仍有巨大差距。
* 對 AI 的理解過於集中在雲端 GenAI，忽略了邊緣/裝置端 AI 的潛力。
* **台灣的機會：邊緣/裝置端 AI**
* 隱私、安全、成本等企業顧慮，恰好是邊緣 AI 的優勢。
* 台灣擁有強大的硬體製造基礎，適合發展邊緣 AI。
* **算力部署策略反思：**
* 過度集中於大型資料中心可能影響供應鏈韌性 (尤其考量地緣政治風險)。
* 建議思考更多元化、分散式的算力部署模式。
* **未來 AI 趨勢：永續 AI (Regenerative AI)**
* 超越生成式 AI，強調永續性。
* **要素：** 合理的資源消耗 (運算、電力)、可負擔的成本 (Affordability)、符合法規監管 (Governance)、可靠性 (Reliability)、幾年盛行 (Domain-specific Expertise)。
* **實現路徑：** 發展小型化、專業化模型；強化本地/企業內訓練與部署能力 (如 FedGPT)；重視開源生態。
* **對台灣產業的提醒：**
* **把握當下，思考未來：** 台灣目前受益於 AI 硬體供應鏈 (從蘋果鏈到 Nvidia 鏈)，但需思考下一波機會 (新商業模式、生態系)。
* **關注新賽道：AI 開源生態系**
* 開源是趨勢，台灣是否能有效參與、整合並建立平衡治理模式 (去中心化) 是挑戰。
* **兩大待解問題：** 外部的新商業模式探索 (需考慮法規、地緣政治)；內部的技術與人才缺口如何彌補。

#### <a id="5-專業術語與強調點"></a>5. 專業術語與強調點

* **專業術語:**
* **AI 成熟度模型 (Unaware, Conscious, Ready, Scaling):** AIFT 的評估框架。
* **生成式 AI (Generative AI):** 普及度高，但應用受限。
* **裝置端 AI / 邊緣 AI (On-Device AI / Edge AI):** 台灣的潛在機會點，但目前認知不足。
* **實戰人才 (Practical Talent):** 指能將 AI 技術應用於解決實際業務問題的人才。
* **數據治理 (Data Governance):** 管理數據品質、安全、合規。
* **ROI (Return on Investment):** 投資回報率。
* **Reskilling / Upskilling:** 內部員工技能再培訓/提升。
* **永續 AI / 再生 AI (Regenerative AI / Sustainable AI):** 強調資源效率、成本效益、合規性、可靠性的 AI 發展方向。
* **模型蒸餾 (Model Distillation):** 將大模型知識轉移到小模型的技術。
* **聯邦式學習 (Federated Learning):** 在不共享原始數據的情況下協同訓練模型。
* **開源生態系 (Open Source Ecosystem):** 基於開源技術的協作網絡。
* **強調點:**
* 台灣企業 AI 導入存在「知易行難」的瓶頸。
* 缺乏實戰人才和數據整合是關鍵障礙。
* 對 AI 的理解需超越雲端 GenAI，關注 Edge AI 的機會。
* 算力部署需考慮韌性與分散化。
* AI 發展需走向永續，重視成本、效率、合規。
* 台灣應利用硬體優勢，積極參與開源生態，探索新商業模式。

### <a id="關鍵啟示"></a>關鍵啟示

1. **AI 落地挑戰重重：** 台灣企業在將 AI 從概念驗證推向規模化應用的過程中，面臨人才、數據、ROI 評估等多重挑戰，導致進展停滯。
2. **人才缺口在於「實戰」：** 僅有理論知識或上過課的人才不足以推動 AI 落地，企業急需能結合業務場景、解決實際問題的跨領域實戰人才。
3. **數據治理刻不容緩：** 數據的碎片化和品質問題是阻礙 AI 應用的核心技術瓶頸之一，必須優先解決。
4. **Edge AI 是台灣的藍海：** 台灣的硬體優勢使其在發展邊緣/裝置端 AI 方面具有獨特機會，但目前市場對此認知和應用尚淺，有待開發。
5. **永續與合規是未來方向：** 考量成本、能耗、法規遵循的「永續 AI」將是下一階段發展重點，企業需關注相關技術與趨勢（如小模型、本地部署、開源）。
6. **需警惕硬體紅利之後的挑戰：** 台灣不能僅滿足於在 AI 硬體供應鏈中的角色，必須思考如何向上游（軟體、應用、生態系）延伸，建立更穩固的長期競爭力。

### <a id="行動建議"></a>行動建議

1. **企業重新審視 AI 策略：**
* 不應僅跟風 GenAI，應盤點核心業務流程，思考預測型、決策型 AI 的應用機會。
* 評估導入 Edge AI 的可行性與潛在效益，特別是製造、零售等行業。
* 將數據治理列為優先事項，投入資源進行數據整合與品質提升。
2. **人才發展策略調整：**
* 從「實戰」角度定義 AI 人才需求，注重跨領域整合能力。
* 加強內部員工的 Reskilling/Upskilling，培養既懂業務又懂 AI 的人才。
* 與學術界、法人機構合作，設計更貼近產業需求的實務導向課程。
3. **政府與產業協會：**
* 加強對 Edge AI 技術與應用的推廣和輔導。
* 思考如何促進算力資源的多元化與韌性部署。
* 引導產業關注並參與國際 AI 法規制定與開源生態建設。
* 持續追蹤產業 AI 化進程，提供更精準的政策支持。
4. **資訊服務商 (SI/ISV)：**
* 提升自身整合 AI (特別是 Edge AI) 到企業既有流程的能力。
* 開發更易於中小企業導入、ROI 更清晰的 AI 解決方案。
5. **個人：**
* 提升對不同類型 AI（GenAI, Predictive AI, Edge AI）的理解。
* 加強數據素養和問題定義能力。
* 關注 AI 倫理與法規發展。