# AI Agents顛覆未來想像
(Andrew的演講影片之後會在台杉官網release: https://www.taiwaniacapital.com/)

### Part 1. Opening
(略)

### Part 2. Andrew演講: What's Next in Agentic AI


**自動化代碼審查和改進流程**

* 此簡報介紹了如何使用multi agent來實現自動化的代碼審查和改進流程。
* **Coder Agent (LLM)**：負責生成代碼。
* **Critic Agent (LLM)**：負責審查代碼並提供改進建議。
* reference
◦ Self-Refine: Iterative Refinement with Self-Feedback by Madaan et al. (2023)
◦ Reflexion: Language Agents with Verbal Reinforcement Learning by Shinn et al. (2023)
◦ CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing by Gou et al. (2024)

**多步驟 AI 圖像生成與描述工作流程**

* 此簡報展示了一個多步驟 AI 工作流程，用於從圖像輸入生成文本輸出和語音。
* 此流程結合了多個深度學習模型：
* **Pose Determination **：使用 OpenPose 模型識別圖像中的姿勢。
* **Pose-to-Image **：使用 Google 的 ViT 模型生成與指定姿勢相符的新圖像。
* **Image-to-Text **：使用 ViT-GPT2 模型將生成的圖像轉換為描述性文本。
* **Text-to-Speech **：使用 FastSpeech 模型將文本描述轉換為語音輸出。

* Reference:
◦ Chain-of-Thought Prompting Elicits Reasoning in Large Language Models，Wei et al., 2022
◦ HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face，Shen et al., 2023
◦ Understanding the planning of LLM agents: A survey，Huang et al., 2024

**AI 領域的重要趨勢**

* 此簡報概述了 AI 領域的幾個重要趨勢：
* **生成式 AI (Generative AI) 大幅提升原型開發效率**：企業可以快速建立多個原型，並選出最適合的方案，加速創新。
* **影像處理革命即將來臨**：AI 影像處理技術將快速發展，並應用於製造業、自動駕駛、安全等眾多領域。
* **資料工程的重要性日益提升**：資料工程在管理非結構化資料（如文字、圖片）方面將扮演關鍵角色。
* **計算成本降低，資料傳輸變得更具彈性**：將資料傳輸到遠端進行處理變得更可行。
* **特定硬體加速器對 AI 工作負載有益**：如 SambaNova、Cerebras、Groq 等公司所開發的硬體加速器，能有效提升 AI 工作負載的執行效率。

**AI 募資基金的創業加速流程**

* 此簡報介紹了一個 AI 募資基金的創業加速流程，該流程包含五個階段：
* 構想驗證
* 招募執行長
* 產品開發
* 募資
* 成長階段
* 此基金著重於 AI 技術的應用，並強調快速驗證和執行，以及與合作夥伴的共同合作。
* 針對完整故事參考appendix

**工作任務分析以識別 AI 機會**

* 此簡報強調透過工作任務分析來識別 AI 自動化的機會。
* 透過將工作分解成個別任務，並分析每個任務的自動化潛力，企業可以更精準地找出適合導入 AI 的領域。
* AI 自動化可以降低成本、提高效率，並為企業創造更多成長機會。

**AI 規劃與執行流程**

* 此簡報提供了一個四步驟的 AI 專案規劃與執行流程：
* 高層級的技術簡報
* 潛在 AI 專案的腦力激盪
* 專案的優先排序與可行性評估
* 專案執行 (內部執行或外部合作)

### Part 3. 圓桌論壇問答摘要

#### 問題一：AI代理正在迅速改變各行各業的運營方式，從您的角度來看，AI代理在未來五到十年內可以為企業帶來哪些新的商業模式或收入機會？您認為哪些行業最有潛力通過AI技術實現顯著增長和轉型？

**參與者回覆：**

* **聯發創新基地負責人許大山博士：** 預測AI在未來五到十年的發展非常困難，因為AI技術發展迅速，十年前關注的問題與現在截然不同。他指出，AI代理能夠獨立處理環境，這將為需要大量探索的領域帶來巨大的進步。
* **吳恩達 (Dr. Andrew Ng)：** 他以餐廳訂位為例，說明了AI代理如何提高效率。如果消費者和餐廳都擁有AI代理，代理之間可以直接溝通，提高效率和生產力。AI代理不僅可以提供信息，還可以根據消費者的需求主動執行任務。
* **安謀 (Arm) 北美業務副總裁曾志光：** 他認為數字化程度較高的行業會更快地採用AI。AI基金與合作夥伴在各種代理工作流程上進行合作，例如使用AI處理法律文件、醫療診斷和金融後台運營。他觀察到，與面向消費者的應用程序相比，企業對企業的應用程序競爭相對較少，因為這些應用程序通常需要深厚的專業知識。
* **AWS台灣暨香港總經理王定愷：** 他以AWS的生成式AI技術棧為例，說明了AI代理在多任務處理和工作流程協調方面的作用。他強調，AI代理的發展趨勢是越來越智能，能夠處理更多子任務和工作流程。

### 問題二：作為一位企業家和投資者，您最近見過哪些最值得注意的AI應用案例？

**參與者回覆：**

* **Andrew：** 他分享了一些他印象深刻的AI應用案例，包括replit（編寫軟件）、Amazon Q（編寫代碼）、Ramp（金融服務）和Anthropic的Constitutional AI（推理能力）。他認為，代理領域正在迅速發展，許多令人興奮的新應用正在湧現。

### 問題三：面對AI代理的快速發展，AWS如何滿足市場的期望和需求？

**參與者回覆：**

* **王定愷：** 他強調AWS的生成式AI策略是提供構建模塊服務，就像樂高積木一樣，讓客戶可以根據自己的需求選擇不同的組件。AWS提供來自自身和生態系統的各種大型語言模型，例如Llama、Titan和Anthropic的Claude。AWS的目標是創建一個選擇平台，讓客戶能夠利用最適合其用例的技術。

### 問題四：聯發科推出了生成式AI服務平台——聯發科達文西生成式AI平台，同時也為繁體中文開發了開源大型語言模型——聯發科研究院基礎模型。這使得各行各業都可以在靈活開放的平台上開發多樣化的生成式AI應用。請問史博士，您為什麼選擇開發一個開放平台和開源領域？聯發科在這種方法中看到了哪些機會？

**參與者回覆：**

* **許大山：** 他解釋說，開發開源平台和模型的決定源於2003年左右對當時AI技術的觀察。當時，即使是免費提供的AI服務，例如翻譯和語音識別，也無法滿足繁體中文用户的需求。聯發科研究院的目標是研究如何訓練模型和獲取數據，並讓研究成果惠及大眾。因此，他們開發了70億參數的繁體中文模型Breeze和130億參數的模型Bricky，並在今年2月和7月分別發布。這些模型下載量超過預期，每月超過1萬次，並獲得了許多正面反饋。

### 問題五：在AI時代，國家的算力可以被視為其全球競爭力的指標之一，但同時也帶來了前所未有的能源需求。您如何看待這個巨大的挑戰？我們如何利用創新技術來解決這個問題？

**參與者回覆：**

* **曾志光：** 他指出，ARM是世界上最普及的AI計算平台，其合作夥伴每年出貨超過300億個ARM芯片，全球已部署約3000億個基於ARM的電子設備。ARM的使命是實現無處不在的AI。為了應對AI算力帶來的能源挑戰，ARM採取了以下策略：
* 在所有產品線中嵌入盡可能強大的AI功能，包括CPU、GPU和AI加速器，為客戶提供靈活性和可擴展性。
* 開發一個統一的平台，讓開發者無需了解底層硬件即可開發軟件，例如今年6月推出的Arm Architec平台。
* 引導客戶根據其用例定義功耗和性能需求，選擇最合適的芯片。

### 問題六：台灣在半導體領域擁有堅實的基礎，並擁有全球公認的高效和先進的生態系統。隨著AI技術對芯片和相關硬件需求的增加，新創公司可能會再次引起台灣創業生態系統的關注。同時，台灣也在持續加強物聯網、網絡安全、電信甚至最熱門的AI領域的創新。您認為台灣如何利用其優勢來整合硬件和軟件？

**參與者回覆：**

* **Andrew：** 他建議新創公司在關注半導體需求時，要從設計、製造、封裝和測試四個方面進行考慮。台灣在製造、封裝和測試方面實力雄厚，但在設計方面需要更加關注解決方案的整體性。他觀察到，越來越多的合作夥伴從單純提供芯片轉向提供完整的解決方案，包括硬件、軟件和服務。這種轉變需要對應用、產品設計、軟件開發和服務進行更多投資，並從中獲得可持續的收入。

### 問題七：隨著AI代理越來越成熟，數據隱私和安全問題將成為企業關注的焦點。在將AI代理整合到運營中的過程中，您認為在開發AI代理時應該採取哪些步驟來確保它們的穩定性、可信度和安全性？

**參與者回覆：**

* **許大山：** 他提出了“委派”的概念，即AI代理開始為用户執行任務時，用户需要信任AI代理為其做出選擇。他以AI代理為用户訂午餐為例，說明了AI代理在執行任務時需要獲得授權和信任。他認為，數據隱私和安全問題與委派問題密切相關。
* **Andrew：** 他認為，雖然AI代理的可信度、可靠性和幻覺問題是真實存在的，但實際上並不像人們想象的那麼嚴重。由於大型語言模型是基於大量互联网數據訓練的，因此很難預測其表現。最佳實踐是構建原型，然後進行測試，找出其缺陷並使用工具修復。他列舉了一些修復AI代理問題的技術工具，例如守衛技術、事實核查和微調。

### 問題八：隨著生成式AI的推出，人們開始在電腦和移動設備上採用相關應用，以提高生產力和優化生活質量。這也導致了人們對未來AI代理的更高期望和想象。請您分享一下您對未來十年AI代理將如何發展的看法，以及您預計會出現哪些新的應用？

**參與者回覆：**

* **許大山：** 他以Napster和Skype的發展歷程為例，說明了技術發展的不可預測性。他認為，隨著AI模型和代理工作流程的改進，以及計算能力的提升，未來每個人都將擁有運行AI代理的能力。這將為開發者創造巨大的機會，因為他們可以將應用程序部署到用户的設備上，而無需承擔部署成本。
* **Andrew：** 他將目前的AI代理發展與互联网早期發展進行了比較。他認為，許多開發者正在Discord等平台上進行實驗和創新，就像互联网早期出現的YouTube等網站一樣。這些實驗和創新可能會催生出有價值的應用程序和商業模式。
* **曾志光：** 他預測，隨著AI代理變得更加智能，無人機、機器人和自動駕駛汽車將會更加普及。這些設備將能夠在本地執行AI推理，而無需依赖云端計算。
* **王定愷：** 他強調了AI技術對人類生活的影響，並以引擎的發展為例說明了技術的普及性。他鼓勵大家思考如何將AI技術應用到自己的工作和生活中，並保持開放的心態和實驗精神。

### 問題九：您認為AI如何提升台灣無人機產業的競爭優勢？

**參與者回覆：**

* **Andrew：** 他認為，台灣擁有僅次於中國的全球第二大無人機供應鏈。由於地緣政治原因，許多企業渴望為台灣建立無人機能力。AI可以使無人機變得更加智能，在民用和安全領域都有廣泛的應用前景。台灣的強大供應鏈加上AI專業知識，可以創造出具有獨特優勢的產品，滿足全球市場的需求。

### 問題十：對於正在尋求AI資金的新創公司，您認為哪些特質或團隊是您真正看重的？

**參與者回覆：**

* **Andrew：** 他介紹了AI基金的運作模式，即作為一個小型聯合創始人，與主要創始人一起驗證創業理念，並尋找合適的合作夥伴。他強調了實驗的重要性，並指出生成式AI技術的出現使得實驗成本大大降低。他通常與具備創業經驗和商業知識的企業家合作，並致力於在台灣建立總部設在台灣的新創公司。

#### Appendix:
##### 完整故事：
大型日本企業集團三井，它們經營一條航線，他們來找我說，你應該利用AI，使船隻更加節能。具體的想法是打造專為船隻設計的Google地圖，建議一艘船如何駕駛，藉此準時抵達目的地，還能節省約10%的燃料。我們花了大約一個月驗證想法，檢查在技術上是否可行，接著與潛在客戶對話，確保市場有需求。若能夠通過這個階段，我們就會去招募CEO參與這個專案

當我剛開始的時候，我常常花很長的時間在這上面工作。在引進CEO之前，我會先規劃自己的角色。但在反覆嘗試後，我們意識到，若在一開始就讓領導者參與會更有效率，因為可以減輕轉移知識的負擔，也不用讓他重新驗證我們的想法。因此，我們找到一位出色的CEO Dylan Kyle，他是一位經驗豐富的企業家，先前曾經取得成功。我們在三個月的時間內，進行6次為期2週的密集工作，與團隊一起建立原型，並進行深度的客戶驗證，如果專案能夠存活，接著會開出第一張支票，公司就有提供資源聘請執行團隊，讓最小可行產品運作，獲得真實的客戶。我們有大約三分之二，也就是66%的存活率。

在那之後，則是追求額外的外部融資，藉此繼續成長和擴展。我對我的團隊能夠支持三井的想法和Dylan Kyle作為CEO的工作，感到非常驕傲。現在，bearing AI的系統讓船隻改變控制航向的方式，並節省10%的燃料，每艘船每年可以節省約45萬美元的燃料費用，這對環境來說也是好事。我認為創業公司，我認為如果沒有Dylan的出色工作，它可能就不存在了。