# 資訊筆記：AIPC — 專家視角

### 🗓️ 2024-05-22
### Info Source: 台大資訊系教授 洪士灝
### 筆記整理：Dada 劉永琦

AI PC --> AI Everywhere

最近跟友人們聊到AI PC這個新名詞，由於有多家大廠的支持，聲勢似乎頗為浩大。顧名思義，AI PC就是能夠跑AI應用的PC，有什麼特殊之處呢？

天下雜誌幾天前有篇關於AI PC的文章[1]，標題是「微軟推出AI PC，能讓電腦重新翻紅嗎？」而副標題是：「微軟推出了一款新產品，將GPT4o放進PC之中。能讓逐漸式微的電腦再次吸引消費者目光嗎？」

我不知道這個吸睛的副標題是誰訂的，但現實上要在今天把GPT4o放進PC之中，不借助任何雲端服務，應該是沒有人做得到，因為GPT4o的模型實在太大，PC的記憶體根本放不下，算力也差太多。

說穿了，AI PC只是一個商業廣告的名詞，只是在PC裡頭加上AI加速器，就可以搭上ChatGPT的風潮，如上述的例子，在媒體上啟發了無限的想像，目的就是能讓個人電腦（PC）重新翻紅。

這幾年PC的慘澹，讓我這個從小動手搞PC的愛好者頗感無聊。這也沒辦法，相較於要正襟危坐才能使用的PC，方便攜帶可隨時使用的手機和平板，以及容易操作的大螢幕智慧電視，都更加討大眾喜愛，而且功能和效能也越來越強大。

剛發表的iPad Pro採用了剛出TSMC爐，連Mac都還沒使用的，M4晶片，比現役的Macbook Air M3還強，可以知道Apple如何看待平板和個人電腦。事實上，有些人已經用iPad取代Mac作為生產力工具，因為真的比較方便，而且需要個人電腦才能做的事情越來越少。

這對長年霸佔個人電腦市場的微軟和Intel當然是個大問題，所以當然會希望搭AI的順風車來扳回一城。與其看廠商們畫的大餅，不如直接看所謂的AI PC實際上多了什麼？

Intel在處理機晶片上多放了一個Neural Processing Unit (NPU) [2]，加上一些軟體的驅動程式，讓PC上的類神經網路工作可以跑快一些。但實際上能夠加速的類神經網路工作的東西早就有了，GPU可以，其他包括Google、Apple、 Qualcomm在內的公司幾年前就有NPU之類的專用加速器，所以Intel做的也不是什麼新鮮事。比較實際的問題是，這個NPU有多厲害？

好比個人電腦處理機晶片上內含的GPU，因為跟CPU共用散熱裝置的關係，拿來玩簡單的遊戲可以，但高解析度複雜快速變換的場景就不行了，要靠外接的GPU。這個內建的NPU也有類似的市場性，不要預期內建的NPU會比外接的強大。

我個人覺得Intel最大的問題還是在於他的商業模式沒有其他公司靈活，除非能去掉一貫的老大心態。先不說Apple有一系列的系統晶片（SoC）來支持個人電腦、平板、手機、手錶、Apple TV、Vision Pro，能夠較為積極從事軟硬體協同設計。Qualcomm基於在手機、平板上長期耕耘的市場基礎和SoC客製化能力，再加上微軟對ARM的支援，恐怕會吃下不小塊AI PC的市場。

等一下，何止Qualcomm，會做手機、平板晶片的其他公司，包括聯發科和三星，也可以來搶AI PC的市場，甚至Nvidia也可以來搶。為此，又有一波合縱連橫，例如聯發科和Nvidia正在合作一起來做AI PC的晶片[3]。

對微軟來說，現在推AI PC當然有助於Windows的生存競爭，但我想微軟的更大的戰略目標是延伸Office 365這個金雞母的市佔率。無論你用PC還是Mac，平板還是手機，微軟都希望你用有內建AI的Office 365。

有趣的是，在大舉發起AI PC這個宣傳口號之前，我們沒有AI PC硬體也可以跑Copilot，以及種種雲端AI的服務，所以有了AI PC硬體的使用者會多了什麼好處呢？

在現有的AI PC硬體強大的AI？別鬧了，雲裡面的AI比較強。便宜的AI？或許，但對重視品質的使用者來說這應該不是什麼賣點。真正有感的是那些有大量的資料在個人電腦上，上傳雲端處理太過耗時，或是為了保護隱私而不希望上傳雲端，或者是有需要即時（real-time）處理，而且跑小型的LLM就夠了的使用情境。

但這跟已經炒很多年的Edge AI差在哪裡？

坦白說，實質上沒什麼差別，只是推的人不同而已。搞網路的人傾向從網路看資訊世界，所以喜歡用雲計算、霧計算（fog computing）、邊緣計算（edge computing）、物聯網（IoT）、智慧物聯網（AIoT）等名詞；搞計算的人，以電腦為本位去看資訊世界，所以用資料中心（datacenter）、高效能計算、伺服器、個人電腦、行動裝置、嵌入式系統這些名詞，但變來變去，就是一些東西的排列組合。

真正的重要的是，AI PC會加速AI的普及。把NPU放在處理機晶片上不加價賣給你好不好？當然好。但普及的不會只有AI PC，而是AI Everywhere。現在的NPU雖然小，但假以時日，會有大大小小的NPU在各種系統上，就像到處都有GPU一樣，NPU也會到處都有。

最後補充一點：因為算力限制，AI PC能做LLM的推論就很好了，從零開始的LLM訓練還是留給伺服器吧，模型的Fine-Tuning或許可以，但要看實際情況。我想，過一段時間，不想上雲的個人或中小企業的模型訓練/Fine-Tuning的需求多了之後，會需要高性能的NPU/GPU，甚至小型的叢集都有可能，會帶動更多有趣的發展。

[1] https://www.cw.com.tw/article/5130476

[2] https://intel.github.io/intel-npu....../npu.html

[3] https://www.pcgamer.com/hardware/processors/mediatek-and-nvidia-are-gearing-up-to-tackle-the-ai-pc-market-hand-in-hand-with-an-all-new-chip/