# 【iPAS AI應用規劃師】初級科目ㄧ:生成式AI應用與規劃人工智慧基礎概論 這份筆記涵蓋了人工智慧的基礎核心知識,從 AI 的基本概念、資料處理的標準流程,一路深入到機器學習的核心演算法(如監督式、非監督式與強化學習),最後探討當前最熱門的鑑別式 AI 與生成式 AI 的差異與整合應用 。本筆記旨在為準備 AI 導入與應用規劃的學習者,建立一套結構嚴密且具備高度實用性的技術藍圖 。 <br> ## 01. 人工智慧概念與架構 ### 01-01. 人工智慧的定義與分類 **核心論點**:人工智慧 (AI) 是一種模擬人類智慧的技術,使機器能執行學習、推理、解決問題與感知環境等任務。 **關鍵細節**: - 近十年突飛猛進的關鍵驅動力:軟硬體技術進步、計算能力提升、開放資料普及、數據(多樣性、品質與規模)的增長,以及演算法與機器學習的不斷精進。 - 依照功能,AI 可分為三大類: 1. **分析型 AI**:洞悉數據模式,處理大量數據以提供見解。 2. **預測型 AI**:基於歷史資料預測未來的趨勢和行為(如市場預測、風險評估)。 3. **生成型 AI**:根據使用者輸入的提示詞 (Prompt),高效生成文字、語音、圖像和影片。 - 企業導入 AI 的主要目標:提高效率、增強決策能力、提供個人化服務以及促進創新(特別是 2022 年後生成式 AI 帶動的工作型態轉變)。 :::success 💡 **舉例/比喻**: 想像 AI 是一個企業實習生。「分析型 AI」幫你整理過去十年的銷售報表;「預測型 AI」告訴你下個月哪支商品會大賣;而「生成型 AI」則是直接幫你寫好下個月的新品行銷文案 。 ::: :::danger 🔥 **實戰考點補充**:AI 的發展階段分類 - **弱 AI (Narrow AI)**:目前我們最常接觸的類型,核心特徵是 **「專業化與任務的單一性」**(無意識,無法進行跨領域的思考或學習)。例如:垃圾郵件過濾器、精準推薦電影的系統,或在 X 光片中專門標記骨折的 AI。 - **通用 AI (AGI)**:AI 領域的長期目標。具備與人類相當的理解力,能夠進行跨領域的學習與應用、知識遷移(例如:擔任全科醫生助理,綜合診斷未曾見過的罕見疾病)。 - **超級智慧 (ASI)**:在科學創造力、藝術鑑賞等所有層面皆遠超人類。例如:能在毫秒間解開科學家數十年未解的方程式,並創造全新物理理論的 AI。 ::: :::danger 🔥 **實戰考點補充**:企業導入生成式 AI 的三大關鍵步驟 - **第一步(策略面)**:務必先設定可量化、可追蹤的經營目標,而非盲目跟風追求技術。 - **硬體與 IT 環境(基礎設施面)**:內部 IT 環境最需要具備 **「高效能運算資源與彈性儲存空間」**,才能有效支援 AI 模型的龐大訓練與推理 (Inference) 需求。 - **組織與人才(文化面)**:有效幫助現職員工提升 AI 應用能力的方法,是 **「安排跨部門交流和測試專案 (Pilot Projects)」**,讓理論在實際業務中落地。 ::: ### 01-02. 人工智慧的應用領域 **核心論點**:AI 技術正在迅速改變各行各業的運作模式,影響深遠且廣泛 。 **關鍵細節**: - **醫療保健**:疾病診斷(分析 X 光/MRI 影像提早發現病變)、藥物研發(分子結構模擬以縮短時間)、個人化醫療(基於基因與生活習慣量身訂制)。 - **金融**:風險評估(分析信用紀錄以審核貸款)、欺詐檢測(實時監控異常交易)、自動交易(高頻分析市場數據)。 - **製造業**:自動化生產(結合機器人執行重複任務)、品質控制(影像辨識檢測產品缺陷)、預測性維護(分析設備運行數據預防故障)。 - **交通**:自動駕駛(結合感測器與導航實現精準控制)、交通流量預測(動態管理與路線建議)。 - **娛樂**:遊戲開發(自適應角色與情節)、虛擬現實(結合 VR 創造沉浸環境)、內容推薦(個人化影音文章推薦)。 :::danger 🔥 **實戰考點補充**:AI 模仿人類的四大認知功能 - **感知 (Perception)**:接收並轉換外界資訊(如電腦視覺技術「看懂」圖片)。 - **學習 (Learning)**:從數據中發掘模式並自我優化。 - **推理 (Reasoning)**:根據已知資訊推導新結論(例如:輸入歷史股價、財報與 GDP 數據,綜合分析關聯性以「推斷」未來股價走勢)。 - **解決問題 (Problem Solving)**:為了達成特定目標,在動態變化中計算並規劃出最佳路徑(例如:AlphaGo 計算數百萬種走法以獲得最高勝率;或是物流倉儲中心即時分析動態,為數百台無人搬運車規劃「最佳路徑」以避免碰撞) ::: :::danger 🔥 **實戰考點補充**:AI 歷史發展的兩大流派 - **符號主義 (Symbolism)**:依賴人工編寫的符號、邏輯和規則。優點是決策過程透明且可解釋性高。非常適合應用於需要嚴謹判斷的場景(如:醫療診斷系統)。 - **連結主義 (Connectionism)**:依賴神經網路從數據中自動學習,擅長處理非結構化數據(如深度學習)。主要局限是決策過程如同「黑盒子」,可解釋性較低。 ::: ### 01-03. 人工智慧的技術架構 **核心論點**:AI 的實現依賴多層次架構,從底層技術、開發應用一路串聯到實際運用。 **關鍵細節**: - **技術底層**(提供計算能力、數據支撐與演算法): 1. **資料處理與分析**:包含清理、整合與儲存,關鍵技術如 ETL (Extract, Transform, Load) 流程、大數據處理平台 (Hadoop, Spark)。 2. **演算法**:AI 的邏輯基石,如迴歸分析、分類演算法、決策樹、基因演算法。 3. **機器學習**:透過資料訓練模型,包含監督式、非監督式與強化學習。 4. **深度學習**:構建於神經網路之上,處理非結構化數據(語音/影像/NLP),常見框架為 TensorFlow, PyTorch。 5. **專家系統**:基於規則與知識庫,模擬人類專家的決策過程。 6. **電腦視覺 (Computer Vision)**:讓電腦從視覺資訊中提取意義。 :::danger 🔥 **實戰考點補充**:物體偵測 (Object Detection) 應用 人臉識別解鎖、智慧監控偵測顧客未結帳離開、工廠機器人辨識生產線上的鬆脫螺絲釘。 ::: 7. **自然語言處理 (NLP)**:讓電腦理解人類語言。 :::danger 🔥 **實戰考點補充**:語意分析旨在理解文本深層意義(不主要用於語音識別,語音識別屬於聲學範疇)。NLP 在金融上的經典應用為:檢測金融欺詐行為並減少損失。 ::: - **開發應用**:涵蓋模型設計、訓練、測試及部署,旨在解決特定業務需求。 - **實際運用**:設計行業解決方案(智慧醫療/物流)、打造商業化產品(語音助理)、優化業務流程。 <br> ## 02. 資料處理與分析概念 ### 02-01. 數據蒐集與清洗 **核心論點**:資料處理是 AI 的基礎,旨在將原始數據轉化為高品質、具一致性的可用格式。 **關鍵細節**: - **數據結構分類**: 1. **結構化數據**:行列形式,易於查詢(如 MySQL 資料庫、電子表格)。 2. **半結構化數據**:具標籤但格式靈活(如 XML, JSON, CSV)。 3. **非結構化數據**:無固定結構,需解析後才能分析(如圖片、音訊、電子郵件)。 4. **常見蒐集方法**:問卷調查、自有產品數據、外部公開數據 (API / 網路爬蟲 Web Scraping)、外部付費購買。 - **數據清洗 4 大核心**: 1. **遺缺值 (Missing Value)**:可使用統計法(平均值、中位數或眾數)填補、插補法預測,或若缺失比例過高則直接刪除。 2. **重複值 (Duplicate Value)**:檢查主鍵或唯一識別碼並刪除多餘項目。 3. **錯誤值 (Error Value)**:修正不合理範圍(如年齡出現 -5 歲、拼寫錯誤)。 4. **離群值 (Outlier)**:評估偏離極大的數值是具意義的異常狀況還是單純雜訊。常見偵測方式包含「四分位距法 (IQR)」與「標準差法」。 :::success 💡 **舉例/比喻**: 數據清洗就像是準備做菜前的「洗菜與挑菜」過程。如果蔬菜裡混了泥土(雜訊或錯誤值),或者少了幾片葉子(遺缺值),炒出來的菜(AI 模型)肯定不好吃。把年齡寫成「-5 歲」的資料挑出來修正,就是數據清洗的關鍵步驟 。 ::: :::danger 🔥 **實戰考點補充**:異常值與極端值處理 - 若希望合理判斷某筆極端大額支出(如 1,000,000 元)是否為異常值,應以 Z-score 方法量化異常程度來判斷。 - 若模型常因少數極端資料點導致結果失真,應優先考慮使用特徵轉換 (Normalization) 技術。 - 商業決策例外:若專案目標是「識別高價值客戶行為」,發現部分紀錄數值明顯高於其他點時,應保留離群值並標註為高價值異常點,納入模型訓練考量(並非所有極端值都是錯誤)。 ::: :::danger 🔥 **實戰考點補充**:常見資料品質問題與 ETL 處理 - **資料轉換 (Data Transformation)**:在 ETL 流程中,處理同一實體在不同系統中格式不一致的問題(例如:將「陳大文」與「陳大文先生」統一拼寫,確保正確對應)。 - **冗餘資料 (Redundant Data)**:同一份資料中出現多個欄位(如 score1, score2, score3)儲存相同的資訊,造成結構重複與混淆。 ::: :::danger 🔥 **實戰考點補充**:數據管理與檢索 在龐大的關聯式資料庫(如電商數據管理)中,必須建立 **「索引 (Index)」來實現快速檢索數據**。 ::: :::danger 🔥 **實戰考點補充**:數據隱私與法規 (GDPR) - **資料透明**:歐盟 GDPR 要求數據收集與處理必須透明。 - **資料最小化原則**:僅收集完成任務所需的最少數據。 - **傳輸加密**:保護資料在網路傳輸過程中的安全,通常使用 VPN 或 HTTPS 技術。 ::: ### 02-02. 基礎統計學與假說檢定 **核心論點**:統計學是從海量資料中萃取資訊、驗證模型的指南針,提供了量化不確定性與推論的框架。 **關鍵細節**: - **中央趨勢的衡量**: 1. **平均數 (Mean)**:資料的重心,最常用但易受極端值影響。 2. **中位數 (Median)**:資料排序後位於正中間的數值,較不易受極端值影響,更能反映典型水平。 3.**眾數 (Mode)**:出現頻率最高的值,不受極端值影響,但可能有多個或不存在。 - **分散度的衡量**: 1. **四分位距 (IQR)**:第三和第一四分位數之間的差異,衡量資料中間 50% 的分散程度 。 2. **標準差 (Standard Deviation)**:是所有觀察值與平均數之間絕對差值的平均;標準差越大,資料越分散(在品質管理中代表品質不穩定、良率低) 。 - **抽樣變異與假說檢定 (Hypothesis Testing)**: 1. **虛無假設 ($H_0$)**:表示不存在顯著效果或差異,為檢定的基準假設 。 2. **對立假設 ($H_a$)**:表示存在顯著效果或差異 。 3. **錯誤類型**:拒絕真實的 $H_0$ 為 Type I 錯誤 ($\alpha$);接受錯誤的 $H_0$ 為 Type II 錯誤 ($\beta$)。 4. **p 值 (p-value)**:在 $H_0$ 為真之下,觀測值出現極端狀況的機率;若 p 值小於顯著水準 ($\alpha$),則拒絕虛無假設。 ![截圖 2026-03-14 上午9.39.56](https://hackmd.io/_uploads/ByPdhNM5-g.png) :::info **注意事項**:抽樣變異 在進行統計分析時,從母體中抽取樣本所計算出的統計量(如樣本平均數、樣本標準差),往往因樣本的隨機性而與對應的母體參數有所差異。這種因抽樣而產生的統計量變動現象。 ::: :::success 💡 **舉例/比喻**: 假設檢定就像「法庭審判」。**虛無假設 ($H_0$)** 是「被告無罪」(維持現狀);**對立假設 ($H_a$)** 是「被告有罪」(有顯著差異)。**Type I 錯誤**就是「冤枉好人」(錯殺真實的 $H_0$);**Type II 錯誤**則是「放過壞人」(接受了錯誤的 $H_0$)。 ::: :::danger 🔥 **實戰考點補充**:集中趨勢與資料分布 - 當資料包含極端值(如:一組房屋價格數據中包含少數豪宅的極端高價),使用中位數 (Median) 來描述集中趨勢最為合適。 - 盒鬚圖 (Box plot) 最適合用來視覺化顯示數據的集中趨勢與離群值。 - 若要估計資料的「分布狀態」(如常態分布、偏態),雷達圖 (Radar chart) 是最不適合的圖表(應使用直方圖或核密度估計圖)。 ::: :::danger 🔥 **實戰考點補充**:驗證性分析 (CDA) 與 P 值 - CDA 的目的:相較於探索性分析 (EDA),CDA 主要著重於 **「驗證先前生成的假設並進行深入挖掘」**。 - P 值的解讀:進行假說檢定時,若 p 值為 0.03,且顯著性水準 ($\alpha$) 設定為 0.05。因為 p < 0.05,代表我們有 95% 的信心水準可以拒絕虛無假設 ($H_0$)。 ::: ### 02-03. 數據分析方法 **核心論點**:將數據轉換成適合模型的格式後,運用統計與機器學習提取洞察。 **關鍵細節**: - **數據轉換 (Data Transformation)**: 1. 格式/類型轉換(如 CSV 轉 JSON、字串轉數值)。 2. 正規化/標準化(將數值縮放至 [0,1] 消除單位影響)。 3. 離散化(將連續年齡轉為青/中/老年)。 4. 數據縮減(透過 PCA 主成分分析等降維技術減少體積)。 - **數據分析方法與統計分類**: 1. **敘述性分析**:描述數據基本特徵。使用平均值、中位數、標準差、百分位數,搭配直方圖、散佈圖、折線圖呈現。 2. **探索性分析 (EDA)**:無預設假設,透過視覺化(如散佈圖矩陣、熱圖、箱型圖)靈活探索模式與異常,生成初步假設。 3. **驗證性分析 (CDA)**:著重於驗證研究者提出的假設,透過分類、分群或預測模型進行深入挖掘。 4. **診斷性分析**:探究現象的根本原因。包含向下分析 (Drill-down)、關聯分析 (Apriori 演算法,如啤酒與尿布)、因果分析 (A/B測試)。 5. **預測性分析**:預測未來趨勢。使用迴歸模型、分類模型 (SVM/決策樹)、時間序列模型 (ARIMA/LSTM) 與集成學習 (Random Forest, XGBoost)。 <br> ## 03. 機器學習概念 ### 03-01. 機器學習的基本原理與挑戰 **核心論點**:機器學習 (ML) 是基於數據驅動的方法,讓系統從經驗中學習並自動適應,無需依賴人為編寫的死板規則。 **關鍵細節**: - **技術優勢**:具備強大的自適應能力與可擴展性,能處理非結構化數據,並隨新數據動態更新(如精準預測用戶偏好的推薦系統)。 - **面臨挑戰**: 1. 數據品質不均或標記匱乏會威脅模型準確性。 2. **解釋性與透明性不足**(如醫療決策若缺乏依據,難以獲專業人士信任)。 3. 數據中的隱性偏見可能導致模型輸出存在歧視。 :::danger 🔥 **實戰考點補充**:機器學習的三個核心要素:數據 (Data)、模型 (Model)、損失函數 (Loss Function)。 ::: :::danger 🔥 **實戰考點補充**:模型訓練與過擬合 - 在劃分數據集時,驗證集 (Validation Set) 的主要用途是用來 **「調整模型的超參數 (Hyperparameters)」**。特徵選取的主要原則是「測試特徵對模型性能的影響」。 - 模型發生過擬合 (Overfitting) 的主要原因,是因為 **「模型過度學習了數據中的雜訊 (Noise)」**,導致缺乏泛化能力。 - 決策樹算法中,通常使用 **「熵 (Entropy)」** 作為衡量數據純度和不確定性的指標,藉此尋找最適合的分裂點。 ::: ### 03-02. 機器學習三大類型與經典模型 **核心論點**:機器學習依據數據標記與學習目標,分為監督式、非監督式與強化學習,並支撐多種進階演算法 。 **關鍵細節**: - **監督式學習 (Supervised Learning)**:使用「有標記的數據」學習輸入與輸出間的映射關係。 1. **線性迴歸 (Linear Regression)**:預測連續數值(如房價),缺點為只能捕捉線性關係。 2. **邏輯迴歸 (Logistic Regression)**:處理二元分類問題,使用 Sigmoid 函數將輸出轉換為 $0$ 到 $1$ 之間的機率值。 3. **支援向量機 (SVM)**:尋找最大化類別間隔的「最佳超平面」,適合解決二元與非線性分類(如識別腫瘤良惡性)。 4. **決策樹 (Decision Tree)**:適合處理具有明確屬性變數的結構化資料分類問題。例如:收集病患的年齡、血壓、血型等屬性,用以建立心血管疾病成因的預測模型。 - **非監督式學習 (Unsupervised Learning)**:數據無事先標記,演算法自動發掘潛在結構與關聯 。 1. **K-均值聚類 (K-Means)**:將數據分為 K 個群組(組內相似度高),應用於市場區隔與客戶分群。 2. **主成分分析 (PCA)**:將高維數據壓縮至低維空間(降維),同時保留主要特徵,以減少冗餘並提高運算效率。 - **強化學習 (Reinforcement Learning, RL)**:基於「回饋(反饋)機制」,代理透過與環境互動進行「試錯學習」。 1. **核心要素**:代理 (Agent)、環境 (Environment)、獎勵 (Reward)、狀態 (State)、行動 (Action) 。 2. **Q-Learning**:學習每個行動的「長期價值 (Q值)」,形成最佳決策策略 。 3. **Deep Q-Learning (DQN)**:結合深度學習解決高維度狀態限制,透過「經驗回放」與目標網路穩定學習過程(如 AlphaGo 與 Atari 遊戲)。 :::success 💡 **舉例/比喻**: * **監督式 (SVM)**:像是在桌上畫一條最完美的線,把蘋果和橘子遠遠隔開。 * **非監督式 (PCA)**:像是在幫行李箱打包(降維),把體積最大但最不重要的空氣擠掉,只保留最核心的衣物。 * **強化學習 (DQN)**:訓練小狗接飛盤。小狗(代理)觀察風向(狀態),跑去接(行動),接到就有肉乾(獎勵)。「經驗回放」就是小狗在睡夢中反覆回想今天接飛盤成功的訣竅。 ::: :::danger **🔥 實戰考點補充**:分類模型指標區分 - **召回率 (Recall)**:衡量所有「真實為正例」的樣本中,被正確找出來的比例(用於降低漏報率,如設備異常偵測)。 - **精確率 (Precision)**:衡量模型「預測為正例」的樣本中,真正為正例的比例(預測百發百中的程度)。 ::: ### 03-03. 機器學習核心過程:從處理到評估 **核心論點**:機器學習高度依賴計算資源,流程分為數據處理、模型訓練、模型評估與優化。 **關鍵細節**: - **數據標準化與特徵選擇**: 1. **最小-最大標準化 (Min-Max Scaling)**:將數據映射至 $[0, 1]$ 區間。 \begin{equation} X_{scaled}=\frac{X-X_{min}}{X_{max}-X_{min}} \end{equation} 2. **Z-score 標準化**:轉換為均值 $0$、標準差 $1$ 的分佈。 \begin{equation} X_{scaled}=\frac{X-\mu}{\sigma} \end{equation} 3. **特徵選擇**:使用過濾法(相關係數)、包裝法(RFE)或嵌入法(LASSO)篩選出最具代表性的特徵。 - **模型訓練與優化**: 1. **損失函數 (Loss Function)**:衡量預測與實際的誤差。迴歸常用 **均方誤差 (MSE)**;分類常用 **交叉熵損失**。 \begin{equation} MSE=\frac{1}{n}\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2} \end{equation} 2. **優化演算法**:使用梯度下降法來最小化損失。如批次梯度下降 (BGD)、隨機梯度下降 (SGD) 或目前最廣泛自適應學習率的 **Adam 演算法** 。 3. **防範過擬合 (Overfitting)**:加入 $L1/L2$ 正則化 (Regularization)、提早停止 (Early Stopping) 或透過旋轉翻轉進行數據增強 (Data Augmentation) 。 - **模型評估與調參**: 1. 使用準確率 (Accuracy) 與 F1 分數評估效能。 2. 運用 **K 折交叉驗證 (K-Fold CV)** 將數據分子集反覆測試,提升泛化能力 。 3. **模型調參 (Hyperparameter Tuning)**:使用網格搜索 (Grid Search)、隨機搜索或貝葉斯優化找尋最優參數組合 。 4. **召回率 (Recall)**:衡量模型在偵測異常事件時的「漏報率」反面指標。例如在智慧工廠中,召回率代表「模型能正確找出異常停機的比例」,是避免錯過關鍵異常的重要指標。 :::danger **🔥 實戰考點補充**:專案生命週期 在完成概念驗證 (POC, Proof of Concept) 階段,確認技術可行性與商業價值後,通常下一步即為 **「上線部署 (Deployment)」**。 ::: <br> ## 04. 深度學習與生成式 AI ### 04-01. 自然語言處理 (NLP) 核心技術 **關鍵細節**: - **基礎特徵與表示**: 1. **TF-IDF**:透過詞頻和逆文檔頻率,計算詞語在文本中的重要性。 2. **詞嵌入 (Word Embedding)**:將詞語轉換為向量表示,用於表示詞語的語義關係(也是情感分析中用於標註情感極性的底層技術)。 - **進階任務與模型**: 1. **命名實體識別 (NER)**:查找並分類文本中有專有名稱的實體(如人名、地名、組織名)。 2. **文本分類**:將文本分配到預定義的類別中(如主題分類)。 3. **BERT 模型** :強大的預訓練語言模型,主要應用於理解上下文和深層語義。 4. **LSTM (長短期記憶網路)**:RNN 的改良版,主要特性是能學習序列數據中的「長期依賴關係」。 :::danger 🔥 **實戰考點補充**:NLP 評估指標 - **困惑度 (Perplexity)**:衡量語言模型對數據的預測不確定性,常用於評估模型生成文本的流暢度和連貫性(數值越低越好)。 - **BLEU 分數**:常用於評估機器翻譯的品質,透過比較模型生成的譯文與人工參考譯文之間的 n-gram 重疊程度。 ::: ### 04-02. 電腦視覺 (CV) 核心技術 **關鍵細節**: - **核心任務與應用**: 1. **邊緣檢測**:識別物體輪廓,通常是為了後續的目標檢測做準備。 2. **物體檢測 (Object Detection)**:識別並「定位」圖像中的特定物體。知名技術如 R-CNN 。 3. **圖像分割 (Image Segmentation)**:將圖像中的不同部分進行像素級的細分,常應用於醫療影像分析(用於分割和識別不同組織和結構)。 :::danger 🔥 **實戰考點補充**:雲端視覺應用與陷阱 1. PCA (主成分分析) 主要用於「數據降維」,不屬於圖像增強技術(圖像增強包含旋轉、翻轉、調整對比度等)。 2. 數位資產管理 (DAM) 核心目的是管理豐富的媒體資產。智慧裁剪縮圖的目的是 **「確保縮圖聚焦於主體區域」**。 3. 雲端服務(如 Azure AI)的優勢在於:使用少量的圖像(Transfer Learning)即可有效訓練自訂模型。智慧門鈴的臉部配件偵測通常能檢測眼睛(眼鏡)和口罩。 ::: ### 04-03. 深度學習的三大經典模型 **核心論點**:深度學習基於多層人工神經網路,能自動從數據中提取深層且抽象的特徵,不需專家手動設計。 **關鍵細節**: - **卷積神經網路 (CNN)**:靈感來自生物視覺皮層,極度擅長處理圖像。包含卷積層(提取邊緣/紋理等特徵)、池化層(降維防止過擬合)、全連接層。應用於人臉辨識、物件偵測。 - **循環神經網路 (RNN)**:具備「記憶」先前資訊的能力,專為序列數據設計。為解決梯度消失問題,發展出 LSTM (引入遺忘門等機制) 與 GRU。應用於機器翻譯、語音轉文字、時間序列預測。 - **生成對抗網路 (GAN)**:由「生成器 (Generator)」與「判別器 (Discriminator)」組成。生成器負責產出假資料騙過對方,判別器負責抓假,透過對抗學習產出極逼真數據。缺點是訓練易不穩定(模式崩潰)。應用於圖像生成、風格遷移。 :::danger **🔥 實戰考點補充**:深度學習架構(如 CNN, RNN 等神經網路)最擅長處理的資料類型為非結構化資料(如影像、音音、自然語言) ::: :::danger 🔥 **實戰考點補充**:生成對抗網路 (GAN) :其中鑑別器 (Discriminator) 的主要作用是 **「區分真實數據和生成數據,並提供反饋給生成器」**。深度學習知名框架 TensorFlow 是由 Google 開發的。 ::: ### 04-04. 生成式人工智慧 (Generative AI) 的運作與訓練 **核心論點**:透過龐大參數模型建立「文字機率分布」,依據提示詞逐字生成連貫、創新的內容。 **關鍵細節**: - **訓練階段 (Pre-training)**: 1. **數據準備**:蒐集、清洗,並預處理(將文本轉換為數字向量)。 2. **搭建模型**:選擇 GAN, VAE 或 Transformer 等架構。 3. **模型訓練**:設計損失函數衡量誤差,使用優化器 (如 Adam, SGD) 迭代更新參數,直到模型收斂。 - **微調階段 (Fine-tuning)**: 1. 在預訓練基礎上,使用「特定領域數據集」進行精調,並調整超參數或添加特定層(如語言模型層)。 2. 採用數據增強(如旋轉、翻轉)提升模型泛化能力。 - **成效影響因素**:數據品質/多樣性、模型結構、超參數設置、計算資源。 :::success 💡 **舉例/比喻**: 生成式 AI 的訓練就像培養一位作家。「訓練階段」是讓他讀遍全世界的圖書館(學習基本文法與常識,建立語言規律);「微調階段」則是讓他專門去研讀醫療期刊(使用特定領域數據集),把他精準打磨成一位能寫醫療專業文章的專欄作家。 ::: :::danger 🔥 **實戰考點補充**:生成式 AI 容易在內容產出中產生偏見。為防止模型偏見影響商業決策,企業導入後應加強 **「偏差偵測 (Bias Detection)」;而減少偏見最源頭的方法是「改善訓練數據來源」**。 ::: <br> ## 05. 鑑別式 AI 與生成式 AI 概念 ### 05-01. 基本原理與核心技術差異 **核心論點**:鑑別式 AI 專注於分類與決策(尋找分類邊界),而生成式 AI 則專注於學習數據分佈並創建全新的內容,兩者在目標、輸出與面臨的挑戰上截然不同。 **關鍵細節**: - **鑑別式 AI (Discriminative AI, DAI)**: 1. **原理**:學習數據特徵與目標標記間的「條件概率 $P(y|x)$」。不建構數據生成的內在機制,只專注找出最適合分類或迴歸的邊界 (Boundary Determination)。 2. **輸出特性**:輸出分類標籤或數值預測(非產生新內容)。 3. **技術挑戰**:**數據偏見 (Bias in Data)**(模型學到不公平的特徵)、**過擬合 (Overfitting)**、**標記成本 (Labeling Cost)**(高度依賴大量人工標記數據)。 - **生成式 AI (Generative AI, GAI)**: 1. **原理**:學習數據的「聯合分佈 $P(x,y)$」或「邊際分佈 $P(x)$」。依賴提示工程 (Prompt Engineering) 與生成內容的固有變異性 (Inherent Variance),透過反覆調整生成多樣化內容。 2. **輸出特性**:生成具有創新性的新數據樣本(文字、圖像、音訊等)。 3. **技術挑戰**:**內容真實性 (Authenticity)**(可能產生幻覺或虛構資訊)、**可控性低 (Controllability)**、**計算成本極高 (Computational Cost)**。 :::success 💡 **舉例/比喻**: - **鑑別式 AI** 是一位嚴格的「畫作鑑定師」,他只負責告訴你這幅畫是真跡還是贗品(分類決策),他不會畫畫。 - **生成式 AI** 則是一位「藝術家」,你給他一個主題(提示詞),他就能立刻畫出一幅全新的畫作(內容生成)。 ::: :::danger 🔥 **實戰考點補充**:終極目標與監管 - 負責任 AI (Responsible AI) 的最終目標是 **「促進人類進步」**。 - 歐盟 AI Act 最關注的領域是 **「保護公民健康、安全與基本權利」**。 ([參考來源]("https://share.google/0MBfvNuhlgJQxa7Yi")) - 行政院等公家機關以外的企業,可 **「參考指引訂定自身的 AI 使用規範」**。 ::: ### 05-02. 鑑別式 AI 的五大經典模型 **核心論點**:鑑別式 AI 依賴嚴謹的數學公式與優化過程,在標記數據充足時具備極高的準確性。 **關鍵細節**: 1. **邏輯迴歸 (Logistic Regression)**:最基礎的二元分類模型。透過 Sigmoid 函數將線性輸出映射到 $0$ 到 $1$ 之間的機率值(如設定閾值 0.5)。常用於醫療罹病機率預測、金融違約風險評估。 2. **支援向量機 (SVM)**:尋找能「最大化類別間隔」的最佳超平面。若數據線性不可分,會使用**核函數 (Kernel Function, 如高斯核、多項式核)** 映射到高維空間。常用於文本分類、生物蛋白質分類。 3. **決策樹 (Decision Tree)**:基於遞迴分割原則,利用「資訊增益、吉尼係數或均方誤差」選擇最佳特徵來逐層劃分數據。具備極佳的可解釋性。 4. **隨機森林 (Random Forest)**:決策樹的集成學習。利用 **Bootstrap 取樣法**隨機抽取樣本構建多棵獨立決策樹,最終以「投票或平均」產出結果,大幅降低過擬合風險。 5. **神經網路 (Neural Networks)**:模擬生物神經,透過輸入層、隱藏層、輸出層,搭配激勵函數 (Activation Function) 與反向傳播 (Backpropagation) 調整權重。擅長處理語音、圖像等高維度非結構化數據。 :::danger 🔥 **實戰考點補充**:兩種常見的 AI 損害與應對 - **配置損害 (Allocation Harm)**:AI 系統剝奪了某些群體的機會或資源。常見於職位招聘、信貸評分、教育錄取(以上皆是)。 - **服務品質損害 (Quality of Service Harm)**:AI 對某特定群體的辨識度或服務效果特別差(如人臉辨識無法辨識深色皮膚)。減少此損害的方法是 **「提高 AI 的數據多樣性」**。 ::: :::danger 🔥 **實戰考點補充**:公平性測試方法 - 評估 AI 公平性通常透過 **「群組公平 (Group Fairness) 方法」**。 - 若要精確測試 AI 是否在不同群體中公平運作,可使用 **「反事實假設狀況 (Counterfactual testing)」**(例如:將履歷上的性別由女性改為男性,測試 AI 的篩選結果是否改變,若改變則代表模型存在性別偏見)。 ::: ### 05-03. 生成式 AI 的三大核心模型 **核心論點**:生成式 AI 模型透過複雜的概率與迭代優化,在無標記數據下也能有效增強數據集。 **關鍵細節**: 1. **生成對抗網路 (GAN)**:由「生成器 (創造假數據)」與「鑑別器 (區分真假)」組成,透過動態對抗學習共同進步(如 StyleGAN 生成人臉)。**缺點**:訓練極不穩定,易出現「模式崩潰 (Mode Collapse)」。 2. **變分自編碼器 (VAE)**:包含編碼器 (將數據壓縮到低維的**隱變量空間 Latent Space**) 與解碼器 (從隱變量空間重建數據)。引入隨機變量與正則化,適合平滑過渡與異常檢測。 3. **擴散模型 (Diffusion Models)**:訓練階段逐步向數據「添加隨機雜訊 (變為高斯分佈)」,生成階段透過反向過程「逐步去除雜訊」重建真實感數據。極度擅長高品質/高解析度圖像生成。 :::success 💡 **舉例/比喻**: * **GAN**:就像「偽鈔集團(生成器)」與「警察(鑑別器)」的博弈。偽鈔做得越真,警察辨識能力越強,最後產出的偽鈔(生成的圖片)幾可亂真。 * **擴散模型**:像是在一塊充滿雜質的泥塊(充滿雜訊的畫布)上,雕刻家一刀一刀把多餘的泥土刮掉(反向去噪),最後呈現出精美的雕像。 ::: ### 05-04. 鑑別式與生成式的整合應用 (協同應用) **核心論點**:整合兩者能突破單一技術瓶頸,實現數據增強、多模態融合與即時回饋,是 AI 未來發展的關鍵趨勢。 **關鍵細節**: - **整合應用的三大價值**: 1. **數據增強與協同**:生成式 AI 創造稀缺數據(如罕見病理影像、極端氣候的金融交易),提供給鑑別式 AI 訓練,大幅提升模型泛化 (Generalization) 效能。 2. **多模態數據處理**:生成式 AI 負責跨模態轉換與生成(如語音轉生動文字),鑑別式 AI 負責精確分類與語意分析(確保互動準確性)。 3. **提升泛化能力**:在教育領域,GAI 模擬各種學生學習行為,DAI 據此分析並制定個人化方案;在智慧城市,GAI 模擬災難場景,DAI 預測風險並部署。 - **技術優勢與實務案例**: 1. **數據生成與判斷融合**:工業異常檢測中,GAI 先模擬潛在的機器故障數據,DAI 再即時識別並標記異常。 2. **即時分析與動態回饋**:自動駕駛中,GAI 即時模擬濃霧/冰雪路面,DAI 根據模擬數據進行環境識別與路徑規劃。 3. **系統靈活性**:智慧客服中,GAI 生成多樣化回應,DAI 擔任「守門員」過濾不當內容與品質檢測。 - **整合面臨的挑戰與解法**: 1. **訓練不穩定**:GAI 的梯度消失與模式崩潰,可透過採用 **Wasserstein GAN (WGAN)** 等改進型模型與自適應優化技術解決。 2. **數據偏差與公平性**:GAI 可能放大訓練偏差,需在生成過程中引入「去偏演算法」與嚴格審核機制。 3. **架構設計**:需採用「分層架構」分別處理生成與分類任務,並透過共享層進行即時資訊交換。 <br> ## 06. AI 治理、資安與 MLOps (負責任的 AI) **核心論點**:隨著 AI 深入關鍵決策,確保系統的公平性、透明性、安全性與合規性成為企業導入的首要任務。 **關鍵細節**: - **AI 治理與風險分級**:風險處理策略:企業若將資料管理與運算外包給雲端供應商,在風險管理上屬於 **「風險轉移 (Risk Transfer)」**。 :::danger 🔥 **實戰考點補充**:歐盟《人工智慧法》(AIA) 風險等級應在設計階段預先評估並持續監控。若 AI 應用涉及 **「社會信用評分(依特徵評定信用)」或「公眾場所的遠程生物辨識系統(執法監控)」,引發重大隱私關注,此類屬於最高等級的「不可接受風險 (Unacceptable Risk)」**。 ::: - **公平性與負責任的 AI (Responsible AI)**: 1. **責任歸屬**:AI 系統的開發者需對 AI 系統的行為負責。在企業內部,通常由資料科學家 (Data Scientist) 使用公平性評估元件來評估模型。 2. **經濟領域目標**:負責任 AI 在經濟層面的重要目標之一是 **「確保公平競爭」**。 3. **不公平處置機制**:若已部署的 AI 模型被發現對不同族群預測結果有顯著差異(如金融業),依據指引應立即 **「啟動人工覆核與調整機制,並持續監控族群間預測效果」**。 - **資安與營運管理**:MLOps (機器學習營運) 結合開發與維運的實踐,其主要目標之一是 **「提升 AI 系統的透明度與可追蹤性 (Transparency and Traceability)」**,確保模型生命週期的穩定與合規。 <br> ## 🎯 總結 (Key Takeaways) **關鍵術語表**: 1. **監督式學習 (Supervised Learning)**:使用帶有標記的數據來訓練模型,學習輸入與輸出間映射關係的技術。 2. **生成對抗網路 (GAN)**:由生成器與判別器組成,透過對抗式學習不斷優化,以生成逼真新數據的深度學習模型。易面臨「模式崩潰」挑戰。 3. **擴散模型 (Diffusion Models)**:透過正向添加雜訊與反向去除雜訊的過程,來生成極高品質影像的生成式技術。 4. **過擬合 (Overfitting)**:模型在訓練數據上表現極佳,但因為過度學習了雜訊,導致面對全新測試數據時預測能力大幅下降的現象。 **總結**:從數據清洗到模型訓練,人工智慧正從專注於分類預測的「鑑別式 AI」邁向具備創造力的「生成式 AI」,兩者的融合將大幅擴展 AI 解決複雜問題的邊界。