20251028筆記 內容可能有錯誤，請參考原始影片

[李宏毅【生成式AI導論 2024】](https://www.youtube.com/playlist?list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI)

[【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊](https://www.youtube.com/watch?v=A3Yx35KrSN0&list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI&index=4)
[【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具](https://www.youtube.com/watch?v=lwe3_x50_uw&list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI&index=5)

[【生成式AI導論 2024】第5講：訓練不了人工智慧？你可以訓練你自己 (下) — 讓語言彼此合作，把一個人活成一個團隊 (開頭有芙莉蓮雷，慎入)](https://www.youtube.com/watch?v=inebiWdQW-4&list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI&index=6)

### 【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) — 神奇咒語與提供更多資訊 大綱

**引言：** 瞭解大型語言模型（LLM）的特性 — 它是一個具有基礎知識的「新人助理」。

**一、 神奇的咒語：** 透過特定的指令（提示，Prompts）來強化模型的既有能力。

1. **要求思考與解釋：** 鏈式思考（Chain of Thought, CoT）和自我解釋。
2. **情緒勒索與禮貌：** 透過情感或獎懲機制影響模型。
3. **尋找咒語的方法：** 透過強化式學習或直接詢問模型。
4. **咒語的適用性與局限：** 咒語效果因模型版本和任務而異。

**二、 提供更多的資訊：** 透過外部資訊或範例來豐富模型的上下文理解和知識。

1. **釐清前提與上下文：** 透過指定角色或地區來幫助模型判斷。
2. **補充外部知識：** 透過檢索（Retrieval）或文件閱讀來彌補模型知識的限制。
3. **情境學習（In-Context Learning）：** 透過提供範例來指導模型判斷。
4. **範例的有效性辯論：** 模型是否真的能理解範例的爭議與演進。
5. **重要觀念重申：** 上下文資訊不會改變模型參數，知識僅在當前互動中有效。

**三、 拆解複雜的任務 ：** （此為下一階段課程的開端）

---

### 課程核心前提與模型理解

* **目標**：課程在於教導使用者如何訓練「自己」，可以在使用人工智慧時能讓其發揮更強大的能力。
* **非模型訓練**：**本節課中沒有任何模型微調或參數修改的內容**。所有的方法都是在模型參數完全固定的情況下提升其表現。
* **語言模型的特性**：大型語言模型（LLM）可以被想像成是一個「在線的新人助理」。

### 一、 神奇的咒語

「神奇的咒語」是指特定的提示詞（Prompts），這些咒語有可能可以強化模型核心的能力。

#### 1. 要求思考與解釋

* **鏈式思考（Chain of Thought, CoT）**：最經典的咒語是 **CoT**。它要求模型進行思考，例如使用 **"Let's be step by step"** (一步一步地想) 或要求模型「思考」。
* **效果實證（數學問題）**：在一篇 2022 年 11 月的論文中，針對一個比較舊的模型（GPT-XR2，GPT-3.5之前的模型），直接丟問題的正確率是 17.7%。
* 若要求其「想一想」（思考），正確率提高到 **57%**。
* 若要求其 "step by step"（一步一步地想），正確率標高到 **78%**。
* **原理**：要求模型一步一步列出計算過程，相當於把解決複雜數學問題的任務拆解成「先列式」再「產生答案」兩個步驟，使其更有可能得出正確答案。
* **要求解釋答案**：要求模型解釋一下自己的答案，往往也能強化其能力。
* **效果實證（文章批改）**：在批改文章的任務中，如果要求模型解釋它為什麼這樣批改，它改的正確率會更高。叫模型先解釋為什麼給這個分數，再給分數，其結果與人類老師的相似程度更接近。

#### 2. 情緒勒索與禮貌等其他咒語

* **情緒勒索**：在去年（2023年）夏天有人發現這個咒語。當告訴模型 **「這件事情對我的生涯很重要」** 時，模型的任務正確率會提升。
* **無用的咒語**：對模型有禮貌是沒有用的，例如說「請」或「謝謝」，並不會讓答案更正確，直接提出要求即可。
* **明確要求**：應直接明確地要求模型要做什麼，而非告訴它不要做什麼（例如：要求文章寫長一點，而不是說不要寫太短）。
* **獎勵與懲罰**：
* 告訴模型 **「如果做得好，我就給你一些小費/獎勵」**，這句話是有用的。
* 告訴模型 **「如果做不好，你就會得到懲罰」**，這句話也是有用的。
* **道德約束**：要求模型保證答案是沒有偏見的，並且避免使用任何刻板印象，這句話會讓模型想得更多。

#### 3. 尋找神奇咒語的方法

* **透過強化式學習**：可以訓練另一個語言模型，讓這個模型專門負責下咒語，並通過自動化的方法評估結果的好壞，再將回饋用於學習，從而找出更有效的咒語。
* **實例（長篇回答）**：在 GPT-3 上進行的實驗，目標是讓模型的回答越長越好。
* 直接問問題：平均長度 8.6 個字。
* 要求模型回答越長越好：平均長度 18 個字。
* 透過 AI 找到的神奇咒語：平均長度達到 **34** 個字。
* **人類看不懂的咒語**：像這種由 AI 產生的、人類看不懂的神奇咒語，通常對上一代模型（如 GPT-3）比較有效。
* **直接詢問大型語言模型**：可以直接問模型：「如果我今天要你解一個數學問題，你有什麼樣的咒語可以強化你的能力？」模型就會提供可能的咒語。
* **實例**：有人直接問大模型，得到了更強的咒語 **"Let's work this out step by step way"**，將正確率提高到 80%。後來又問到 **「請大語言模型深呼吸一下」**，能力會再次增強。

#### 4. 咒語的適用性與局限

* **咒語的時效性**：神奇咒語並不一定對所有模型都有用，甚至對同一個模型在不同時間點的版本也不一定有用。
* **CoT 效果下降**：雖然 "Let's step by step" 曾被視為強悍咒語，但它對 **GPT-3.5 現代版本**的幫助已經不大。
* 舊版本 GPT-3.5 (去年 6月)：無咒語正確率 72%；加咒語後 88%。
* 最新版本 GPT-3.5 (現今)：無咒語正確率已達 89%；加咒語後僅 89%。
* **原因**：現代模型（如 GPT-3.5）已經變得更厲害，即使沒有被要求，它們也會主動進行思考和列式，因此咒語的影響力變小。
* **要求解釋的局限**：要求模型做解釋也不一定適用於所有模型。例如，有研究發現，要求更早期的模型（GPT-3）做解釋，不一定能得到更正確的答案。

### 二、 提供更多的資訊

語言模型本身的知識是有限的，提供給它更多的資訊，它就可能給出更正確的答案。

#### 1. 釐清前提與上下文

* **情境不明導致歧義**：有時模型無法得出正確答案，僅因不清楚你的前提。
* **實例（NTU）**：當詢問 GPT-4 "NTU 是什麼縮寫"時，它預設可能是南洋理工大學。但若告訴它 **「你是台灣人，用台灣人的角度來思考」**，它就會回答是國立台灣大學。若指定為新加坡人，則會回答南洋理工大學。

#### 2. 補充外部知識

* **知識限制與幻覺**：生成式 AI 的知識是有限的，有時會瞎掰，或因缺乏相關資料而無法回答。
* **實例（GPT 訓練資料）**：要求 GPT-4 整理 GPT 一代、二代、三代模型的參數和訓練資料量時，它能提供準確的參數量，但對於 GPT-1 和 GPT-2 的訓練資料則無法回答 (N/A)。
* **解決方案**：
* **提供搜尋結果**：可以先上網搜尋相關資料，然後將這些資料直接提供給模型。
* **讓模型讀文件**：可以直接將相關論文（如 GPT 二代、三代的 paper）輸入給模型，讓它自己讀完後再輸出結果，使用者就不需要自己讀了。

#### 3. 情境學習 (In-Context Learning)

* **提供範例**：In-Context Learning 意指提供額外的範例，讓模型據此判定並給出更準確的答案。
* **實例（情感分析）**：給予模型句子範例（如「今天天氣真好」->正面；「我累了」->負面），期望模型能藉此了解情感分析的運作方式。
* **發現歷史**：In-Context Learning 技術早在 GPT-3 時代（2020年5月）就被發現。
* **非訓練**：**In-Context Learning 中雖然有 Learning (學習) 一詞，但過程中沒有任何模型被訓練，模型的參數完全沒有改變**。改變的僅是輸入的內容（即上下文）。

#### 4. 範例的有效性辯論與模型參數的固定性

* **早期懷疑（2022年）**：一篇 2022 年的文章懷疑模型是否真的讀懂了範例。實驗中故意給予錯誤的範例（如將正面句子標記為負面），結果模型的答案並未受到影響。當時的結論是，提供範例只是讓模型更清楚要做什麼事，但它並沒有真正執行推論（"didn't truly execute the dynamic inference"）。
* **後期證實（2023年）**：一篇 2023 年 3 月的文章使用更強大的模型（如 PaLM 540B 參數）進行測試，發現這些最強的模型**真的會受到錯誤範例的影響**。當錯誤範例的比例增加時，模型的「錯誤率」（即跟著範例答錯）也會增加。這表明最先進的模型是真的在學習這些範例。
* **模型認知與提示**：在分類任務中，若類別定義與常識不符（例如將「產業經濟」歸類為「政治」新聞），GPT-4 一開始可能無法正確分類。但若**暗示一下**，要求模型「好好讀這些說明」，它其實是可以做到的。
* **極端案例（Kalamang 語言）**：Kalamang 是一種使用人數極少的語言（僅有兩人使用），網路資料極少，模型（GPT-4, Gemini 1.5 等）在沒有額外資訊下無法翻譯。
* **提供教科書**：提供一本約 25 萬字的該語言文法書與字典，納入提示中。
* **結果**：模型在讀完教科書後，翻譯準確度（人類評分）從 0.xx 分大幅提高到 4.36/5.0 分。

* **模型參數固定性再強調**：
* **關鍵觀念**：即使模型讀了 Kalamang 教科書並成功翻譯，在下一次使用時，如果沒有將教科書作為「文字接龍內容」的前題提供，模型仍無法正確翻譯。
* **原因**：**模型參數是固定的**。所有這些強化能力的手段，如咒語、外部資訊或範例，都依賴於將這些內容作為「上下文」輸入給模型，**它們並不會永久影響模型的知識或能力**。模型仍是一個函式，只有參數改變時，能力才會真正改變。

### 三、 拆解複雜的任務

* **基本概念**：如果一個任務過於複雜，語言模型難以直接解決。使用者可以將複雜的任務拆解成一個個步驟，每個步驟都是比較簡單的任務，讓模型對每個步驟分別進行期貨。
* **實例（寫報告）**：
* **步驟 1**：先要求模型列出報告的大綱和前言。
* **步驟 2**：針對大綱中的每一個章節，再分開撰寫內容。
* **優化**：在撰寫新的段落時，可以要求模型先將前面已寫的內容進行摘要，再根據摘要來寫新的段落，以確保前後文連貫。
* **Chain of Thought 的解釋**：這解釋了為什麼 CoT (要求模型 Step by Step) 有用。要求模型列出計算過程（即思考過程），等於是將原本複雜的數學問題拆解成兩個簡單的步驟：先列出數學式，再根據數學式計算答案。這使得原本只做一次文字接龍來得出答案的任務，變成兩次更簡單的文字接龍。

### 【生成式AI導論 2024】第4講：訓練不了人工智慧？你可以訓練你自己 (中) — 拆解問題與使用工具 大綱

**核心概念重申：** 模型參數固定性。

**一、 拆解複雜的任務：**

1. **任務分步執行：** 將複雜任務分解為簡單的步驟。
2. **鏈式思考（CoT）的原理：** 視為將問題拆解成「列出算式」和「產生答案」兩個步驟。
3. **任務連貫性與優化：** 透過摘要確保長篇寫作的前後文連貫。

**二、 自我反省與多重嘗試 ：**

1. **檢驗自身輸出：** 要求模型檢查自己產生的答案是否正確。
2. **自我糾錯的原理：** 驗證答案通常比計算答案簡單。
3. **多重答案與投票：** 透過多次提問（每次結果不完全相同）選出最常出現的答案（Self-Consistency）。
4. **組合式策略（Tree of Thought, ToT）：** 結合拆解任務、多重答案與自我反省，形成複雜的解決路徑。

**三、 使用額外的工具 ：**

1. **彌補模型局限：** LLM 擅長文字接龍，但不擅長搜尋和精確計算。
2. **搜尋引擎 (RAG)：** 利用搜尋結果作為額外資訊提供給模型（Retrieval-Augmented Generation, RAG）。
3. **程式碼解釋器（Code Interpreter）：** 讓模型撰寫並執行程式碼來進行精確計算或複雜任務。
4. **圖文生成 AI：** 讓模型呼叫圖像生成工具，增強文字敘述。
5. **工具運作機制：** 語言模型透過文字接龍（Word Completion）產生特殊的符號（tokens）來呼叫工具，並將工具的結果貼回上下文繼續接龍。

---

### 核心觀念：模型參數的固定性

* **模型參數固定**：**所有這些強化能力的方法，包括自我反省和讀取外部資訊，都並不會改變語言模型的參數**。語言模型是一個固定的函式，只有當其參數改變時，能力才會真正改變。
* **上下文的知識限制**：即使模型讀了外部資訊（例如教科書）並據此給出正確答案，如果下一次沒有將該資訊作為提示（Prompt）提供，模型仍會回到原來的回答（例如，它會再次介紹不存在的「台大玫瑰花節」）。
* **答案變化與機率**：每次詢問模型相同問題時，答案可能會不同，這並不是因為參數改變了。
* **運作機制**：模型在回答問題時，實際上是計算每一個可能接續的字（符號/token）的機率分佈。
* **隨機抽選**：模型會根據這個固定的機率分佈去「擲骰子」來決定實際輸出的下一個符號。雖然機率分佈是固定的，但每次擲骰子的結果是隨機的，因此最終產生的文字接龍結果（答案）就會有所不同。

### 一、 拆解複雜的任務

* **目的**：當任務過於複雜時，直接要求 LLM 產生答案可能難以成功。將任務拆解成較簡單的步驟，讓模型對每個步驟分別進行處理，可以提高成功的可能性。
* **實例：撰寫報告**：
1. **第一步**：先要求模型寫出報告的**大綱和前言**。
2. **第二步**：針對大綱中的每個章節**分開撰寫內容**。
* **連貫性優化**：在撰寫新的段落時，可以要求模型先對前面已寫的內容進行**摘要**，然後根據該摘要來撰寫新的段落，以確保前後文連貫。
* **CoT 的分解解釋**：
* **鏈式思考 (Chain of Thought, CoT)** 有效的原因在於它將**複雜的問題拆解成簡單的步驟**。
* 當要求模型 "Step by Step" 時，例如在數學問題中，它會先詳細地**列出計算過程（算式）**，然後再根據算式給出答案。
* 這相當於將原本只做一次文字接龍來得出答案的任務，拆解成「列出數學式」和「根據數學式接龍出答案」兩個更簡單的步驟。
* **現代模型的進化**：對於較新的模型（如 GPT-3.5），強制要求 CoT 的效果已經不如以往。這是因為這些新模型已經「知道」應該主動將複雜問題拆解，即使沒有被要求，也會自動進行詳細的思考和列式。

### 二、 自我反省與多重嘗試

* **自我檢驗**：在模型產生答案後，可以要求模型多加一個額外的步驟，讓它**檢查自己的輸出是否正確**。透過自我檢查，模型有時可以修正原先的錯誤，最終得出正確的答案。
* **運作原理**：這類似人類寫完考卷後檢查答案。許多問題的難點在於**計算出答案**，但**驗證答案是否正確**卻相對容易。因此，模型雖然可能無法一次產生正確答案，但在看到自己產生的答案後，它有機會發現其中的錯誤。
* **模型差異**：這類自我反省和糾錯能力在 GPT-4 上看來較為有效，而較舊的 GPT-3.5 則較難以找到自己產生的錯誤。
* **倫理反省**：自我反省也可用於倫理規範。例如，當模型被問及如何入侵 Wi-Fi 時，如果讓模型反省自己，它會自我批判，發現這個行為違反道德規範，從而產生一個新的、拒絕入侵的答案。
* **多重嘗試 (Self-Consistency)**：由於模型每次給出的答案都可能不同，可以讓模型對同一個問題**回答多次**，然後採用**最常出現的答案**作為最終的正確答案。
* **組合策略 (Tree of Thought, ToT)**：將上述技術結合起來，例如：
1. 將複雜任務拆解成多個步驟。
2. 對第一個步驟，要求模型產生多個不同的答案（多重嘗試）。
3. 利用自我反省機制，讓模型**檢查**這些答案是否正確。
4. 選擇正確的答案進入下一個步驟，若遇到錯誤則退回前一步驟嘗試其他答案。

### 三、 使用額外的工具

* **工具的必要性**：語言模型只會做文字接龍。它們不擅長處理事實性查詢（易產生幻覺）或精確的數學計算。因此，讓 LLM 搭配工具能強化它的能力。
* **1. 搜尋引擎 (RAG)**：
* **挑戰**：LLM 本身沒有資料庫，無法查詢最新資訊。
* **解決方案 (RAG)**：將**困難的問題**先拿去**搜尋**，把得到的搜尋結果（即額外資訊）與問題一起作為提示輸入給模型。
* **優勢**：這種技術稱為 **Retrieval-Augmented Generation (RAG)**，它是一種**快速且有效**的方法，能夠在不訓練模型的情況下，透過提供特定資料來**特化**（或專業化）LLM 的回答，使其答案與其他人的模型不同。
* **2. 程式碼解釋器與計算機**：
* **挑戰**：過去的模型嘗試用文字接龍來解複雜的數學式，往往會產生奇怪的錯誤。
* **解決方案**：現代模型（如 GPT-4）在遇到複雜計算時，會**列出算式後呼叫程式碼解釋器**或專門的解題模組（Solver）。它會撰寫一段程式碼，然後執行它，將程式執行的結果作為答案提供。
* 這類方法被稱為 **Program of Thought**，它將原本的解題任務拆解成「寫程式」和「執行程式」兩個步驟。
* **實例**：GPT-4 可以透過撰寫簡單的程式碼，來準確回答「印出 300 個 Hello」等指令。
* **3. 圖文生成 AI**：
* 模型可以呼叫文生圖的 AI (例如 DALL-E) 來根據文字描述生成圖像。這可以用來增強互動體驗，例如在文字冒險遊戲中，每次場景描寫完畢後，模型即呼叫 AI 繪圖。
* **工具使用的機制**：
* **透過文字接龍呼叫**：語言模型仍然只會做文字接龍。當它決定要使用工具時，它會**輸出一個特殊的符號**（例如，`[<call:tool>]`）。
* **操作與結果**：這個特殊符號會停止模型的文字生成，外部系統會根據括號內的指令（例如 `search(美金 台幣 對換)` 或 `calculator(5 * 31.5)`）執行工具。
* **結果貼回**：工具的輸出結果會被**貼回**到模型輸入提示的**後方**。模型再根據這個新的上下文（包含工具輸出的結果）繼續進行文字接龍，從而得到最終答案。
* **注意**：工具的使用也是 LLM 學習出來的行為，因此它難免會犯錯，有時會過度使用或錯誤地使用工具。
### 【生成式AI導論 2024】第5講：訓練不了人工智慧？你可以訓練你自己 (下) — 讓語言彼此合作，把一個人活成一個團隊 (開頭有芙莉蓮雷，慎入)大綱

**引言：** 透過「合作」強化能力（以芙莉蓮故事為例）。

**一、 多模型系統與任務分配：**

1. **合作的重要性：** 結合不同能力，發揮本來無法達成的效果。
2. **模型路由（Router Model）：** 讓一個模型判斷並分配任務給不同的專長模型。
3. **多模型分工的優勢：** 降低單一模型負擔，提高效率。

**二、 模型討論與自我精進：**

1. **從反省到討論：** 從單一模型自我反省進化為多模型討論。
2. **討論的迭代過程：** 模型 A 輸出，模型 B 依據 A 的答案提出修正，A 再次修正。
3. **達成共識機制：** 透過一個判斷模型（Consensus Model）來決定討論是否結束並得出最終結論。
4. **異議的重要性：** 鼓勵模型提出強烈的反對意見，以獲得更好的結果。

**三、 專業分工的團隊化應用：**

1. **團隊角色模擬：** 讓不同能力的模型扮演不同角色（如專案經理、架構師、開發者）。
2. **實務應用案例：** 應用於大型專案（如軟體開發）的管理與執行。
3. **未來的趨勢：** 讓使用者領導 AI 模型團隊。

---

### 一、 多模型系統與任務分配 (Multi-Model Systems and Task Allocation)

#### 1. 合作的重要性

* **故事啟發**：透過芙麗蓮與人類法師費倫合作的例子，說明**合作的重要性**。
* **能力放大**：即使是最強大的千年魔法使芙麗蓮，也有其限制。當將千年魔法與人類魔法結合時，他們可以發揮出本來**沒有辦法發揮的強大力量**。
* **LLM 類比**：就像現在的 GPT 模型已經非常強大，但如果 GPT 跟其他**不同能力**的語言模型合作，它們的能力可能會進一步提升。

#### 2. 模型路由與分工

* **模型路由 (Router Model)**：這是一種讓模型去分配工作的機制。
* **運作方式**：當有新的任務輸入時，一個模型（路由器）會**判斷**這個任務應該交給哪個模型（例如，交給 LLM、搜尋引擎，或是其他模型）。
* **分工的優勢**：
* **避免冗餘**：如果一個任務很簡單，就不需要動用到最強大且成本最高的模型。
* **效率與成本**：透過分工，可以讓模型只專注於自己擅長的部分，達到能力提升。

### 二、 模型討論與自我精進

#### 1. 從反省到討論的進化

* **單一模型反省**：過去的方法是讓單一模型在輸出答案後，**反省**自己的輸出是否正確。
* **多模型討論 (Debate)**：更進階的方法是讓多個模型進行**討論**。
* **過程**：假設有模型 A 和模型 B。可以先用模型 A 產生答案，然後讓模型 B 根據 A 的答案來修正答案。接著，模型 A 再根據 B 的修正來修正自己的答案，**不斷迭代**。
* **討論的優勢**：相較於讓單一模型重複思考，多模型討論**更可能發掘新的盲點**。
* 研究顯示，當模型收到新資訊（來自另一模型的建議）時，有**更高的機率**朝正確答案的路徑前進。
* 如果越多模型參與討論，最終結果也會越好。

#### 2. 討論的結構與結束機制

* **結構化討論**：討論可以有不同的結構，例如 **"Trial of Thought" (嘗試的思考)**，這要求模型模擬每個參與者都貢獻一個答案，然後將所有答案**整合**起來供所有人查看。
* **達成共識 (Consensus Model)**：討論的結束是個挑戰。此時需要一個**判斷模型**（如模型 D）來決定何時達到共識。
* **過程**：模型 A 和 B 提出各自的建議，判斷模型 D 進行裁決。
* 如果 D 認為 A 和 B 沒有達成共識，則討論繼續。
* 如果 D 認為 A 和 B 的看法**一致**（例如 B 贊同了 A 的想法），則判斷討論結束，並得出最終結論。

#### 3. 異議與角色的重要性

* **反對意見**：在討論中，鼓勵模型表達**強烈的反對意見**是非常重要的。
* 研究發現，如果要求模型不必去尊重對方的觀點，可以**非常銳利地表達**自己的看法，這能導致更好的結果。
* 若要求模型將另一模型的看法僅當作「參考」，討論效果也會比較長久和實用。
* **專業分工**：在團隊中，不同能力的模型可以扮演不同的角色。
* **類比**：就像在遊戲隊伍中，需要有負責遠程輸出的法師、負責補血（奶）的支援和負責防禦（坦）的隊員。
* **現實應用**：在複雜的專案中（例如軟體開發），可以讓 LLM 扮演**專案經理 (Management)**、**架構師 (Architect)**、**開發者 (Developer)**、和**測試人員 (Tester)** 等角色。

### 三、 專業分工的團隊化應用

* **專案管理模擬**：如果任務是讓大型模型完成一項專案，則可以將專案交給專案經理模型，再由經理模型分配給開發者模型和測試模型。
* **循環回饋**：測試模型的結果會回饋給專案經理模型，以優化流程。
* **實際體驗**：目前已經有一些開源的框架或現成的工具（如 **GPT Engineer** 或類似的 **Agent 模式**的狀態）可以讓使用者帶領一個模型團隊。
* **案例**：有 YouTuber 嘗試讓模型團隊來寫網站，成本非常低廉（寫一個網頁約 $1 美金）。
* **未來展望**：未來的趨勢是，即使沒有專業的 AI 團隊或專業人員，透過這些模型團隊，**每個使用者都可以帶領一個 AI 專家團隊**來完成複雜的任務。

---
其他課程:

[【生成式AI導論 2024】00~02 生成式AI介紹](https://hackmd.io/@JuitingChen/ByiS0S_Aex)
[【生成式AI導論 2024】03~05 訓練不了人工智慧？你可以訓練你自己](https://hackmd.io/@JuitingChen/SJZdX5KAlx)
[【生成式AI導論 2024】06~08 大型語言模型修練史](https://hackmd.io/@JuitingChen/H1vfEqYCee)
[【生成式AI導論 2024】09~11 AI Agent、Transfoermer、可解釋性](https://hackmd.io/@JuitingChen/BybEB9KRxx)
[【生成式AI導論 2024】12~14 淺談檢定大型語言模型能力和大型語言模型相關的安全性議題](https://hackmd.io/@JuitingChen/ByyxUcY0le)
[【生成式AI導論 2024】15~16 生成式人工智慧的生成策略 和 Speculative Decoding](https://hackmd.io/@JuitingChen/H1sW_mfJZg)
[【生成式AI導論 2024】17~18 有關影像的生成式AI 和 GPT-4o 可能的語音技術](https://hackmd.io/@JuitingChen/S1uFKmG1Zx)