## 吃瓜群眾也能懂的 AI 入門 <style> code.blue { color: #337AB7 !important; } code.orange { color: #F7A004 !important; } </style> <img src="https://hackmd.io/_uploads/ryA2gbdQ6.jpg" style="height:500px" /> ##### Powered by DALL·E 3 --- ## 你不得不知的 LLM --- ### Large Language Model 大型語言模型 (文字接龍專家) --- ### 文字接龍  --- 訓練資料：最常輸入/選擇的字詞。 --- ### ChatGPT  --- 訓練資料：書本、文章、網頁等眾多資料集，合計高達 1.7 兆的參數。 --- ### 模型訓練  --- ## 著名的 LLM 及其原產地 --- - LLaMA-2: <code class="orange">Meta</code> - PALM-2(Bard): <code class="orange">Google</code> - GPT-4(Bing Chat): <code class="orange">Microsoft</code> - GPT-4(ChatGPT): <code class="orange">OpenAI</code> - Claude-2: <code class="orange">Anthropic</code> - Grok-1: <code class="orange">X</code> --- ## License 的差異 --- - [LLaMA-2](https://ai.meta.com/llama/license/): 非開源，屬於有限制的授權，允許商用但限流量。 - PALM-2: 閉源 - GPT-4: 閉源 - Claude-2: 閉源 - Grok-1: 閉源 --- ## ChatGPT 演化史 ---  --- 就目前得到的資訊思考一下 --- ```markdown ChatGPT 的基礎是大型語言模型。 ChatGPT 會因模型的比重不同而有不同的輸出結果。 ChatGPT 輸出的結果是根據訓練資料集去推理出來的。 ChatGPT 輸出的結果是經過後製處理成較為合理的回答。 ``` --- ```markdown ChatGPT 只能預測最符合情境的文字，並不能真正"理解"你的問題。 ChatGPT 版本更新後所謂的變笨變聰明，只是因比重不同而導致的結果。 ChatGPT 對於沒有任何上下文(context)的問題，無法給出合理的回答。 ChatGPT 結合多個專家模型和外掛插件，可以減少幻覺(hallucination)。 ``` --- ## 推薦一些有趣的 Repo --- - LLaVA: llava.hliu.cc - All-in-one: [GodMode](https://github.com/smol-ai/GodMode), [ChatALL](https://github.com/sunner/ChatALL) - Self-host LLaMA-2: ollama.ai, lmstudio.ai --- ## Prompt 指示 AI 運作的基本元素，或稱為提示詞、咒語。 --- 而 Prompt 的基本單位是 Token --- GPT-4 <b>8K</b> GPT-4 <b>32K</b> 🤔??? --- 上下文大小 Context Window Size=Input Token+Output Token --- - LLaMA-2(Meta): 4K - PALM-2(Bard): 32K - GPT-3.5-turbo(OpenAI): 4K, 16K - GPT-4(OpenAI): 8K, 32K - <code class="orange">GPT-4-turbo(OpenAI): 128K</code> - Claude-2(Anthropic): 100K - Grok-1(X): 8K --- As a developer, call API is my nature. --- Token 用愈多 > API 費用愈貴 > 訂閱 ChatGPT Plus > OpenAI 賺大錢 --- 怎麼節省 Token？ --- Input: 盡量用英文 ---  ---  ---  ---  --- Input: 少用標點符號 ---  ---  ---  --- Output: 利用文字接龍的特性 ---  ---  ---  --- 常見的 Prompt Engineering 技巧 --- Chain of Thoughts(CoT)  ❌ --- Chain of Thoughts(CoT)  ✅ --- Least to Most(LtM)  --- ## 基於隱私資料開發 AI 應用 --- ### Fine-tuning (GPT-3.5 only, GPT-4 on experiment acces) <img src="https://hackmd.io/_uploads/BJAhOzH7a.png" style="height:500px" /> 👉 [Colab Notebook](https://colab.research.google.com/drive/1KBCwolBzrhfeCXMHcrJeYKym3ZyymNtE?usp=sharing#scrollTo=4pIraFVVQWGT) --- ### Few-shot <img src="https://hackmd.io/_uploads/HyCBDmrmp.png" style="height:500px" /> 👉 [Colab Notebook](https://colab.research.google.com/drive/1SKmWRcgOF4mUDp1zFyBfmn2kDA3eYvK0?usp=sharing#scrollTo=40jmh4wppMjo) --- ### RAG <img src="https://hackmd.io/_uploads/HyCf1QHQ6.png" style="height:500px" /> 👉 [Colab Notebook](https://colab.research.google.com/drive/1p9Uq1UFCMPlDj1hzZmtF8hHbIf_z8y0C?usp=sharing#scrollTo=R9hwiXKsbXNz) --- ## 推薦 AI 新知來源 - 電子報 - [The Intelligence Age](https://ai.theintelligenceage.xyz/) - [The Rundown AI](https://www.therundown.ai/) - [Prompt Engineering Daily](https://www.neatprompts.com/) - X(Twitter) - [Fox Hsiao](https://twitter.com/pirrer) - [Jim Fan](https://twitter.com/DrJimFan) --- ## 工商（一） ## OneDegree OneSavie Lab ---  ---  ---  ---  ---  --- ### 工商（二） ### OneDegree SRE 招募 <img src="https://hackmd.io/_uploads/HyKruydQT.png" style="height:500px" />