# 大型語言模型實作讀書會
## 【主辦單位】[台灣人工智慧協會進修交流委員會](https://docs.google.com/presentation/d/13HtB5t-xaWUwxpNIv6LMJngSkrZ1vzJa/edit?usp=sharing&ouid=112780088374728819219&rtpof=true&sd=true), H.I.T. 生醫創新實作社群
### 連絡方式:[e-mail]

## [成果](https://hackmd.io/Ci6y9bQRQRa5uJll3sFbNQ)

[各組期初簡報](https://padlet.com/ccwu0918/padlet-j65fbjt9hdwefjhx)
[各組期末簡報](https://padlet.com/twaiastudy/padlet-o1fiyeg9fs52ge4b)

[開源講義](https://drive.google.com/drive/folders/1P8mFvwPFRDXLzfTpFTnjFC2wJEQsGfFU?usp=sharing)

---

## 讀書會簡介
本讀書會旨在讓學員了解大型語言模型的基礎知識和原理，並培養學員運用大型語言模型進行實作的能力。讀書會將涵蓋大型語言模型的概念、特點、訓練、應用等方面，並提供實作案例和教學資源。
讀書會適合具備任何以下條件( **Python 程式能力、專案管理，領域專家**)。

讀書會將採分組討論和報告的方式進行。學員將分組選定主題進行研究，並在線上會議上分享成果。

結語:本讀書會將為學員提供一個學習大型語言模型實作技能的機會，並幫助學員提升在該領域的專業能力

---

## 讀書會目標
讓學員了解大型語言模型的基礎知識和原理
培養學員運用大型語言模型進行實作的能力
提升學員在大型語言模型應用領域的專業能力
培訓學員可能成為大型語言模型**講師**

---

## 準備事項
1. 申請google 及chatgpt帳號,
2. open ai api, 儲值5美金以上 [申請的連結](https://openai.com/blog/openai-api), [如何儲值簡單說明](https://docs.google.com/presentation/d/11JJz92lagzo3pd1tt_1TW6A9edhMr7Kuwi-RFQFPkaM/edit?usp=sharing)
3. 於課前將主辦單位精選的教學影片看完及研讀範例程式
4. 自備專案所需雲端資源(colab,repl.it 都有免費版,AWS,google,azure也有免費額度)

---

## 運作方式:
所有成員都要閱讀8門課,協助製作簡報,上課前一週所有人要閱讀完成,並填寫學習紀錄,報告組要二週前完成閱讀,報告內容不得有商業廣告

---

### 分組報告:
1. 課程討論
2. 搜集資料(相關paper,github,youtube影片,專案或應用)
3. 分組報告,線上會議形式分享並由參與者給與報告者意見回饋

---

### 專題實作:
專題預備: 113/01/01-113/1/31
1. 即日起可以開始構思題目，
2. 徵題期間:113/01/01-113/1/31
3. 審題期間:113/01/11-113/1/31
4. 選題組隊:113/01/16-113/1/31
5. 認領或自行提出相關LLM專題,每週review 進度,期末競賽並安排發表
6. 建議每組PM,SA,前端,後端,領域專家及資料工程師,原則上限10個人
7. [專題報名情形](https://padlet.com/ccwu0918/padlet-j65fbjt9hdwefjhx)

---

## 專案著作權說明
1. [Mit license](https://noob.tw/open-source-licenses/)(開源授權公開商業教學用途),盡量避免引用有智財權爭議的程式
2. 要有可公開資料集
3. idea 可公開
4. 必須放github可公開檢驗程式碼

---

## 專案審核原則

1. 與課程相關性50%
2. 技術複雜度與技術成熟度 30%
3. 可行性 10%
4. 創新性 10%
5. 主辦單位將組成評審小組進行評選

---

## 講師著作權說明
[CC by SA](https://creativecommons.org/licenses/by-sa/3.0/tw/deed.zh-hant)

---

### 講師認證:
製作教材並通過試講後取得認證

---

## 適合對象:
1. 對大型語言模型實作有經驗或興趣者。
2. 可以於課前將主辦單位精選的教學影片看完及研讀範例程式

---

## 完課證明：
80% 出席並完成專題實作，無署名，發證人數不限。

---

## 協會證明：
80% 出席並完成專題實作，台灣人工智慧協會進修交流委員會選擇專案佳作，將發給證明您完成課程與專
題實作的實質成就，發證人數上限５０名(台灣人工智慧協會25名，HIT 15名，其他10名)。

請於2024/1/15前完成入會申請及付費,

---

## LLM學員台灣人工智慧協會入會程序
1. 找推薦人:
若有認識台灣人工智慧協會會員,請洽會員擔任推薦人,
若沒有認識相關人,請寫一封信到進修交流委員會,[e-mail],
主旨:擬請貴會擔任台灣人工智慧協會推薦人,附上個人簡介,經初步審核後,email通知請進修交流委員會任推薦人
2. 申請入會
經推薦人同意會後請填寫相關入會申請

## [台灣人工智慧協會入會申請](https://www.aiatw.org/apply)

---

## 此次LLM讀書會授課證明：
1. 準備教材，通過試講，獲得台灣人工智慧協會進修交流委員會LLM讀書會授課證明
2. 未來也有機會推薦參加台灣人工智慧協會講師認證評選。

---

## 參與條件：
對大型語言模型充滿興趣，並渴望在 AI 領域不斷進步。
名額有限50名，經審核通過就歡迎加入我們的學習行列！
## 報名方式:
請填下以下報名表,依所填資料書審通知 不另面試
112/12/10　報名截止
112/12/17　分組完成

---

## 時間時段 : 每周二 21:00-23:00
## 課程日期 : 2023 年 12月19日 - 2024年 2 月 20日
請於上完課30分鐘內填寫
[課後簽到及調查表](https://forms.gle/jpjSVzLdppnstTFL8)

---

## 專案競賽階段 : 2024 年 2 月 27 日 - 2024年 3 月 19 日
在最後一個階段，準備好迎接一個刺激的、為期一個月的團隊專案實施之旅。你將與其他團隊一較高下，展示在大型語言模型的技能和創造力。每個團隊將呈現他們的專案，由一個優秀的評審團進行評估並提供反饋。最傑出的團隊將獲得獎項和認可，以慶祝他們在這個令人興奮的大型語言模型實作探索之旅中的成就。

---

## 成果發表日： 2024 年 3 月 26 日
在Demo Day 上，展現您的學習成果。
## [學習紀錄](https://docs.google.com/spreadsheets/d/1s1E5I_CgYgIF343VGNCscZy10_fSikVnn6C4baiEzek/edit?usp=sharing)

---

### 12/19 分組討論
1. 選1位組長,2-8副組長
2. 確認加入個別line群組,fb
3. 非報告組別除了週二課程討論外,每週至少開會30分鐘,確認交付給報告組的內容,遇到什麼問題,想聽到什麼,想補充什麼
4. 報告組別:除收集各組意見外,預演排練,至少一天前確認報告人
5. 辦理不定期會議,聚餐等軟性活動,做team building

---

## 讀書會大綱
0.12/19

讀書會運作說明及目的
說明讀書會的目標、流程、以及適合對象 Q&A
分組介紹說明

---

1.12/26 [快速了解大型語言模型](https://youtu.be/wG8-IUtqu-s?si=PE3Uhk96y6EOpgow)
[Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g)
* 認識大型語言模型的概念和特點
* 了解大型語言模型的訓練和應用
* PM:johnson,jeff
* [第一組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/r1bj7HKL6)

---

2.01/02 [ChatGPT Prompt Engineering for Developers](https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/1/introduction)
* 學習如何使用ChatGPT的Prompt Engineering技術
* 提升ChatGPT的創意和生成能力
* PM:eric,joyce
* [第二組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/B14AkjAL6)

---

## 01/01開放出題報名
3.01/09 [Building Systems with the ChatGPT API](https://learn.deeplearning.ai/chatgpt-building-system/lesson/1/introduction)
* 學習如何使用ChatGPT API進行開發
* 使用大型語言模型高效建構多步驟系統。
* 學習使用多階段提示將複雜任務拆分為一系列子任務。
* 評估您的 LLM 輸入和輸出的安全性、準確性和相關性。
PM:麗如
[第三組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/rkpOlo0La)

---

4. 01/16 [LangChain for LLM Application Development](https://learn.deeplearning.ai/langchain/lesson/1/introduction)
* 構建ChatGPT應用系統
* 直接向框架創建者 Harrison Chase 學習 LangChain
* 將LLM應用於專有數據以建立個人助理和專業聊天機器人
* 使用代理、鍊式呼叫和記憶體來擴展您對 LLM 的使用
[第四組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/B1W6y20L6)

---

5.01/23 [LangChain: Chat with Your Data](https://learn.deeplearning.ai/langchain-chat-with-your-data/lesson/1/introduction)
* 學習使用LangChain框架進行大型語言模型應用開發
* 向 LangChain 創辦人 Harrison Chase 學習
* 在LangChain中使用80多個載入器來處理不同的資料來源
* 創建一個聊天機器人來與您自己的文件和數據進行交互
PM:吳淑玲,
[第五組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/ryjmxnALa)

---

6.01/30 [Building Generative AI Applications with Gradio](https://learn.deeplearning.ai/huggingface-gradio/lesson/1/introduction)
* 學習使用Gradio工具構建生成式AI應用
* 快速開發 ML 應用程式
* 建立圖像生成、字幕和文字摘要應用程式
* 在 Hugging Face Spaces 上與隊友和 Beta 測試人員分享您的應用
PM:Herman
[第六組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/rJadenRUa)

---

7.02/06 [Quality and Safety for LLM Applications](https://learn.deeplearning.ai/quality-safety-llm-applications)
* 使用 SelfCheckGPT 等方法辨識幻覺
* 使用情緒分析和隱式毒性檢測模型檢測越獄（嘗試操縱 LLM 反應的提示）。
* 使用實體識別和向量相似性分析來識別資料外洩。
* 建立您自己的監控系統來評估應用程式的安全性和安全性
PM:顏珮帆
[第七組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/SygZbhC86)

---

8.02/20 [Finetuning Large Language Models](https://learn.deeplearning.ai/finetuning-large-language-models/)
* 掌握 LLM 微調基礎知識
* 區分微調和即時工程，並知道何時使用兩者
* 獲得專案真實資料集的實務經驗
PM:彭鈐浩

[第八組共筆](https://hackmd.io/@Jj51EQCDSsS0C4aNUQtCtQ/HJfHZnRUa)

---

## 案例
1.[用少量資料建立客服機器人 ](https://github.com/seiching/gradioGPT)
2.[建立自己的chatgpt portal ](https://github.com/Yidadaa/ChatGPT-Next-Web)
3.[自己大量資料建立QA系統](https://github.com/hwchase17/chat-your-data)

---

## 參考資料
1. [deep ai](https://www.deeplearning.ai/short-courses/)
2. [李宏毅生成式AI](https://www.youtube.com/playlist?list=PLJV_el3uVTsOePyfmkfivYZ7Rqr2nMk3W)
3. [code_your_own_AI](https://www.youtube.com/watch?v=cs1TDTOby58&list=PLgy71-0-2-F3gD9gHydQENMWduSpVzpZB)
4. [Information Extraction with LangChain & Kor](https://www.youtube.com/watch?v=SW1ZdqH0rRQ)
5. [open ai 工程師 AndrejKarpathy](https://www.youtube.com/@AndrejKarpathy/featured)

---

## 範例
1. [腦中風客服機器人](https://youtu.be/sYLx200WpiA)
2. [上完第二課就可以完成的, 腦中風客服機器人,浮動油價,保險推薦](https://github.com/seiching/gradioGPT)

---

## [timer 工具](https://tw.piliapp.com/timer/countdown/)
[第一組](https://drive.google.com/drive/folders/16U_f4xl1THq-mrkFO8OyHx2oJQvrPXm3)

內部草稿資料

# 2023/12/26班務公告
* [學習紀錄](https://docs.google.com/spreadsheets/d/1s1E5I_CgYgIF343VGNCscZy10_fSikVnn6C4baiEzek/edit?usp=sharing)(個人上課前10天填寫,各組5天前完成彙編),避免放太多個資,因為是開放的,小心詐騙集團
* 各組公開hackmd 原設計功能主要是彙編各組每週問題及補充資料
* 請各組及早開始準備報告,報告內容及官方社群避免商業廣告,
* 請於2024/1/15前完成入會申請及付費, 推薦人:請用進修交流委員會,推薦人email填寫 [e-mail] 才能算協會會員到名額
* H.I.T. 生醫創新實作社群請於2024/1/15前完成入會申請

---

* 實做範例以colab方式為主(建議第二講開始都要提供)
* 課後[問卷調查](https://forms.gle/LS6MoGi3zgcU99BN8)請於上完課30分鐘內完成填寫
* 課程準備含補充資料,請兼顅PM及領域專家的學習需求
* 課程準備建議含作業
* 重申本讀書產出,開源教案,開源專案,AI講師,開立收費課程

---

# 敬請指教

[國家電腦中心llm課程](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/HkHz7qvw6)
---

[Scrum33355 Roger博士20分鐘解說(中文字幕，僅供長宏學員預習用)](https://www.youtube.com/watch?v=B8_2hEAdO3s)

[小團隊最大化，矽谷產品經理教妳「Scrum」管理術 | 西岸+產品學院](https://www.youtube.com/watch?v=8Y89KaUhyw8)

[Scrum in 20 mins... (with examples)](https://www.youtube.com/watch?v=SWDhGSZNF9M)

[大厂程序员是如何做敏捷开发的?大公司程序员编程开发流程|大公司是如何快速响应用户需求并实现产品的持续交付](https://www.youtube.com/watch?v=Mb6WHtja2fs)

[敏捷开发Agile Scrum！99%程序员都没搞明白的Scrum真义！](https://www.youtube.com/watch?v=UkZz9tk2QYc)
[USER STORY ](https://medium.com/3pm-lab/3-use-cases-for-writing-effective-user-stories-cd42625fef53)

---

親愛的LLM學習夥伴:

大家好！
未來將以LINE及FB為主要訊息溝通方式，請大家務必加入以下社群，並留意訊息

LLM讀書會大群，請用手機加入：https://line.me/ti/g/-rG4oCZWC1
LLM讀書會臉書大群
https://www.facebook.com/groups/3203524276459299/

12/26 即將開放第一次正式課程讀書會以下為預計進行的流程，
課程主題:認識大型語言模型
20:58-21:00 活動注意事項宣讀
21:00-21:10：歡迎及團員介紹
簡短的歡迎辭和參與的成員自我介紹(姓名，Line群名稱，來自哪裡(公司或是學校)，AI經驗，參加LLM目的與期望)。
21:10-21:50：課程回顧 : 影片內容的回顧，分享個人的學習心得和觀點。
21:50-22:00：QA: 大家在課程中發現的問題。
22:00-22:05：休息
22:05-22:50：補充資料+QA 提供額外的資料和深入探討特定主題。同步解答大家對補充資料的疑問。
22:50-23:00：班務報告

預計使用ZOOM,連結如下,請大家準時出席

https://zoom.us/j/97108451634?pwd=TmU4Y1N6OW83ekRwWGkvU0ZGdDdkZz09
會議ID：971 0845 1634
密碼：iZJ668

進入會議室後請更改名字,將自己組別及底線放在名字前,例如
第一組王大同，改為1_王大同，方便辨識

我們期待在這次讀書會中與您共同學習，請確保影片觀看和筆記完成，以促進更深入的討論和互動。如有疑問或需要協助，隨時聯絡我們。

謹代表主辦單位，期待與您共度一個充實且有趣的讀書會！

歡迎你的參與

主辦單位: 台灣人工智慧協會進修交流委員會, H.I.T. 生醫創新實作社群 。

## 大型語言模型專題實作共學社群工作團隊(內部討論及補充資料)

## 招生
## 審核
## 各組要完成工作項目
選1位組長,2-8副組長
確認加入個別line群組,fb
非報告組別除了週二課程討論外,每週至少開會30分鐘,確認交付給報告組的內容,遇到什麼問題,想聽到什麼,想補充什麼
報告組別:除收集各組意見外,預演排練,至少二週前確認報告人
辦理不定期會議,聚餐等

## 組織團隊,分組,先找好各組,組長,mentor
1. 每個人 至少參加一個團隊 團隊人數2-N人 提出專題
2. 個人以自己的能力自訂題目
3. 專題審核委員會審核過題目，且提案者有成功完成，提供 github link，即可獲得證書
##
進zoom 改名,加數字組別

## 專案媒合
0. 發布提案表單 (我們收提案到啥時 收件期限?/2-N人,預計2024-01-01 至2024-01-10)
1. 分二階段 先填提案 填表結果會公開給大家登記加入(僅過濾開放登記的專題)
1-1. 提案題目
1-2. 是否要開放其他人登記成為隊友
1-3. 專案類型、標籤
1-4. 提案要達成的目的、為什麼要做這個應用
1-5. 提案敘述 (至少200字)
1-6. 預計應用技術 (optional)
1-7. 概述預計要用的資料集 (optional)
1-8. 已掌握的資料集 (optional)
1-9. 預計如何驗證此應用有達到你的預期?
2. 媒合周 會議時間讓大家介紹自己題目 組好後提交表單
3. 成員代號以 email 為準 到時方便寄送證書

#### 專題提案條件
1. 自備數據集
2. idea 不介意被公開

### 12/19 第一周 Opening Agenda
- Opening (TAIA & HIT) 5分鐘
- 說明認證取得機制 要怎樣才可以獲得課程通過認證? (完課/授課) 40分鐘
- 讀書會出席統計
- 期末專題完成
- 我們第N周發布專題提案表單
<!-- 我們將會在第N周辦一次Miro提案會 讓大家線上組隊(要嗎?)-->
- 可以在臉書社團/Line找隊友
- 表單在第N+k周(?)前截止
- 說明臉書社團/Line的用途
- 課程摘要 & 資源池介紹(Abao) 15-20分鐘 [[slides](https://gamma.app/docs/-vsoxoexxs6v3qzp)]
- 各組分開討論 50分鐘
- 選組長/副組長
- 介紹交流 自介貼FB
- 現在的這個組是讀書會的
- 讀書會分工
- 自己開一個Line群組
- 宣傳可以踴躍填提案表單

### 影片網路
## 說明會相關資料,講師及教材分享原則()

## 專案著作權說明
github Mit license(以開源為則)
要有資料集
idea 可公開
驗程式碼
## 講師著作權說明
[CC by SA](https://creativecommons.org/licenses/by-sa/3.0/tw/deed.zh-hant)
## 專案募集
## 課程時間
21:00-21:05 歡迎及團員介紹
21:05-21:40 課程回顧
21:40-21:50 QA
21:50-21:55 休息
21:55-22:30 補充資料
22:30-22:50 QA
22:50-23:00 班務報告

## 專題
技術要求: 必須使用open ai相關API或meta llam2等相關大型語言模型

## 資源池 Resource Pool

- [Model Gallery](https://www.laplace-ai.com/llm-gallery)
- [Dataset Gallery](https://www.laplace-ai.com/dataset-gallery)
- [API Gallery](https://www.laplace-ai.com/api-gallery)

[Text]
- OpenAI GPT-3.5/GPT-4
- Claude 2.0

[Image]
- DALL-E
- Stable Diffusion

[Audio]
- Whisper

[Video]
- Avatar API

### 學術類
### 應用類

參考產品
a. [華麗得](https://www.brecioso.com/)
b. [vocolai](https://www.kocpc.com.tw/archives/492837)

推薦
1. [快速了解大型語言模型](https://youtu.be/wG8-IUtqu-s?si=PE3Uhk96y6EOpgow)
2. [ChatGPT Prompt Engineering for Developers](https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/)
3. [ Building Systems with the ChatGPT API](https://www.deeplearning.ai/short-courses/building-systems-with-chatgpt/)
4. [LangChain for LLM Application Development](https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/)
5. [LangChain: Chat with Your Data](https://www.deeplearning.ai/short-courses/langchain-chat-with-your-data/)
6. [Building Generative AI Applications with Gradio](https://www.deeplearning.ai/short-courses/building-generative-ai-applications-with-gradio/)
7. [Quality and Safety for LLM Applications](https://www.deeplearning.ai/short-courses/quality-safety-llm-applications/)
8. [Finetuning Large Language Models](https://www.deeplearning.ai/short-courses/finetuning-large-language-models/)
9. [補充教材 : Building and Evaluating Advanced RAG Applications](https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/)

### 原始文宣內容
AI 未來，你準備好了嗎？
加入大型語言模型python 專題實作線上共學社群，從基礎到實踐，提升您的專業技能

大型語言模型 (LLM) 是 AI 領域的最新趨勢，在自然語言處理、機器翻譯、創意寫作等領域具有廣泛的應用。

獨自學習覺得孤單嗎？

加入我們的大型語言模型python 專題實作線上共學社群，和一票熱情學習者一起，共學共享、攜手成長！
報名期間: 即日起至2023/12/10
課程亮點：

系統性學習：全面了解 LLM 的理論與應用，培養扎實的 AI 底蘊。
實務操作體驗：透過分組討論及報告，提供實際案例及實作，將知識轉化為實戰能力。
專業成長之路：加強大型語言模型實作技能，培養成為 LLM 專家或講師。
活動時間表：

週二夜晚課程：從 2023 年 12 月 19 日起至 2024 年 2 月 20 日，每週二晚上 21:00 至 23:00。
專案競賽階段：2024 年 2 月 27日至 3 月 19日。
在最後一個階段，準備好迎接一個刺激的、為期一個月的團隊專案實施之旅。你將與其他團隊一較高下，展示在大型語言模型的技能和創造力。每個團隊將呈現他們的專案，由一個優秀的評審團進行評估並提供反饋。最傑出的團隊將獲得獎項和認可，以慶祝他們在這個令人興奮的大型語言模型實作探索之旅中的成就。

成果發表日：在 2024 年 3 月 26 日的 Demo Day 上，展現您的學習成果。

加入我們，您將獲得：

完課證明：80%出席並完成專題實作，將獲得台灣人工智慧協會進修交流委員會完課證明，證明您完成課程與專題實作的實質成就。
講師授課證明：準備教材，通過試講，獲得台灣人工智慧協會進修交流委員會 LLM 講師授課證明，未來也有機會獲得講師認證。
參與條件：

只要您對使用大型語言模型python專題實作充滿興趣，並渴望在 AI 領域不斷進步，因名額有限50名，經審核通過就歡迎加入我們的學習行列！
立即報名，開啟屬於您的 AI 學習之旅！

立刻免費加入，與更多熱心學伴共同探索 AI 的無限可能！
https://forms.gle/1MsFjY3XKt8brkER8