# 大型語言模型LLMs課程教學 課程大綱 (六)

## [中階] 基於RAG方案的專屬私有知識庫服務網站建置

## :memo: Where do I start?
- 聯絡窗口 Email us : [e-mail] 王小姐

### 課程說明
- 上課時間: 2024 3/19 星期二 9:00-10:30
- 上課方式: 視訊課程 (請參考信件說明)
- 基本能力: 皆可
- 環境需求: Windows或Mac或Linux作業系統環境皆可

### 課程內容:
- 本堂課為遠端同步上機教學
- 預計課程學員學會的內容
- 範例影片: [YOUTUBE](https://youtu.be/pOLx6oiwY3s) 台灣杉三號生醫AI問答服務
- 範例影片: [YOUTUBE](https://youtu.be/8mjGT1agmlU) 醫學百科RAG增強索引生成範例

### 注意事項:
- 因課程中會進行實作部分, 請參考 [[網址安裝教學]](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT), 依照電腦環境安裝對應版本DOKCER
- 課程以本地端模型為主, 但為了避免你的電腦無法支撐模型, 請申請一組[Groq API KEY](https://console.groq.com/keys)及[OpenAI API KEY](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/r1g6_ftP6) , 臨陣替代使用

### :A: 簡報檔案:
- [[2024/4/3 NTU 中階課程 PDF]](https://drive.google.com/file/d/1E9JaJi1leC0M0Dg7nPT4O1DWSA4nVpGk/view?usp=sharing)
- [[2024/4/2 中階課程 PDF]](https://drive.google.com/file/d/1zzPQRZd1MvtXIaj5jaB9cs9YlQAAFcXd/view?usp=drive_link)
- [[中階課程 PDF]](https://drive.google.com/file/d/1OkchHJIwem8pYMWIxLHqJcZ7xmkLpT5_/view?usp=sharing)

### :B: 教學文件
- [初階課程] [建立基於RAG方案的專屬私有知識庫教學](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryqUCfu6T)
- [中階課程] [基於RAG方案的專屬私有知識庫服務網站建置](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/Bk3TbayAp)
- [高階課程] [如何於國網台灣杉二號使用多顆GPU微調語言模型](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SklMGVOaT)

## 教學內容
### A. Docker環境安裝
- [Linux 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#%E5%AE%89%E8%A3%9D-Docker)
- [Windows 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#Windows)
- [MacosX 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#Mac-osX)

### B. 內部伺服器架設大型語言模型及向量模型API服務
- Ollama 系統安裝介紹
- 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/Hkf1O-SCa)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=FPJo3oAg15w)
- 適用平台: Docker ([教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#%E5%AE%89%E8%A3%9D-Docker))
- 軟體下載: https://ollama.com/

### C. 內部伺服器架設語言模型對談暨RAG查詢服務網站
1. AnythingLLM 系統安裝介紹
- 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SyP_2T7Ca)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=oMaIsmayr7A)
- 適用平台: Docker ([Docker安裝教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SkxlrvOTp))
- 軟體下載: https://github.com/Mintplex-Labs/anything-llm

2. AnythingLLM 設定與功能教學
- 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryStZQrAa)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=pi4t_FbiwKc)

3. AnythingLLM 帳號權限設定
- 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E5%B8%B3%E8%99%9F%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=sVlWqc2FMR0)
- 教學影片: [YOUTUBE OLD](https://youtu.be/VuRR236mR7Y)

4. AnythingLLM 知識文件區塊建立、管理與使用
- 教學影片: [YOUTUBE](https://youtu.be/7zNRWTc9tig)

5. AnythingLLM 新聞爬蟲教學
- 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E5%B8%B3%E8%99%9F%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=YLQ07BNKDOY)

6. AnythingLLM 語音轉文字教學
- 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E8%AA%9E%E9%9F%B3%E8%BD%89%E6%96%87%E5%AD%97)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=9EZnPvgZwXo)

7. AnythingLLM API教學
- 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-API)
- 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=CNK7QXiY130)

8. AnythingLLM 將對話機器人鑲嵌到你的網站教學
- 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryStZQrAa#AnythingLLM-Embedded-Chat)
- 教學影片: [YOUTUBE](https://youtu.be/yZOQLnkNssw)

### D. 內部伺服器架設向量資料庫 CHROMA
- 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/HkovmLSAT)

### E. 向量資料庫與文件管理系統 VECTORADMIN (尚待開發)
- 教學文件: [HACKMD]
- 教學影片: [YOUTUBE]

### F. 補充介紹: 如何在註冊OPENAI API與 Groq API
- [OPENAI 教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/r1g6_ftP6)
- [Groq 網址](https://console.groq.com/keys)