# 大型語言模型LLMs課程教學 課程大綱 (六) ## [中階] 基於RAG方案的專屬私有知識庫服務網站建置 ## :memo: Where do I start? - 聯絡窗口 Email us : 2303117@narlabs.org.tw 王小姐 ### 課程說明 - 上課時間: 2024 3/19 星期二 9:00-10:30 - 上課方式: 視訊課程 (請參考信件說明) - 基本能力: 皆可 - 環境需求: Windows或Mac或Linux作業系統環境皆可 ### 課程內容: - 本堂課為遠端同步上機教學 - 預計課程學員學會的內容 - 範例影片: [YOUTUBE](https://youtu.be/pOLx6oiwY3s) 台灣杉三號生醫AI問答服務 - 範例影片: [YOUTUBE](https://youtu.be/8mjGT1agmlU) 醫學百科RAG增強索引生成範例 ### 注意事項: - 因課程中會進行實作部分, 請參考 [[網址安裝教學]](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT), 依照電腦環境安裝對應版本DOKCER - 課程以本地端模型為主, 但為了避免你的電腦無法支撐模型, 請申請一組[Groq API KEY](https://console.groq.com/keys)及[OpenAI API KEY](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/r1g6_ftP6) , 臨陣替代使用 ### :A: 簡報檔案: - [[2024/4/3 NTU 中階課程 PDF]](https://drive.google.com/file/d/1E9JaJi1leC0M0Dg7nPT4O1DWSA4nVpGk/view?usp=sharing) - [[2024/4/2 中階課程 PDF]](https://drive.google.com/file/d/1zzPQRZd1MvtXIaj5jaB9cs9YlQAAFcXd/view?usp=drive_link) - [[中階課程 PDF]](https://drive.google.com/file/d/1OkchHJIwem8pYMWIxLHqJcZ7xmkLpT5_/view?usp=sharing) ### :B: 教學文件 - [初階課程] [建立基於RAG方案的專屬私有知識庫教學](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryqUCfu6T) - [中階課程] [基於RAG方案的專屬私有知識庫服務網站建置](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/Bk3TbayAp) - [高階課程] [如何於國網台灣杉二號使用多顆GPU微調語言模型](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SklMGVOaT) ## 教學內容 ### A. Docker環境安裝 - [Linux 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#%E5%AE%89%E8%A3%9D-Docker) - [Windows 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#Windows) - [MacosX 環境安裝DOCKER](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#Mac-osX) ### B. 內部伺服器架設大型語言模型及向量模型API服務 - Ollama 系統安裝介紹 - 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/Hkf1O-SCa) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=FPJo3oAg15w) - 適用平台: Docker ([教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/rynv0a7CT#%E5%AE%89%E8%A3%9D-Docker)) - 軟體下載: https://ollama.com/ ### C. 內部伺服器架設語言模型對談暨RAG查詢服務網站 1. AnythingLLM 系統安裝介紹 - 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SyP_2T7Ca) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=oMaIsmayr7A) - 適用平台: Docker ([Docker安裝教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/SkxlrvOTp)) - 軟體下載: https://github.com/Mintplex-Labs/anything-llm 2. AnythingLLM 設定與功能教學 - 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryStZQrAa) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=pi4t_FbiwKc) 3. AnythingLLM 帳號權限設定 - 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E5%B8%B3%E8%99%9F%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=sVlWqc2FMR0) - 教學影片: [YOUTUBE OLD](https://youtu.be/VuRR236mR7Y) 4. AnythingLLM 知識文件區塊建立、管理與使用 - 教學影片: [YOUTUBE](https://youtu.be/7zNRWTc9tig) 5. AnythingLLM 新聞爬蟲教學 - 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E5%B8%B3%E8%99%9F%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=YLQ07BNKDOY) 6. AnythingLLM 語音轉文字教學 - 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-%E8%AA%9E%E9%9F%B3%E8%BD%89%E6%96%87%E5%AD%97) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=9EZnPvgZwXo) 7. AnythingLLM API教學 - 教學文件: [HACKMD](https://hackmd.io/lcL0OaxvTtOoE17gcYiOtw?view#AnythingLLM-API) - 教學影片: [YOUTUBE](https://www.youtube.com/watch?v=CNK7QXiY130) 8. AnythingLLM 將對話機器人鑲嵌到你的網站教學 - 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/ryStZQrAa#AnythingLLM-Embedded-Chat) - 教學影片: [YOUTUBE](https://youtu.be/yZOQLnkNssw) ### D. 內部伺服器架設向量資料庫 CHROMA - 教學文件: [HACKMD](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/HkovmLSAT) ### E. 向量資料庫與文件管理系統 VECTORADMIN (尚待開發) - 教學文件: [HACKMD] - 教學影片: [YOUTUBE] ### F. 補充介紹: 如何在註冊OPENAI API與 Groq API - [OPENAI 教學文件](https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/r1g6_ftP6) - [Groq 網址](https://console.groq.com/keys)