Build an Advanced RAG with Fine-tuned Gemma - Jimmy Liao

歡迎來到 https://hackmd.io/@coscup/2024 共筆

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

點擊本頁上方的 開始用 Markdown 一起寫筆記！
手機版請點選上方 按鈕展開議程列表。

請從這裡開始

投影片：https://docs.google.com/presentation/d/1yz_W_LUjWesJb-EwJDhoFCRp8_iDMCMjXPG3s65xsP0

手癢想做：jimmyliao/workshop-gemma

Weight and bias
https://wandb.ai/site

問題：

  1. 有沒有試過 PaliGemma 在繁體中文 OCR 題目上表現，或是要 finetune 到他在繁體中文準大概要多少訓練資料
  2. 在 RAG 與 Fine-Tuning 的合作下，可以盡可能地製作出符合Domain Model的 chatbot。但在開發資源有限的情況下，我該如何平衡 RAG 與 Fine-Tuning 的開發比重？如果希望在有限的成本下盡量達到最高效益，應該如何抉擇？(前提：已經擁有完整Domain Knowledge的Dataset)
Select a repo