owned this note changed 7 months ago
Linked with GitHub

Build an Advanced RAG with Fine-tuned Gemma - Jimmy Liao

歡迎來到 https://hackmd.io/@coscup/2024 共筆

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

點擊本頁上方的 開始用 Markdown 一起寫筆記!
手機版請點選上方 按鈕展開議程列表。

請從這裡開始

投影片:https://docs.google.com/presentation/d/1yz_W_LUjWesJb-EwJDhoFCRp8_iDMCMjXPG3s65xsP0

手癢想做:jimmyliao/workshop-gemma

Weight and bias
https://wandb.ai/site

問題:

  1. 有沒有試過 PaliGemma 在繁體中文 OCR 題目上表現,或是要 finetune 到他在繁體中文準大概要多少訓練資料
  2. 在 RAG 與 Fine-Tuning 的合作下,可以盡可能地製作出符合Domain Model的 chatbot。但在開發資源有限的情況下,我該如何平衡 RAG 與 Fine-Tuning 的開發比重?如果希望在有限的成本下盡量達到最高效益,應該如何抉擇?(前提:已經擁有完整Domain Knowledge的Dataset)
Select a repo