HackMD
探索大型語言模型的實務應用：Python 在 RAG 知識管理、LLM 服務化的作法 - 劉育維
Collaborative writing start from below
從這裡開始共筆
GitHub、Colab Link:
ChatGPT 指令大全
Google AI Studio
Q&A
1. 請問 fine tune,RAG ,RLHF, prompt engineering 是否有上下游的關係
算, prompt engineering -> RAG -> (RLHF) -> fine tune
須考量成本 or POC
2. 其中ollama實作chat bot的部分感到很有趣，想詢問若用這種方法來做類似客服機器人、LineBot、DiscordBot可能會有什麼挑戰嗎？會不會因為出現一些嚴重的問題（像是突然冒出意想不到的答案或回應XD？）
最重要的是讓對的人去問對的知識
可以使用 tag 來控制問題權限
3. 想請問 Fine-tune LLM 模型要怎麼避免幻覺的問題產生？還是 fine-tune 過後仍舊要接 RAG 的架構才有辦法避免？ 如果終究要接 RAG 架構的話，那我們前面 Fine-tune 的意義為何？
難以避免幻覺, 還是得透過 prompt engineering 來提高回答正確的機率
4. 請問經驗上, RAG retrieval 的 similarity score 門檻值多少會有參考價值? 還是會依據不同的演算法有所差異?
講者習慣不設門檻, 因為 LLM 會自己過濾不相干的
5. 想問一下，Benchmark 跑分八十可以過老闆的檻的依據是怎麼得到的？
會建議老闆使用跟大家一樣的門檻
6. 如果prompt 和RAG 的效果都不好時，會選擇開始fine tune 還是會想辦法研究rag如embedding 之類的方向
會先考慮RAG, garbage in garbage out
Below is the part that speaker updated the talk/tutorial after speech
講者於演講後有更新或勘誤投影片的部份
