---
title: "探索大型語言模型的實務應用：Python 在 RAG 知識管理、LLM 服務化的作法 - 劉育維"
tags: PyConTW2024, 2024-organize, 2024-共筆
---

# 探索大型語言模型的實務應用：Python 在 RAG 知識管理、LLM 服務化的作法 - 劉育維

{%hackmd NY3XkI1xQ1C9TrHQhoy9Vw %}

<iframe src=https://app.sli.do/event/1opSMuiFKHuWDhLddpdhS4 height=450 width=100%></iframe>

> Collaborative writing start from below
> 從這裡開始共筆

GitHub、Colab Link:
- https://github.com/LiuYuWei/pycon-tutorial-2024

ChatGPT 指令大全
- https://www.explainthis.io/zh-hant/chatgpt

Google AI Studio
- https://ai.google.dev/aistudio?hl=zh-tw

## Q&A
### 1. 請問 fine tune,RAG ,RLHF, prompt engineering 是否有上下游的關係
算, prompt engineering -> RAG -> (RLHF) -> fine tune
須考量成本 or POC

### 2. 其中ollama實作chat bot的部分感到很有趣，想詢問若用這種方法來做類似客服機器人、LineBot、DiscordBot可能會有什麼挑戰嗎？會不會因為出現一些嚴重的問題（像是突然冒出意想不到的答案或回應XD？）
最重要的是讓對的人去問對的知識
可以使用 tag 來控制問題權限

### 3. 想請問 Fine-tune LLM 模型要怎麼避免幻覺的問題產生？還是 fine-tune 過後仍舊要接 RAG 的架構才有辦法避免？ 如果終究要接 RAG 架構的話，那我們前面 Fine-tune 的意義為何？
難以避免幻覺, 還是得透過 prompt engineering 來提高回答正確的機率

### 4. 請問經驗上, RAG retrieval 的 similarity score 門檻值多少會有參考價值? 還是會依據不同的演算法有所差異?
講者習慣不設門檻, 因為 LLM 會自己過濾不相干的

### 5. 想問一下，Benchmark 跑分八十可以過老闆的檻的依據是怎麼得到的？
會建議老闆使用跟大家一樣的門檻

### 6. 如果prompt 和RAG 的效果都不好時，會選擇開始fine tune 還是會想辦法研究rag如embedding 之類的方向
會先考慮RAG, garbage in garbage out

Below is the part that speaker updated the talk/tutorial after speech
講者於演講後有更新或勘誤投影片的部份