# 從RAPTOR、GraphRAG、到下一代RAG架構發想 - 劉岦崱(Nils)

{%hackmd @HWDC/BJOE4qInR %}

>#### 》[議程介紹](https://hwdc.ithome.com.tw/2024/lab-page/3232)
>#### 》[填寫議程滿意度問卷｜回饋建言給辛苦的講者](https://forms.gle/p8GM3sXmsC5FLAEw5)

介紹5大區塊（正方形結構圖優化）
LLM 打掃專家
FINE TUNING 清潔人員
RAG 每個打掃場景便條紙
「場景應用」是最大的未來方向

rag名詞
GraphRAG
Knowledge lake
Chunking
Guardrajl
Tool calling
Agents
Prompt engineer ： Claude
Etl
The Needle In a Haystack Test(for LLM)

—
# RAPTOR
Naive rag用similarity很沒料
Indexing: raptor, colbert
賦予chunk 資料結構
Raptor缺點： 貴、要加資料很麻煩
# GraphRAG
GraphRAG 有資料結構和多種搜尋方案

「共變量」，如果A更動，後面有關的也需要更動
以圖形為主的演算法
標籤+關連

Neo4j ： 原本還沒有支持vector search ，最近把vector search 塞進去，就是個很不錯的searching 方案，用hybrid「整理出最好的結果」
Vector search
Graph search
DFS
BFS

這樣的話GraphRAG 還不能上production，因為
「自動化整理、生成結構？」 如果什麼都不干涉的話，llm他定義的內容可能會錯誤，但是如果人要介入的話也可能會有侷限性的問題，需要做出權衡
Niddle in the haystack
目前不知道整理文件的效果，沒有比較好的evaluation 方式

## 有哪些可以改善的功能?

1. 單一場景
2. 只有檢索功能
3. 知識庫沒有資料治理
4. 資料沒有結構
5. 固定top k
6. 沒有長期記憶