---
# System prepended metadata

title: 4/23進度紀錄
tags: [進度紀錄]

---

# 4/23進度紀錄

## 簡筠方

參考資料: [Adaptive RAG](https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag/#compile-graph)

### 版本1

![image](https://hackmd.io/_uploads/S1SjnQIyll.png)

**vectorstore** : 
紀錄關於網路的向量資料庫工具。若與網路詐騙有關，請使用此工具搜尋解答。

**流程**
1. 進行判斷是否要進入RAG
2. 分成直接用純llm回答與使用RAG回答

**結論**
後來發現可能是prompt還是寫得不夠好，跑了好幾個貼文後發現它全部都被歸類在plain_answer


### 版本2

![image](https://hackmd.io/_uploads/BkxpAXL1ex.png)


**Retrieval grader** : 
確認提取文章與問題是否有關(yes/no)

**Hallucination grader** : 
確認答案是否為虛構(yes/no)

**Answer Grader** : 
確認答案是否可回應問題(yes/no)

**流程**

1. 直接進入RAG
2. 使用 Retrieval grader 判斷 retrieve 出來的文件有沒有用，有用地留下，沒用的剔除
3. 若沒有任何文件留下則直接使用純llm回答
4. 進入 rag_generate 後，使用 Hallucination grader 與 Answer Grader ，判斷是否該進入純llm或是重新進行 rag_generate (最多3次)

**結論**

超慢



## 游婷安
進度:
將我的第三版RAG增加統整的Agent，裡面包含:
1. RAG 本身
2. LLM 評估檢索內容是否和問題相關
3. LLM 反思初步生成結果
4. LLM 檢查最終 predict 結果 (避免 prediction 出現 null)

結果:

|        | ver.1 還沒加反思 | ver.2 增加反思 |
| ------ | ------------- | ----------- |
| 準確度 | 74.08% (623/841) | 68.97% (40/58) |
| null數 |       0      |    0         |

![image](https://hackmd.io/_uploads/ryCieEI1ge.png)
![image](https://hackmd.io/_uploads/BJongVU1lg.png)
![image](https://hackmd.io/_uploads/SkjpxNUJlx.png)


問題:
1. retrieve 內容有時候有不相關的，可能跟TF-IDF有關?可能之後再研究一下為甚麼
2. 增加反思會跑更久，ver2一整晚才58個

## 陳芊羽
- 進度：
[寄信草稿&協議內容](https://hackmd.io/3UKQ3F8dSt6zNixOjwJcgw?view)

下載其中一個英文資料庫並處理(但看起來不太能用?)
![image](https://hackmd.io/_uploads/HJY4zHU1xg.png)


## 陳孟蓉
進度:
1. 四種類別分別載入前5筆資料作為 few-shot 範例
2. 整合 few-shot 範例至 system prompt

問題:
準確率超級低，改了幾次範例還是一樣


| Category | 總樣本數 | 預測正確數 |準確率|
| -------- | -------- | -------- | -------- |
| emotional_dating     | 278    | 99     |35.61%|


## 廖奕皓
進度:
finetune沒資料，用不了，改去用Agent，將agent分工，分成五種
1. 詐騙種類分類
2. 情感詐騙分析專家
3. 博弈詐騙分析專家
4. 工作詐騙分析專家
5. 投資詐騙分析專家

![image](https://hackmd.io/_uploads/BJWLmHUklx.png)


正確率:
1. 情感
![螢幕擷取畫面 2025-04-23 183100](https://hackmd.io/_uploads/H1EAfHIkxl.png)
2. 博弈
![螢幕擷取畫面 2025-04-23 180606](https://hackmd.io/_uploads/SkUyXBUyex.png)
3. 工作
![螢幕擷取畫面 2025-04-23 183754](https://hackmd.io/_uploads/BJWQXHUygx.png)
4. 投資
![螢幕擷取畫面 2025-04-23 183120](https://hackmd.io/_uploads/ryS47rLkex.png)
