# 4/23進度紀錄

## 簡筠方

參考資料: [Adaptive RAG](https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag/#compile-graph)

### 版本1


**vectorstore** :
紀錄關於網路的向量資料庫工具。若與網路詐騙有關，請使用此工具搜尋解答。

**流程**
1. 進行判斷是否要進入RAG
2. 分成直接用純llm回答與使用RAG回答

**結論**
後來發現可能是prompt還是寫得不夠好，跑了好幾個貼文後發現它全部都被歸類在plain_answer

### 版本2


**Retrieval grader** :
確認提取文章與問題是否有關(yes/no)

**Hallucination grader** :
確認答案是否為虛構(yes/no)

**Answer Grader** :
確認答案是否可回應問題(yes/no)

**流程**

1. 直接進入RAG
2. 使用 Retrieval grader 判斷 retrieve 出來的文件有沒有用，有用地留下，沒用的剔除
3. 若沒有任何文件留下則直接使用純llm回答
4. 進入 rag_generate 後，使用 Hallucination grader 與 Answer Grader ，判斷是否該進入純llm或是重新進行 rag_generate (最多3次)

**結論**

超慢

## 游婷安
進度:
將我的第三版RAG增加統整的Agent，裡面包含:
1. RAG 本身
2. LLM 評估檢索內容是否和問題相關
3. LLM 反思初步生成結果
4. LLM 檢查最終 predict 結果 (避免 prediction 出現 null)

結果:

| | ver.1 還沒加反思 | ver.2 增加反思 |
| ------ | ------------- | ----------- |
| 準確度 | 74.08% (623/841) | 68.97% (40/58) |
| null數 | 0 | 0 |


問題:
1. retrieve 內容有時候有不相關的，可能跟TF-IDF有關?可能之後再研究一下為甚麼
2. 增加反思會跑更久，ver2一整晚才58個

## 陳芊羽
- 進度：
[寄信草稿&協議內容](https://hackmd.io/3UKQ3F8dSt6zNixOjwJcgw?view)

下載其中一個英文資料庫並處理(但看起來不太能用?)

## 陳孟蓉
進度:
1. 四種類別分別載入前5筆資料作為 few-shot 範例
2. 整合 few-shot 範例至 system prompt

問題:
準確率超級低，改了幾次範例還是一樣

| Category | 總樣本數 | 預測正確數 |準確率|
| -------- | -------- | -------- | -------- |
| emotional_dating | 278 | 99 |35.61%|

## 廖奕皓
進度:
finetune沒資料，用不了，改去用Agent，將agent分工，分成五種
1. 詐騙種類分類
2. 情感詐騙分析專家
3. 博弈詐騙分析專家
4. 工作詐騙分析專家
5. 投資詐騙分析專家


正確率:
1. 情感
2. 博弈
3. 工作
4. 投資