# 5月RAG會議紀錄
## 5/13
- 考卷資料集
- 訓練小的大語言模型，參數量不會大於1B，看有沒有人要做side project，包含訓練、轉成Lamma格式與部署
- 大語言模型的Leader board，==要有程式碼可以直接測試大語言模型==
- HF
- 須把打API的程式碼更新好，Owen會提供url
- 周五(5/13)交接
- 研究室每個人負責不同內容，需要將每個人的說明書寫好/更新好
- 預計流程
- Owen花10-15分鐘介紹計畫背景
- 了解學弟妹技術背景
- 將交接文件給學弟妹看，第二次會議驗收他們使用資料集的狀況
- 計畫到11/14
- 國語&自然資料集
- 下周前將內容分析結果給老師
- 5/15(四)討論30題的投票結果
- 若無法以技術層面修正，則使用內部投票
- 自然：
- 修正問題出現兩個問題的情形
- 教學活動:
- 會需要比較多檢索資源支援
- 會議若政叡、彥汝、品媛有空的話盡量參加

## 5/20
- 若要讓Ragas驗證資料集更具有鑑別度，內容長度有何建議?
> 應使QA同時具備清楚的主詞、動詞與可驗證資訊，並避免使用簡短回應、模糊描述或代名詞指代，以提升 LLM 拆解準確性與評估穩定性。
### 內容長度對RAGAS指標穩定性之影響
- ground truth或response太短或語意不明確，導致無法有效拆解claims
- 影響指標:
- ==Factual Correctness==: 無法計算 TP/FP/FN，分母為 0 時出現 null
- ==Noise Sensitivity==: 需從response拆分claims，進一步判定哪些被錯誤context誤導，若無法拆出claims，容易出現null值
- ==Context Recall==: **groundtruth(QA-pair中的A)** 拆出的claims太少導致至recall分數離散(如0、0.5、1)
- Faithfulness: **response(RAG生成的回答，通常較長，且與QA-pair較無關係)** claim拆太少會導致只有離散值
- ground truth或context缺乏具體名詞，無法提取entity
- 影響指標:
- ==Context Entity Recall==: 無法提取出有效實體（entity），導致無法計算產生null

- 其他指標
- Context Precision: 受chunk切分精細度影響
- Answer Relevancy: 計算語意相似度
- Semantic Similarity: 計算語意相似度
### QA-pair生成優化建議
1. 改善ground truth claims拆解困難的建議: 讓 LLM 拆得出「語意完整、可驗證的陳述」

| 原則 | 示範寫法 | 反例（易拆失敗） |
| --------------- | ------------------- | --------------- |
| **句子語意完整** | 「愛因斯坦提出相對論。」 | 「相對論」／「是的」 |
| **一句只講一個事實** | 「他出生於德國。」／「他是物理學家。」 | 「他出生於德國並是物理學家。」 |
| **包含主詞與明確動詞** | 「水星是太陽系中最靠近太陽的行星。」 | 「靠近太陽」 |
| **避開代名詞指代** | 「瑪麗居禮發現了鐳。」 | 「她發現了它。」 |

2. 改善 query & ground truth 之 entity 擷取失敗的建議：讓句子中自然包含「可命名或辨識」的實體資訊，如人名、地名、專有名詞，相關範例如下:
- 人物：瑪麗居禮、馬斯克、孔子
- 地點：巴黎、印度、Amazon 雨林
- 組織：聯合國、NASA、Google
- 專業詞彙：相對論、量子糾纏、GPT-4、紅血球