# 7/17 RAG project會議紀錄

## 會議的日期、時間、地點
Google Meet [會議錄影連結1](https://drive.google.com/file/d/1Lv8wc-SMZ8cjUR5AaOTWyL0RtS7lCOq8/view?usp=sharing) / [會議錄影連結2](https://mega.nz/file/CABFmQJB#I6P9ZrMiT5Ws7TWSY2AWi0R9RnwOU-XWPwK6ar_RK4U)
2024/07/17 `17:00 - 18:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、品媛、彥汝、裕傑、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、品媛、彥汝、裕傑、Owen學長、Anna學姊
未到：無

## 議題
1. **主流的RAG評估基準**：目前有哪些主流的RAG evaluation benchmark？為什麼選擇Ragas？
- 本週蒐集的資料顯示，只有少數正式論文使用Ragas進行評估，且有評估分數的資料僅限於Ragas官網上的network communities。
- Owen學長認為這些資料不足以驗證Ragas的公信力。

2. **微軟Graphic RAG論文分析**：簡要介紹論文中的圖表。

3. **RAG在LLM中的應用**：
- RAG已成為LLM的標配，新接的**海軍訓練手冊撰寫**project也會用到RAG。
- 對該project的需求（例如閱讀等級）進行簡要展示。

4. **重新確定benchmark的公信力**：
- 目標是找到其他RAG model曾使用過的benchmark或dataset進行評估，以驗證我們的RAG。

## 內容概要
1. **Ragas的不足**：目前Ragas不可行。
2. **閱讀微軟Graphic RAG開源論文**。
3. **海軍學妹分享**。

## 目標
1. **找到公認的benchmark（資料集）**：
- 找到一個公認的benchmark，並確保我們的RAG效能測試程式能夠跑出一致的分數。
- 需要找到2-3篇使用該資料集進行測試的論文。

2. **使用微軟論文中的資料集**：
- 微軟論文（2404.16130v1）使用的兩個資料集，如果其他論文也使用這些資料集進行RAG效能測試，將會非常理想。

3. **新聞資料庫/教育雲資料庫的轉換**：
- 確認這些資料庫是否可以轉換成我們找到的benchmark的格式。如果不行，考慮其他方法進行整合。