# 11/20 RAG project會議紀錄

## 會議的日期、時間、地點
Google Meet
2024/11/20 `167:00 - 18:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、Owen學長、Anna學姊
實到：彥汝、裕傑、品媛、曜誠、淳瑜、政叡、玟樺、Owen學長
未到：Anna學姊

## 討論重點
### RAG
- Overleaf:
- Title, abstract還沒改
- Introduction, related work學長會寫
- 第三章改了結構，之後會再細修，但基本上沒甚麼問題
- 第四章
- dataset移動到4.1
- RQ也放在第四章，學長會寫
- 表格移動到第四章
- 將components對齊RAG的survey論文
- SCI paper，以寫contribution為主: 教育資料集完整且系統性的測試
- Embedding測試更新
- 這些embedding model都有paper source嗎?
- 本工作為了要做RAG，所以我們使用了ABC...多個multi-language的embedding model，我們在測試的過程中，會將這些模型做成對(非)替換，/描述測試過程/(直接將中文貼群組，給emily翻譯，並在overleaf上註解

### 教育雲:
- 最新測試的結果發現GPT擷取ground truth有出錯，會由emily分享api
- 若是RAG沒有照選項回答，要調寬LLM-judge的標準

## 待辦事項
### RAG
- 實驗數據填上表格

### IEET
- 以目前的資料集(段考考卷)，用GPT做測試，雖然GPT很強，但我們在教育現場只能用RAG，以GPT作為標竿，我們的RAG表現為何?
- GPT-4o的benchmark為何?
- 可以在12月GPT-5出來後馬上測試(以現有資料集)
-
> 那如果GPT-4都近乎滿分，該如何與GPT-5比較?

### 教育雲
- 處理上要回到如何讓GPT可以做出更好的處理(流程上)，換LLM不一定可以解決問題(==GPT是最好的==)

## 下週: 會議取消一次