# 09/04 RAG project會議紀錄

## 會議的日期、時間、地點
Google meet
2024/09/04 `17:00 - 19:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、彥汝、Owen學長、Anna學姊、Emily
未到：無

## 上次會議待辦事項
1. 會議記錄錄影轉成文字: 兩次會議(8/14, 8/21)，已轉成文字，還未summary
2. 列出測試集資料規格: 上週已完成
3. 教育雲資料QA-pair生成形式: 已整理出目前獨到的ragas與RGB論文中曾使用過的方式，上週初步討論後，有跟玟樺、政叡進一步討論，[討論紀錄連結](https://hackmd.io/@KSLab-M0/Hy7wxfiiC)
4. EIC_RAG實驗(w/Emily): 進行中
5. [Rag實驗組的排列組合](https://docs.google.com/spreadsheets/d/1xHSgbIlisAmElZ8irFGstPF57GcPcayhunrBqWcGzrQ/edit?gid=0#gid=0)
6. RGB ATK dataset: 待Ragas前兩個部件survey完再和generator一起研究

## 本次會議重點
### RAG
1. 租了一個AI/ML API，用租的API可能會比自己架還要快，測試完效果不錯的模型如gemma, llama，做EIC實驗的時候可以嘗試抽換模型
2. RAG的project可以包括架一個網站，在新的LLM出來時即時平測
3. 論文開頭
- `3.4 Rag evaluation`，9個指標和公式先放上去(latex online editor)
- 可以把開會的文字紀錄貼到overleaf上，之後的紀錄也要慢慢放上，邊工作邊紀錄
- 語言中英文都可以，再交由emily處理翻譯成英文的部分
- Alt+S存檔compile
4. RAG test bed
- 要抽換的資料集: 教育雲的資料/有開源的QA+knowledge的資料集
- 要先測試的排列組合(論文上的表格設計，要用latex編輯出來):
- embedding model: google-bert, gemini, Qwen, Open-ai
- embedding model換掉應該沒有很難，但牽涉到資料insert: Emily看要花多少時間
- 最後的generation model(LLM)
- 前面的實驗會影響後面的，做完後再決定論文的撰寫方向
> telecon的排列組合: 不同的model(finetune or pretraining), 不同的K, 不同的embedding model.etc

### 教育雲
1. Query種類可以用task來表示
- 如何列出教學活動的ground truth
- 國語的QA往百科的方向走
- 自然往媒體影音的方向走: 資料有點少的問題，之後驗證時可能會叫RAG考考卷，如果考太爛會宣告目前這單元資料量不足
- 現階段先不管其他科目 (只做國文和自然)
- 通用型指令集的方向: 要跟研發團隊溝通(可稍候)，可以想像成是對整個系統的FAQ
2. QA-pair生成
- (法一)從教育雲資料集提取，步驟如下
1. 收斂教育雲上有那些data source是可以使用的，不同source有不同提取pipeline
- 影音轉文字: 先不要做太多，轉完後先驗證
- PDF > OCR > GPT改寫
2. 先挑資料量多的章節: 自然，水的奇妙現象
3. 將文字資料給GPT生成QA-pair，約50題
4. 給老師驗證
- (法二)用有ground truth的期中考卷改寫
3. 統整自然哪個年級的資料最多
4. 大百科不是叫大百科
5. 教學活動流程符合哪些理論基礎
6. 教學活動設計實驗(ex. 控制組...)
7. 第三個我問題忘了

## 待辦事項
### RAG
1. 9個指標寫上overleaf
2. 第一個實驗要換embedding model, LLM，先拉表格出來(google sheet & latex)
3. 繼續survey RAG components

### 教育雲
1. 實驗設置，對照組跟實驗組的實驗流程
2. 教學活動隊應的理論
3. 學生學習表現如何驗收？
4. 教學實驗設計化成流程圖