# 08/21 RAG project會議紀錄

## 會議的日期、時間、地點
Google meet
2024/08/21 `17:00 - 18:15`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、品媛、彥汝、裕傑、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、品媛、彥汝、裕傑、Owen學長、Anna學姊、陳雨柔
未到：無

## 本次會議重點
### RAG:
- RGB看起來是專門在測LLM生成結果的
- 建立教育雲資料集
- 邊盤點邊轉換: QA-pair的key是甚麼?長度多少?期望的數量是多少
- 投影片要有頁碼
- 這些評估指標(metrics)在實驗室稱為index
- 實驗可以試試看不同LLM模型
- 做中文RAG評估的很少
- 使RAGAS可以自動化測試
- RAG中間的套件先不要探討太細，從llm generator下手

### 教育雲:
1. ==教學活動==(原"指令集")
- 使用情境: 補救教學、備課、寒暑假作業、補充教材、出題
- 先行科目: 國小的國語、自然 (**使用教材次數較頻繁**且較無爭議的科目)
2. 目前盤點的資料可能包含多個知識節點，或有重複性內容而只有少量知識節點，之後可能可以比照學校課綱，列出對應的知識節點
3. 教育部類似的Agent: 因材網，用**蘇格拉底提問法**設計了很多教學活動，我們的方法不要跟他一樣
4. 可以做??論文的survey
5. 下一次專家諮詢會議時間: 9月初，要完善計畫書，修整PPT
6. 盤點是否有更新? 盤點有無需要溝通或討論的?
- 盤點無更新，教學活動有依Anna學姊建議修改國語指令
- 看**學習理論基礎**的相關檔案，EX: round table、合作式學習等專業術語
7. 教育雲資料集整理完後也要開源到hugging face上

## 交辦事項
### 教育雲
1. 教學活動設計: 以國小國文與自然為主，往下盤點並確認各科的知識節點
2. 教學活動設計要搭配教學理論
3. 看一下[開源的教育相關資料集(ATK Dataset)](https://www.facebook.com/story.php?story_fbid=2532332536975358&id=100005959082408&mibextid=WC7FNe&rdid=K2uBy9zFAyqnb1nj)可不可以用

### RAG
1. 擷取RAG會議錄影中報告Ragas和RGB的段落，並轉換成文字
2. 列出測試資料集的規格(如：長度、數量...等)
3. 列出RAG實驗組的排列組合，以進行Ragas實驗
4. RGB先從資料集著手，看ATK Dataset能否轉換成可以用的格式
5. 整理QA-pair生成方式