# 09/18 RAG project會議紀錄

## 會議的日期、時間、地點
Google meet
2024/09/18 `17:00 - 18:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、彥汝、Owen學長、Anna學姊、Emily
未到：無

## 上次會議待辦事項
### RAG
1. 會議記錄summary (LLM model: GPT-4o-mini)
- 已將處理好的內容以txt檔形式放到==教育雲雲端 > 會議記錄資料夾==中 (line記事本有字數10000字限制，不夠放)
- 調整prompt並測試GPT改寫會議影片轉文字檔的結果，目前pipeline為:
`專有名詞修正`>`校正與優化語句`>`會議內容重構`>`會議重點分段摘要`>`最終總結`
- 結果比較
(節錄0821未經過GPT修改的會議記錄內容)
(節錄0821已經過GPT修改的會議記錄內容)
- 部分人名有成功替換 (節錄0821已經過GPT修改的會議記錄內容)

- 問題:
1. 仍無法穩定替換人名、專有名詞，或刪減冗言贅字
(ex. 節錄0821已經過GPT修改的會議記錄內容)
2. 會議摘要不一定寫得完整，有時要多試幾遍才會產出完整的內容
2. 用GPTzero檢驗寫好的內容，人寫的比例盡量要75%以上
- 將`3.4 Rag evaluation`內容完善
- 接下來會邊survey中文embedding model，編寫上overleaf
3. 實驗數據結果: [Evaluation Record](https://docs.google.com/spreadsheets/d/1eXDmUGnJF0_45Lj_OvGANVKwBRY9oBTvk2c6KHSH3fU/edit?gid=1900665429#gid=1900665429)

### 教育雲
1. 轉了多少影片 : 49 部影片
2. 文字的量 : 處理前->處理後 : 95257->41489
3. 將處理好的資料放到雲端

## 討論重點
### RAG
- 實驗數據:
- context (entity) recall分數為什麼這麼低?
- 可能因為專有名詞太多
- 下個步驟除了embedding model和reranker，可以做一個較複雜的排列組合與參數列清楚，最後再思考如何呈現實驗結果

- embedding model測試目前Bert優於OpenAI，中文為Qwen
- component:
- 若有特殊的embedding model，要特別看一下
- 要決定一下實驗順序
- 用教育雲的資料集(Q+context)來測試embedding model。因為Knowledge Domain
- 聯發科的資料可以用來參考
- model還是要參考[AI ML API](https://aimlapi.com/models?integration-category=Embedding)
- 建議會議記錄整理流程也可以用來整理跟老師的會議
### 教育雲
- 使用場景:
1. 老師備課
2. 學生補救教學: 有無老師的場景都要考慮
- 教育部評語:
- 此系統很強調應用成效，如學生使用前後的差異 > 要加入成效評估
- 教學活動設計有命中計畫所需
- 使用情境正確
- 有學生學習流程
- 有測量成效
- 背後的學習理論&脈絡盡量不要讓GPT主導
- 資料集
- 改用付費的whisper
- 生成的QA-pair抽檢:
- 現有的資料集無法回復正確答案，可以先調查有多不足(拿中小學考卷考RAG系統)，並==告訴教育部有缺漏教材==
- 可針對context與ground truth品質做增強

## 待辦事項
### RAG
論文邊做邊寫
### 教育雲
資料集&教學活動