---
# System prepended metadata

title: 09/18 RAG project會議紀錄
tags: [RAG project會議紀錄]

---

# 09/18 RAG project會議紀錄

## 會議的日期、時間、地點
Google meet
2024/09/18 `17:00 - 18:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、彥汝、Owen學長、Anna學姊、Emily
未到：無

## 上次會議待辦事項
### RAG 
1. 會議記錄summary (LLM model: GPT-4o-mini)
    - 已將處理好的內容以txt檔形式放到==教育雲雲端 > 會議記錄資料夾==中 (line記事本有字數10000字限制，不夠放)
    - 調整prompt並測試GPT改寫會議影片轉文字檔的結果，目前pipeline為:
    `專有名詞修正`>`校正與優化語句`>`會議內容重構`>`會議重點分段摘要`>`最終總結`
    - 結果比較
    (節錄0821未經過GPT修改的會議記錄內容)
    ![image](https://hackmd.io/_uploads/SJpzZ38pR.png)
    (節錄0821已經過GPT修改的會議記錄內容)
    ![image](https://hackmd.io/_uploads/Hyo0bh8pA.png)
    - 部分人名有成功替換 (節錄0821已經過GPT修改的會議記錄內容)
    ![image](https://hackmd.io/_uploads/rkJhI2IpR.png)

    - 問題: 
    1. 仍無法穩定替換人名、專有名詞，或刪減冗言贅字
    (ex. 節錄0821已經過GPT修改的會議記錄內容)
    ![image](https://hackmd.io/_uploads/Hy5cJ2IpA.png)
    2. 會議摘要不一定寫得完整，有時要多試幾遍才會產出完整的內容
2. 用GPTzero檢驗寫好的內容，人寫的比例盡量要75%以上
    - 將`3.4 Rag evaluation`內容完善
    - 接下來會邊survey中文embedding model，編寫上overleaf
3. 實驗數據結果: [Evaluation Record](https://docs.google.com/spreadsheets/d/1eXDmUGnJF0_45Lj_OvGANVKwBRY9oBTvk2c6KHSH3fU/edit?gid=1900665429#gid=1900665429)

### 教育雲
1. 轉了多少影片 : 49 部影片
2. 文字的量 : 處理前->處理後 : 95257->41489
3. 將處理好的資料放到雲端

## 討論重點
### RAG
- 實驗數據: 
    - context (entity) recall分數為什麼這麼低?
        - 可能因為專有名詞太多
    - 下個步驟除了embedding model和reranker，可以做一個較複雜的排列組合與參數列清楚，最後再思考如何呈現實驗結果
    ![image](https://hackmd.io/_uploads/HJeKuQ_pA.png)

    - embedding model測試目前Bert優於OpenAI，中文為Qwen
- component: 
    - 若有特殊的embedding model，要特別看一下
    - 要決定一下實驗順序
    - 用教育雲的資料集(Q+context)來測試embedding model。因為Knowledge Domain
    - 聯發科的資料可以用來參考
- model還是要參考[AI ML API](https://aimlapi.com/models?integration-category=Embedding)
- 建議會議記錄整理流程也可以用來整理跟老師的會議
### 教育雲
- 使用場景: 
    1. 老師備課
    2. 學生補救教學: 有無老師的場景都要考慮
- 教育部評語: 
    - 此系統很強調應用成效，如學生使用前後的差異 > 要加入成效評估
- 教學活動設計有命中計畫所需
    - 使用情境正確
    - 有學生學習流程
    - 有測量成效
    - 背後的學習理論&脈絡盡量不要讓GPT主導
- 資料集
    - 改用付費的whisper
    - 生成的QA-pair抽檢: 
        - 現有的資料集無法回復正確答案，可以先調查有多不足(拿中小學考卷考RAG系統)，並==告訴教育部有缺漏教材==
        - 可針對context與ground truth品質做增強

## 待辦事項
### RAG
論文邊做邊寫
### 教育雲
資料集&教學活動