---
# System prepended metadata

title: 09/04 RAG project會議紀錄
tags: [RAG project會議紀錄]

---

# 09/04 RAG project會議紀錄

## 會議的日期、時間、地點
Google meet
2024/09/04 `17:00 - 19:00`

## 參加會議人員
應到：曜誠、淳瑜、政叡、玟樺、Owen學長、Anna學姊
實到：曜誠、淳瑜、政叡、玟樺、彥汝、Owen學長、Anna學姊、Emily
未到：無

## 上次會議待辦事項
1. 會議記錄錄影轉成文字: 兩次會議(8/14, 8/21)，已轉成文字，還未summary
2. 列出測試集資料規格: 上週已完成
3. 教育雲資料QA-pair生成形式: 已整理出目前獨到的ragas與RGB論文中曾使用過的方式，上週初步討論後，有跟玟樺、政叡進一步討論，[討論紀錄連結](https://hackmd.io/@KSLab-M0/Hy7wxfiiC)
4. EIC_RAG實驗(w/Emily): 進行中
5. [Rag實驗組的排列組合](https://docs.google.com/spreadsheets/d/1xHSgbIlisAmElZ8irFGstPF57GcPcayhunrBqWcGzrQ/edit?gid=0#gid=0)
6. RGB ATK dataset: 待Ragas前兩個部件survey完再和generator一起研究

## 本次會議重點
### RAG
1. 租了一個AI/ML API，用租的API可能會比自己架還要快，測試完效果不錯的模型如gemma, llama，做EIC實驗的時候可以嘗試抽換模型
2. RAG的project可以包括架一個網站，在新的LLM出來時即時平測
3. 論文開頭
    - `3.4 Rag evaluation`，9個指標和公式先放上去(latex online editor)
    - 可以把開會的文字紀錄貼到overleaf上，之後的紀錄也要慢慢放上，邊工作邊紀錄
    - 語言中英文都可以，再交由emily處理翻譯成英文的部分
    - Alt+S存檔compile
4. RAG test bed
    - 要抽換的資料集: 教育雲的資料/有開源的QA+knowledge的資料集
    - 要先測試的排列組合(論文上的表格設計，要用latex編輯出來): 
        - embedding model: google-bert, gemini, Qwen, Open-ai
        - embedding model換掉應該沒有很難，但牽涉到資料insert: Emily看要花多少時間
        - 最後的generation model(LLM)
        - 前面的實驗會影響後面的，做完後再決定論文的撰寫方向
        > telecon的排列組合: 不同的model(finetune or pretraining), 不同的K, 不同的embedding model.etc

### 教育雲
1. Query種類可以用task來表示
    - 如何列出教學活動的ground truth
    - 國語的QA往百科的方向走
    - 自然往媒體影音的方向走: 資料有點少的問題，之後驗證時可能會叫RAG考考卷，如果考太爛會宣告目前這單元資料量不足
    - 現階段先不管其他科目 (只做國文和自然)
    - 通用型指令集的方向: 要跟研發團隊溝通(可稍候)，可以想像成是對整個系統的FAQ
2. QA-pair生成
    - (法一)從教育雲資料集提取，步驟如下
        1. 收斂教育雲上有那些data source是可以使用的，不同source有不同提取pipeline
            - 影音轉文字: 先不要做太多，轉完後先驗證
            - PDF > OCR > GPT改寫
        2. 先挑資料量多的章節: 自然，水的奇妙現象
        3. 將文字資料給GPT生成QA-pair，約50題
        4. 給老師驗證
    - (法二)用有ground truth的期中考卷改寫
3. 統整自然哪個年級的資料最多
4. 大百科不是叫大百科
5. 教學活動流程符合哪些理論基礎
6. 教學活動設計實驗(ex. 控制組...)
7. 第三個我問題忘了

## 待辦事項
### RAG
1. 9個指標寫上overleaf
2. 第一個實驗要換embedding model, LLM，先拉表格出來(google sheet & latex)
3. 繼續survey RAG components

### 教育雲
1. 實驗設置，對照組跟實驗組的實驗流程
2. 教學活動隊應的理論
3. 學生學習表現如何驗收？
4. 教學實驗設計化成流程圖
