---
# System prepended metadata

title: 0910測試會議(w/卡米爾)
tags: [教育雲]

---

# 0910_教育雲測試會議
1. api demo
rag_generation: input query, 可調整k, prompt(回答特殊傾向)，下個版本會加入模型選擇，包含claud, gpt, gemini
search: 僅作搜尋
2. 由於進度壓力，9/12測試先使用evaluator
    - 有稍微給對方看知識資料和前15題QA
    - ragas的分數結果很注重數據，需要補足以人類對齊的面向
    - 廠商對影片逐字稿(自然科兩萬筆)的資料前處理有下功夫，如要從逐字稿中提取關鍵字
        - ![image](https://hackmd.io/_uploads/rJiTwvRcxx.png)
        - 資料庫: MongoDB
        - ![image](https://hackmd.io/_uploads/SJ-m_P05xx.png)
        - 相較於傳統向量資料庫，語意較無法處理同義字，但很花算力，想釐清是子網、中大還是卡米爾需要負責將影音轉為逐字稿 > 昱瑋學長回答是卡米爾要轉 > 卡米爾詢問是否可以直接獲得雲端硬碟，因為以api的方式，傳輸太花時間 > 學長會再詢問，9/30號同時需要國文與自然科 > 卡米爾可以提供實體硬碟，但這個時間瓶頸會導致來不及遞交期限，對方希望可以再9/17號前完成資料dump的溝通
3. 在這段期間系統架構的變動? 
    -  AI提取出的關鍵字可能不同，或語意上相同但詞彙不同，導致key word list非常龐大，該如何界定?
        -  目前有設定取top k的key word，也還在測試中，之後可以列為checkpoint
    -  檢索是不是也提取關鍵字後比對? 
        -  AI每次判斷的關鍵字不同，解決方法為請AI去選擇前一部判斷的分類，就不會有關鍵字匹配不倒的問題
    -  科目或年級等其他關鍵字會不會有階層式的關係?
        -  也會提取，但用在其他地方，如AI選擇類別的時候篩掉不同年級，但主要以教學內容關鍵字為主
    -  User的Query只會做一次性的檢索，還是會將Query做前處理或轉換?
        -  查詢會有兩條路線，會將檢索到的結果合併後輸出
        -  可以拿到兩條路線分別檢索到的Context
        -  提問的資料集最好是老師或學生實質教學現場會提出的問題，對方會提供20題與老師訪談的問題list
        -  頂流的Agent(Claude code, Gemini CLI, OpenAI Codex cli)可以自動評分，也可以透過prompt去調整view與result
    -  若內部打分系統結果不佳，會重新撈資料重新生成，還是僅做為參考?
        -  可以設定參數，在重新生成和老師等待時間上取平衡
    -  generator策略? 
        -  目前他們參考老師訪談訂的prompt已經全部拿掉了，這次測
    -  目前的pipeline跟六月底，最大的改動為何?
        -  生成的部分幾乎沒有改動
        -  檢索改動較多，之前只有提問的地方請AI生成關鍵字，再透過設計的prompt去讓關鍵字的選擇準確
    -  每份txt檔案會另外做chunk嗎?
        -  不用，因為全部都是直接丟到LLM裡面，他的token上限很高
    -  要先界定參數
        -  兩個檢索路線
        -  top k: 5, 10
        -  2種類大語言模型
    -  約定明天下午5點跑完ragas，我們今天下午1點要提供測試說明書集資料