# 0910_教育雲測試會議
1. api demo
rag_generation: input query, 可調整k, prompt(回答特殊傾向)，下個版本會加入模型選擇，包含claud, gpt, gemini
search: 僅作搜尋
2. 由於進度壓力，9/12測試先使用evaluator
- 有稍微給對方看知識資料和前15題QA
- ragas的分數結果很注重數據，需要補足以人類對齊的面向
- 廠商對影片逐字稿(自然科兩萬筆)的資料前處理有下功夫，如要從逐字稿中提取關鍵字
- 
- 資料庫: MongoDB
- 
- 相較於傳統向量資料庫，語意較無法處理同義字，但很花算力，想釐清是子網、中大還是卡米爾需要負責將影音轉為逐字稿 > 昱瑋學長回答是卡米爾要轉 > 卡米爾詢問是否可以直接獲得雲端硬碟，因為以api的方式，傳輸太花時間 > 學長會再詢問，9/30號同時需要國文與自然科 > 卡米爾可以提供實體硬碟，但這個時間瓶頸會導致來不及遞交期限，對方希望可以再9/17號前完成資料dump的溝通
3. 在這段期間系統架構的變動?
- AI提取出的關鍵字可能不同，或語意上相同但詞彙不同，導致key word list非常龐大，該如何界定?
- 目前有設定取top k的key word，也還在測試中，之後可以列為checkpoint
- 檢索是不是也提取關鍵字後比對?
- AI每次判斷的關鍵字不同，解決方法為請AI去選擇前一部判斷的分類，就不會有關鍵字匹配不倒的問題
- 科目或年級等其他關鍵字會不會有階層式的關係?
- 也會提取，但用在其他地方，如AI選擇類別的時候篩掉不同年級，但主要以教學內容關鍵字為主
- User的Query只會做一次性的檢索，還是會將Query做前處理或轉換?
- 查詢會有兩條路線，會將檢索到的結果合併後輸出
- 可以拿到兩條路線分別檢索到的Context
- 提問的資料集最好是老師或學生實質教學現場會提出的問題，對方會提供20題與老師訪談的問題list
- 頂流的Agent(Claude code, Gemini CLI, OpenAI Codex cli)可以自動評分，也可以透過prompt去調整view與result
- 若內部打分系統結果不佳，會重新撈資料重新生成，還是僅做為參考?
- 可以設定參數，在重新生成和老師等待時間上取平衡
- generator策略?
- 目前他們參考老師訪談訂的prompt已經全部拿掉了，這次測
- 目前的pipeline跟六月底，最大的改動為何?
- 生成的部分幾乎沒有改動
- 檢索改動較多，之前只有提問的地方請AI生成關鍵字，再透過設計的prompt去讓關鍵字的選擇準確
- 每份txt檔案會另外做chunk嗎?
- 不用，因為全部都是直接丟到LLM裡面，他的token上限很高
- 要先界定參數
- 兩個檢索路線
- top k: 5, 10
- 2種類大語言模型
- 約定明天下午5點跑完ragas，我們今天下午1點要提供測試說明書集資料