---
# System prepended metadata

title: 6/26 RAG project會議紀錄
tags: [RAG project會議紀錄]

---

# 6/26 RAG project會議紀錄
## 6/26
Owen ask: 
1. RAG 如何評估其 performance？
3. EM全名，可以用 ROUGE 評估嗎？
4. Retrieval Quality 和 Generation Quality 是甚麼？

> Based on https://arxiv.org/abs/2312.10997 Table III and IV

>![messageImage_1719421056639](https://hackmd.io/_uploads/ryaNtScI0.jpg)


>![image](https://hackmd.io/_uploads/H1BysE-PA.png)


Ans:
1. [How to evaluate RAG - KSLab_M0](https://hackmd.io/TXlVa-bGTLeMQf3EqB2F2g)
3. EM，全名exact match。EM是在QA系统中廣泛運用的指標。它衡量的是與任何一个真實答案"完全"匹配的預測比例。是SQuAD(100,000+ Questions for Machine Comprehension of Text)的主要衡量指標。
    * https://nlp.stanford.edu/pubs/rajpurkar2016squad.pdf
    * R-Rate(Reappearance Rate)
    >再次出現率，衡量檢索結果中資訊在後續生成文本中的出現頻率
    
    * Hit Rate
    >檢索的文件中，有多少與query相關 衡量檢索結果中相關文件的比例。高命中率意味著檢索系統能夠更準確地找到使用者查詢相關的資訊。
    
    * MRR(mean reciprocal rank)平均倒數排名
    >衡量檢索結果中相關文件的平均排名的倒數。 MRR 越高，表示檢索系統的效能越好。
    
    * NDCG(normalized discounted cumulative gain)歸一化折扣累積增益
    >用於衡量檢索結果清單中相關文件的排名品質。 NDCG 考慮了文件的相關性和排名位置。
    https://ithelp.ithome.com.tw/articles/10299050
    
    * BLEU(bilingual evaluation understudy)雙語替換評測
    >衡量生成文本&參考文本的相似性 文字與參考文件之間的對齊程度(數值為0~1)
    
    * ROUGE(recall-oriented understudy for gisting evaluation)
    >衡量生成文本&參考文本的相似性 生成段落中，多少來自參考段落(重疊率)
    
4. Retrieval Quality: 主要關注的是模型從一個大數據集中檢索出相關信息的能力。這種能力通常在搜索引擎和信息檢索系統中被用來評估。以下是一些常用的評估標準：

     - 準確率（Precision）: 檢索到的結果中，實際相關的結果所佔的比例。
     - 召回率（Recall）: 實際相關的結果中，成功檢索到的結果所佔的比例。
     - F1 分數（F1 Score）: 準確率和召回率的調和平均數。
     - 平均精度（Mean Average Precision, MAP）: 多個查詢的平均精度。
     - 折合確率（Discounted Cumulative Gain, DCG）: 根據檢索結果的位置來評估的精度。
     
    Generation Quality: 主要關注的是模型生成自然語言文本的能力。這種能力通常在聊天機器人、文本生成和機器翻譯系統中被用來評估。以下是一些常用的評估標準：
    - 流暢性（Fluency）: 生成的文本是否自然、易讀。
     - 相關性（Relevance）: 生成的文本是否與給定的上下文或問題相關。
     - 一致性（Coherence）: 生成的文本內部是否邏輯連貫。
     - 創新性（Originality）: 生成的文本是否包含新的或不同的內容。
     - BLEU（Bilingual Evaluation Understudy）: 將生成的文本與參考文本進行比較的得分。
     - ROUGE（Recall-Oriented Understudy for Gisting Evaluation）: 基於召回率的文本生成評估方法，常用於摘要生成。

![image](https://hackmd.io/_uploads/B1pM-XWD0.png)
