# [2025李宏毅ML] 第9講：你這麽認這個評分系統幹什麽啊？談談有關大型語言模型評估的幾件事 :::success :+1: 筆記全集Book 請至: https://hackmd.io/@4j/r1U_UJ_pye/ ::: :::info 2025生成式AI時代下的機器學習_李宏毅 課程網站 https://speech.ee.ntu.edu.tw/~hylee/ml/2025-spring.php video: https://www.youtube.com/watch?v=s266BzGNKKc [[ppt]](https://docs.google.com/presentation/d/1OovnEYdAocl8HUFx2hMvPX8dsLrqPdmd/edit#slide=id.p1) [[pdf]](https://speech.ee.ntu.edu.tw/~hylee/ml/ml2025-course-data/reason_eval.pdf) (20250511) ::: :::spoiler 目錄 [TOC] ::: ![image](https://hackmd.io/_uploads/rJT-pJCxlx.png =500x) ## 如何評量大型語言模型的「推理」能力 ![image](https://hackmd.io/_uploads/B1sMaJRgxl.png =500x) 常用 **數學問題** 來評論能力 但會不會只是剛好他有看過題目... ## 有多少答案可能是「記憶」出來的？ ![image](https://hackmd.io/_uploads/rko46kRelx.png =300x) ![image](https://hackmd.io/_uploads/ByW8aJ0xle.png =300x) ▪ **案例：把GSM8K資料及內的詞彙或數字換掉(難度不變)** (圖)左邊這些模型就可能是背答案的，表現下降很多 ![image](https://hackmd.io/_uploads/BJYLaJAlxx.png =500x) ▪ **案例** 灰：原始 藍：把一些句子順序對調但不影響題目意思 結果還是有下降的趨勢，代表模型有學到一些不該學的能力 難檢驗模型是否已有看過類似的問題 ## ARC-AGI 資料集 ![image](https://hackmd.io/_uploads/BkVPp1Clex.png =300x) ![image](https://hackmd.io/_uploads/SJTwTkCell.png =300x) 像智力測驗那種推理題目 讓模型不能靠記憶回答 且有未公開的 testing set ARC-AGI 的作者就是 Keras 的 ![image](https://hackmd.io/_uploads/rJQFpyRgle.png =500x) (給模型看的樣子是像這樣文字的格式) ![image](https://hackmd.io/_uploads/ryiFTJCegx.png =500x) 縱軸: 正確率 橫軸: 此 benchmark corpus 被釋出多長的時間 多數模型在釋出1,2年內就會被玩壞，ARC-AGI 在五年內 還沒被打爆 ![image](https://hackmd.io/_uploads/SyElCmRexg.png =500x) 橫軸: 回答一個問題要多少錢 o3 模型智力介於一般人類與數理人類間，但解一題需花費千元算力 ## 平台 Chatbot Arena ![image](https://hackmd.io/_uploads/rJp9pkCexe.png =500x) 每次給你兩個模型 你問問題後票選較佳的答案 產生排行榜 但還是有瑕疵, ex: 人類喜歡有emoji, 粗體字條列的答案,... 且人也不一定知道正確答案 模型的回答內容都很強了，輸出的 **排版書寫風格** 反而影響打分比較大 ### Chatbot Arena - Elo Score Chatbot Arena 的評比機制：Elo 伊囉 score ![image](https://hackmd.io/_uploads/S1EnaJCelg.png =500x) 根據對戰勝率去反推出各模型的戰力 ![image](https://hackmd.io/_uploads/SyVT6yAxgl.png =500x) 要再加上 實力以外的影響因素 beta0 ![image](https://hackmd.io/_uploads/rJ10pkCele.png =500x) (圖) 各模型評分結果 左：沒有考慮影響因素的戰力計算 右：考慮影響因素後的戰力計算 claude 系列模型上升蠻多的(聰明但比較憨慢講話) ## Goodhart’s law ![image](https://hackmd.io/_uploads/S1sRa1Clgg.png =500x) (圖)捕蛇一條一塊 結果大家偷偷繁殖 反而變得越來越多蛇 一項指標一旦被當作目標，它就不再是一個好的指標。 ==--> **結論： 沒有一個好的評分指標 不要過度在意**== --END--