---
title: 午休對談
tags: AI
---
{%hackmd HJ-2dtufR %}
# Jerry & 林彥廷

來不及打共筆，記錄一下幾個重點take away

1. 要使用fine-tuning的模型，要選22B以上的模型，70B以上更優，使用的效果才會好。但是要用22B以上的模型就至少需要一張A100。

2. 依據自己的使用情境去驗證模型，例如問一定的題目數量，然後回答正確率要達到一定的比率。可以參考MMLU+ 如何進行評估。

3. 不要只使用LLM去完成全部的工作，例如避免惡意攻擊或是確認模型輸出結果時，傳統的關鍵字、rule-based、NLP做法還是很有用，不要忘記以前的好方法。

4. 高品質的資料依然是一個很大的門檻。使用台灣司法院的法條和判決書資料，做了三個版本，最後一個版本有法律新創團隊協助將資料進行處理（ex：把判決書的結構區分出來），這個版本的模型表現就相當不錯。

5. 訓練資料來源：專業書籍是最缺乏的，國家圖書館的資源非常豐富。短期內可以自己從 LLM 裡面生出書籍資料來用於 fine-tuning，而且成效很好。企業重點應該放在如何收集可用於 LLM 的資料庫，且是結構化好的不需要太多事前處理，這類資料前處理是大市場