設計可靠的AI知識庫

Hi 我是June

• 聖杰國際股份有限公司 電控工程師
• AI4kids 共同創辦人
• Cupoy 特聘講師
• 派斯客 業界顧問
• 台灣人工智慧學校 AI工程師
• 亞達科技 AI工程師

今天聽完分享會得到的內容

1. 什麼是RAG
2. RAG怎麼將知識擷取到知識庫
3. RAG怎麼從知識庫中找到相關資料
4. RAG怎麼幫助LLM回答問題
5. 設計謹慎的知識庫的幾個關鍵

什麼是RAG

RAG就是LLM可以參考的一本筆記本。當我們跟GPT或其他LLM交談時，提高回答的表現。

問題1:

筆記怎麼寫的

aka. RAG怎麼將知識擷取到知識庫

1. 先獲得文字內容
2. 將內容根據字元切分成Chunk
3. 產生Embedding(嵌入)
4. 存入資料庫
   

Embedding

圖片和表格會發生什麼事?

以Ollama和大多RAG工具來看，會直接被忽略掉

但並不是完全沒辦法處理，例如我們可以用多模態模型來處理圖片

• 利用LangChain 實作多模態模型的RAG…
• Langchain Multi-modal RAG

一個常見迷思: RAG的嵌入也來自GPT4等大語言模型

實際上，我們只是需要內容與嵌入互相對應，所以用相對簡單的Bert等就可以了。但確實可以用GPT或其他LLM來進行，並獲得語意上更可靠的嵌入(但會貴的嚇人)。或者針對圖像型資料，才特別選擇用GPT4o來產生嵌入。

問題2

怎麼找到相關內容?

aka. RAG怎麼從知識庫中找到相關資料

這個問題有關檢索方法，也就是到底怎麼找到想要的資料

1. 簡單方案
   • 計算嵌入之間的距離(餘弦相似度等)
2. 複雜方案
   • Graph或其他資料結構樹

問題3

如何利用搜索到的相關內容?

aka. RAG怎麼幫助LLM回答問題

如何利用搜索到的相關內容 ?

把搜索到的內容整合到用戶訊息裡面，一起送給LLM做回答。

RAG的效果

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

RAG就是創建數位化的第二大腦

• 一個筆記本:
  • 擷取、檢索、儲存
• 第二大腦:
  • 擷取、檢索、儲存、轉化
  • 轉化指的是提取資料，並轉換成資訊。這就是語言模型的威力

Review

1. 什麼是RAG
2. RAG怎麼將知識擷取到知識庫
3. RAG怎麼從知識庫中找到相關資料
4. RAG怎麼幫助LLM回答問題
5. 設計謹慎的知識庫的幾個關鍵

如何設計謹慎的AI知識庫

Garbage in Garbage out

準則

1. (開始之前)設定適合公司的審核標準，確保回應內容的規範，輸入資料的整理原則
2. (當開始建立知識庫)對每一份新的資料，設立負責人，對知識庫的內容編寫回應內容的允許範疇。(例如: 客服機器人回應內容不能超出現有客服回應資料範例中)

3. (當開始建立知識庫)工程師建立合理的資料擷取路徑，將新資料納入知識庫。
4. (新資料開始推論前)工程師建立Parser，確保輸出內容符合公司的標準，以及該新資料由負責人訂立的範疇。
5. (推論)上線後透過評分機制收集回應，或跟付費的高階LLM對談，並收集回饋
6. (維護)持續更新、管理知識庫。刪除廢、舊、重複知識

最大挑戰

範疇與審核標準定義

挑戰1: 關鍵資訊萃取

• 如何萃取到重要的資訊?
• 如何確保到的資訊是正確的?

混合結構和非結構化資料

用以產生結構化資料的AI - LayoutLM家族

使用LLM Agent從資料庫中存取準確無誤的資訊

LLM Agent還是LLM，但他透過跟運算環境連結，並多上了任務規劃和任務執行的能力。簡單的說，他現在不只能建議你做什麼，還能直接幫你做！

挑戰2: 圖文混合

如何解決圖文混合問題

1. 使用CLIP家族產生嵌入(Local)
2. 使用GPT4理解圖片產生嵌入(Recommend)

挑戰3: 正規化回應

Layout Parser

挑戰4: 持續更新

對RAG知識庫來說，必要且最大的支出就是更新知識庫。特別是在專業領域，或需要語言工程師參與的場景，例如建立Question-Answer的對應，或是醫療或法律相關知識是涉及到案例或臨床資料。

如何將使用者的問題與回應收入知識庫

• 評分
• 使用高階語言模型產生

No-code 關鍵知識管理知識庫

• No-code 關鍵資訊萃取器
• 混合結構與非結構資料的知識庫
• 優化的Layout Parser

謝謝聆聽!