## 開發框架 Langchain LangChain 是一個框架,用於開發由 LLM 驅動的應用程式。可以簡單認為是 LLM 領域的 Spring,以及開源版的 ChatGPT 插件系統。核心的 2 個功能為: 1)可以將 LLM 模型與外部資料來源進行連接。 2)允許與 LLM 模型與環境進行交互,透過 Agent 使用工具。 ![image](https://hackmd.io/_uploads/BJedGkXnT.png) ![image](https://hackmd.io/_uploads/H1M0bdwpp.png) --- ## 核心組件 ![image](https://hackmd.io/_uploads/rkVM1uwap.png) - 模型:LangChain 本身不提供 LLM,而是提供通用的接口存取 LLM,可以很方便的更換底層的LLM 以及自訂自己的LLM ![image](https://hackmd.io/_uploads/SyKwZy726.png) ![image](https://hackmd.io/_uploads/Sy4KWyQ2p.png) - prompt:prompt 模板管理、優化和序列化。(做RAG放在這邊) - chain:LLM 和 prompt 和其他各種工具的組合 ```py= chain = prompt | llm chain.invoke({"query": "什麼是語言模型?"}) ``` - memory:解決上下文問題。 - indexing:有相當多的 loader 可以使用。 ![image](https://hackmd.io/_uploads/SJP9T0z36.png) - agent:執行各種特定的任務,比如自動回答問題、生成文本等等。 - callback:記錄和流式傳輸任何鏈的中間步驟,輕鬆觀察、調試和評估應用的內部運作情況。 --- ## 中文模型 1. Breeze-7B 系列模型 此模型是由聯發科研發小組基於Mistral-7B Fine-Tuning,並且開源出來的 LLM 模型,專門為處理繁體中文而設計。 2. 群創光電 智能推進處 Text&AIGC 的 Bailong-instruct 7B(白龍7B) https://www.facebook.com/groups/aigctw/posts/2518806011636629/